Tutoriales

Cómo ejecutar LLM localmente en una Raspberry Pi usando Ollama AI

La semana pasada, compartí un tutorial sobre el uso de PrivateGPT. Es una herramienta de inteligencia artificial que interactúa con archivos.

Ahora bien, esto está bien para usos limitados, pero si desea algo más que interactuar con archivos, querrá explorar otros proyectos.

Fue entonces cuando me encontré con un proyecto interesante llamado orama. Es un proyecto de código abierto que le permite ejecutar varios modelos de lenguaje grandes (LLM) localmente.

Mientras navegaba por la comunidad de Reddit, me encontré con una discusión sobre cómo ejecutar LLM en una Raspberry Pi.

Estaba interesado en verificar esta «afirmación», así que decidí ejecutar LLM localmente en mi Raspberry Pi 4 usando Ollama.

Permítanme compartir mi experimento con ustedes en este breve artículo.

📋

Este artículo supone que tiene conocimientos básicos de Inteligencia Artificial, LLM y otras herramientas y terminología relacionadas.

Instalación de Ollama en el sistema operativo Raspberry Pi (y otros Linux)

El proceso de instalación de Ollama es muy sencillo. Para instalar en Linux, debe obtener su script de instalación oficial y ejecutarlo. Este es el método oficial descrito en su sitio web.

Puedes descargarlo manualmente y leer lo que hace. O, si eres vago como yo, combínalos en un solo comando como este:

curl  | sh
Instalar Orama

Explora los diferentes LL.M.

Una vez instalado, ahora puede ejecutar LLM en Pi y comenzar a chatear con la IA de inmediato.

En mis experimentos utilicé tinyllama , phi y llava maestro de la Ley. Pero puedes probar diferentes modelos de lenguaje grandes disponibles en la biblioteca de Ollama.

📋

Debe tener al menos 8 GB disponibles para ejecutar el modelo 7B, 16 GB para ejecutar el modelo 13B y 32 GB para ejecutar el modelo 33B.

pequeña alpaca

Comencemos con TinyLlama, que se basa en 1.100 millones de parámetros y es un candidato perfecto para un primer intento.

Para descargar y ejecutar TinyLlama, debe ingresar el siguiente comando:

ollama run tinyllama
Instalar TinyLlama usando Ollama

Se necesitan unos segundos para descargar el modelo de idioma y, una vez hecho esto, puedes comenzar a chatear con él.

Mi pregunta para AI es: «¿Cuál es el caso de uso de la etiqueta div en html?»

Usando TinyLlama

Aquí está la respuesta completa y cuánto tiempo lleva completarla:

La alpaca esta respondiendo

¡Bien bien! ¿Quién hubiera pensado que la inteligencia artificial funcionaría tan rápido en una Raspberry Pi?

filipino

Pasando a algunos modelos más grandes, como phi, que es un modelo de lenguaje basado en parámetros 2.7B. Creo que nuestra Raspberry Pi también puede manejar esto.

Para instalar y ejecutar este modelo, escriba el siguiente comando:

ollama run phi

Intente hacerle algunas preguntas, como hice yo: «¿Cuál es la diferencia entre un conmutador de red y un concentrador?»

Aquí está la respuesta completa para phi con detalles adicionales:

Phi de Ollama LL.M.

Lava

Este es el LLM más grande que he probado, ya que viene con parámetros 7B. Le pedí que describiera la imagen en lugar de hacer preguntas simples.

Estoy usando el modelo de 4 GB de Raspberry Pi 4 y no creo que funcione tan bien como los otros modelos de idiomas anteriores.

Sin embargo, probémoslo.Instalar llava Utilice este comando:

ollama run llava

La descarga de este modelo llevará algún tiempo ya que es grande, casi 3,9 GB.

Ollama instala llava LLM

Le pediré a este modelo que describa una imagen de un gato almacenada en /media/hdd/shared/test.jpg Tabla de contenido.

Imagen generada por Llava

Tuve que abortar el proceso a mitad de camino porque el tiempo de respuesta era demasiado largo (más de 30 minutos).

Pero como puede ver, la respuesta es muy precisa y si tiene la última Raspberry Pi 5 y 8 GB de RAM, puede ejecutar fácilmente un modelo de lenguaje de parámetros 7B.

en conclusión

Combinar el poder de Raspberry Pi 5 con Ollama crea una base sólida para cualquiera que esté interesado en ejecutar un LLM de código abierto localmente.

Si usted es un desarrollador que traspasa los límites de la informática compacta o un entusiasta ansioso por explorar el mundo del procesamiento del lenguaje, esta configuración ofrece innumerables oportunidades.

Cuénteme sus pensamientos y experiencias con Ollama en la sección de comentarios.

LEER  20 características y herramientas de seguridad útiles para administradores de Linux

Publicaciones relacionadas

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Botón volver arriba