La semana pasada, compartí un tutorial sobre el uso de PrivateGPT. Es una herramienta de inteligencia artificial que interactúa con archivos.
Ahora bien, esto está bien para usos limitados, pero si desea algo más que interactuar con archivos, querrá explorar otros proyectos.
Fue entonces cuando me encontré con un proyecto interesante llamado orama. Es un proyecto de código abierto que le permite ejecutar varios modelos de lenguaje grandes (LLM) localmente.
Mientras navegaba por la comunidad de Reddit, me encontré con una discusión sobre cómo ejecutar LLM en una Raspberry Pi.
Estaba interesado en verificar esta «afirmación», así que decidí ejecutar LLM localmente en mi Raspberry Pi 4 usando Ollama.
Permítanme compartir mi experimento con ustedes en este breve artículo.
📋
Este artículo supone que tiene conocimientos básicos de Inteligencia Artificial, LLM y otras herramientas y terminología relacionadas.
Instalación de Ollama en el sistema operativo Raspberry Pi (y otros Linux)
El proceso de instalación de Ollama es muy sencillo. Para instalar en Linux, debe obtener su script de instalación oficial y ejecutarlo. Este es el método oficial descrito en su sitio web.
Puedes descargarlo manualmente y leer lo que hace. O, si eres vago como yo, combínalos en un solo comando como este:
curl | sh
Explora los diferentes LL.M.
Una vez instalado, ahora puede ejecutar LLM en Pi y comenzar a chatear con la IA de inmediato.
En mis experimentos utilicé tinyllama , phi y llava maestro de la Ley. Pero puedes probar diferentes modelos de lenguaje grandes disponibles en la biblioteca de Ollama.
📋
Debe tener al menos 8 GB disponibles para ejecutar el modelo 7B, 16 GB para ejecutar el modelo 13B y 32 GB para ejecutar el modelo 33B.
pequeña alpaca
Comencemos con TinyLlama, que se basa en 1.100 millones de parámetros y es un candidato perfecto para un primer intento.
Para descargar y ejecutar TinyLlama, debe ingresar el siguiente comando:
ollama run tinyllama
Se necesitan unos segundos para descargar el modelo de idioma y, una vez hecho esto, puedes comenzar a chatear con él.
Mi pregunta para AI es: «¿Cuál es el caso de uso de la etiqueta div en html?»
Aquí está la respuesta completa y cuánto tiempo lleva completarla:
¡Bien bien! ¿Quién hubiera pensado que la inteligencia artificial funcionaría tan rápido en una Raspberry Pi?
filipino
Pasando a algunos modelos más grandes, como phi, que es un modelo de lenguaje basado en parámetros 2.7B. Creo que nuestra Raspberry Pi también puede manejar esto.
Para instalar y ejecutar este modelo, escriba el siguiente comando:
ollama run phi
Intente hacerle algunas preguntas, como hice yo: «¿Cuál es la diferencia entre un conmutador de red y un concentrador?»
Aquí está la respuesta completa para phi con detalles adicionales:
Lava
Este es el LLM más grande que he probado, ya que viene con parámetros 7B. Le pedí que describiera la imagen en lugar de hacer preguntas simples.
Estoy usando el modelo de 4 GB de Raspberry Pi 4 y no creo que funcione tan bien como los otros modelos de idiomas anteriores.
Sin embargo, probémoslo.Instalar llava Utilice este comando:
ollama run llavaLa descarga de este modelo llevará algún tiempo ya que es grande, casi 3,9 GB.
Le pediré a este modelo que describa una imagen de un gato almacenada en /media/hdd/shared/test.jpg Tabla de contenido.
Tuve que abortar el proceso a mitad de camino porque el tiempo de respuesta era demasiado largo (más de 30 minutos).
Pero como puede ver, la respuesta es muy precisa y si tiene la última Raspberry Pi 5 y 8 GB de RAM, puede ejecutar fácilmente un modelo de lenguaje de parámetros 7B.
en conclusión
Combinar el poder de Raspberry Pi 5 con Ollama crea una base sólida para cualquiera que esté interesado en ejecutar un LLM de código abierto localmente.
Si usted es un desarrollador que traspasa los límites de la informática compacta o un entusiasta ansioso por explorar el mundo del procesamiento del lenguaje, esta configuración ofrece innumerables oportunidades.
Cuénteme sus pensamientos y experiencias con Ollama en la sección de comentarios.
