Ollama es un proyecto gratuito de código abierto que le permite ejecutar varios LLM de código abierto localmente.
Ya sea que desee aprovechar un LLM de código abierto como Codestral para la generación de código o utilizar LLaMa 3 como alternativa a ChatGPT, Ollama puede hacerlo realidad.
Pero estos son los objetivos finales que puedes lograr localmente usando Ollama en tu sistema. ¿Qué necesitas saber para lograr este objetivo? ¿Cómo haces todo esto?
En este artículo, proporcionaré toda la información básica sobre Ollama.
¿Qué es Orama?
Ollama es una herramienta gratuita de código abierto que permite a cualquiera ejecutar LLM abierto localmente en su sistema. Es compatible con Linux (distribución compatible con Systemd), Windows y macOS (Apple Silicon).
Es una herramienta de interfaz de línea de comandos (CLI) que le permite descargar fácilmente LLM y ejecutarlo de forma local y privada. Con unos pocos comandos podrás descargar modelos como Llama 3 y Mixtral.
Piénselo como Docker. Con Docker, puede descargar varias imágenes desde un repositorio central y ejecutarlas en contenedores. Asimismo, con Ollama puedes descargar varios LLM de código abierto y luego ejecutarlos en la terminal.
¿Cuáles son los requerimientos del sistema?
Para poder aprovechar Ollama, se necesita un sistema capaz de ejecutar modelos de inteligencia artificial.
Para empezar, necesitas una GPU para ejecutar cosas. En una CPU (o GPU integrada), esta sería una experiencia extremadamente lenta. Entonces, no recomendado.
A continuación, debes asegurarte de tener una GPU Nvidia/AMD con una potencia informática de al menos 5. Algunas GPU compatibles populares incluyen:
- Serie NVIDIA RTX 40×0, Serie NVIDIA RTX 30×0, GTX 1650 Ti, GTX 750 Ti, GTX 750
- AMD Vega 64, AMD Radeon RX serie 6000, AMD Radeon RX serie 7000
Puede encontrar la lista completa de GPU compatibles en la documentación oficial de Ollama.
¿Se puede utilizar Ollama con TPU o NPU?
Desafortunadamente, Ollama actualmente no es compatible oficialmente con TPU o NPU.
En caso de que tenga curiosidad, la TPU (Unidad de procesamiento tensor) es el circuito integrado (IC) de Google diseñado para flujos de trabajo de aprendizaje automático. Puede que no sea la solución más poderosa para ejecutar patrones de aprendizaje automático, pero usar Google Cloud puede hacer que las cosas sean convenientes, flexibles y asequibles en algunos casos.
NPU es una unidad de procesamiento neuronal, especialmente utilizada para tareas relacionadas con la inteligencia artificial. Piense en ellos como GPU, pero para IA.
Hay proyectos como ezrknpu que intentan proporcionar algunos modelos LLM que se ejecutan en NPU. Abhishek lo probó en ArmSoM Sige7, pero actualmente Ollama no usa NPU, requiere GPU.
¿Ollama sólo funciona en CPU?
Sí, puede, pero debe evitarse. Ollama está diseñado para utilizar GPU Nvidia o AMD. No reconoce la GPU Intel integrada. Aunque puedes ejecutar Ollama sólo en tu CPU, incluso si tu procesador de 16 núcleos está al máximo, el rendimiento estará muy por debajo de la media.
¿Cómo instalar Orama?
Si desea comenzar con Ollama en Linux, tenemos un excelente tutorial para usted:
Ejecute AI localmente con Ollama en Ubuntu Linux
Ejecutar inteligencia artificial de forma nativa en Linux se debe a que el código abierto nos permite hacerlo.
modelo orama
Ollama se enfoca en brindarle acceso a modelos abiertos, algunos de los cuales permiten el uso comercial y otros no.
Estos modelos están alojados en Ollama y debes descargarlos usando el siguiente comando de extracción:
ollama pull codestral
Su perfil no está capacitado en LLM ya que se ejecuta localmente en su dispositivo. Sin embargo, si lo desea, puede implementarlo como un servicio para interactuar con sus aplicaciones de software. Puede consultar su repositorio de GitHub para obtener más información.
Algunos modelos útiles proporcionados por Ollama incluyen:
- Camello 3: Una familia de modelos abiertos desarrollados por Meta Inc, con variantes preentrenadas y ajustadas a instrucciones
- brote: Un modelo abierto ligero desarrollado por Google DeepMind e inspirado en Google Gemini.
- Mistral: Potente modelo de código abierto disponible bajo la licencia Apache 2.0
- componer juntos: Los modelos de IA de Mistral están entrenados en más de 80 lenguajes de programación bajo una licencia de no producción
Puede encontrar todos los LL.M. disponibles enumerados en el portal de la Biblioteca Ollama. Puede verificar los detalles y extraerlos para usarlos en su dispositivo.
Si no necesita el modelo, simplemente puede eliminarlo usando el siguiente comando en Linux:
ollama rm codestral
¿Dónde se almacenan los modelos?
A veces, los usuarios informan que el espacio de almacenamiento no se libera incluso después de usar el comando de eliminación, lo que significa que la eliminación no se realizó correctamente.
Por lo tanto, en estos casos, o si desea eliminar varios modelos mediante una interfaz gráfica de usuario (GUI) o un administrador de archivos, necesita conocer la ubicación de almacenamiento. Esta es la ruta de almacenamiento predeterminada para los modelos descargados:
- Linux:
/usr/share/ollama/.ollama/models - Ventanas:
C:\Users\%username%\.ollama\models - Sistema Apple:
~/.ollama/models
¿Cómo detener a Orama?
Para Windows/macOS, puede ir al icono de la bandeja del sistema en la esquina inferior derecha o superior derecha (dependiendo de la ubicación de la barra de tareas) y hacer clic en Salir de Ollama.
Para Linux, debe ingresar el siguiente comando para detener la ejecución del proceso Ollama en segundo plano:
sudo systemctl stop ollama¿Cómo obtener la GUI de Ollama?
Ollama es una herramienta basada en CLI. Por lo tanto, no obtiene una interfaz gráfica de usuario para interactuar con el modelo o administrarlo de forma predeterminada. Sin embargo, puede instalar herramientas de interfaz de usuario web o interfaces GUI para interactuar con modelos de IA sin necesidad de una CLI. Puede explorar opciones consultando nuestra lista de verificación aquí:
12 herramientas para la interfaz de usuario web de Ollama
¿No desea utilizar la CLI de Ollama para interactuar con modelos de IA? ¡No te preocupes, tenemos algunas herramientas de interfaz de usuario web interesantes que puedes utilizar para facilitar las cosas!
en conclusión
Aunque existen muchas herramientas similares, Ollama se ha convertido en la herramienta más popular para ejecutar LLM localmente. La facilidad de uso para instalar rápidamente diferentes LLM lo hace ideal para principiantes que desean utilizar inteligencia artificial local.
Estoy intentando responder una de tus preguntas más frecuentes sobre Orama. Si aún tiene preguntas, no dude en preguntar en el área de mensajes.
