Puede que odie la IA, pero no la odio. Considero que las herramientas de inteligencia artificial se utilizan bien y trato de incluirlas en mi flujo de trabajo siempre que tiene sentido.
Si bien los LL.M. convencionales como ChatGPT y Perplexity tienen buenos cursos gratuitos, roban datos de los usuarios. «Si no pagas por el producto, entonces tú eres el producto».
Por eso me gusta la idea de explorar la inteligencia artificial local y dedico bastante tiempo Pruebe un LLM que pueda ejecutarse en un sistema normal.
Recientemente descubrí a Jan AI. Es una aplicación de escritorio impecable y verdaderamente utilizable que se ejecuta completamente en mi máquina. De hecho, intenté reemplazar orama y llama cpp Con Jan AI, pero luego cambió de opinión.
Explicaré por qué volví a Ollama en una sección posterior. Primero, aprendamos sobre Jan AI.
¿Qué es Jane Eyre?
Jan es una aplicación de escritorio gratuita y de código abierto que le permite ejecutar una variedad de modelos de lenguajes grandes directamente en su propio hardware. Puede considerarlo como un ChatGPT autohospedado y con capacidad fuera de línea, excepto que el modelo se ejecuta en su CPU o GPU y no salen datos de su computadora.
El proyecto fue desarrollado por Jan.ai y el código fuente está disponible en GitHub bajo la licencia AGPL-3.0. Está construido sobre llama.cpp, lo que significa que puede ejecutar modelos GGUF cuantificados de manera eficiente incluso sin una GPU dedicada.
Estoy impresionado de que la aplicación de escritorio de Jan esté creada utilizando el marco Tauri en lugar de Electron JS, lo que le da un buen aumento de rendimiento y creo que utiliza menos RAM.
Una nota rápida: aún necesita suficiente RAM para ejecutar LLM local.
La aplicación es compatible con Linux, macOS y Windows. Lo estoy usando en mi máquina Linux.
Requisitos del sistema
Ejecutar un LLM local con Jan AI requiere un hardware decente. Aquí están las expectativas reales:
- Memoria mínima de 8 GB. Esto es suficiente para un modelo de parámetros 7B con cuantificación de 4 bits (Q4_K_M). Es posible que notes ralentizaciones cuando otras aplicaciones estén abiertas. 16 GB de RAM es la mejor opción. Puede ejecutar fácilmente el modelo 7B y permitirle probar el modelo 13B.
- La aceleración de GPU es opcional pero marca una gran diferencia. Jan es compatible con NVIDIA (a través de CUDA), AMD (a través de ROCm) e Intel Arc. Si no tienes una GPU compatible, el modo solo CPU también funciona, pero es mucho más lento.
- Los modelos de espacio en disco varían desde aproximadamente 4 GB (7B, Q4) hasta 8 GB+ (13B). Descarga sólo lo que necesitas.
📋
He estado ejecutando Jan en una máquina con 16 GB de RAM y sin GPU discreta, y los tiempos de respuesta en el modelo 7B me parecieron un poco utilizables.
Instalar Jan AI en Linux
Jan ofrece una variedad de formatos de instalación, incluyendo .deb y AppImage, pero recomendaría AppImage a la mayoría de los usuarios de Linux. Es un archivo independiente que puede ejecutarse en casi cualquier distribución sin tocar los paquetes del sistema ni requerir permisos de root en la aplicación misma. No necesita depender del infierno. Simplemente está diseñado para funcionar.
No entraré en detalles, pero si necesitas ayuda, mira esto. Guía para usar AppImage en Linux.
Cuando ejecuta Jan AI por primera vez, debería ver una interfaz como esta:
Descarga el modelo y deja que Jan se ponga a trabajar.
Un Jan recién instalado es esencialmente un caparazón vacío, capaz, pero esperando. Lo primero que debes hacer es conseguir el modelo. Piense en ello como si la aplicación es el marco y el modelo es el cerebro.
Encuentra tu camino al Centro Modelo
Hacer clic Hub en la barra lateral izquierda. Esta es la biblioteca de modelos incorporada de Jan, una lista seleccionada de modelos de código abierto que puedes descargar con un solo clic.
Hay decenas de modelos cuyos nombres son todos números y letras, p. Q4_K_M o IQ3_XS.
Antes de recomendar cuáles elegir, permítanme desmitificar rápidamente la sopa de letras, porque cuando comencé, pasé una cantidad vergonzosa de tiempo confundido acerca de esto.
Q4_K_M ¿Qué significa realmente?
Cada nombre de modelo va acompañado de una etiqueta de cuantificación. Cuantifique cómo comprimir los pesos originales de precisión total de un modelo para que se ajusten al hardware del consumidor. Aquí hay un desglose real:
- P4: Cuantización de 4 bits. La elección más común. El modelo 7B tiene aproximadamente 4 GB. Es rápido, eficiente en términos de memoria y la calidad es perfecta para las tareas diarias.
- Pregunta 8: Cuantización de 8 bits. Calidad casi completa, pero requiere aproximadamente el doble de memoria. Vale la pena probarlo si tienes 32 GB de RAM o más.
- K_M: Método de compresión específico (K-Quants, variante media). En términos generales, el mejor equilibrio entre velocidad y calidad de la serie Q4.
- XS (Extra Small): Esta es la compresión más agresiva. El tamaño del archivo que produce es ligeramente más pequeño que el Q4_K_S estándar.
💡
Si tienes entre 8 y 16 GB de RAM, quédate con ella Q4_K_M. Si tienes más de 32 GB, prueba Q8_0 para obtener resultados significativamente más limpios.
3 modelos LLM que probé
Estoy usando una computadora portátil AMD con GPU integrada. Elegí manipular la CPU con el modelo LLM nativo porque, según mi investigación, habilitar RoCm (Radeon Open Compute) es una tarea agitada. Requiere entre 25 y 30 GB de espacio en disco.
Para aquellos que no están familiarizados con AMD ROCm, es la respuesta a NVIDIA CUDA. Básicamente, cuando realiza un LLM nativo, las operaciones matemáticas pesadas (como multiplicaciones de matrices con miles de millones de parámetros) se pueden descargar a la GPU en lugar de a la CPU.
RoCm permite que software como Jan AI, PyTorch o Llama.cpp se comuniquen con las GPU AMD Radeon para hacer el mismo trabajo pesado. Sin él, Jan vuelve al modo de solo CPU, que funciona pero es significativamente más lento.
En este artículo, he seleccionado tres modelos que cubren una amplia gama de casos de uso. Le hice a cada modelo la misma pregunta: «¿Qué puedes hacer?» Esto es lo que encontré:
Gema nº 4
No mentí. El rendimiento no es muy bueno, sólo 5 tokens por segundo.
Gema nº 3
El rendimiento es peor que el del modelo Gemma 4 2B. Sólo hay 3 tokens por segundo. Creo que puedes lograr un rendimiento similar con la variante del modelo Gemma 3 2B.
yang
¡Sí! Jan proporcionó su propio modelo de inteligencia artificial. Utilicé el modelo Jan-v3-4b para realizar pruebas. Tiene una longitud de contexto de 262K. Puede seguir instrucciones y realizar algunas tareas de codificación sencillas.
Me gustan las características de Jan AI.
Echemos un vistazo a algunas de mis funciones favoritas de esta herramienta de inteligencia artificial de código abierto.
Interfaz unificada para LL.M local y en la nube.
Jan puede servir como una interfaz unificada para LLM local y en la nube, en lugar de saltar de Claude a ChatGPT y luego a Gemini. Puedes chatear con tu LL.M. favorito. en una sola interfaz.
Si bien interactuar directamente con Cloud LLM le quita privacidad, aún puede usar Jan AI como una interfaz unificada para interactuar con cualquier modelo en HuggingFace, Groq, Gemini, Qwen, Mistral y Claude a través de las API de sus respectivas plataformas.
Me gustan especialmente las API de Groq y Cerebras. Estas plataformas proporcionan una rápida disrupción.
Si su proveedor de modelo no está en la lista, aún puede agregarle un modelo compatible con OpenAI.
Para agregar uno nuevo, haga clic en el ícono más al lado de «Proveedor de modelos». Le pedirá un nombre. Ingrese un nombre y configure la BASE_URL y la clave API proporcionadas por la plataforma LLM.
Mantén tus chats organizados
Jan ofrece la posibilidad de organizar chats por proyecto.
Tailor Jan ofrece una experiencia personalizada
Puede editar los comandos del sistema. En cierto modo hace que el LL.M. actuar como un experto específico.
Servidor API local
Viene con un servidor API local. Puede iniciar el servidor de las siguientes maneras Settings -> Local API Server.
Úselo como herramienta para descargar el modelo AI de Llama.cpp
Los modelos descargados mediante la aplicación Jan AI son totalmente compatibles con la CLI Llama.cpp. Puede utilizar Jan como herramienta de descarga y luego ejecutar el modelo de IA descargado. llama-server uno Orden.
Jane CLI
Jan también proporciona una interfaz CLI para la interacción.
Mi honesta opinión sobre el uso de Jan AI con Ollama
Gracias a los desarrolladores que ayudaron a crear la aplicación Jan AI. Proporciona una agradable interfaz GUI para interactuar con el LL.M. En cambio, veo que la aplicación tiene margen de mejora.
El principal está relacionado con el tiempo de inferencia local del LLM. Probé el mismo modelo y descubrí que Jan AI tenía tiempos de inferencia más lentos en comparación con Ollama en el mismo hardware. Ollama produjo respuestas a una velocidad de 6,62 tokens/segundo, mientras que Jan AI produjo respuestas a aproximadamente 5 tokens/segundo.
En la segunda prueba, Ollama informó 7,35 tokens por segundo, mientras que Jan AI respondió con 3 tokens por segundo. Además, probé Llama.cpp para obtener el mismo modelo Gemma 5 E2B, con una velocidad de 3,97 tokens/segundo.
El segundo problema es que la aplicación Jan a menudo congela su sistema. Estoy de acuerdo en que ejecutar modelos LLM requiere mucha RAM, pero he tenido algunos intentos de usar el modelo Gemma 4 E2B donde el mensaje congelaba mi sistema. No tengo problemas similares con Ollama. Por eso conservo Ollama y Llama.cpp para la inferencia del modelo de IA local.
¿A quién sirve Jan AI?
Después de pasar algún tiempo con él, creo que Jan AI es particularmente adecuado para cierto tipo de personas. Necesito demostrar una cosa aquí, aunque en mis pruebas Jan tuvo dificultades para darme más de 5 tokens por segundo en modo CPU, ejecútelo en un sistema con una GPU moderna como Radeon GPU, Intel Arc, Nvidia 4050, etc. y podrá ver una gran mejora en el rendimiento, especialmente tokens por segundo. Puedes obtener entre 13 y 15 tokens por segundo.
Los usuarios preocupados por la privacidad quieren ayuda de la IA, pero no quieren compartir sus conversaciones con las empresas. En esta categoría entran abogados, periodistas, personal médico y cualquier persona que maneje información confidencial.
Desarrolladores que quieran un backend de IA nativo para sus herramientas. La compatibilidad con la API de OpenAI la hace compatible con una sorprendente cantidad de integraciones existentes.
Entusiastas de Linux a quienes simplemente les gusta el software FOSS y quieren tener su propia pila. El hecho de que tenga licencia AGPL y esté desarrollado activamente es una gran ventaja.
Personas con un presupuesto. No requiere tarifas API ni suscripciones. Puede ejecutarlo en hardware existente.
No es para todos. Si necesita capacidades de nivel GPT-4 para completar tareas de inferencia complejas, aún sentirá la brecha de calidad en comparación con el modelo de nube de vanguardia. Pero ¿qué pasa con la ayuda para escribir, resumir, hacer lluvias de ideas y realizar tareas diarias? Un modelo 7B o 13B bien ajustado hará el trabajo.
El panorama más amplio
La inteligencia artificial local ya no es un experimento de aficionados. Gemma 4, Gemma 3, Granite, modelo Jan AI y otros modelos de IA Pequeño LM2 se han vuelto lo suficientemente pequeños como para que las computadoras portátiles estándar puedan ejecutar cosas realmente útiles. Herramientas como Jan hacen que la configuración sea lo suficientemente simple como para que no sea necesario ser un investigador de aprendizaje automático para comenzar.
Jan AI no reemplazará los servicios en la nube de todos. Pero se ha convertido en una herramienta cotidiana para un número creciente de usuarios de Linux preocupados por la privacidad, el costo y el control. Te animo a que lo pruebes. Descárgalo, consigue el modelo 7B y comprueba hasta dónde te puede llevar.
