Bienvenido al Semanario Local de Inteligencia Artificial #4.
Hoy en día, el significado de “inteligencia artificial local” cambia constantemente. A veces el modelo se ejecuta en su computadora. A veces, solo la aplicación hace esto, mientras que el modelo y tu chat siguen ejecutándose en otro lugar.
Hay muchas de estas herramientas de “IA local” que no son verdaderamente locales. Antes de elegir una herramienta de IA local, pregúntese tres cosas: ¿dónde se realizará la inferencia, qué cuentas o servicios de red aún se requieren y qué le permite hacer la licencia? Las mejores herramientas de IA locales son aquellas que no requieren nada de esto.
🧪 En mi banco
Team It es un software gratuito y de código abierto que se ha trasladado de Discord a Buzz para el chat interno. zumbidoDesarrollado por la celebridad de Twitter Jack Dorsey, es una herramienta de comunicación descentralizada para humanos y agentes. El agente puede ejecutarse en un servidor remoto o en un arnés local en el ACP.
Tiene algunas peculiaridades. Las capturas de pantalla del portapapeles no se publican en los chats y las notificaciones del escritorio solo se activan para mensajes directos. Actualmente manejable.
El desarrollador de Kubutu, Rick Timmis, está desarrollando clarael asistente de IA de escritorio nativo para KDE Plasma. La idea es permitirle controlar su escritorio mediante la entrada de voz. Este trabajo está actualmente en progreso.
clara
Asistente de IA de escritorio nativo para Kubuntu y KDE Plasma. Las licencias de por vida comienzan desde £24. Vendido por Timmisun Ltd.
musa abierta es una aplicación de agente personal con licencia del MIT con un navegador de trabajo, tareas persistentes y una máquina Linux basada en Docker opcional. Puede alojarlo usted mismo, pero la instalación aún requiere una clave CopilotKit Intelligence y el proveedor de la nube realiza los ajustes preestablecidos de las tareas abiertas. Puede apuntarlo a un punto final compatible con OpenAI, pero no existe una ruta nativa de Ollama documentada. El software autohospedado no es un proxy fuera de línea confiable.
🎫 Obtenga la certificación MCP
La Fundación Linux ahora ofrece certificación en inteligencia artificial. este Asociación de contrato de contexto modelo Si está creando integraciones de MCP o desea una certificación de IA en su currículum, puede que le interese. Planeo tomarlo solo para aprender nuevas habilidades.
📡 Noticias de modelos abiertos
tomadores de decisiones abiertos Este es un uso más modesto para los modelos locales: responder preguntas limitadas, como a qué cola debe ir un ticket, en lugar de escribir respuestas largas. Su modelo nano tiene aproximadamente 400 millones de parámetros; el modelo pequeño 4B se basa en el adaptador de Qwen. El autor dice que ambos fueron extraídos de maestros más importantes e informa Nano es 2,0 GiB y Pequeño 8,9 GiB en la configuración de la prueba.
Básicamente, no siempre se necesita un modelo enorme para enrutar solicitudes regulares. Los modelos de estudiantes pequeños pueden clasificar antes que los agentes más lentos.
👀 Gran reloj tecnológico
Septiembre Anuncio de emparejamiento También promete una configuración más sencilla de modelos locales en Hermes y OpenClaw. El enrutamiento Hermes con un solo clic está disponible en Windows y «próximamente» en Linux. No confunda Future Path con la versión beta de Linux PAIR disponible ahora.
NVIDIA también cita un rendimiento de hasta 1,9 veces para la optimización de llama.cpp en el RTX 5090. Estos son números de proveedores en hardware específico, no la aceleración que espero.
🗂 Terminología de IA: destilación
Imagina que tienes un profesor enorme y súper inteligente que sabe todo sobre el mundo. El profesor tiene un cerebro grande, pero es tan grande que sólo puede permanecer en un enorme edificio de enseñanza.
La destilación de inteligencia artificial es como el gran maestro que comparte todos sus secretos con los niños pequeños (estudiantes).
En lugar de pedir a los niños que leyeran millones de libros de texto, el gran maestro dijo: «No te preocupes, sólo mírame resolver estos problemas y escucha cómo pienso».
Los niños pequeños observaron atentamente y aprendieron los ingeniosos atajos del maestro. Pronto, el niño se vuelve casi tan inteligente como el maestro, ¡pero con un cerebro mucho más pequeño!
Puedes aprender más sobre destilado aquí. Encontrará que profesor-alumno es un término oficial en este contexto.
😂 memes
Cuando las caídas de peso libre parecen demasiado familiares…
⚡ Consejo rápido: haga una copia de seguridad de su agente Hermes antes de necesitar reconstruir su arnés
Número anterior: ollama pspara ver si su modelo está realmente en la GPU. Esta semana, asegúrese de reconstruir también el entorno que lo rodea.
Si ejecutas Hermes, simplemente ejecuta hermes backup. Escribirá en el ZIP de su hogar Hermes, incluida la configuración y el estado, para su uso posterior. hermes import path/to/backup.zip. hermes backup --keep N el número máximo de copias de seguridad a conservar, y Sólo se ejecutan trabajos cron de script No es necesario iniciar el agente para proceder según lo planeado.
Luego, saque una copia cifrada de la computadora. Este archivo guarda credenciales, sesiones, memoria y configuración, así que no coloque el ZIP original en Git, ni siquiera para un repositorio privado. Esto no sería prudente.
Nos vemos la próxima semana.
Si esto le ayuda, considere el software gratuito que lo admite.
Su FOSS ha ayudado a la gente a utilizar Linux durante los últimos 14 años. Ayúdanos a ser independientes de las grandes empresas tecnológicas. Conviértase en miembro Plus para disfrutar de una lectura sin publicidad y obtener 5 libros electrónicos.
