A medida que la inteligencia artificial continúa integrándose en nuestra vida diaria, hay un claro cambio hacia modelos de lenguaje más pequeños y eficientes que pueden ejecutarse de forma nativa en el dispositivo.
pequeño LMes parte de la creciente tendencia de modelos de lenguaje compactos y es un gran ejemplo de cómo podemos acercar la inteligencia artificial a los usuarios sin depender de una infraestructura masiva basada en la nube.
Este artículo profundiza en la experiencia SmolLM en Raspberry Pi utilizando un modelo de parámetros de 1.7B, explorando sus capacidades y cómo opera en hardware limitado.
Tabla de Contenidos
¿Qué es SmolLM?
pequeño LM Se trata de una serie de modelos de lenguaje pequeños y eficientes diseñados para ejecutarse en dispositivos locales sin mucho impacto en el rendimiento.
Al aprovechar un conjunto de datos de entrenamiento optimizado que incluye una combinación de contenido sintético y educativo, SmolLM logra un fuerte equilibrio entre potencia y eficiencia.
Viene en tres tamaños: parámetros 135M, 360M y 1.7B, este último proporciona la máxima profundidad para manejar tareas complejas.
El núcleo del desempeño de SmolLM es Corpus SmolLMuna colección de conjuntos de datos cuidadosamente seleccionada que mejora la comprensión del modelo en todos los dominios.
Los componentes clave del corpus incluyen:
- Enciclopedia del universo v2: Este conjunto de datos contiene 28 mil millones de tokens de libros de texto e historias sintéticos, lo que proporciona una rica base de conocimientos que mejora la capacidad del modelo para generar respuestas informativas y contextuales.
- Educación sobre Python: Este conjunto de datos contiene 4 mil millones de tokens y se centra en ejemplos educativos de código Python. Le brinda a SmolLM una sólida comprensión de los conceptos de programación, lo que lo hace ideal para aplicaciones de codificación y educación tecnológica.
- FineWebEducación: Este conjunto de datos de deduplicación contiene 220 mil millones de piezas de contenido web educativo, lo que garantiza que los modelos puedan acceder a información diversa y de alta calidad, lo cual es fundamental para las tareas de inferencia.
Estos componentes permiten que SmolLM funcione bien en pruebas comparativas que se centran en el sentido común y el razonamiento técnico, manteniendo al mismo tiempo un tamaño de modelo relativamente compacto.
Probando SmolLM en Raspberry Pi
Para ejecutar SmolLM en una Raspberry Pi 5, usé orama existir --verbose modelo. Este modo proporciona una comprensión más profunda de cómo SmolLM maneja las tareas, lo que puede resultar útil para comprender la eficiencia del modelo en hardware Pi.
En el vídeo a continuación, puse a prueba SmolLM con 1.7B de parámetros y formulé las siguientes preguntas:
«Explique la diferencia entre máquinas virtuales y contenedores Docker en cinco oraciones o menos».
Me impresionó la rapidez con la que respondió SmolLM y la precisión con la que respondió las preguntas. Los tiempos de respuesta son bastante razonables para un modelo de tamaño comparable que se ejecuta en una Raspberry Pi.
Esta es la salida detallada:
total duration: 54.84240188s
load duration: 13.697837ms
prompt eval count: 28 token(s)
prompt eval duration: 2.387581s
prompt eval rate: 11.73 tokens/s
eval count: 393 token(s)
eval duration: 52.398543s
eval rate: 7.50 tokens/sLos datos de salida proporcionan una comprensión clara de la velocidad del modelo y los requisitos de recursos. Aquí tienes una explicación detallada de su rendimiento:
- duración total: Toda la operación dura unos 54,84 segundos, lo que significa que tarda casi un minuto de principio a fin. Esto incluye cargar, evaluar indicaciones y procesar la salida del modelo.
- duración de la carga: El modelo se carga casi de inmediato, en solo 13,70 milisegundos, lo que demuestra una inicialización eficiente en Ollama.
- evaluación oportuna: El mensaje inicial consta de 28 tokens y se evalúa en 2,39 segundos, lo que se traduce en aproximadamente 11,73 tokens por segundo. Esta velocidad puede ser ligeramente limitante para mensajes complejos de varias partes, pero es útil para mensajes más cortos.
- Evaluación del modelo: Se procesaron 393 tokens en 52,40 segundos, con una tasa de evaluación promedio de 7,50 tokens por segundo. Si bien no es la más rápida, esta velocidad muestra que smolLM funciona bien para la generación de texto conciso, aunque puede quedar rezagado con respecto a tareas más largas e intensivas.
¿Dónde podemos utilizar SmolLM?
Los modelos de lenguajes pequeños como SmolLM están diseñados para ejecutarse de manera eficiente en hardware básico sin depender de servicios basados en la nube.
Su tamaño compacto los hace ideales para una variedad de aplicaciones, especialmente donde el procesamiento local es crítico.
A continuación se muestran algunos casos de uso específicos que resaltan los beneficios de estos modelos:
aplicación móvil
Los modelos de lenguaje pequeño pueden mejorar los dispositivos móviles al integrarse directamente en las aplicaciones, reduciendo así la dependencia de los servicios en la nube.
Por ejemplo, información de manzana y Samsung Galaxy IA Utilice inteligencia artificial eficiente para responder rápidamente a las consultas de los usuarios y, al mismo tiempo, ahorrar batería.
Esto permite interacciones fluidas sin los retrasos asociados con el procesamiento en la nube, lo que hace que las tareas diarias sean más eficientes.
Atención al cliente local
En un entorno de servicio al cliente, los modelos de lenguaje pequeños pueden impulsar chatbots que se ejecutan localmente en el dispositivo.
Esta configuración permite respuestas rápidas y contextuales sin necesidad de una conexión a Internet, lo que garantiza soporte continuo incluso sin conexión.
Al implementar soluciones locales efectivas de IA, las empresas pueden beneficiarse de una experiencia de usuario mejorada y costos operativos reducidos.
herramientas educativas
SmolLM se puede integrar en aplicaciones educativas para generar materiales de aprendizaje personalizados directamente en el dispositivo del usuario.
Esta capacidad de procesamiento local garantiza que los datos confidenciales permanezcan privados y bajo el control del usuario, lo que la convierte en una opción atractiva para instituciones educativas y estudiantes que priorizan la seguridad de los datos.
Asistencia de código y automatización.
Los desarrolladores pueden utilizar pequeños modelos de lenguaje para realizar tareas de generación de código y depuración en la computadora local.
Al proporcionar recomendaciones instantáneas e identificación de errores sin necesidad de una conexión a la nube, estos modelos pueden aumentar la productividad y optimizar los flujos de trabajo, incluso en hardware menos potente.
Investigación y creación de prototipos.
Para los investigadores de IA, los modelos de lenguaje pequeños ayudan a permitir una experimentación y creación de prototipos más rápidas.
La ejecución local permite a los investigadores iterar rápidamente sin los costos y limitaciones asociados con las soluciones basadas en la nube. Esta flexibilidad fomenta la innovación y acelera el desarrollo de nuevas aplicaciones de IA.
Al aprovechar la potencia de procesamiento local, los modelos de lenguajes pequeños como SmolLM y Phi proporcionan una gama de aplicaciones que apoyan a los usuarios y minimizan la dependencia de servicios externos.
Su capacidad para operar eficazmente en hardware común las convierte en herramientas versátiles en diversos dominios, desde aplicaciones móviles hasta plataformas educativas y de atención al cliente, lo que garantiza que la tecnología de IA siga siendo accesible y eficiente.
en conclusión
SmolLM representa un enfoque transformador de la inteligencia artificial, que demuestra que los modelos más pequeños pueden lograr resultados significativos sin los enormes requisitos de recursos de los modelos más grandes.
Al ejecutar SmolLM en una Raspberry Pi, fuimos testigos de primera mano de su impresionante velocidad y precisión, destacando su potencial en una variedad de aplicaciones.
A medida que la industria pase al despliegue local de tecnología de inteligencia artificial, las ventajas de modelos como SmolLM seguirán aumentando.
Esta evolución no sólo mejora el rendimiento, sino que también crea un entorno más centrado en la privacidad para los usuarios.
Creo que la adopción de modelos tan innovadores allanará el camino hacia una nueva era de soluciones de IA accesibles y eficientes.
