Desde su lanzamiento Piense en la inteligencia artificialCada medio tecnológico perdió la cabeza. Continúa rompiendo los registros, rompiendo el punto de referencia y se convierte en la marca preferida en el campo de la innovación de inteligencia artificial.
Recientemente, accidentalmente encontré una publicación incógnita Oye (no me juzgues, quiero mudarme Cielo azul ¡pronto!
Mi cabeza comenzó a girar. «Wow ah ah ah ah ah ah ah ah?«
Naturalmente, estoy destinado a rodar todo el hilo para entenderlo. Resulta que esta persona usa módulos de acelerador de inteligencia artificial para lograr estos números en la parte superior del PI.
Pero la curiosidad es una poderosa motivación. Como no tengo módulos de IA a mi alrededor, creo, ¿por qué no probar la eficacia original de Deepseek en Raspberry Pi 5 ordinaria? ¿Quién me detiene?
Por lo tanto, para este artículo, lo instalé Orama Descargar y descargar en mi PI 5 (modelo de 8 GB) Modelo de búsqueda profunda Hay parámetros diferentes (es decir, 1.5b, 7b, 8b y 14b de parámetros).
El siguiente es el rendimiento de todos:
Búsqueda profunda 1.5b
Este modelo es muy animado. Su velocidad de respuesta es sorprendente y puede manejar fácilmente la misión de interpretación. No he encontrado ninguna alucinación, lo que lo convierte en una elección confiable para tareas diarias como resúmenes y generación de texto.
Estadísticas de rendimiento
Para probar aún más su capacidad, hice la pregunta: ¿Cuál es la diferencia entre Podman y Docker?
El modelo ofrece una respuesta lo suficientemente buena, rompiendo claramente las diferencias entre las dos herramientas de contenedores.
Hace hincapié en que Podman no tiene un proceso Guardian, y Docker se basa en el proceso Guardian e implica aspectos de seguridad como las operaciones sin raíces.
Esta respuesta toma aproximadamente dos minutos.
total duration: 1m33.59302487s
load duration: 44.322672ms
prompt eval count: 13 token(s)
prompt eval duration: 985ms
prompt eval rate: 13.20 tokens/s
eval count: 855 token(s)
eval duration: 1m32.562s
eval rate: 9.24 tokens/sBúsqueda profunda 7b
El modelo 7B presenta muchas alucinaciones. Traté de escribir un recordatorio creativo, preguntando tres oraciones, pero comenzó a producir un texto interminable, ¡e incluso me hizo una pregunta!
Aunque es interesante, no es completamente práctico. Para el propósito de la prueba de referencia, simplifiqué el aviso, como se muestra en la película. Desde una perspectiva de rendimiento, es más lento, pero sigue siendo efectivo.
Estadísticas de rendimiento
Para probarlo más, pregunté: ¿Cuál es la diferencia entre Docker Compose y Docker Run? La respuesta es una combinación de información precisa e inexacta.
Explica correctamente la composición de Docker por ello docker-compose.yml Archivos, Docker Run generalmente se usa para ejecutar contenedores individuales con señales específicas.
Sin embargo, pronto comenzó a hacerse la pregunta: «Pero para una sola aplicación, como una aplicación de frasco simple en una máquina, ¿puede Docker ejecutarse? ¿O hay otros comandos o métodos?
Los datos de rendimiento son los siguientes:
total duration: 4m20.665430872s
load duration: 39.565944ms
prompt eval count: 11 token(s)
prompt eval duration: 3.256s
prompt eval rate: 3.38 tokens/s
eval count: 517 token(s)
eval duration: 4m17.368s
eval rate: 2.01 tokens/sBúsqueda profunda 8b
Esto es desconocido. Teniendo en cuenta el grado de consumo de estos modelos de recursos, nunca esperé que el modelo 8B pudiera funcionar. Para mi sorpresa, ¡tuvo éxito!
El rendimiento es equivalente al modelo 7B.
Estadísticas de rendimiento
Lo pruebo preguntando, «Escriba el modelo HTML y el modelo CSS». Este modelo genera con éxito modelos HTML y CSS funcionales en un bloque de código de programa único para garantizar que estén bien emparejados.
Sin embargo, antes de ingresar a la solución, el modelo explica su método, lo que hará y lo que se puede agregar.
Aunque esto proporciona información rica, se siente innecesario para consultas simples. Si diseño con mayor precisión, la respuesta puede ser más directa (incluso si el usuario está equivocado).
Esta es la subdivisión de rendimiento:
total duration: 6m53.350371838s
load duration: 44.410437ms
prompt eval count: 13 token(s)
prompt eval duration: 4.99s
prompt eval rate: 2.61 tokens/s
eval count: 826 token(s)
eval duration: 6m48.314s
eval rate: 2.02 tokens/s¿Búsqueda profunda 14b?
Desafortunadamente, esto no funciona. El modelo 14B requiere más de 10 GB de RAM, y mi PI de 8 GB no se puede procesar. Después de que el modelo 8B tuvo éxito, tenía grandes esperanzas, pero desafortunadamente, la realidad me dio un fuerte golpe.
en conclusión
La eficacia original de Deepseek en Raspberry Pi 5 muestra el potencial del crecimiento de SBC en las cargas de trabajo de IA.
El modelo 1.5B es una opción práctica para tareas livianas, mientras que los modelos 7B y 8B muestran la capacidad de PI para procesar cargas de trabajo más grandes, aunque la velocidad es lenta.
Me alegro de estar Armsom AIM7 Tener 6 tops NPUS. Es Chipset RK3588 Puede lanzar una mejor eficiencia, presentaré estos resultados en futuros artículos.
Si está interesado en mis más experimentos, consulte este artículo, donde ejecuto 9 LLMS populares en Raspberry Pi 5.
Antes de eso, les deseo a todos una feliz reparación y recuerde: no le pidan inteligencia artificial que escriba una oración, a menos que desee una leyenda interminable. Desolado
