Local AI Weekly #8: Toda tu RAM nos pertenece

El director ejecutivo de OpenAI, Sam Altman, dijo que la mayor parte de la DRAM limitada del mundo se almacena en computadoras personales y que las computadoras personales solo se usan el 5% del tiempo, lo cual es «muy aterrador». En su opinión, haría más trabajo en el centro de datos.

¿Mi opinión? La RAM libre es el precio de tener una computadora. Nadie puede alquilarlo, subir el precio o cerrarlo. Esta propiedad es la razón por la que existe este boletín.

Pero esa es la versión corta. He estado ocupado últimamente y no he podido explorarlo en profundidad. Pero todavía hay suficiente memoria aquí para mantener la RAM ocupada más del 5% del tiempo. Acéptalo, Ultraman.

Superwhisper ya está disponible en Linux. La popular aplicación de dictado para Mac ahora tiene una aplicación nativa de Linux para entrada de voz en todo el sistema. Puede transcribir de forma nativa en su CPU o GPU, o transmitir audio a la nube para mayor velocidad. No es un software de código abierto.

sonido Para cualquiera que esté dispuesto a permanecer en código abierto. Esta aplicación de dictado sin conexión con licencia del MIT transfiere texto a cualquier aplicación que utilice en Wayland y X11. También puede ajustar su modelo basándose en sus propias grabaciones mientras su computadora está inactiva, y solo cambiar a un nuevo modelo cuando su puntuación sea mejor.

Proxy OpenKruise Sandbox para ejecutar agentes de IA en su propio clúster de Kubernetes. Curiosamente, su clave API nunca entra en la zona de pruebas. El proxy de salida los extrae de Kubernetes Secrets y los agrega a cada solicitud a medida que se emite. También agrega reglas de salida L4/L7 y listas de permisos para herramientas MCP para que los servidores proxy inyectados con pistas no puedan ingresar a su red interna. Demasiado para un portátil. Vale la pena echarle un vistazo si aloja a un agente para su equipo.

🐧 IA en el núcleo

Linux 7.4-rc1 ha sido lanzado y su La ventana de fusión es la más grande jamás registrada. 19.671 presentaciones en comparación con 16.267 para 7.3.

Torvalds atribuye el mérito a una ola de correcciones de errores descubiertos por la inteligencia artificial. Prefiere obtenerlos durante la ventana de fusión que realizar correcciones tardías durante la fase RC, diciendo que es un modelo más saludable. También reconoció que tal vez no todo sea inteligencia artificial. Se espera que 7.4 sea el próximo kernel LTS, y un tercio del parche son encabezados de scratchpad de GPU AMD.

👀 Gran reloj tecnológico

Ahora sabes por qué Altman está vigilando tu RAM.

Nikkei Asia informó que Obligaciones de inteligencia artificial fuera de balance Alphabet, Microsoft, Amazon, Meta y Oracle crecieron un 90% en seis meses hasta aproximadamente 3,2 billones de dólares. Todos los arrendamientos de centros de datos firmados pero aún no iniciados, así como pedidos de chips y servidores. Si reflejan esto en su balance, el precio de sus acciones caerá aún más.

Los centros de datos de billones de dólares requieren enormes cantidades de RAM para llenarse. Al parecer, el tuyo está incluido (según Sam Altman).

🗂 Terminología de IA: caché KV

Cuando el modelo genera texto, almacena algunos datos de trabajo para cada token en la conversación para que no sea necesario volver a calcularlos. Esta tienda es la caché KV (clave-valor).

Crece con la longitud del contexto. Esta es la razón por la que los modelos que funcionan bien en chats cortos pueden quedarse sin memoria una vez que se pegan en archivos largos.

😂 memes

Hay más emoticonos Nuestra página de Instagram.

¿Cuáles son sus exploraciones recientes en inteligencia artificial local?