Los tokens por vatio (TpW), una medida del trabajo útil de IA generado por vatio de energía consumida, es una métrica prioritaria tanto para los directores ejecutivos como para los líderes de IA y los equipos de infraestructura. Debido al enorme costo de los clústeres de GPU, es fundamental obtener el mayor valor posible del costo.
Pero en la búsqueda de tokens, es importante recordar que la eficiencia del hardware no es el único factor que afecta los costos operativos del centro de datos o la producción de trabajo de IA útil y generador de ingresos. Si bien TpW es fundamental, también debemos considerar el tiempo de obtención de valor y el impacto en la productividad humana, que se determina en gran medida a nivel de software.
Estamos haciendo de Ubuntu la base del software para una IA eficiente y, en este artículo, compartiré algunos ejemplos de lo que significa que estamos optimizando Ubuntu para la IA. Con Ubuntu 26.04 LTS, no solo ayudamos a las organizaciones a sacar más provecho de su hardware, sino que también hacemos que la vida de los equipos que dependen y soportan pilas de IA sea más fácil y eficiente.
Sistema operativo optimizado para chip
¿Cómo extraer más tokens del hardware? La opinión común es priorizar la optimización del modelo, el uso de GPU, el tiempo hasta el primer token y los tokens por segundo. Sin embargo, también es importante contar con una capa de software que permita aprovechar al máximo el chip.
El sistema operativo anfitrión desempeña un papel fundamental en la pila de infraestructura de inteligencia artificial. Este es el «núcleo» no sólo porque es importante, sino también porque está en el centro de la pila, actuando como un puente entre lo duro y lo blando. El sistema operativo gestiona las operaciones subyacentes, por lo que es responsable de garantizar que puedas aprovechar al máximo las GPU y otros aceleradores de IA.
Teniendo esto en cuenta, la especificación Trabajar con proveedores de chips (como NVIDIA, AMD, Intel, Arm y Qualcomm, así como plataformas RISC-V) Optimice Ubuntu en todas las arquitecturas principales. Esta optimización ayuda a garantizar que se utilice la máxima potencia para las cargas de trabajo de IA en lugar de la sobrecarga del sistema operativo.
También trabajamos con socios para certificar hardware. Al proporcionar soporte de arranque seguro y entrega de firmware estandarizados y preintegrados, Canonical permite a las organizaciones evitar la ingeniería de sistema operativo personalizada para cada nueva pieza de hardware agregada a la pila. Las empresas pueden lograr valor más rápidamente y ahorrar recursos de ingeniería.
Integración del kit de herramientas de comando único
Sigamos con el tema de acelerar la realización de valor y aumentar la productividad humana. Incluso en la era de la inteligencia artificial, Ubuntu sigue siendo Linux para la humanidad, y un pilar central de nuestra filosofía es minimizar la fricción involucrada en la implementación y operación de la infraestructura de inteligencia artificial para nuestros usuarios.
Con este fin, estamos trabajando con NVIDIA y AMD para integrar y distribuir soluciones críticas de inteligencia artificial con Ubuntu. A partir de Ubuntu 26.04 LTS, los usuarios pueden obtener NVIDIA CUDA, AMD ROCy NVIDIA DOCA-OFED Cada uno tiene un mando.
Marco GPGPU
NVIDIA CUDA y AMD ROCm son marcos para informática de uso general en unidades de procesamiento de gráficos (GPGPU). Son una capa de software crítica que permite a los desarrolladores aprovechar el rendimiento masivo de las GPU NVIDIA y AMD para cargas de trabajo de IA.
Históricamente, la instalación de estos marcos ha requerido un proceso de varios pasos y resolver problemas de dependencia y compatibilidad a menudo puede ser un desafío, especialmente para usuarios sin experiencia. Pero para Ubuntu 26.04 LTS, NVIDIA CUDA o AMD ROCm solo pueden instalar uno Fácil de instalar Orden.
El nuevo modelo de distribución puede ahorrarles a los equipos tiempo o incluso días dedicados a configurar marcos GPGPU, para que las organizaciones puedan comenzar a obtener valor de las GPU más rápidamente. Canonical también garantiza que los usuarios tengan una ruta de actualización fluida, para que puedan actualizar con confianza y obtener los beneficios de las últimas funciones para estas plataformas.
¿Tiene preguntas sobre AMD ROCm en Ubuntu? Acabamos de publicar una inmersión profunda.
red de alto rendimiento
Para organizaciones más grandes fábrica de inteligencia artificial y clústeres HPC, NVIDIA DOCA-OFED es una de las pilas de red de alto rendimiento preferidas. Sin embargo, tradicionalmente, la desventaja para lograr una latencia ultrabaja y una transferencia de datos de alto rendimiento ha sido la complejidad de la configuración y el mantenimiento. Los administradores del sistema deben administrar los controladores de red a través de instaladores externos o compilaciones manuales complejas, lo que puede provocar conflictos de versiones o discrepancias en los núcleos durante las actualizaciones del sistema operativo.
Ahora NVIDIA DOCA-OFED se puede instalar sin problemas y se simplifica toda la gestión del ciclo de vida. Además de una instalación rápida, el nuevo flujo de trabajo resuelve desafíos operativos comunes, como la desviación del núcleo, las incompatibilidades de controladores y la corrupción de CI después de las actualizaciones del núcleo o del sistema operativo. Los equipos de infraestructura pueden ofrecer velocidad y estabilidad al mismo tiempo que conservan recursos.
Optimizado para hardware y personas
El vicepresidente de ingeniería de Canonical, Jon Seager, escribió recientemente sobre el futuro de la inteligencia artificial en Ubuntu. Finalmente señaló: «Ubuntu no se convertirá en un producto de inteligencia artificial». Pero estamos comprometidos a hacer que Ubuntu se convierta promotor para la inteligencia artificial. Ya sea que se trate de una optimización profunda para cada arquitectura a nivel de chip o de una simplificación de la adopción del kit de herramientas y la gestión del ciclo de vida a nivel de usuario, Ubuntu es la capa de software que respalda una estrategia eficaz de infraestructura de IA. Le ayuda a obtener más tokens por vatio y, además, le ayuda a obtener valor más rápido y ayuda a reducir los costos operativos de su pila.
Si desea obtener más información sobre las mejores prácticas de infraestructura de IA y cómo Ubuntu encaja en su estrategia de IA, lea la Guía empresarial sobre infraestructura privada de IA.
