Como socio tecnológico clave de NVIDIA, Canonical se enorgullece de mostrar una vez más nuestras soluciones conjuntas en NVIDIA GTC. Asista personalmente a NVIDIA GTC del 18 al 21 de marzo de 2024 para analizar las tendencias de desarrollo futuras de la IA y la computación acelerada. Mostraremos cómo las soluciones de inteligencia artificial de código abierto pueden llevar sus modelos a producción desde el borde a la nube en las salas de exhibición de MLOps y LLMOps, stand 1601.
A medida que el mundo se vuelve más conectado, existe una creciente necesidad de extender el procesamiento de datos desde el centro de datos a los dispositivos periféricos en el campo. Como todos sabemos, la computación en la nube proporciona una gran cantidad de recursos para la adopción, procesamiento, almacenamiento y análisis de inteligencia artificial, pero no puede admitir todos los casos de uso. La implementación de modelos en dispositivos perimetrales amplía el alcance de sus dispositivos de IA, lo que le permite procesar algunos datos localmente y obtener información inmediata sin depender completamente de un centro de datos centralizado o de la nube. Esto es especialmente importante cuando la implementación de aplicaciones de IA en nubes centralizadas o centros de datos empresariales no es práctica o imposible debido a problemas relacionados con la latencia, el ancho de banda y la privacidad.
Por lo tanto, una solución que sea escalable, repetible y portátil es ideal para proyectos de producción. Canonical proporciona una pila integral de IA a través de software de código abierto. Es posible que su organización necesite proyectos de IA desde la nube hasta el borde, proporcionándole:
- Obtenga la misma experiencia en dispositivos perimetrales y en cualquier nube, ya sea privada, pública o híbrida
- Gestión del ciclo de vida simplificada y con pocas operaciones
- Kit modular de código abierto para implementación reutilizable
Reserva una reunión con nosotros
Para probar nuestra pila de IA, durante NVIDIA GTC 2024, demostraremos cómo las soluciones de infraestructura de IA basadas en Kubernetes pueden aprovechar las mejores capacidades de hardware de NVIDIA para ayudar a crear planos de ciudades inteligentes. Cubriremos la capacitación en la nube y el centro de datos, y demostraremos las soluciones implementadas en el borde de los dispositivos basados en Jetson Orin. Vea los detalles a continuación y reúnase con nuestros expertos en el sitio.
Abstracto:
La inteligencia artificial ya no se limita a los centros de datos; se ha expandido a las operaciones de borde. Algunos modelos requieren una latencia baja y, por lo tanto, deben ejecutarse cerca del usuario final. Aquí es donde la informática de punta optimizada para la inteligencia artificial se vuelve fundamental. Entre los casos de uso más populares en las ciudades inteligentes modernas, muchos prevén el despliegue de asistentes en toda la ciudad como dispositivos de «punto de contacto» que podrían usarse en paradas de autobús, metro y más. Interactúan con la infraestructura backend para manejar las condiciones cambiantes mientras los usuarios viajan por la ciudad. Esto requiere procesar datos locales recopilados de infraestructuras como puertas de enlace de IoT, cámaras inteligentes o autobuses. Con los módulos NVIDIA Jetson, estos datos se pueden procesar localmente para obtener información rápida y de baja latencia basada en IA. Luego, debido a las capacidades informáticas locales limitadas del dispositivo, el procesamiento de datos debe descargarse a la infraestructura de borde o back-end. Con el poder de Tegra SoC, los datos se pueden agregar en dispositivos perimetrales y luego enviarlos a la nube para su posterior procesamiento. Los mecanismos de implementación de código abierto permiten configuraciones tan complejas a través de administración automatizada, operaciones del día siguiente y seguridad. Canonical se ha asociado con NVIDIA para desarrollar una infraestructura de software de código abierto que simplifique la implementación de clústeres de Kubernetes perimetrales con múltiples GPU. Detallaremos estos mecanismos y cómo orquestan la implementación de la infraestructura de aprendizaje automático/IA basada en Kubernetes en planos de ciudades inteligentes para beneficiarse de las capacidades del hardware de NVIDIA en dispositivos e instancias en la nube.
Ponente: Gustavo Sánchez, Arquitecto de Soluciones de Inteligencia Artificial, Canonical
Iniciar un piloto de aprendizaje profundo dentro de una empresa conlleva su propio conjunto de desafíos, pero escalar el proyecto a una implementación a nivel de producción trae muchas dificultades adicionales. Estos están relacionados principalmente con el aumento de los requisitos operativos, de hardware y de software que conllevan proyectos más grandes y complejos.
Canonical y NVIDIA ofrecen soluciones integradas de extremo a extremo, desde Ubuntu optimizado para hardware hasta orquestación de aplicaciones y MLOps. Ayudamos a las organizaciones a desarrollar, optimizar y escalar cargas de trabajo de aprendizaje automático.
Canonical mostrará 3 demostraciones para guiarlo a través de nuestras soluciones conjuntas de IA/ML con NVIDIA:
- Aprovechar la infraestructura nativa de la nube de código abierto para acelerar las implementaciones de IA de borde en ciudades inteligentes: esforzarse por encontrar una arquitectura para resolver los desafíos de la IA de borde, como la eficiencia del software, la seguridad, el monitoreo y las operaciones del segundo día. Canonical se ha asociado con NVIDIA para desarrollar una infraestructura de software de código abierto que simplifique la capacitación en nubes públicas y privadas, así como la implementación y operación de modelos de IA en clústeres de borde, y brinde acceso a las capacidades de GPU de NVIDIA.
- MLOps de extremo a extremo con herramientas de código abierto para capacidades de nube híbrida: la optimización de costos, la privacidad de los datos y el rendimiento de HPC en las GPU son algunas de las razones por las que las empresas deben considerar soluciones de nube privada, nube híbrida y nube múltiple para su infraestructura de datos e inteligencia artificial. . La infraestructura de código abierto independiente de la nube para operaciones de aprendizaje automático brinda a las empresas la flexibilidad de escalar más allá del bloqueo de proveedores de nube pública, alinearse con restricciones limitadas de cumplimiento de datos y tener la capacidad de utilizar plenamente sus recursos de hardware al tiempo que permite la automatización diaria de operaciones.
- Infraestructura de código abierto LLM y RAG: esta demostración muestra la implementación de una solución de extremo a extremo, desde la recopilación y limpieza de datos hasta el entrenamiento y el uso de inferencia de un modelo de lenguaje grande de código abierto integrado en una plataforma de código abierto que utiliza tecnología de generación de recuperación aumentada. Base de datos de vectores de origen. Muestra cómo extraer información del sitio web de una empresa pública e incrustarla en una base de datos de vectores y utilizarla mediante el modelo LLM.
Compruébelo en el stand 1601 de Canonical en GTC.
Si está interesado en construir o escalar sus proyectos de inteligencia artificial utilizando soluciones de código abierto, estamos aquí para ayudarlo. Visite ubuntu.com/nvidia para explorar nuestros productos de centros de datos federados.
