Implemente aplicaciones GenAI utilizando Charmed Kubeflow y NVIDIA NIM de Canonical

Han pasado más de dos años desde que la inteligencia artificial generativa (GenAI) despegó con el lanzamiento de ChatGPT. Desde entonces, se han lanzado diversas aplicaciones, modelos y bibliotecas para satisfacer las necesidades del mercado y simplificar las actividades comerciales. Como observó Deloitte en su informe Informe estatal de IA generativa, segundo trimestre de 2024las organizaciones se encuentran ahora en la etapa en la que están listas para ir más allá de los pilotos y las pruebas de conceptos y comenzar a crear valor, pero llevar modelos de IA a producción puede resultar complejo.

Canonical se ha asociado con NVIDIA en el pasado para ayudar a habilitar la IA de código abierto a escala. En 2023, tanto Canonical Kubernetes como Charmed Kubeflow obtendrán la certificación como Software preparado para NVIDIA DGX Poco después, Contenedor NVIDIA NGC y Servidor de inferencia NVIDIA Triton Integre con nuestra plataforma MLOps. Este año trae novedades sobre Ubuntu Supersónico NVIDIA Para compatibilidad con Kubernetes y IA perimetral Empresa de inteligencia artificial NVIDIA Plataforma informática.

Hoy, nuestros ojos están puestos en GenAI. Este blog explora cómo podemos trabajar juntos para ayudar a las organizaciones a desarrollar aplicaciones GenAI y optimizar su camino hacia la producción. Puede desarrollar aplicaciones GenAI en la plataforma MLOps de Canonical, Kubeflow fascinantey desplegarlos usando NIM de NVIDIA Razonamiento sobre microservicios – parte de Empresa de inteligencia artificial NVIDIA Plataforma de software para desarrollar e implementar IA generativa, integrada con el componente de implementación KServe de Kubeflow.

Escalando la IA empresarial con Canonical y NVIDIA NIM

Para optimizar las operaciones y ofrecer GenAI a escala, su equipo debe poder centrarse en crear modelos en lugar de herramientas. La mejor manera de lograrlo es con una solución integrada que cubra todo el ciclo de vida del aprendizaje automático. Los profesionales necesitan soluciones integrales que puedan entrenar modelos, automatizar cargas de trabajo de aprendizaje automático y luego implementarlas en dispositivos perimetrales. Este es un proceso iterativo que requiere actualizaciones constantes, monitoreo mejorado y la capacidad de servir modelos en cualquier lugar. Estas necesidades se pueden satisfacer directamente mediante el uso de Canonical MLOps integrado con NVIDIA NIM.

Canonical MLOps es una solución que cubre todo el ciclo de vida del aprendizaje automático, integrando herramientas líderes de código abierto como Spark, Kafka o MLflow de forma segura, portátil y confiable. Charmed Kubeflow es la base de esta solución. Es una plataforma MLOps que puede ejecutarse en cualquier nube, incluidos escenarios híbridos o de múltiples nubes y cualquier Kubernetes compatible con CNCF. Atender Es uno de los componentes principales de Kubeflow y se utiliza para servir modelos sin servidor. Permite el uso de diferentes motores de inferencia incluyendo Servidor de inferencia NVIDIA Triton y NVIDIA NIM.

NVIDIA NIM, parte de NVIDIA AI Enterprise, es un conjunto de microservicios diseñados para reducir el tiempo de comercialización de los modelos de aprendizaje automático y permitir a las organizaciones ejecutar proyectos en producción mientras mantienen la seguridad y el control de las aplicaciones GenAI. NIM de NVIDIA Ofrezca inferencia de IA escalable y sin problemas en las instalaciones o en la nube utilizando API estándar de la industria. Simplifica la implementación de modelos en cualquier nube y simplifica el camino hacia la inteligencia artificial empresarial a escala, lo que reduce los costos iniciales de ingeniería. Los microservicios cierran la brecha entre las implementaciones complejas y los requisitos operativos para mantener los modelos en producción. Es una solución nativa de la nube integrada con KServe, por lo que puede utilizar un conjunto de herramientas para desarrollar e implementar modelos.

«Además de nuestro trabajo con NVIDIA en la integración y optimización de GPU específicas en Ubuntu y Canonical Kubernetes, también facilitamos el desarrollo y la implementación de modelos ML como una solución integrada», dijo Aniket Ponkshe, directora de Canonical Chip Alliance «en NVIDIA. «Después de completar el trabajo de certificación para Charmed Kubeflow y Charmed Kubenertes en DGX, extenderlo a NVIDIA NIM en la plataforma MLOps es un paso natural para que nuestro equipo agilice aún más el recorrido del desarrollador desde el desarrollo hasta la producción».

“Las empresas a menudo enfrentan la complejidad de implementar modelos de IA generativa en producción, enfrentando desafíos de escalabilidad, seguridad e integración”, dijo Pat Lee, vicepresidente de asociaciones empresariales estratégicas de NVIDIA. “Encantado Kubeflow con NVIDIA NIM Optimice el proceso entregando elementos prediseñados. , microservicios nativos de la nube que simplifican la implementación, reducen costos y ofrecen rendimiento y seguridad de nivel empresarial”.

Acelerar la entrega de proyectos de inteligencia artificial

En su informe 2024, la AI Infrastructure Alliance preguntó a los líderes de tecnología AI/ML sobre sus mayores preocupaciones sobre la implementación de GenAI. Los dos mayores problemas son cometer errores por moverse demasiado rápido y moverse demasiado lento por falta de capacidad de ejecución. La asociación de productos de Canonical con NVIDIA NIM resuelve ambos problemas, permitiendo a las empresas crecer rápidamente a través de una ruta de entrega GenAI optimizada y repetible.

Canonical MLOps está construido con software seguro de código abierto para que las organizaciones puedan desarrollar sus modelos en un entorno confiable. Además de las soluciones MLOps, al aprovechar Ubuntu Pro y Canonical Kubernetes, las empresas pueden proporcionar servicios integrales para sus proyectos de IA, acelerando desde el concepto hasta la implementación a través de un sistema operativo seguro y confiable y Kubernetes ascendente integrado con el viaje de IA de NVIDIA. Independientemente de los requisitos de su organización y las habilidades internas, puede beneficiarse del soporte empresarial, los servicios administrados e incluso la capacitación de los expertos de Canonical.

Comience con Charmed Kubeflow y NVIDIA NIM

Comenzar con esta solución es fácil. Puede implementar Charmed Kubeflow en cualquier entorno. Luego podrá acceder al microservicio NVIDIA NIM desde: Directorio de API de NVIDIA atrás Solicite acceso a NIM. Después de eso, es solo cuestión de realizar algunas operaciones en la capa de Kubernetes para configurar el tiempo de ejecución de NIM, construir el PVC, crear una instancia del servicio de inferencia de KServe y verificar el NIM ejecutado en KServe. Puedes leer más sobre esto. aquí.

Otras lecturas