Cómo implementar cargas de trabajo de IA en el borde utilizando soluciones de código abierto

Ejecute cargas de trabajo de IA en el perímetro con Canonical y Lenovo

La inteligencia artificial está impulsando una nueva ola de oportunidades en una variedad de entornos periféricos, desde el mantenimiento predictivo en la fabricación hasta los asistentes virtuales en la atención médica y la optimización de enrutadores de telecomunicaciones en las ubicaciones más remotas. Pero para apoyar estos Carga de trabajo de inteligencia artificial Con la capacidad de ejecutarse prácticamente en cualquier lugar, las empresas necesitan una infraestructura de borde que sea rápida, segura y altamente escalable.

Herramientas de código abierto – p.e. Micro K8 Charmed Kubeflow para la orquestación ligera de Kubernetes y los flujos de trabajo de aprendizaje automático (ML), proporcionando nuevos niveles de flexibilidad y seguridad para implementaciones de IA de vanguardia. Cuando se combinan con pilas de computación aceleradas, estas soluciones ayudan a los profesionales a entregar proyectos más rápido, reducir los costos operativos y garantizar resultados más predecibles.

El blog de hoy explora por qué las empresas están recurriendo a soluciones de infraestructura abierta para la IA de vanguardia y explora cómo implementar pilas optimizadas diseñadas específicamente que puedan ofrecer inteligencia transformadora a escala.

Obtenga el diseño de referencia de IA de vanguardia

Por qué el apilamiento de infraestructura abierta es adecuado para la IA perimetral

Las organizaciones de todo el mundo tienen grandes cantidades de datos en el borde, pero ¿cuáles son las mejores formas de llevar capacidades de IA a estas fuentes de datos en las ubicaciones más remotas y accidentadas? Canonical, NVIDIA y Lenovo pueden ayudar.

Para garantizar un rendimiento diseñado específicamente para la IA periférica, considere arquitecturas de soluciones de código abierto que incluyen Canonical Ubuntu ejecutándose en servidores Lenovo ThinkEdge, MicroK8 para una orquestación liviana de Kubernetes y Charmed Kubeflow para la gestión del flujo de trabajo de ML. La plataforma NVIDIA EGX proporciona la base de esta arquitectura y proporciona potentes capacidades informáticas aceleradas por GPU para cargas de trabajo de IA.

Las principales ventajas de utilizar esta arquitectura prevalidada incluyen:

• Itere y experimente más rápido: Los científicos de datos pueden iterar modelos de IA/ML más rápido y acelerar el proceso de experimentación.
• Escalabilidad: La arquitectura se ha probado utilizando varias opciones de herramientas MLOps, lo que permite un rápido escalamiento de las iniciativas de IA.
• Seguridad: Las cargas de trabajo de IA se benefician de la infraestructura segura y las actualizaciones periódicas proporcionadas por Canonical Ubuntu, lo que garantiza protección y confiabilidad continuas.
• Optimización de la carga de trabajo de IA: La arquitectura está diseñada para satisfacer las necesidades específicas de las cargas de trabajo de inteligencia artificial, es decir, puede procesar de manera eficiente grandes conjuntos de datos en una pila de hardware y software optimizada.
• Apilamiento de un extremo a otro: Esta arquitectura aprovecha los productos NVIDIA EGX y Charmed Kubeflow para simplificar todo el ciclo de vida del aprendizaje automático.
• Reproducibilidad: La solución proporciona una guía clara que los profesionales de toda la organización pueden utilizar y esperar los mismos resultados.

Pila de infraestructura de código abierto de Canonical

Para la informática de vanguardia, Canonical y Lenovo colaboran en todos los aspectos para obtener el mejor rendimiento del hardware certificado. Cada opción de implementación de infraestructura de nube es muy específica. Sin embargo, muchas de estas opciones pueden estandarizarse y automatizarse para ayudar a reducir el riesgo operativo.

La base de la infraestructura previamente validada es el sistema operativo Ubuntu. Ubuntu ya es popular entre los desarrolladores de IA/ML, por lo que agrega familiaridad y eficiencia a los entornos de producción. Ubuntu Pro amplía la distribución estándar de Ubuntu con 10 años de mantenimiento de seguridad y soporte opcional de nivel empresarial de Canonical.

modelo Micro K8 Es una distribución de Kubernetes certificada por Cloud Native Computing Foundation (CNCF). Proporciona una forma simplificada de gestionar contenedores de Kubernetes, lo cual resulta valioso para implementaciones repetibles en la nube. MicroK8s se instala con operadores de GPU NVIDIA para lograr una gestión y utilización eficiente de los recursos de la GPU.

Charmed Kubeflow es una distribución de nivel empresarial de Kubeflow, un popular conjunto de herramientas de aprendizaje automático de código abierto creado para entornos de Kubernetes. Desarrollado por Canonical, Charmed Kubeflow simplifica la implementación y gestión de flujos de trabajo de IA, brindando acceso a un ecosistema completo de herramientas y marcos.

Finalmente, lo que distingue a Canonical Infrastructure es la automatización: Zhu Zhuun motor de orquestación de código abierto para automatizar la configuración, gestión y mantenimiento de aplicaciones y componentes de infraestructura.

Servidores Lenovo ThinkEdge para inteligencia artificial de vanguardia

Incluso el mejor software de infraestructura de código abierto no puede alcanzar su máximo potencial sin el hardware adecuado. Servidor Lenovo ThinkEdge Utilice la plataforma NVIDIA EGX para ofrecer un rendimiento potente para cargas de trabajo de IA de vanguardia.

En particular, los servidores ThinkEdge SE450 están diseñados para espacios reducidos y son ideales para su implementación fuera de los centros de datos tradicionales. Diseñados para virtualizar aplicaciones de TI tradicionales, así como sistemas de IA nuevos y transformadores, estos servidores brindan la potencia de procesamiento, el almacenamiento, la aceleración y la tecnología de redes necesarias para las últimas cargas de trabajo perimetrales.

Comience con un diseño de IA de vanguardia probado

Canonical, Lenovo y NVIDIA están trabajando juntos para garantizar que la ciencia de datos sea accesible para todas las industrias. Con arquitecturas de referencia previamente validadas, los desarrolladores e investigadores pueden obtener rápidamente valor de sus proyectos de IA.

El proceso de implementación comienza con la instalación de los componentes de software de Canonical en el servidor ThinkEdge SE450. Utilizando el panel de Charmed Kubeflow, los usuarios pueden crear experimentos de IA utilizando el servidor de inferencia NVIDIA Triton. Triton proporciona un entorno dedicado para el servicio de modelos eficiente y eficaz. Los flujos de trabajo de IA de un extremo a otro están optimizados en términos de costo y rendimiento.

Para obtener más información sobre la arquitectura de referencia y una guía paso a paso para ejecutar IA en el borde, haga clic en el botón a continuación para leer el documento técnico de Lenovo.

Lea el diseño de referencia de Edge AI