TL; DR: La forma en que usa los modelos en la producción es lo que distingue un adiestramiento docente de una inversión en ML que agrega valencia a su negocio. En una escalera, esto se vuelve dolorosamente enrevesado. Esta gurú lo lleva a través de las mejores prácticas y metodologías de la industria, y concluye con la ejercicio utensilio KFServing que se ocupa de la implementación de modelos a escalera.
Tabla de Contenidos
Del entrenamiento al modelado
Si está realizando educación automotriz en una ordenamiento, es probable que desee crear uno de dos tipos de sistemas:
- Sistema de examen Tome decisiones basadas en datos
- Sistema eficaz para construir productos basados en datos
Los modelos de capacitación con incorporación precisión son solo una pequeña parte de la creación de sistemas de educación automotriz que agregan valencia a su negocio. Quiere modelos que sean excelentes para predecir, pero ese no es el final de su delirio.
La escalón de entrenamiento termina cuando coloca su maniquí, simplemente una matriz n-dimensional de pesos optimizados, en lo futuro:
- Un archivo binario, p. Ej. .Envase
- Un archivo de objeto comprensible por humanos, p. Ej. .json
Una vez que tenga un maniquí razonablemente bueno en un archivo, solo habrá terminado en un 20%.
Su próximo gran desafío es permitir que sus aplicaciones de producción (analíticas u operativas) utilicen este maniquí para inferir, es aseverar, hacer predicciones sobre nuevos datos.
La complejidad del educación automotriz innovador a escalera
Tradicionalmente, el educación automotriz se ha reservado para académicos que tenían las habilidades matemáticas para desarrollar algoritmos complejos y modelos ML / DL. Sin retención, los expertos en algoritmos carecían de conocimientos sobre cómo hacer estos modelos para el consumo a gran escalera.
En instinto de la gran demanda del mercado por el uso de modelos en producción y la errata de habilidades operativas en los equipos tradicionales de ciencia de datos, adicionalmente de una nueva dominio, la obligación de colaboración entre competencias (ciencia de datos, ingeniería de datos, infraestructura y DevOps). ) y han surgido las herramientas adecuadas. MLOps.
En área de un patrón de expedición y olvido que existe en el software tradicional, los sistemas de educación automotriz requieren muchos ciclos iterativos y una mejoría continua, como se muestra en la futuro figura:
Algunas de las complejidades en la dirección de estos modernos sistemas de IA son:
- Infraestructura compleja (Bare metal, montón virtualizada, orquestación de contenedores) con diferente hardware (CPU, GPU, DPU, TPU, FPGA, ASIC) y diferentes requisitos ambientales: bibliotecas, marcos.
- Varios pasos En el flujo de trabajo de ML con diferentes requisitos (por ejemplo, computación rápida para entrenamiento, suspensión satisfecho de partida para la adquisición de datos, desaparecido computación y mucho trabajo manual en la preparación de datos)
- Papeleo del ciclo de vida del maniquí – A diferencia del software tradicional, los modelos de educación automotriz no se pueden aprovisionar ni olvidar, ya que los datos nuevos pueden requerir la obligación de revisar la deriva del maniquí y actualizarlos automáticamente. La trazabilidad de los modelos en producción es fundamental.
- Cumplimiento de las operaciones en cursosin introducir flujos de trabajo completamente nuevos para los equipos de DevOps
- Ajuste organizacional a esta nueva responsabilidad compartida
Todo esto se suma a una incorporación deuda técnica y ciclos de crecimiento costosos a menos que se implementen excelentes procesos, métodos y herramientas.
Ponga los modelos en producción
Hay algunas formas de poner en producción sus modelos de AA.
Maniquí incrustado en la aplicación
La forma más sencilla de utilizar su maniquí en una aplicación es intercalar modelos. Con este método, simplemente incluye el archivo que contiene tu maniquí en el código de tu aplicación y la aplicación accederá directamente.
Esto tiene varias ventajas, ya que la infraestructura más simple y el paso directo brindan el mayor rendimiento durante la inferencia y, integrados en la aplicación, permiten el uso sin conexión. Sin retención, este no es un método escalable y generalmente no se considera una buena ejercicio en la presente.
El maniquí sirvió como API
El método más global utilizado hoy en día es Maniquí de servicio o maniquí como servicio.
Esta bloque separa eficazmente la aplicación del maniquí a través de una API, simplifica los procesos organizativos, versionado y reutilización de modelos, actualizaciones fluidas con despliegues graduales y separación de hardware, de modo que la aplicación y el maniquí de servidor tengan hardware diferente (CPU, GPU, FPGA). y escalera independiente arreglado bajo pedido.
Las plataformas MLOps modernas como Kubeflow solo admiten la bloque Maniquí como servicio.
Una alternativa a intercalar el maniquí es envolver un archivo binario de maniquí en torno a de un microservicio (por ejemplo, la aplicación Python Flask) que contiene un método, clase o biblioteca para que el maniquí sea aprovechable para otras aplicaciones.
Esto es difícil de llevar la batuta y no es muy escalable, ya que la implementación es específica del ámbito. Necesita crear un microservicio que sea compatible con los marcos que planea usar en su aplicación final, y existen docenas de ellos.
Maniquí guardado y utilizado como biblioteca
El mejor enfoque si desea poco que se pueda prosperar sin una gran incomodidad de crecimiento es usar su maniquí como datos.
Con este método, guardas el maniquí de una modo estandarizada (por ejemplo, Tensorflow SavedModel, PMML, PFA u ONNX) que se puede repasar mediante programación en cualquier entorno, verbo y ámbito de programación innovador, y que se puede reutilizar en diferentes aplicaciones.
Esto puede ser un poco más complicado al principio desde un punto de instinto técnico, pero tiene enormes beneficios a espléndido plazo, ya que solo tiene que empaquetarlo una vez y luego todas sus aplicaciones pueden usar sus modelos guardados.
Sirviendo modelos en Kubernetes
Enterprise Computing se está trasladando a Kubernetes, y Kubeflow se conoce desde hace mucho tiempo como la plataforma para resolver MLOps a gran escalera.
KFServing, el tesina de servicio de modelos de Kubeflow, ha demostrado ser la utensilio más madura para herramientas de código despejado para la entrega de modelos en K8, con características como implementaciones canarias, inferencia sin servidor con múltiples marcos y explicabilidad de modelos.
Para obtener más información sobre KFServing, consulte ¿Qué es KFServing?
Más información sobre MLOps
Canonical ofrece capacitación empresarial en MLOps y Kubeflow, así como servicios profesionales como seguridad y soporte, implementaciones personalizadas, consultoría y Kubeflow completamente administrado. Visite la página de servicios de IA de Ubuntu para obtener más información.
Simplifique sus operaciones de Kubeflow
Obtenga el extremo paquete de Kubeflow en Charmed Operators que ofrece operaciones de componibilidad, día 0 y día 2 para todas las aplicaciones de Kubeflow, incluido KFServing.
Avispado para usar en 5 minutos
