TL; DR: KFServing es un nuevo tipo de maniquí multi-framework nativo de la montón que proporciona herramientas para la inferencia sin servidor.
Tabla de Contenidos
Un poco de historia
KFServing se creó como parte del Esquema Kubeflow, un esfuerzo de colaboración de los líderes de la industria de AI / ML para estandarizar el enseñanza forzoso adicionalmente de Kubernetes. El objetivo es resolver las dificultades de la provisión de modelos en producción utilizando el enfoque de «maniquí como datos», es sostener, proporcionar una API para solicitudes de inferencia.
¿Qué es KFServing?
KFServing abstrae la complejidad de la configuración del servidor, la red, la comprobación de integridad, el escalado forzoso de hardware heterogéneo (CPU, GPU, TPU), el escalado desde cero y los despliegues progresivos (además conocidos como canarios). Proporciona una historia completa para la implementación de ML de producción que incluye predicción, preprocesamiento, posprocesamiento y explicabilidad de una modo que es compatible con varios marcos: Tensorflow, PyTorch, XGBoost, ScikitLearn y ONNX.
Consulte el repositorio de KFServing en Github para obtener una inmersión más profunda.
¿Como funciona?
KFServing utiliza esencialmente dos tecnologías nativas de la montón conocidas: Knative e Istio.
Knative es una plataforma basada en Kubernetes para implementar y gobernar cargas de trabajo modernas sin servidor. Esto le da a KFS las siguientes propiedades:
- Escalando alrededor de y desde cero: Optimización de los costos asociados con la inferencia.
- Escalado forzoso de GPU y TPU: Reducción de la latencia con hardware exclusivo a costo por demanda
Igual es una tecnología de malla de servicios basada en el concepto de sidecar de Kubernetes. Se agrega un contenedor sidecar a cada pod para manejar todo el tráfico de la red. Esto permite:
- Despliegues canarios: Habilite actualizaciones de modelos más seguras para todos los usuarios
- Tráfico al maniquí: Papeleo de enrutamiento e ingreso
- Observabilidad: Funciones para rastrear, monitorear y registrar sus modelos
- Distribución de la carga: Tráfico HTTP, gRPC, WebSocket y TCP
- Seguridad: Autenticación, autorización y oculto a gran escalera de la comunicación del servicio
KFServing proporciona una definición de solicitud personalizada de Kubernetes, un objeto que amplía la API de Kubernetes, específicamente para implementar modelos de enseñanza forzoso almacenados en varios marcos como Tensorflow, PyTorch, XGBoost, ScikitLearn y ONNX en entornos de producción.
como puedo usar lo?
Para poder utilizar KFServing, debe crear un archivo YAML de la interfaz caudillo «InferenceService». A continuación se muestra un ejemplo:
Como puede ver, por ejemplo, puede especificar qué hardware usar y en qué medida se debe prosperar alrededor de hacia lo alto o alrededor de debajo, y en qué entorno se almacena el maniquí.
Implementaciones progresivas / canarias
Al especificar un canary en InferenceService YAML, se crea un punto final canary y el tráfico se enruta con Istio para cumplir con las cuotas requeridas. Esto se combina con el transformador, el declarante y el predictor según la próximo construcción:
Preprocesamiento y posprocesamiento de datos para inferencia
KFServing incorpora el concepto de “transformadores” con los que puede orquestar transformaciones a los datos ayer o luego de la inferencia.
Un caso de uso para esto es que su maniquí puede clasificar acertadamente las imágenes con 28 × 28 píxeles, por ejemplo. Sin incautación, sus nuevos datos pueden provenir de una cámara de incorporación resolución. Para cumplir con los requisitos de su maniquí, debe preprocesar estos datos transformándolos en los nuevos datos y solo entonces realizar una inferencia.
Puede alcanzar esto definiendo una imagen de Docker con sus pasos de preprocesamiento o posprocesamiento y agregándola al InferenceService YAML que define su trabajo de implementación de maniquí.
Explicabilidad del maniquí
Una característica opcional de KFServing que utiliza Seldon Alibi es la capacidad de pegar un «explicador» que permite un nivel cíclico de datos y proporciona explicaciones del maniquí adicionalmente de las predicciones.
Más información sobre Kubeflow
Canonical ofrece capacitación empresarial de kubeflow, así como servicios profesionales como seguridad y soporte, implementaciones personalizadas, consultoría y kubeflow totalmente administrado. Visite la página de servicios de inteligencia fabricado de Ubuntu para obtener más información.
Pruébelo ahora!
Obtenga el final paquete de Kubeflow en Charmed Operators, que ofrece operaciones de componibilidad, Tag 0 y Tag 2 para todas las aplicaciones de Kubeflow, incluido KFServing.
Dinámico para usar en 5 minutos
