Una de las brechas más críticas en los modelos tradicionales de las grandes palabras (LLM) es que ya se basan en el conocimiento estático. Básicamente, pueden ser muy buenos para comprender y responder a los consejos, pero a menudo carecen de proporcionar información actual o altamente específica. Aquí es donde entra el trapo; RAG aborda estas brechas clave en LLM tradicional integrando la fuente confiable de la verdad de estos modelos.
En nuestro blog anterior sobre la comprensión y la implementación de trapos, presentamos cuál es la tecnología y cómo mejora los conceptos básicos de generar modelos de IA al aprovechar fuentes de conocimiento externas como documentación y bases de datos extensas. Estas bases de conocimiento externos mejoran el modelo de aprendizaje automático de las aplicaciones empresariales al proporcionar información verificable y actualizada para reducir los errores, simplificar la implementación y reducir el costo de la reentrenamiento continuo.
arquitectura Infraestructura de IA generativa fuertecomo los de los trapos, pueden ser complejos y desafiantes. Requiere una cuidadosa consideración de la pila de tecnología, datos, escalabilidad, ética y seguridad. Para la pila de tecnología, basada en la escala requerida por la empresa, el hardware, los sistemas operativos, los servicios en la nube y la generación de servicios de IA deben ser resistentes y efectivos.
Existen varias opciones de software de código abierto disponibles para construir y generar infraestructura de IA y proyectos complejos de IA que aceleran el desarrollo, eviten el bloqueo de los proveedores, reduzcan los costos y satisfagan las necesidades empresariales.
En esta guía, lo llevaremos a configurar la tubería de trapo. Utilizaremos herramientas de código abierto como Charmed OpenSearch para búsquedas de búsqueda eficientes y usaremos silicio, especialmente Kserve en entornos Azure y Ubuntu, especialmente en entornos Azure y Ubuntu.
Esta guía está diseñada para utilizar entusiastas de los datos, ingenieros, científicos y profesionales de aprendizaje automático que desean comenzar a construir soluciones de trapo en plataformas de nube pública, utilizando herramientas de código abierto empresarial que no se originan en productos de microservicios de Azure. Esto se puede utilizar en una variedad de proyectos, incluidos conceptos, desarrollo y pruebas de producción.
Tenga en cuenta múltiples Herramientas de código abierto Lo que no se destaca en esta guía puede reemplazar lo que describimos. Si utiliza diferentes herramientas, debe ajustar las especificaciones de hardware (como almacenamiento, energía informática y configuración) para cumplir con los requisitos específicos de su caso de uso.
Incluir múltiples componentes y servicios es fundamental cuando se construyen proyectos de IA generativos, como sistemas RAG y arquitecturas de referencia de IA generativas avanzadas. Estos componentes generalmente incluyen bases de datos, bases de conocimiento, sistemas de recuperación, bases de datos de vectores, integridades de modelos, grandes modelos de lenguaje (LLM), motores de inferencia, procesamiento oportuno, así como barandillas y servicios de ajuste fino.
RAG permite a los usuarios seleccionar el servicio y la aplicación RAG más adecuados para sus casos de uso específicos. El flujo de trabajo de referencia descrito a continuación utiliza principalmente dos herramientas de código abierto: Charmed OpenSearch y KServe. En el flujo de trabajo de RAG descrito a continuación, el ajuste fino no es obligatorio. Sin embargo, con la escala del proyecto, puede mejorar el rendimiento de LLM.
Figura 1: Diagrama de flujo de trabajo de RAG utilizando herramientas de código abierto
La siguiente tabla describe todos los servicios de RAG resaltados en el diagrama de flujo de trabajo anterior y mapea las soluciones de código abierto utilizadas en esta guía.
| Atender | describir | Solución de código abierto |
| Análisis avanzado | El divisor de texto es una técnica de análisis avanzada para los documentos utilizados en los sistemas RAG. De esta manera, el documento puede ser más limpio, centrado en el enfoque y las opiniones informativas. | Charmed Kubeflow: divisor de texto |
| Procesamiento de admisión/datos | El procesamiento de la ingesta o los datos es la capa de tuberías de datos. Esta es la razón responsable de la extracción de datos, la limpieza y la eliminación de datos innecesarios que ejecutará. | Charmed OpenSearch se puede utilizar para el procesamiento de documentos |
| Modelo de incrustación | Los modelos integrados son modelos de aprendizaje automático que convierten los datos sin procesar en representaciones vectoriales. | Charmed OpenSearch – Transformador de oraciones |
| Búsqueda y clasificación | Este componente recupera datos de la base de conocimiento; También clasifica la relevancia de la información basada en su puntaje de correlación. | Charmed OpenSearch con FAISS (búsqueda de similitud de IA de Facebook) |
| Base de datos vectorial | Vector Base de datos Almacena las integridades vectoriales, por lo que los datos se pueden buscar fácilmente a través del servicio de búsqueda y clasificación. | Índice Charmed OpenSearch- knn como base de datos vectorial |
| Manejo oportuno | Este formato de servicio consulta y recupera el texto en un formato legible para que esté estructurado como LLM. | Charmed OpenSearch – OpenSearch: ML – Pronóstico de la agencia |
| LLM | Este componente proporciona la respuesta final utilizando múltiples modelos Genai. | GPT Recluta |
| Inferencia LLM | Esto se refiere al aprendizaje de la máquina de operación en producción mediante el procesamiento de datos de ejecución en un modelo de aprendizaje automático para proporcionar salida. | Encantador kubeflow con kserve |
| Barandilla | Este componente garantiza contenido ético en la respuesta de Genai mediante la creación de filtros de barandilla para entradas y salidas. | Charmed OpenSearch: modelo de verificación de barandilla |
| LLM FINE TUNE | El ajuste fino es un proceso para tomar modelos de aprendizaje automático previamente capacitado y una mayor capacitación en conjuntos de datos de objetivos más pequeños. | Charmed Kubeflow |
| Repositorio de modelos | Este componente se utiliza para almacenar y ver modelos de aprendizaje automático capacitado, especialmente durante el ajuste fino. Este registro puede rastrear el ciclo de vida de un modelo desde la implementación hasta la jubilación. | Charmed KubeflowCharmed Mlflow |
| Marco para aplicaciones de LLM de arquitectura | Esto simplifica el flujo de trabajo, las indicaciones y los servicios de LLM, lo que facilita la construcción de LLM. | Langchain |
Esta tabla proporciona una descripción general de los componentes clave de los sistemas de RAG de construcción y las soluciones de referencia avanzadas de Genai y las soluciones de código abierto relevantes para cada servicio. Cada servicio realiza una tarea específica que puede mejorar su configuración de LLM, ya sea con gestión y preparación de datos, incrustar modelos en la base de datos o mejorar el LLM en sí.
La siguiente guía de implementación cubrirá la mayoría de los siguientes servicios: repositorio de modelos, ajuste fino de LLM y divisor de texto.
La velocidad de innovación en este campo, especialmente en la comunidad de código abierto, se ha convertido en un índice. Es crucial actualizar los últimos desarrollos, incluidos nuevos modelos y soluciones emergentes de trapo.
Ensamblaje del trapo: charmed opensearch
Charmed OpenSearch se utilizará principalmente para esta implementación de flujo de trabajo de RAG. Charmed OpenSearch Se construye en OpenSearch Upstream Simplifique la implementación, la gestión y la orquestación de los grupos de producción a través de la automatización integrada. Los operadores mejoran la eficiencia, la consistencia y la seguridad. Tiene dinero característica Incluye alta disponibilidad, capacidades de escala perfecta para implementar una variedad de tamaños, HTTP y propagación de datos encriptados, soporte de múltiples nubes, actualizaciones seguras sin tiempo de inactividad, gestión de roles y complementos, y la visualización del tablero de búsqueda a través de Charmed OpenSearch.
Con Charmed OpenSearch Operator (también conocido como Charm), puede implementar y ejecutar OpenSearch en máquinas físicas y virtuales (VM) y otros entornos similares a la nube, incluidos AWS, Azure, Google Cloud, OpenStack y VMware. Para la siguiente sección, la guía de implementación utilizará la instancia de Azure VM:
Figura 2: arquitectura de OpenSearch Charmed
Charmed OpenSearch Juju. Juju es un motor de orquestación de código abierto para operadores de software que se pueden implementar, integrarse y la gestión del ciclo de vida en cualquier infraestructura a cualquier escala. Durante el proceso de implementación, el controlador Juju gestiona datos e interacciones en múltiples implementaciones de OpenSearch, incluida la mediación entre diferentes partes del sistema.
Charmed OpenSearch es fácil de implementar y usar. Si desea aprender a usarlo e implementarlo en una variedad de entornos en la nube, puede leer más Nuestra búsqueda en profundidad de documentos de encanto.
Componente de limpieza: kserve
KServe es una solución nativa de nube en el ecosistema Kubeflow que proporciona modelos de aprendizaje automático. Al aprovechar Kubernetes, Kserve se ejecuta de manera eficiente en un entorno nativo de la nube. Se puede utilizar para una variedad de fines, incluida la implementación del modelo, la versión del modelo de aprendizaje automático, la inferencia de LLM y el monitoreo del modelo.
En los casos de uso de trapo discutidos en esta guía, utilizaremos Kserve para inferir LLM. Específicamente, procesará el LLM ya capacitado para hacer predicciones basadas en nuevos datos. Esto enfatiza la necesidad de un poderoso sistema de inferencia LLM utilizado con LLM locales y públicos. El sistema debe ser escalable, capaz de manejar una alta concurrencia, proporcionar respuestas de baja latencia y proporcionar respuestas precisas a las preguntas relacionadas con LLM.
En la Guía de implementación, lo llevaremos a través de una guía integral y práctica para construir e implementar servicios de trapo utilizando Charmed OpenSearch y Kserve. El encanto de Canonical Enteraly Kubeflow admite Kserve localmente.
Guía de implementación para construir flujo de trabajo de arrastre de extremo a extremo con Charmed OpenSearch y Kserve
Nuestra guía de implementación para construir un flujo de trabajo de trapo de extremo a extremo utilizando Charmed OpenSearch y Kserve cubre todo lo que necesita para hacer su propio flujo de trabajo de trapo, que incluya:
- Requisitos previos
- Instalar juju y configurar las credenciales de Azure
- Controlador Juju de Bootstrap y crear modelo Juju para Charmed OpenSearch
- Implementar Charmed OpenSearch y configurar un servicio de trapo
- Pregunte y comience una transmisión de conversación con tu trapo
Canonical proporciona datos y talleres de IA, así como en herramientas y servicios de código abierto empresarial, y puede sugerir garantizar la seguridad de su código, datos y modelos.
Cree la arquitectura y las aplicaciones correctas de RAG utilizando un taller de trapo estandarizado
Canonical ofrece un taller de 5 días diseñado para ayudarlo a comenzar a construir su sistema de trapo empresarial. Al final del taller, tendrá una comprensión profunda de la teoría de RAG y LLM, la arquitectura y las mejores prácticas. Juntos, desarrollaremos e implementaremos soluciones adaptadas a sus necesidades específicas. Descargue la hoja de datos aquí.
Aprenda y use herramientas de trapo de primer nivel en cualquier hardware y nube
Desbloquee los beneficios de los trapos con herramientas de código abierto diseñadas para todos sus datos y ciclo de vida de aprendizaje automático. Ejecute LLM habilitado para Rag en cualquier hardware y plataforma en la nube en producción o a escala.
Descuentos estándar Infraestructura AI lista para la empresa y código abierto datos y AI Herramientas para ayudarlo a comenzar el proyecto RAG.
Proteja su pila de IA con confianza
Mejore la seguridad de los proyectos de Genai mientras domina las mejores prácticas para administrar pilas de software. Descubra formas de proteger su código, datos y modelos de aprendizaje automático utilizando modelos de código, datos y aprendizaje automático en producción en IA confidencial.
