Tutoriales

Configure PrivateGPT para usar el chat AI para procesar sus documentos

¿Alguna vez has querido tener una conversación con tus archivos?

Es como tener un archivo pdf largo que tienes miedo de leer pero que es importante para tu trabajo o tarea.

¿Qué pasaría si pudiera hacerle preguntas como «¿Cuáles son las características principales mencionadas en la documentación?» o «resume el punto de vista de (algún autor que estés leyendo)».

Todo esto habría sonado demasiado de ciencia ficción o futurista si alguien lo hubiera dicho hace unos años, pero con todas las herramientas de IA que hay en el mercado, esto es normal.

No sólo ChatGPT, ahora hay una gran cantidad de servicios gratuitos y de pago basados ​​en inteligencia artificial que pueden hacer el trabajo.

Pero prefiero no compartir mis documentos y materiales para entrenar la inteligencia artificial de otras personas. Lo hare yo mismo.

Te mostraré cómo configurar la IA PrivateGPT de código abierto que me ayudará a «chatear con archivos». Puede intentar seguir los mismos pasos para configurar su propio PrivateGPT en un laboratorio o PC en casa.

No espere respuestas rápidas de ChatGPT. La computación se produce en su sistema nativo, dependiendo de la potencia de su sistema.

Requerir

  • CPU basada en Intel/AMD X64
  • memoria de 8GB (mínimo) pero más es mejor
  • Tarjeta gráfica dedicada 2 GB de memoria (en el límite más bajo)
  • Cualquier distribución de Linux funcionará bien. Sólo preste atención a los comandos de administración de paquetes. Estoy usando Ubuntu Server 22.04 aquí.
  • Python 3.11(importante)
  • mucho tiempo y paciencia

🚧

Este tutorial asume que está familiarizado con los comandos de Linux y que tiene cierta experiencia en el uso del entorno Python. Es bueno tener experiencia con CUDA y cualquier otra herramienta de inteligencia artificial.

Paso 1: actualiza tu sistema

Es importante garantizar que nuestros sistemas estén actualizados con las últimas versiones de cualquier paquete de software.

sudo apt update && sudo apt upgrade -y

Paso 2. Instale Python versión 3.11

Necesitamos Python 3.11. Ubuntu 22.04 y muchas otras distribuciones vienen con una versión anterior de Python 3.10.12. Entonces necesitas actualizar la versión de Python.

Para verificar su versión de Python, escriba:

python3 --version

En Ubuntu, puedes usar PPA para obtener versiones más nuevas de Python.

sudo add-apt-repository ppa:deadsnakes/ppa

Aquí también instalé otro llamado python3.11-venv (Obtenga más información sobre los entornos virtuales de Python)

sudo apt install python3.11 python3.11-venv -y

Aunque hay instalada una nueva versión de Python, la versión predeterminada sigue siendo la 3.10. Para cambiar esto, necesita actualizar nuestra alternativa:

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.10 110

Entonces,

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.11 100

Ahora tienes dos configuraciones alternativas, lo único que tienes que hacer es actualizarlas:

sudo update-alternatives --config python3

Verá dos opciones para seleccionar la versión de Python, como puede ver en la captura de pantalla, seleccioné la versión 2 que es obligatoria.

📋

Si en el futuro desea cambiar a una versión anterior de Python, puede ejecutar el mismo comando y seleccionar su versión preferida.

Paso 3. Instalar poesía

Puedes instalar Poetry usando pip. Si aún no lo has hecho, puedes instalar Pip en Ubuntu usando el siguiente comando:

python3 -m pip install pip

después:

pip install poetry

Durante este paso, el instalador puede generar algunos errores relacionados con: PATH Como la captura de pantalla a continuación:

Se produce un error de RUTA durante la instalación de Poetry

más /home/user/.local/bin para nosotros PATH:

nano ~/.bashrc

Aquí, al final del perfil agrega:

export PATH="$HOME/.local/bin:$PATH"

Usé el valor exacto en lugar de usar la variable $HOME.

Agregar RUTA a bashrc

Guardar y salir de Nano Press CTRL+X entonces presione y y entra. Luego verifique si ha agregado correctamente el tipo de ruta:

source .bashrc
echo $PATH

La salida será así:

Comprobar ruta

Ahora comprobemos qué versión de Poetry tenemos instalada.debiera ser 1.7 o superior.

poetry --version

En mi caso la salida es:

Poetry (version 1.7.1)

Paso 4. Configura PrivateGPT

Primero, necesitas clonar el repositorio GPT privado en nuestro sistema. Supongo que tienes Git instalado en tu sistema.

git clone 

Luego vaya al repositorio clonado:

cd privateGPT

Ahora necesitas configurar un nuevo entorno para que todo el sistema no se estropee:

python3 -m venv venv

Una nueva carpeta llamada venv El entorno virtual ha sido establecido e iniciado, por favor escriba:

source venv/bin/activate

Paso 5. Instale la interfaz de usuario local en Poetry:

Dado que necesitamos una interfaz de usuario para interactuar con nuestra IA, necesitamos instalar ui Características de la poesía que necesitamos local Porque estamos ejecutando nuestro propio curso LLM local.

poetry install --with ui,local

La instalación del controlador de gráficos y otras dependencias críticas para ejecutar LLM llevará algún tiempo.

Instalar u y local en Poesía

Paso 6. Instale el modelo LLM

Dado que la mayor parte del trabajo ya está hecho, solo necesita su modelo LLM para comenzar a chatear con sus archivos.

Para instalar el modelo LLM:

poetry run python scripts/setup

Este proceso también llevará mucho tiempo ya que primero es necesario descargar el modelo y luego instalarlo. Los modelos suelen superar los 4 GB de tamaño.

Instalación LL.M.

Si está pensando en ejecutar cualquier modelo de inteligencia artificial sólo en la CPU, tengo malas noticias para usted. Quiero decir, técnicamente todavía puedes hacerlo, pero será muy lento. Puede que ni siquiera funcione.

Por tanto, es mejor utilizar una GPU dedicada con una gran cantidad de VRAM. Tengo una GPU Nvidia con 2 GB de VRAM.

sudo apt install nvidia-cuda-toolkit -y

8. Maestría en Leyes en Compilación

Todo lo que necesitas hacer es compilar un LL.M. para comenzar.

CMAKE_ARGS='-DLLAMA_CUBLAS=on' poetry run pip install --force-reinstall --no-cache-dir llama-cpp-python

📋

Si está siguiendo este tutorial en WSL o Mac, le recomiendo que verifique los comandos correctos para su plataforma en esta documentación oficial).
Maestría en Leyes en Compilación

9. Ejecute GPT privado

Este paso requiere que configures un archivo de configuración local, que puedes editar en un archivo en una carpeta llamada privateGPT. settings-local.yaml Pero para dejar de continuar con este tutorial, ejecútelo usando el siguiente comando:

PGPT_PROFILES=local make run

📋

Para obtener más información sobre la configuración de perfiles, consulte este manual.

Debería verse así en tu terminal, a continuación puedes ver que nuestro GPT privado ahora se está ejecutando en nuestra red local.

PrivateGPT ejecutándose en localhost

Paso 10. Charlemos con el archivo.

Para abrir su primera instancia de PrivateGPT en su navegador, simplemente escriba 127.0.0.1:8001 . También está disponible en la web, así que verifique la dirección IP del servidor y úsela.

En mi caso, la dirección IP de mi servidor es 192.168.1.7

Explorar GPT privado

Una vez que se cargue la página, verá la interfaz de usuario simple de PrivateGPT.

A la izquierda, puede cargar archivos y seleccionar las acciones que realmente desea realizar con la IA, es decir, «Consultar archivos, Buscar en archivos, chat LLM», y a la derecha está el panel «Preguntas». Aquí ingresará un mensaje y obtendrá una respuesta.

Estoy usando un artículo sobre Linux que descargué de Wikipedia. Este es un archivo PDF de 28 páginas.

Aquí hay algunas preguntas que le hice a PrivateGPT:

Emitir documentación en PrivateGPT

Aquí hay otra pregunta:

Otra pregunta sobre PrivateGPT

También puedes chatear con tu LLM como ChatGPT.

Chat LLM en PrivateGPT

Puede dar indicaciones más completas y complejas y él responderá. Durante mis pruebas, descubrí que los tiempos de respuesta variaban mucho según el sistema. Tuve que esperar aprox. Como tengo un sistema antiguo, me lleva 2 minutos obtener una respuesta.

en conclusión

¡Mirar! Así es como configuras y alojas tu propio PrivateGPT. De hecho, puedes reenviar su puerto a un dominio y acceder a él fuera de tu red doméstica.

Sé que esta solución no es para todos y el proyecto aún está en desarrollo, pero para los entusiastas que quieran subirse al tren de la IA de código abierto, este es un excelente punto de partida.

Déjame saber tus pensamientos, preguntas y sugerencias sobre la configuración y el uso de PrivateGPT. Espero compartir más cosas interesantes sobre IA en el futuro.

LEER  Cómo obtener detalles de la CPU en la línea de comando de Linux

Publicaciones relacionadas

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Botón volver arriba