Seguridad

La ‘ilusión’ de la IA podría plantear un riesgo de seguridad de código abierto

Investigadores de una empresa de seguridad israelí revelaron el martes cómo los piratas informáticos han convertido la «ilusión» de la inteligencia artificial generativa en una pesadilla para las cadenas de suministro de software de las organizaciones.

en una entrada de blog red vulcana En el sitio, los investigadores Bar Lanyado, Ortel Keizman y Yair Divinsky demuestran cómo la información falsa generada por chatGPT sobre los paquetes de software de código abierto se puede utilizar para entregar código malicioso en un entorno de desarrollo.

Explican que han visto a ChatGPT generar URL, referencias e incluso bibliotecas de código y funciones que en realidad no existen.

Señalan que si ChatGPT está falsificando bases de código o paquetes, los atacantes podrían usar estas ilusiones para propagar paquetes maliciosos sin usar técnicas sospechosas y ya detectables, como errores tipográficos o encubrimiento.

Los investigadores continuaron diciendo que si los atacantes pueden crear un paquete que reemplace el paquete «falso» recomendado por ChatGPT, es posible que puedan lograr que las víctimas lo descarguen y lo usen.

Creen que la probabilidad de que esto suceda aumenta a medida que más y más desarrolladores migran de los dominios de búsqueda en línea tradicionales para soluciones de código (como Stack Overflow) a soluciones de inteligencia artificial (como ChatGPT).

Se ha generado un paquete malicioso

«Los autores predicen que a medida que la IA generativa se vuelva más popular, comenzará a recibir preguntas de los desarrolladores que solían aparecer en Stack Overflow», explica Daniel Kennedy, director de seguridad de la información e investigación cibernética en 451 Research. Inteligencia de mercado global de S&Puna compañía de investigación de mercado global.

«Las respuestas a estas preguntas generadas por la IA pueden ser incorrectas o pueden involucrar paquetes de software que ya no existen o que nunca existieron», dijo a TechNewsWorld. «Los malos actores observaron que se podía crear un paquete de código con ese nombre, que contenía código malicioso, y lo recomendaban continuamente a los desarrolladores mediante la generación de herramientas de inteligencia artificial».

Agregó: «Los investigadores de Vulcan fueron un paso más allá al priorizar las preguntas más frecuentes sobre Stack Overflow como preguntas que enviarían a la IA y ver dónde se recomendaban paquetes que no existían».


Según los investigadores, consultaron a Stack Overflow sobre las preguntas más frecuentes sobre más de 40 temas y utilizaron las 100 preguntas principales para cada tema.

Luego hicieron todas las preguntas que recopilaron a través de la API de ChatGPT. Usan la API para replicar el enfoque del atacante para obtener tantas recomendaciones de paquetes inexistentes como sea posible en el menor tiempo posible.

En cada respuesta, buscan patrones en los comandos de instalación de paquetes y extraen los paquetes recomendados. Luego verifican si existe el paquete recomendado. Si no, intentan publicarlo ellos mismos.

software de mosaico

El investigador de seguridad Henrik Plate señaló que se han encontrado paquetes maliciosos generados con el código ChatGPT en el instalador de paquetes PyPI y npm. Laboratorio Endores una empresa de gestión de dependencias con sede en Palo Alto, California.

Le dijo a TechNewsWorld: «Los modelos de lenguaje grandes también pueden ayudar a los atacantes a crear variantes de malware que implementen la misma lógica pero con diferentes formas y estructuras, por ejemplo, al distribuir código malicioso entre diferentes funciones, cambiar identificadores, generar comentarios falsos y código muerto, o técnicas similares».

El problema con el software actual es que no se escribió de forma independiente, Ira Winkler, director de seguridad de la información CYEun fabricante global de plataformas de optimización de seguridad de redes.

«Básicamente está improvisado a partir de una gran cantidad de software preexistente», dijo a TechNewsWorld. «Es muy eficiente, por lo que los desarrolladores no tienen que escribir funciones genéricas desde cero».

Sin embargo, esto puede llevar a que los desarrolladores importen código sin una revisión adecuada.

«Los usuarios de ChatGPT están siendo instruidos para instalar paquetes de software de código abierto que pueden instalar paquetes maliciosos pensando que es legítimo», dijo Jossef Harush, director de seguridad de la cadena de suministro de software de ChatGPT. comprobar marxuna empresa de seguridad de aplicaciones con sede en Tel Aviv, Israel.

«En general», dijo a TechNewsWorld, «la cultura de la ejecución de copiar y pegar es peligrosa. Como demostró el equipo de investigación de Vulcan, hacerlo a ciegas desde fuentes como ChatGPT puede conducir a ataques en la cadena de suministro».

Sepa de dónde proviene su código

Melissa Bischoping, directora de investigación, seguridad de puntos finales Aleación de titanioUn proveedor de gestión de terminales convergentes con sede en Kirkland, Washington, también advirtió sobre el uso poco estricto de código de terceros.

«Nunca debe descargar y ejecutar un código que no comprende y que no ha probado al obtenerlo de una fuente aleatoria, como un repositorio de código abierto de GitHub o ahora el asesoramiento de ChatGPT», dijo a TechNewsWorld.

«Cualquier código que pretenda ejecutar debe tener una evaluación de seguridad y debe tener una copia privada», aconseja. «No importes directamente desde repositorios públicos, como los que se usaron en el ataque de Vulcan».


Atacar las cadenas de suministro a través de bibliotecas de terceros compartidas o importadas no es nuevo, agregó.

«El uso de esta táctica continuará», advirtió, «y la mejor defensa es emplear prácticas de codificación seguras y probar y revisar exhaustivamente el código destinado a entornos de producción, especialmente el código desarrollado por terceros».

«No confíes ciegamente en cada biblioteca o paquete que encuentres en Internet o chateando con una IA», advierte.

Sepa de dónde proviene su código, agrega el CEO y cofundador Dan Lorenc Changardun fabricante de soluciones de seguridad de la cadena de suministro de software con sede en Seattle.

«La autenticidad del desarrollador, la verificación a través de compromisos y paquetes firmados, y la obtención de artefactos de código abierto de fuentes o proveedores en los que puede confiar son los únicos mecanismos reales de prevención a largo plazo contra estos ataques al estilo de Sybil contra el código abierto», dijo a TechNewsWorld.

primeras entradas

Sin embargo, verificar los códigos no siempre es fácil, señaló el director ejecutivo de la empresa, Bud Broomhead. viacourtes un desarrollador de soluciones de software de seguridad física y de red con sede en Mountain View, California.

«En muchos tipos de activos digitales, especialmente los dispositivos IoT/OT, el firmware aún carece de firmas digitales u otras formas de creación de confianza que hagan posibles las vulnerabilidades», dijo a TechNewsWorld.

«Estamos en las primeras etapas de la inteligencia artificial generativa para ciberataques y defensa. Gracias a Vulcan y otras organizaciones por detectar nuevas amenazas y generar alertas de manera oportuna para que los modelos de aprendizaje de idiomas puedan ajustarse para evitar esta forma de explotación», agregó.

«Recuerde», continuó, «podría haberle pedido a Chat GPT que creara una nueva pieza de malware hace solo unos meses, y lo hizo. Ahora se necesita una guía muy específica y específica para crearlo sin querer. Con suerte, el motor de IA detendrá esto pronto».

LEER  El interés creado de Google en la seguridad de Linux

Publicaciones relacionadas

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Botón volver arriba