JFrog ofrece una funcionalidad llamada Local Shadow AI, destinada a detectar en los puestos de los desarrolladores las herramientas, competencias y componentes de inteligencia artificial que escapan a los circuitos de aprobación de las empresas. En una entrevista concedida a Monde Informatique, Nir Peleg, director mundial de seguridad de sistemas de información para los equipos de campo en JFrog, considera que la multiplicación de agentes de codificación genera nuevos riesgos para la cadena de desarrollo de software.
- JFrog lanza Local Shadow AI para detectar herramientas de IA no aprobadas en los puestos de desarrollo.
- Los agentes de codificación descargan componentes no verificados que pueden contener vulnerabilidades o instrucciones maliciosas.
- El análisis se basa en el comportamiento y puede usar el LLM propio del cliente mediante BYOK.
- Nir Peleg defiende integrar los controles en la plataforma y los procesos automatizados para seguir el ritmo de los agentes.
Los agentes de codificación generan directamente código a partir de prompts, y pueden descargar por sí mismos paquetes o competencias cuya fiabilidad no ha sido verificada por la empresa. Estos componentes pueden contener vulnerabilidades o instrucciones maliciosas. Según Nir Peleg, la funcionalidad analiza los entornos de desarrollo para identificar elementos no autorizados y los riesgos que presentan. Los equipos de seguridad pueden luego evaluar las amenazas detectadas y definir las medidas correctivas necesarias.
Un análisis basado en el comportamiento
JFrog indica haber desarrollado su propio mecanismo de análisis, basado en varios métodos. Puede detectar, por ejemplo, una competencia que busca obtener privilegios o accesos que no necesita para cumplir su función. El peligro también radica en instrucciones ocultas tras un lenguaje sofisticado: una competencia puede parecer legítima mientras orienta el comportamiento del agente hacia acciones indeseadas. La empresa busca por tanto detectar anomalías de comportamiento, y sus equipos de investigación actualizan los métodos a medida que evolucionan las técnicas.
Algunos clientes ya disponen de un gran modelo de lenguaje (LLM), es decir, un modelo de IA entrenado con grandes volúmenes de texto, aprobado por su organización. El enfoque Bring Your Own LLM Key (BYOK) les permite usar su propia clave API, que da acceso a este modelo, en lugar de depender necesariamente del servicio de JFrog. El mecanismo de análisis se basa entonces en este modelo, lo que deja a las empresas la libertad de elegir su proveedor y conservar sus acuerdos y políticas de seguridad. En un despliegue autohospedado, los datos permanecen en el entorno del cliente y el código no se envía a la nube de JFrog.
Ataques autónomos y gobernanza
Entre los escenarios que preocupan a Nir Peleg está la capacidad de los modelos de punta para contribuir a ataques autónomos. Pueden ayudar a descubrir nuevas vulnerabilidades, incluso de tipo zero-day, es decir, fallas aún desconocidas para el editor, y luego participar en cadenas de ataque con múltiples etapas. « Los atacantes pueden potencialmente actuar a una escala y velocidad inéditas », mientras que los defensores aún deben lidiar con ciclos de parches, validación y aprobación que pueden tomar semanas.
Para gobernar estos usos, el primer paso es obtener visibilidad de lo que sucede. « Si no ves las descargas de Shadow IA o los componentes usados por los agentes, no puedes gobernarlos », afirma. Luego hay que integrar la seguridad y las políticas de control al proceso de desarrollo, ya sea de dependencias, competencias, conectores MCP (protocolo que conecta un agente con herramientas externas) o despliegues.
El objetivo es disponer de un sistema común que centralice la visibilidad, los análisis de seguridad, las reglas y controles, para rastrear cada etapa, desde la modificación del código hasta la puesta en producción. Cuando el desarrollo se realiza a la velocidad de los agentes, la gobernanza debe seguir el mismo ritmo: ya no puede basarse únicamente en verificaciones humanas posteriores, y los controles deben integrarse a la plataforma y a los procesos automatizados.
