JFrog propose une fonctionnalité baptisée Local Shadow AI, destinée à repérer sur les postes des développeurs les outils, compétences et composants d’intelligence artificielle qui échappent aux circuits d’approbation des entreprises. Dans un entretien accordé au Monde Informatique, Nir Peleg, directeur mondial de la sécurité des systèmes d’information pour les équipes terrain chez JFrog, estime que la multiplication des agents de codage fait émerger de nouveaux risques pour la chaîne de développement logiciel.
- JFrog lance Local Shadow AI pour repérer les outils d’IA non approuvés sur les postes des développeurs.
- Les agents de codage peuvent télécharger des composants non vérifiés, susceptibles de contenir des failles ou des instructions malveillantes.
- Nir Peleg estime que la gouvernance doit intégrer visibilité et contrôles automatisés pour suivre la vitesse des agents.
- Avec BYOK, les clients utilisent leur propre modèle, et en déploiement autohébergé, leurs données restent chez eux.
Les agents de codage génèrent directement du code à partir de prompts, et peuvent télécharger eux-mêmes des paquets ou des compétences dont la fiabilité n’a pas été vérifiée par l’entreprise. Ces composants peuvent contenir des vulnérabilités ou des instructions malveillantes. D’après Nir Peleg, la fonctionnalité analyse les environnements de développement pour identifier les éléments non autorisés et les risques qu’ils présentent. Les équipes de sécurité peuvent ensuite évaluer les menaces détectées et définir les mesures correctives nécessaires.
Une analyse fondée sur le comportement
JFrog indique avoir développé son propre mécanisme d’analyse, reposant sur plusieurs méthodes. Il peut repérer, par exemple, une compétence qui cherche à obtenir des privilèges ou des accès dont elle n’a pas besoin pour remplir sa fonction. Le danger tient aussi à des instructions dissimulées derrière un langage sophistiqué : une compétence peut sembler légitime tout en orientant le comportement de l’agent vers des actions indésirables. L’entreprise cherche donc à détecter les anomalies de comportement, et ses équipes de recherche actualisent les méthodes à mesure que les techniques évoluent.
Certains clients disposent déjà d’un grand modèle de langage (LLM), c’est-à-dire un modèle d’IA entraîné sur de vastes volumes de texte, approuvé par leur organisation. L’approche Bring Your Own LLM Key (BYOK) leur permet d’utiliser leur propre clé d’API, qui donne accès à ce modèle, plutôt que de dépendre nécessairement du service de JFrog. Le mécanisme d’analyse s’appuie alors sur ce modèle, ce qui laisse aux entreprises la liberté de choisir leur fournisseur et de conserver leurs accords et politiques de sécurité. Dans un déploiement autohébergé, les données restent dans l’environnement du client et le code n’est pas envoyé vers le cloud de JFrog.
Attaques autonomes et gouvernance
Parmi les scénarios qui préoccupent Nir Peleg figure la capacité des modèles de pointe à contribuer à des attaques autonomes. Ils peuvent aider à découvrir de nouvelles vulnérabilités, y compris de type zero-day, c’est-à-dire des failles encore inconnues de l’éditeur, puis participer à des chaînes d’attaque comportant plusieurs étapes. « Les attaquants peuvent potentiellement agir à une échelle et à une vitesse inédites », alors que les défenseurs doivent encore composer avec des cycles de correctifs, de validation et d’approbation qui peuvent prendre des semaines.
Pour gouverner ces usages, la première étape est d’obtenir une visibilité sur ce qui se passe. « Si vous ne voyez pas les téléchargements de Shadow IA ou les composants utilisés par les agents, vous ne pouvez pas les gouverner », affirme-t-il. Il faut ensuite intégrer la sécurité et les politiques de contrôle au processus de développement, qu’il s’agisse des dépendances, des compétences, des connecteurs MCP (protocole reliant un agent à des outils externes) ou des déploiements.
L’objectif est de disposer d’un système commun qui centralise la visibilité, les analyses de sécurité, les règles et les contrôles, afin de retracer chaque étape, de la modification du code jusqu’à la mise en production. Quand le développement s’effectue à la vitesse des agents, la gouvernance doit suivre le même rythme : elle ne peut plus reposer uniquement sur des vérifications humaines intervenant après coup, et les contrôles doivent être intégrés à la plateforme et aux processus automatisés.
