A JFrog propõe uma funcionalidade chamada Local Shadow AI, destinada a identificar nas estações de trabalho dos programadores as ferramentas, competências e componentes de inteligência artificial que escapam aos circuitos de aprovação das empresas. Numa entrevista ao Monde Informatique, Nir Peleg, diretor global de segurança dos sistemas de informação para as equipas de campo da JFrog, considera que a multiplicação de agentes de codificação está a fazer emergir novos riscos para a cadeia de desenvolvimento de software.
Os agentes de codificação geram código diretamente a partir de prompts e podem descarregar por si próprios pacotes ou competências cuja fiabilidade não foi verificada pela empresa. Estes componentes podem conter vulnerabilidades ou instruções maliciosas. Segundo Nir Peleg, a funcionalidade analisa os ambientes de desenvolvimento para identificar os elementos não autorizados e os riscos que apresentam. As equipas de segurança podem depois avaliar as ameaças detetadas e definir as medidas corretivas necessárias.
Uma análise baseada no comportamento
A JFrog indica ter desenvolvido o seu próprio mecanismo de análise, assente em vários métodos. Pode detetar, por exemplo, uma competência que procura obter privilégios ou acessos de que não precisa para cumprir a sua função. O perigo reside também em instruções dissimuladas por detrás de uma linguagem sofisticada: uma competência pode parecer legítima enquanto orienta o comportamento do agente para ações indesejadas. A empresa procura, portanto, detetar anomalias de comportamento, e as suas equipas de investigação atualizam os métodos à medida que as técnicas evoluem.
Alguns clientes dispõem já de um grande modelo de linguagem (LLM), ou seja, um modelo de IA treinado em vastos volumes de texto, aprovado pela sua organização. A abordagem Bring Your Own LLM Key (BYOK) permite-lhes usar a sua própria chave de API, que dá acesso a esse modelo, em vez de dependerem necessariamente do serviço da JFrog. O mecanismo de análise apoia-se então nesse modelo, o que deixa às empresas a liberdade de escolher o seu fornecedor e de manter os seus acordos e políticas de segurança. Numa implementação auto-hospedada, os dados permanecem no ambiente do cliente e o código não é enviado para a cloud da JFrog.
Ataques autónomos e governação
Entre os cenários que preocupam Nir Peleg figura a capacidade dos modelos de ponta contribuírem para ataques autónomos. Podem ajudar a descobrir novas vulnerabilidades, incluindo do tipo zero-day, ou seja, falhas ainda desconhecidas do editor, e depois participar em cadeias de ataque com várias etapas. «Os atacantes podem potencialmente agir a uma escala e a uma velocidade inéditas», enquanto os defensores ainda têm de lidar com ciclos de correções, validação e aprovação que podem levar semanas.
Para governar estes usos, o primeiro passo é obter visibilidade sobre o que se passa. «Se não vê os downloads de Shadow IA ou os componentes usados pelos agentes, não os pode governar», afirma. É preciso depois integrar a segurança e as políticas de controlo no processo de desenvolvimento, quer se trate de dependências, competências, conectores MCP (protocolo que liga um agente a ferramentas externas) ou implementações.
O objetivo é dispor de um sistema comum que centralize a visibilidade, as análises de segurança, as regras e os controlos, de forma a rastrear cada etapa, desde a modificação do código até à colocação em produção. Quando o desenvolvimento se faz à velocidade dos agentes, a governação tem de acompanhar o mesmo ritmo: já não pode assentar apenas em verificações humanas feitas a posteriori, e os controlos têm de estar integrados na plataforma e nos processos automatizados.
