Pretxt sai da sombra com 5 milhões de dólares e uma ferramenta de supervisão de IA

Pretxt sai da sombra com 5 milhões de dólares e uma ferramenta de supervisão de IA
4 min de leitura

A Pretxt, que tem escritórios em Aspen (CO) e em Dublin (Irlanda), sai do anonimato com uma ronda de financiamento inicial de 5 milhões de dólares, reunida junto da Deciens Capital, Howdy Partners e Service Provider Capital. A jovem empresa insere-se numa categoria emergente: a das tecnologias destinadas a impedir que os agentes de IA ultrapassem os seus limites e causem danos não intencionais.

Segundo a fonte, a IA aproxima-se mais de uma pessoa do que de um programa informático clássico. Recebe instruções, interpreta-as, pode interpretá-las mal e responder, por vezes de forma ambígua. É a combinação desta má interpretação com uma grande latitude de ação que pode levar os agentes de IA, ou seja, sistemas capazes de agir de forma autónoma, a desviarem-se e a provocar danos.

Como a linguagem é por natureza ambígua, é impossível excluir totalmente estes erros. Limitar a margem de manobra dos agentes continua, portanto, a ser a única solução direta, mas uma restrição demasiado estrita poderia reduzir fortemente o interesse económico destas ferramentas. Sem uma nova forma de supervisão, seria assim difícil, sempre segundo a fonte, ter agentes úteis sem ter também agentes potencialmente perigosos. Esta necessidade faz emergir produtos de cibersegurança que tentam detetar, no momento da execução, uma ação potencialmente nociva e controlá-la antes que produza os seus efeitos.

A Pretxt apresenta precisamente um produto deste tipo, batizado AI Supervision, que descreve como «uma tecnologia de execução concebida para supervisionar os agentes de IA durante o seu trabalho, recolocando-os no bom caminho antes que os erros se transformem em consequências para a empresa».

Corrigir em vez de bloquear

Em vez de reduzir as capacidades de um agente, explica Aaron Costello, cofundador e diretor técnico (CTO) da Pretxt, a abordagem consiste em conceder-lhe o mesmo nível de acesso que um funcionário autorizado, enquanto se monitoriza continuamente a forma como interage com os sistemas e as pessoas. O objetivo é verificar se estas trocas respeitam as normas da empresa e se mantêm conformes com o que ela espera dos seus colaboradores.

Quando um agente excede a sua autorização ou se desvia da sua missão, a Pretxt não o desliga. O produto «guia-o» na direção correta, uma comparação que Costello ilustra assim: um supervisor experiente, permanentemente sentado ao lado de um estagiário, só intervém quando necessário, dizendo-lhe para proceder de outra forma.

Esta correção depende do contexto. Os novos clientes ligam o seu agente à plataforma, o que permite ler as suas instruções e compreender a sua finalidade. A Pretxt observa depois o seu funcionamento, identifica as ferramentas a que tem acesso, por exemplo para enviar um e-mail, publicar no LinkedIn ou atualizar uma base de dados. O cliente especifica finalmente as regras a respeitar: o que o agente nunca deve fazer, as tarefas que lhe são reservadas ou os dados que não deve consultar. «Pode ser qualquer coisa», acrescenta Costello. Estas informações são integradas na IA da Pretxt, que as utiliza como quadro de comportamento aceitável.

Um exemplo na saúde

Costello dá o exemplo de um agente de serviço ao cliente utilizado por um consultório médico para ajudar os pacientes a marcar consultas. O consultório poderia ter indicado à Pretxt que este agente nunca deve dar conselhos médicos. «Ligamo-nos sempre que o agente interage com o utilizador», explica. Um agente dedicado da Pretxt analisa então a troca em tempo real para verificar se contém um conselho médico.

Se for o caso, o conselho é impedido, mas o agente não é parado, pois os pacientes deixariam então de poder marcar consultas. A Pretxt recorre ao mesmo método de «orientação». Segundo Costello, a plataforma indica então ao agente, de forma invisível: «Tentou dar um conselho médico. Continue a ajudar o utilizador no seu pedido de consulta, mas não tente mais dar conselhos médicos.»

É aí, segundo a fonte, que reside a finalidade da aplicação de AI Supervision: não parar os agentes de IA defeituosos, mas mantê-los seguros e impedi-los de se desviarem das restrições que lhes foram impostas.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x