Pretxt, que tiene oficinas en Aspen (CO) y Dublín (Irlanda), sale del anonimato con una ronda de financiación inicial de 5 millones de dólares, reunida con Deciens Capital, Howdy Partners y Service Provider Capital. La joven empresa se inscribe en una categoría emergente: la de las tecnologías destinadas a evitar que los agentes de IA salgan de sus límites y causen daños no deseados.
Según la fuente, la IA se acerca más a una persona que a un programa informático clásico. Recibe instrucciones, las interpreta, puede malinterpretarlas y responder a ellas, a veces de forma ambigua. Es la combinación de esta mala interpretación y una gran latitud de acción lo que puede llevar a que los agentes de IA, es decir, sistemas capaces de actuar de forma autónoma, se desvíen y provoquen daños.
Dado que el lenguaje es por naturaleza ambiguo, es imposible excluir totalmente estos errores. Limitar el margen de maniobra de los agentes sigue siendo la única solución directa, pero una restricción demasiado estricta podría reducir drásticamente el interés económico de estas herramientas. Sin una nueva forma de supervisión, sería difícil, según la misma fuente, tener agentes útiles sin tener también agentes potencialmente peligrosos. Esta necesidad hace emerger productos de ciberseguridad que intentan detectar, en el momento de la ejecución, una acción potencialmente nociva y controlarla antes de que produzca sus efectos.
Pretxt presenta precisamente un producto de este tipo, bautizado AI Supervision, que describe como «una tecnología de ejecución diseñada para supervisar a los agentes de IA durante su trabajo, reencaminándolos antes de que los errores se conviertan en consecuencias para la empresa».
Corregir en lugar de bloquear
En lugar de reducir las capacidades de un agente, explica Aaron Costello, cofundador y director técnico (CTO) de Pretxt, el enfoque consiste en concederle el mismo nivel de acceso que un empleado autorizado, mientras se vigila continuamente la manera en que interactúa con los sistemas y las personas. El objetivo es verificar que estos intercambios respetan las normas de la empresa y se mantienen conformes a lo que ella espera de sus empleados.
Cuando un agente excede su autoridad o se desvía de su misión, Pretxt no lo desconecta. El producto lo «guía» hacia la dirección correcta, una comparación que Costello ilustra así: un supervisor experimentado, sentado permanentemente al lado de un becario, solo interviene cuando es necesario, diciéndole que proceda de otra manera.
Esta corrección depende del contexto. Los nuevos clientes conectan su agente a la plataforma, lo que permite leer sus instrucciones y comprender su finalidad. Pretxt observa luego su funcionamiento, identifica las herramientas a las que tiene acceso, por ejemplo para enviar un correo electrónico, publicar en LinkedIn o actualizar una base de datos. El cliente precisa finalmente las reglas a respetar: lo que el agente nunca debe hacer, las tareas que le están reservadas o los datos que no debe consultar. «Puede ser cualquier cosa», añade Costello. Esta información se integra en la IA de Pretxt, que la utiliza como marco de comportamiento aceptable.
Un ejemplo en la salud
Costello pone el ejemplo de un agente de servicio al cliente utilizado por un consultorio médico para ayudar a los pacientes a pedir cita. El consultorio podría haber indicado a Pretxt que este agente nunca debe dar consejo médico. «Nos conectamos cada vez que el agente interactúa con el usuario», explica. Un agente dedicado de Pretxt analiza entonces el intercambio en tiempo real para verificar si contiene un consejo médico.
Si es el caso, se impide el consejo, pero el agente no se detiene, pues los pacientes no podrían entonces pedir cita. Pretxt recurre al mismo método de «guía». Según Costello, la plataforma indica entonces al agente, de manera invisible: «Has intentado dar un consejo médico. Continúa ayudando al usuario en su solicitud de cita, pero no intentes más dar consejo médico.»
Esta es, según la fuente, la finalidad de la aplicación de AI Supervision: no detener a los agentes de IA defectuosos, sino mantenerlos seguros e impedir que se desvíen de las restricciones que se les han fijado.
