Pretxt komt uit de schaduw met 5 miljoen dollar en een AI-toezichtstool

Pretxt komt uit de schaduw met 5 miljoen dollar en een AI-toezichtstool
3 min lezen

Pretxt, met kantoren in Aspen (CO) en Dublin (Ierland), komt uit de anonimiteit met een seed-financieringsronde van 5 miljoen dollar, bijeengebracht door Deciens Capital, Howdy Partners en Service Provider Capital. Het jonge bedrijf plaatst zich in een opkomende categorie: die van technologieën die bedoeld zijn om AI-agenten binnen hun veiligheidskaders te houden en onbedoelde schade te voorkomen.

Volgens de bron lijkt AI meer op een persoon dan op een klassiek computerprogramma. Het ontvangt instructies, interpreteert ze, kan ze verkeerd interpreteren en erop reageren, soms op een dubbelzinnige manier. Het is de combinatie van deze verkeerde interpretatie en een grote handelingsvrijheid die kan leiden tot AI-agenten, dat wil zeggen systemen die autonoom kunnen handelen, die afwijken en schade veroorzaken.

Omdat taal van nature dubbelzinnig is, is het onmogelijk om deze fouten volledig uit te sluiten. Het beperken van de speelruimte van agenten blijft dus de enige directe oplossing, maar een te strenge beperking zou het economische nut van deze tools sterk kunnen verminderen. Zonder een nieuwe vorm van toezicht zou het volgens de bron dus moeilijk zijn om nuttige agenten te hebben zonder ook potentieel gevaarlijke agenten te hebben. Deze behoefte doet cybersecurityproducten ontstaan die tijdens de uitvoering een potentieel schadelijke actie proberen te detecteren en te controleren voordat deze effect heeft.

Pretxt presenteert precies zo’n product, genaamd AI Supervision, dat het omschrijft als « een uitvoeringstechnologie ontworpen om AI-agenten tijdens hun werk te superviseren, door ze terug op het juiste pad te brengen voordat fouten gevolgen voor het bedrijf worden ».

Corrigeren in plaats van blokkeren

In plaats van de capaciteiten van een agent te verminderen, legt Aaron Costello, medeoprichter en technisch directeur (CTO) van Pretxt uit, bestaat de aanpak eruit om hem hetzelfde toegangsniveau te geven als een geautoriseerde werknemer, terwijl continu wordt gecontroleerd hoe hij met systemen en mensen omgaat. Het doel is te verifiëren dat deze interacties de normen van het bedrijf respecteren en in overeenstemming blijven met wat het van zijn werknemers verwacht.

Wanneer een agent zijn autoriteit overschrijdt of afwijkt van zijn opdracht, schakelt Pretxt hem niet uit. Het product « leidt » hem in de goede richting, een vergelijking die Costello als volgt illustreert: een ervaren supervisor, die permanent naast een stagiair zit, grijpt alleen in wanneer nodig, door hem te zeggen het anders aan te pakken.

Deze correctie is contextafhankelijk. Nieuwe klanten verbinden hun agent met het platform, waardoor zijn instructies kunnen worden gelezen en zijn doel kan worden begrepen. Pretxt observeert vervolgens zijn werking, identificeert de tools waartoe hij toegang heeft, bijvoorbeeld om een e-mail te sturen, op LinkedIn te posten of een database bij te werken. De klant specificeert ten slotte de regels die moeten worden nageleefd: wat de agent nooit mag doen, de taken die voor hem zijn gereserveerd of de gegevens die hij niet mag inzien. « Dat kan van alles zijn », voegt Costello toe. Deze informatie wordt geïntegreerd in de AI van Pretxt, die het gebruikt als kader voor acceptabel gedrag.

Een voorbeeld uit de gezondheidszorg

Costello neemt het voorbeeld van een klantenserviceagent die door een medische praktijk wordt gebruikt om patiënten te helpen met het maken van afspraken. De praktijk zou aan Pretxt kunnen hebben doorgegeven dat deze agent nooit medisch advies mag geven. « We verbinden ons elke keer dat de agent met de gebruiker communiceert », legt hij uit. Een toegewijde agent van Pretxt analyseert dan de uitwisseling in realtime om te controleren of deze medisch advies bevat.

Als dat het geval is, wordt het advies voorkomen, maar de agent wordt niet gestopt, omdat patiënten dan geen afspraken meer zouden kunnen maken. Pretxt gebruikt dezelfde methode van « begeleiding ». Volgens Costello zegt het platform dan onzichtbaar tegen de agent: « Je hebt geprobeerd medisch advies te geven. Ga door met de gebruiker te helpen bij zijn verzoek om een afspraak, maar probeer geen medisch advies meer te geven. »

Dat is volgens de bron het doel van de toepassing van AI Supervision: niet het stoppen van falende AI-agenten, maar ze veilig houden en voorkomen dat ze afwijken van de beperkingen die voor hen zijn vastgesteld.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x