Pretxt tritt mit 5 Millionen Dollar und einem KI-Überwachungstool aus dem Schatten

Pretxt tritt mit 5 Millionen Dollar und einem KI-Überwachungstool aus dem Schatten
3 Minuten Lesezeit

Pretxt, das Büros in Aspen (Colorado) und Dublin (Irland) unterhält, tritt mit einer Seed-Finanzierungsrunde in Höhe von 5 Millionen Dollar aus der Anonymität heraus, die von Deciens Capital, Howdy Partners und Service Provider Capital bereitgestellt wurde. Das junge Unternehmen ordnet sich in eine aufstrebende Kategorie ein: Technologien, die verhindern sollen, dass KI-Agenten ihre Sicherheitsvorkehrungen verlassen und unbeabsichtigten Schaden anrichten.

Laut der Quelle ähnelt The AI / news eher einer Person als einem klassischen Computerprogramm. Sie erhält Anweisungen, interpretiert sie, kann sie missverstehen und darauf reagieren, manchmal auf mehrdeutige Weise. Erst die Kombination aus diesem Missverständnis und einem großen Handlungsspielraum kann dazu führen, dass KI-Agenten, also Systeme, die autonom handeln können, abweichen und Schäden verursachen.

Da Sprache von Natur aus mehrdeutig ist, lassen sich diese Fehler nicht vollständig ausschließen. Den Handlungsspielraum der Agenten einzuschränken, bleibt daher die einzige direkte Lösung, doch eine zu strenge Beschränkung könnte den wirtschaftlichen Nutzen dieser Werkzeuge erheblich mindern. Ohne eine neue Form der Überwachung wäre es laut der Quelle schwierig, nützliche Agenten zu haben, ohne auch potenziell gefährliche Agenten zu haben. Dieser Bedarf lässt Cybersicherheitsprodukte entstehen, die versuchen, eine potenziell schädliche Aktion zur Laufzeit zu erkennen und zu kontrollieren, bevor sie Wirkung entfaltet.

Pretxt stellt genau ein solches Produkt vor, genannt AI Supervision, das es als „eine Laufzeit-Technologie beschreibt, die entwickelt wurde, um KI-Agenten während ihrer Arbeit zu überwachen und sie wieder auf den richtigen Weg zu bringen, bevor Fehler zu Konsequenzen für das Unternehmen werden ».

Korrigieren statt blockieren

Statt die Fähigkeiten eines Agenten einzuschränken, erklärt Aaron Costello, Mitgründer und Chief Technology Officer (CTO) von Pretxt, bestehe der Ansatz darin, ihm denselben Zugriffslevel wie einem autorisierten Mitarbeiter zu gewähren, während kontinuierlich überwacht wird, wie er mit Systemen und Personen interagiert. Ziel ist es, sicherzustellen, dass diese Interaktionen den Unternehmensstandards entsprechen und im Einklang mit dem bleiben, was das Unternehmen von seinen Angestellten erwartet.

Wenn ein Agent seine Befugnisse überschreitet oder von seiner Aufgabe abweicht, schaltet Pretxt ihn nicht ab. Das Produkt „lenkt » ihn in die richtige Richtung, ein Vergleich, den Costello so veranschaulicht: Ein erfahrener Vorgesetzter, der permanent neben einem Praktikanten sitzt, greift nur ein, wenn nötig, und sagt ihm, dass er es anders machen soll.

Diese Korrektur ist kontextabhängig. Neue Kunden verbinden ihren Agenten mit der Plattform, was es ermöglicht, seine Anweisungen zu lesen und seinen Zweck zu verstehen. Pretxt beobachtet dann seinen Betrieb, identifiziert die Werkzeuge, auf die er Zugriff hat, zum Beispiel um eine E-Mail zu senden, auf LinkedIn zu posten oder eine Datenbank zu aktualisieren. Der Kunde legt schließlich die einzuhaltenden Regeln fest: Was der Agent niemals tun darf, welche Aufgaben ihm vorbehalten sind oder welche Daten er nicht einsehen darf. „Das kann alles Mögliche sein », fügt Costello hinzu. Diese Informationen werden in die KI von Pretxt integriert, die sie als Rahmen für akzeptables Verhalten nutzt.

Ein Beispiel aus dem Gesundheitswesen

Costello nennt das Beispiel eines Kundenservice-Agenten, der von einer Arztpraxis genutzt wird, um Patienten bei der Terminvereinbarung zu helfen. Die Praxis könnte Pretxt mitgeteilt haben, dass dieser Agent niemals medizinischen Rat geben darf. „Wir schalten uns jedes Mal dazu, wenn der Agent mit dem Nutzer interagiert », erklärt er. Ein spezieller Agent von Pretxt analysiert dann den Austausch in Echtzeit, um zu prüfen, ob er medizinischen Rat enthält.

Wenn das der Fall ist, wird der Rat verhindert, aber der Agent wird nicht gestoppt, da Patienten dann keine Termine mehr vereinbaren könnten. Pretxt wendet dieselbe Methode des „Lenkens » an. Laut Costello teilt die Plattform dem Agenten dann unsichtbar mit: „Sie haben versucht, medizinischen Rat zu geben. Helfen Sie dem Nutzer weiter bei seiner Terminanfrage, aber versuchen Sie nicht mehr, medizinischen Rat zu geben. »

Das ist laut der Quelle der Zweck der Anwendung von AI Supervision: nicht fehlerhafte KI-Agenten zu stoppen, sondern sie sicher zu halten und davon abzuhalten, von den ihnen gesetzten Grenzen abzuweichen.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x