Pretxt、500万ドルの資金調達とAI監視ツールでステルスモードを脱す

Pretxt、500万ドルの資金調達とAI監視ツールでステルスモードを脱す
1 分の読書

Pretxtは、コロラド州アスペンとアイルランドのダブリンにオフィスを構え、Deciens Capital、Howdy Partners、Service Provider Capitalから調達した500万ドルのシード資金とともにステルスモードを脱した。この新興企業は、AIエージェントがガードレールを越えて意図しない損害を引き起こすのを防ぐことを目的とした、新たに台頭しつつある技術カテゴリーに参入する。

情報源によれば、AIは従来のコンピュータープログラムよりも人間に近い存在である。指示を受け取り、解釈し、誤解し、時には曖昧な形で応答する。この誤解解釈と広範な行動の自由度が組み合わさることで、自律的に行動できるシステムであるAIエージェントが逸脱し、損害を引き起こす可能性があるという。

言語は本質的に曖昧であるため、これらのエラーを完全に排除することは不可能だ。したがって、エージェントの行動範囲を制限することが唯一の直接的な解決策となるが、制限が厳しすぎると、これらのツールの経済的価値が大幅に低下する可能性がある。情報源によれば、新たな形態の監視がなければ、有用なエージェントを持つことと、潜在的に危険なエージェントを持つことを切り離すことは困難となる。この必要性から、実行時に潜在的に有害な行動を検知し、その影響が発現する前に制御しようとするサイバーセキュリティ製品が登場している。

Pretxtはまさにこの種の製品、「AI Supervision」を発表した。同社はこれを「AIエージェントが作業中に監視され、エラーがビジネスへの結果となる前に軌道修正されるように設計された実行時技術」と説明している。

ブロックではなく修正する

Pretxtの共同創業者兼最高技術責任者(CTO)であるアーロン・コステロは、エージェントの能力を削減するのではなく、承認された従業員と同レベルのアクセス権を付与しつつ、システムや人々との相互作用の方法を継続的に監視するアプローチを説明する。目的は、これらのやり取りが企業の基準を遵守し、従業員に期待される行動から逸脱しないことを確認することだ。

エージェントが権限を超えたり、任務から逸脱したりした場合、Pretxtはそれを遮断しない。製品はエージェントを正しい方向へ「導く」。コステロはこの比喩を次のように説明する:経験豊富な監督者が常にインターンの隣に座り、必要な時だけ「別の方法で進めてください」と介入するようなものだ。

この修正は文脈に依存する。新規顧客は自社のエージェントをプラットフォームに接続し、その指示を読み取り、目的を理解させる。Pretxtはその後、エージェントの動作を観察し、例えばメール送信、LinkedInへの投稿、データベース更新など、アクセス可能なツールを特定する。最後に、顧客は遵守すべきルールを指定する:エージェントが決して行ってはならないこと、専任のタスク、アクセス不可のデータなどだ。「どんな内容でも構いません」とコステロは付け加える。この情報はPretxtのAIに統合され、許容される行動の枠組みとして使用される。

医療分野での事例

コステロは、医療機関が患者の予約を支援するために使用するカスタマーサービスエージェントの例を挙げる。その医療機関は、このエージェントが決して医療アドバイスを提供してはならないことをPretxtに指示している可能性がある。「我々はエージェントがユーザーと相互作用するたびに接続します」と彼は説明する。Pretxtの専任エージェントが、そのやり取りをリアルタイムで分析し、医療アドバイスが含まれていないかを確認する。

もし含まれていれば、そのアドバイスは阻止されるが、エージェントは停止されない。停止すると患者は予約できなくなるからだ。Pretxtは同じ「導き」の方法を採用する。コステロによれば、プラットフォームはその時、エージェントに目に見えない形で次のように指示する:「あなたは医療アドバイスを与えようとしました。ユーザーの予約リクエスト支援を続けてください。ただし、医療アドバイスを与えることはもう試みないでください。」

情報源によれば、これがAI Supervisionアプリケーションの目的である:誤動作するAIエージェントを停止させるのではなく、それらを安全に保ち、設定された制約から逸脱するのを防ぐことだ。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x