Tag: AIエージェントがお金に幻覚を感じたらどうなりますか

AIエージェントに、1日の終わりまでに10,000ドルの米ドルをカナダドルに変換するよう指示することを想像してください。エージェントが正しく実行されません。パラメータを誤って読み、不正なレバレッジベットを行うと、資本が蒸発します。責任は誰にありますか？誰があなたにお金を返済しますか？ 今すぐは誰もそうする必要はありません。そして、ある研究者グループは、これがエージェントAI時代の決定的な脆弱性であると主張しています。 4月8日に発表された論文では、Microsoft Research、Columbia University、Google DeepMind、Virtuals Protocol、およびAIスタートアップt54 Labsの研究者らは、ARS（Agentic Risk Standard）という包括的な新しい金融保護フレームワークを提案しました。これは、エスクロー、保険、清算が既存の金融取引で行うことをAIエージェントのために行うように設計されています。標準はオープンソースで、t54 Labsを介してGitHubで利用できます。 確率的問題 チームが識別する重要な問題は「保証格差」と呼ばれるもので、これを「AI安全技術が提供する確率的信頼性と、ユーザーが高リスク作業を委任する前に必要とする施行可能な保証の間の切断」と定義します。この説明は、リーダーシップの専門家であるJason Wildが、以前にFortuneにAIツールがどのように確率的であり、どこでも管理者を慌てるようにする方法について述べたことを思い出しています。 t54チームは、「潜在的な損失を制限する方法がない場合、ユーザーは合理的にAIの委任をリスクの低いタスクに制限することで、エージェントベースのサービスの広範な採用を制限します」と書いた。 彼らは、モデルレベルの安全改善がAI失敗の可能性を減らすことはできますが、完全に取り除くことはできないと主張しています。大規模な言語モデルは本質的に確率論的です。言い換えれば、AIエージェントがいくらよく訓練され、よく調整されていても、幻覚を引き起こして間違いを犯す可能性があります。エージェントが仲介アカウントを管理したり、金融API呼び出しを実行したりすると、1回の失敗でも即時かつ実質的な損失を引き起こす可能性があります。 Microsoft Researchの上級研究者であるWenyue Huaは、「最も信頼できるAI研究は失敗の可能性を減らすことを目指しています」と述べました。 「これは必須ですが、確率は保証されません。ARSは補完的なアプローチをとります。モデルを完璧にしようとする代わりに、そうでない場合は財政的に何が起こるかを定式化します。 研究者のソリューションは、何世紀にもわたる金融工学から直接借りました。 ARSは階層化された支払いフレームワークを導入します。つまり、サービス手数料を保有し、確認された作業配送時にのみこれを解除するエスクロー金庫です。 AIサービスプロバイダがユーザーの資金にアクセスする前に公開する必要がある担保要件オプションの買収 - AIの失敗のリスクについて価格を設定し、プレミアムを請求し、問題が発生した場合にユーザーに返済することを約束するリスクを負う第三者です。 フレームワークは、2種類のAI操作を区別します。スライドデッキの作成、レポート作成など、標準的なサービス作業には金融インプレッションが限られているため、エスクローベースの支払いで十分です。通貨取引、レバレッジポジション、金融API呼び出しなどの資金交換に関連するタスクでは、エージェントが結果を確認する前にユーザー資本にアクセスする必要があります。これはアンダーライティングが不可欠です。単一債務不履行が発生しないように、取引相手の間に清算所が存在するデリバティブ市場を支配する論理と同じです。 本論文は,既存のリスク割当業界に対してARSを表に明示的にマッピングする。建設はパフォーマンス債券を使用し、eコマースはプラットフォームエスクローを使用し、金融市場はマージン要件と清算を使用し、DeFiはスマート契約担保を使用します。研究者たちは、AIエージェントは、そのインフラストラクチャの独自バージョンを必要とする次世代の高負荷サービスカテゴリにすぎないと主張しています。 タイミングが重要です 金融規制当局はすでに回っています。 12月に発表されたFINRAの2026年規制監督報告書には、作成AIの最初のセクションが含まれており、ブローカーディーラーに幻覚を特別に狙った手順を開発し、「ユーザーの実際のまたは意図された範囲および権限を超えて」動作できるAIエージェントを綿密に調査するよう警告した。 SECや他の機関は綿密に観察しています。 しかし、ARSは規制機関がまだ構築していないと宣伝されています。つまり、一連のルールではなく、プロトコル、つまり資金がロックされる方法、請求書が受け取られる方法、AIエージェントが失敗したときに報酬が実行される方法を管理する標準化された状態システムです。研究者らは、ARSがより大きな信頼スタックの一層であり、実際のボトルネックは、エージェント行動のための正確なリスク価格モデルを構築することであることを認めている。 FangはFortuneとのインタビューで、「この文書は、エージェントの自律トランザクションに関連するエンドツーエンドのプロセスとリスク評価の外観を捉えるための高レベルのフレームワークを確立する最初のステップです」と述べました。 「今後、さまざまなユースケースでリスクを特定する方法を理解するために、より具体的な詳細、モデル、その他の研究を導入する必要があります。」