間違いを犯すのは人間です。許してください、神聖です。しかし、これまで人間が担当していたタスクを自律型 AI の「エージェント」が実行する場合、どの程度の誤差が生じるのでしょうか?
サンフランシスコで開催されたフォーチュンの最近の Brainstorm AI イベントでは、内部関係者が企業がセキュリティとガバナンスにどのように取り組んでいるかを共有する中、専門家ラウンドテーブルがこの問題に取り組みました。この問題は、データや計算能力などのより現実的な問題を超えています。企業は、人間の監督なしでタスクを自律的に処理できるワークフローに AI エージェントを導入するために激しく競争しています。しかし、多くの人は、クロールの採用を遅らせる根本的な矛盾に直面しています。迅速に行動するには信頼が必要ですが、信頼を築くには時間がかかります。
Rubrik の AI ゼネラルマネージャーである Dev Rishi 氏は、深層学習 AI スタートアップ Predibase の買収後、昨夏セキュリティ会社に入社しました。その後、4 か月かけて 180 社の幹部と面会しました。同氏はブレインストーミング AI の聴衆に対し、これらの洞察を利用してエージェント AI の導入を 4 つの段階に分けたと語った。 (レベル設定では、エージェント導入とは、プロンプトに応答するのではなく自律的に動作する AI システムを実装する企業を指します。)
Rishi が学んだことから、彼が明らかにした 4 つの段階には、企業がエージェントのプロトタイプを作成し、ワークフローに統合できると思われる目標を計画するために熱心に取り組む初期実験段階が含まれています。リシ氏は、第2ステップが最も難しいと語った。この時期は、企業がエージェントをプロトタイピングから正式な作品の制作に移行する時期です。 3 番目のフェーズには、自律エージェントを会社全体に拡張することが含まれます。リシが話した誰も達成していない 4 番目で最後のステップは、自律型 AI です。
リシ氏は、180 社のうちおよそ半数が実験とプロトタイピングの段階にあり、25% がプロトタイプの正式化に取り組んでいることを発見しました。さらに 13% は拡張中であり、さらに 12% は AI プロジェクトを開始していませんでした。しかし、リシ氏は劇的な変化が起こると予想している。今後 2 年間で、50% のバケットに含まれる企業がロードマップに基づいてフェーズ 2 に移行すると予想されます。
「すぐに多くの採用が行われると思います」とリシ氏は聴衆に語った。
しかし同氏は、企業が従業員向けのAIエージェントの導入を加速するために「より早く、より懸命に」取り組むことを妨げる大きなリスクがあると指摘した。同氏は、これらのリスクとエージェントの広範な展開に対する最大の障壁はセキュリティとガバナンスであると述べた。このため、企業が知識発見に使用されるエージェントからアクション指向のエージェントに移行することが困難になります。
「実際、私たちは AI 変革を加速することに重点を置いています」とリシ氏は言いました。 「最大のリスク、最大のボトルネックはリスクそのものだと思います。」
エージェントを従業員に統合する
Experianの製品戦略を率いる最高イノベーションオフィスのキャスリーン・ピーターズ氏は、AIエージェントが企業が設置したガードレールを越えるリスクと、そのような状況が生じた場合に必要な安全策を十分に理解していないことが減速の原因だと述べた。
「何か問題が起こった場合、幻覚や停電になった場合、どう対処すればよいでしょうか?」彼女は尋ねた。 「業界によっては、一部の経営幹部が理解したいことの 1 つは、『どうすれば安全だと感じることができるのか』ということです。」
同氏は、それを理解するのは企業によって異なり、高度に規制された業界の企業では特に困難になる可能性が高いと指摘した。ホームセンター小売業者ロウズのデータ、AI、イノベーション担当上級副社長チャンドゥ・ナイル氏は、エージェントを構築するのは「かなり簡単」だが、人々はエージェントが何なのかを理解していないと語った。彼らはデジタル従業員ですか?人力ですか？それは組織構造にどのように統合されるのでしょうか?
「人事機能を持たずに大量の人を雇用するようなものです」とナイル氏は言う。 「そのため、適切にマッピングする方法がないエージェントがたくさんいます。そこが焦点でした。」
同社は、何か問題が起こった場合に誰が責任を負うのかなど、これらの疑問のいくつかを解決するために取り組んできた。 「その過去を辿るのは難しい」とナイル氏は語った。
Experian のピーターズ氏は、取締役会やコンプライアンスおよび戦略の上級委員会の間で密室で会話が同時に行われているにもかかわらず、これらの疑問の多くは今後数年のうちに公に取り上げられるだろうと予測しました。
大規模な爆発は多くの注目と評判のリスクを引き起こすだろうとピーターズ氏は続けた。これにより、ソフトウェアとエージェントの責任の所在について不快な会話が生じ、規制の強化につながる可能性が高いと同氏は述べた。
「こうした新しい働き方について考えることは、社会全体の変革管理の一部になると思います」とピーターズ氏は語った。
それにもかかわらず、AI が従業員や顧客の共感を呼ぶ方法で導入された場合、AI がどのように企業に利益をもたらすかを示す具体的な例があります。
Nair 氏は、Lowe’s ではこれまでのところ、AI が同社の業務に組み込まれており、導入が順調に進んでおり、「かなりの」投資収益率を上げていると述べた。たとえば、同社の 250,000 人の店舗従業員には、電気機器から塗料、配管用品まであらゆるものを販売する 100,000 平方フィートの店舗に、豊富な製品知識を持つ担当者がいます。ロウ氏の従業員に新しく加わった人の多くはディーラーではなく、代理店の従業員はこれまでで「最も早く導入されたテクノロジー」になっているとネア氏は語った。
「顧客の共感を呼ぶ適切な使用例を持つことが重要でした」と彼は言いました。店舗内での変更管理の推進に関しては、「製品が優れていて付加価値があれば、採用は非常に早く行われます。」
エージェントを監視しているのは誰ですか?
しかし、本社で働く人々にとっては、変更管理のスキルが異なる必要があり、そのことがさらに複雑さを増している、と同氏は付け加えた。
そして、多くの企業は、独自のエージェントを構築するべきか、それとも大手ソフトウェア ベンダーが開発した AI 機能に依存すべきかという、別の初期段階の問題で立ち往生しています。
医療システムの Mass General Brigham でクラウドおよび AI エンジニアリング担当エグゼクティブ ディレクターを務める Rakesh Jain 氏は、彼の組織は様子見のアプローチを取っていると述べた。 Salesforce、Workday、ServiceNow などの主要なプラットフォームでは独自のエージェントを導入しているため、組織が独自のエージェントを同時に導入すると重複が発生する可能性があります。
「ギャップがある場合は、独自のエージェントを構築したいと考えています」とジェイン氏は言いました。 「そうでなければ、製品サプライヤーが構築した購入代理店に頼ることになるでしょう。」
医療分野ではリスクが高いため、人間による監視が非常に必要だとジェイン氏は述べた。
「患者の複雑さはアルゴリズムでは判断できません」と彼は言う。 「人々が介入する必要がある。」彼の経験によれば、エージェントは意思決定を迅速化することができますが、最終的な判断は人間が行う必要があり、医師は行動を起こす前にすべてを確認する必要があります。
それにもかかわらず、ジェイン氏はテクノロジーが成熟するにつれ、大きな可能性を秘めていると考えています。たとえば、放射線科では、複数の医師の専門知識を備えた訓練を受けた担当者が、1 人の放射線科医では見落とす可能性のある高密度組織内の腫瘍を見つけることができます。しかし、複数の医師の訓練を受けたエージェントがいても、「依然として人間の判断が必要だ」とジェイン氏は言う。
そして、信頼できる存在であると見なされているエージェントによる行き過ぎの脅威が常に存在します。彼は悪性物質を自己免疫疾患に例えました。自己免疫疾患は、脅威が内部にあるため、医師にとって診断と治療が最も難しい病気の 1 つです。同氏は、システム内のエージェントが「腐敗」すれば、「人々は計り知れないほどの甚大な被害を受けることになる」と述べた。
未解決の疑問と差し迫った課題にもかかわらず、リシ氏は前進する道はあると語った。同氏は、エージェントに対する信頼を構築するための 2 つの要件を特定しました。まず、企業は、エージェントがポリシーのガードレール内で動作するという信頼を提供するシステムを必要とします。第二に、物事が必然的にうまくいかない場合に備えた明確なポリシーと手順、つまり徹底したポリシーが必要です。 Nair 氏は、信頼を築き、賢く前進するための 3 つの要素も追加しました。つまり、自分のアイデンティティ、責任、代表者が誰であるかを知ることです。各エージェントの出力品質がどの程度一貫しているかを評価します。フォローアップをレビューして、ミスが発生した理由とタイミングを説明します。
「人間が間違いを犯す可能性があるのと同じように、システムも間違いを犯す可能性があります」とナイル氏は言う。 「しかし、説明し回復する能力も同様に重要です。」
