AI会社と米国の国防機関との関係は、今年初め、アントロピックが国防省と公に不快な戦いを繰り広げ、公に明らかになった。 Anthropicが自社のAI製品が国内の監視や自律兵器に電力を供給しないという保証を求めた後、国防省はすべての連邦機関および請負業者がAnthropicと取引することを全く禁止しました。同社は禁止措置を解除するために訴訟を提起しており、現在法廷で重大な戦いが行われている。
しかし、その背後には、米国の防衛と情報機関が秘密の維持の必要性を犠牲にすることなく技術を活用しようとしているので、それほど劇的ではありませんが、同じように重要なAI闘争が進んでいます。少数のAIインフラ会社は、当初、アメリカ政府がAIを安全に使用できるようにする複雑で珍しい作業を静かに行ってきました。
国防総省の何千ものチームで使用されているAsk Sageと呼ばれるAIプラットフォームの創設者であるNicolas Chaillanは、「現在の市場規模はおそらく20億ドルです」と述べています。このような選別会社が求める機会は、機密データに既成LLMを配布しようとする人が直面する極端なジレンマ事例に由来する。彼らは、AIの訓練の過程で間違った情報を間違って公開することなく、これらの強力なツールを使用する方法を理解しようとしています。
これらのAIインフラストラクチャ企業は、Google、xAI、OpenAI、Anthropicなどの大規模な競合他社と比較して、政府の業務に対するメディアの関心が少なくなります。最近の紛争が発生するまで、AnthropicのClaudeモデルは、国防省の機密ネットワークでの使用を承認された唯一のLLMの1つでした。しかし、この合意は、AIをホストするセキュリティソフトウェアプラットフォームと、クラウドサービスを運営する必須インフラインPalantirと、Amazon Web Services（AWS）を提供する他の2社との2024年契約を通じて可能になりました。大規模な言語モデルが米軍の最新、最も輝く戦闘機に少し似ていると想像してください。インフラ会社は、これらの新しい機械が残りの軍隊と通信し、安全に着陸するのに役立つラジオや滑走路などを提供しています。
元CIAアナリストであり、現在戦略および国際研究センターで国防技術を研究しているEmily Hardingは、「情報コミュニティ内でこの問題に深い関心を持っている人がおそらく100～200人ほどあるだろう」と述べました。 「私の考えでは、何百万人ものビジネスマンが大きなリスクを負うことなく、このような問題に直面するでしょう」
膨大な量の独占情報を持っている企業リーダーなら誰でもAI戦略でこの問題に直面したはずです。会社のすべてのビジネス上の重要なファイルについてChatGPTまたはClaudeのカスタムインスタンスをトレーニングすると想像してください。法律事務所の事例文書。製薬会社の内部研究報告書小売業者のリアルタイムサプライチェーンデータ投資銀行のリスクモデルまたは実写メモ。これらの指輪の訓練を受けたAIヘルパーは、会社の言語を流暢に話し、ファイルから収益性の高い接続を見つけることができます。しかし、奇妙な人、例えば競合他社がヘルパーに近づいた場合、どのような結果が出るのかを考えてみてください。
HardingはFortuneに「これは一種のCatch-22です」と言いました。 「十分に餌をやってください。あまりにも多くを知っています。
外部からの正しい要求によって、AIがトレーニング中に接触した機密ファイルの内容が漏洩する可能性があります。言い換えれば、LLMに会社の秘密をすべて教えることは、ビジネスが成長すると同時にビジネスが壊れる危険性があることを意味します。
秘密が国家安全保障に関する問題である場合
AI ヘルパーが秘密保持が国家安全保障の問題であり、違反が生命を危険にさらす可能性がある CIA で働いている場合、問題がどれほど悪化するかを考えてみましょう。
情報機関と軍隊は機密情報の分類に依存しています。人間のエージェントとアナリストは、漏れのリスクを減らすために厳密で知っておくべき基準に基づいて秘密にアクセスできます。 （米国防総省が秘密データのLLM教育を議論しているという最近の報告書が即時の批判を引き起こした理由の1つかもしれません。）それで、すべてのアナリストのAI助手が突然、機関のすべての秘密を知ったらどうなりますか？
商業と政府の両方の顧客にサービスを提供するAIインフラストラクチャ会社であるUnstructuredのCEOであり、元CIAアナリストであるBrian Raymondは、「区画化は不可能です」と述べています。
Raymondは、例えば「私はイラクのアナリストだとしましょう」と説明しています。 「情報組織の観点から見ると、私は中国の軍事技術に関する秘密資産の報告書を読むことはありません。誰もが自分の水泳路にとどまっていて、これは素晴らしいセキュリティです。
そこで、AIの秘密問題を解決するために少数のAIインフラ会社が生まれました。これらの企業は、市販の大規模言語モデルを中心にソフトウェアとサービスの足場を構築し、組織が秘密を公開することなくAIを使用できるようにします。
この足場の中心には、検索拡張生成（RAG）という細かく調整された技術バージョンがあります。商用LLMは、チャットウィンドウにアップロードした文書を表示するたびにRAGバージョンを使用します。 Claudeのようなモデルはその文書から情報を検索し、質問に対する回答を生成する前に見つけた内容に基づいて回答を強化します。ただし、アップロードできるデータ量には制限があることがよくあります。そして、商用LLMに敏感な文書を提供することは、コンテンツが最終的に将来のトレーニングに使用されるか、プロバイダの観点から必ずしも隔離されていない一時キャッシュに格納される可能性があるため、依然として危険です。
米国政府と協力する企業は、はるかに安全で管理されたRAGシステムを提供しています。このシステムでは、商用LLMは処理エンジンのように動作し、機密情報は安全なライブラリに保存されます。これらのシステムは、ClaudeやChatGPTなどの市販のAIモデルが検索するものと「知っている」内容を分離するために使用できます。
「セキュリティルーム」に対応するAI
Raymondの例では、イラクのアナリストが安全なRAGベースのAIアシスタントを雇って、ペルシャ湾の米海軍資産に関するレポートを作成するとします。アナリストは、このアシスタントのチャットウィンドウに最新の軍艦数を尋ねる質問を入力します。彼女が使用しているRAGシステムは、地域の海軍展開に関する最近の機密情報レポートを含む安全な個人ライブラリを使用しています。技術的にはベクトルデータベースであり、単純なキーワードではなく連結された意味について数学的に索引付けされたこのライブラリは、システムが答えを探す最初の場所です。
これは、AIの助手が知っておくべきことについて説明するためにセキュリティルームに入るステップだと考えてください。アシスタントは、米国の船舶に関するこれらの機密情報を検索し、セキュアサーバー上で実行されているGeminiなどの商用LLMに転送します。その後、LLMは分類された詳細を使用して、アナリストのテキストウィンドウに応答を生成する前に応答を強化します。このようなセキュリティシステムは、セッションの終わりに質問や回答をメモリから削除するように設定されることが多いため、機密情報は後でトレーニングに使用されるか、メモリに保存されません。
この例では、イラクのアナリストには、イラクでの自分の使命に関連するセキュリティ文書ライブラリにアクセスする権限があります。 Raymondの例に示すように、中国に関する範囲外の質問には答えることはできません。セキュリティライブラリには中国の機密文書がなく、商用LLMのトレーニングデータにもその情報はありません。簡単に言えば、この方法は、機密データを永遠に覚えたり、間違った人に公開したりせずにAIが読み取って使用できる方法を提供する足場を作成します。
Raymondの会社であるUnstructuredは足場ベースで働いています。彼のチームは、商業顧客のための手書きのサイトノートから政府のためのエキゾチックな機密ファイル形式まで、汚れた内部ファイルを整理して変換し、安全なベクトルデータベース内で安全に検索することができます。あるいは、レイモンドが言ったように、「私たちは世界のすべてのデータを掃除機で掃除し、書籍の形にし、図書館に送ります」
2020年の発足以来、1億3000万ドル以上の資金を調達したバークレーに本社を置くArize AIなどの他の企業も構造の中心で働いています。 ArizeはRAGパイプラインだけでなく、ここに構築されたエージェントとアプリケーションをテストして監視し、エラーと幻覚をデバッグして見つけます。
ArizeのCEOであるJason Loepateckiは、Fortuneとのインタビューで、「これらのシステムを制御するのは難しく、正しいことを行うことを確認することがプロセスの最も重要な部分の1つです」と述べました。 「私の製品や競合他社の製品を使用せずにAIを配布しません」
足場の上にはAsk Sageのようなプレイヤーがいます。 UnstructuredとArizeは比較的均一な政府および商業顧客にサービスを提供しますが、Ask Sageは国防省とビジネスの約65％を実行するPentagonの専門家に近いです。バージニアに本社を置く同社は、モデルが背後の秘密を「学習」することなく、ユーザーが承認された商用LLMを安全に照会し、エージェントを実行し、独自の制限されたデータから回答を得ることができる政府クラスのソフトウェアインターフェースを販売します。
ペンタゴン内部の競争相手？
12月、国防総省はGenAI.milという独自の内部LLMプラットフォームのリリースを発表しました。 Pete Hegseth国防長官は、「部署のすべてのメンバーがログインして学習し、すぐにワークフローに統合することを期待する」という部門全体のメッセージを通じてリリースを紹介しました。その後、米国防総省の関係者は、100万人以上のユニークなユーザーがプラットフォームにログインしたと述べた。
現時点では、GenAI.milは簡単なチャットボットインターフェースを提供し、兵士が文書のドラフト作成またはファイル分析のためにセキュアサーバー上で実行されている商用LLMを使用できるようにします。ただし、これは未分類のタスクにのみ当てはまります。これが、Ask Sage、Palantir、またはScale AIの製品とは異なり、GenAI.milが一流の秘密ファイルでいっぱいの安全なオフプラットフォームデータベースでRAGを実行できない理由の1つです。米国国防総省の関係者は、フォーチュンの部門は、今後「すべての分類レベル」にわたってAIツールを展開する予定ですが、タイムライン、特定のソフトウェアアーキテクチャ、またはGenAI.milプラットフォームの将来の変更に関する質問には答えを拒否したと述べました。少なくとも現在の形態では、国防省の新製品はAIの秘密の問題を解決することはできません。
UnstructuredのRaymondはPentagonの新しいプラットフォームを機会として見ています。 「GenAI.milがこれらのモデルをより多く利用できるようになると、私たちが構築する製品の需要が増えます」と彼は言いました。
米国軍と情報機関の知識労働者は、要約する文書が多すぎ、ドラフトを作成する必要があるテキストが膨大であり、実行すべき無限のコンプライアンス作業がすべて政府の略語の密な茂みの中に埋もれています。 Chaillanは「FedRAMPを使用して政府からATOを選択するか、コンプライアンスの悪夢を選択してください」と言います。彼はこれらの作業のために、AskSageのようなプラットフォームが「人間の手作業の負担を大幅に減らす」と付け加えました。
そして、これは、ArizeのLoepateckiのようなリーダーが政府の内部と外部の両方でAIの秘密の問題を解決する大きな機会を見る多くの理由の1つです。
「私たちが属する業界は、おそらく最も急成長しているツルクワガタとシャベルの分野の一つです」とLoepateckiは言います。 「世界のデータは無限であり、公的に訓練したくないデータポケットは大きい。」
