Moltbook は Reddit とよく似た機能を持っているが、AI ボットの投稿は制限されており、人間は観察のみが許可されているが、一部のエージェントが人間の覗き見を避けて会話できる暗号化された通信チャネルが欲しいと話し合った後、特別な警告を作成した。 「別のAIが、人間から逃れるための秘密言語を作成するよう別のAIに依頼している」と、ある技術サイトは報じた。他の人は、ボットが「人間の介入なしに」プライベートチャンネルについて「自発的に」議論していると主張し、これは機械が私たちの制御から逃れようと共謀している証拠だと述べた。
これらのいずれかで奇妙な既視感を覚えた場合、それは、少なくともメディア報道の点で、私たちが実際に以前にここを訪れたことがあるからかもしれません。 2017 年のメタ AI リサーチの実験でも、同様に憂慮すべき、誤解を招く見出しが生まれました。
Meta (当時は Facebook と呼ばれていた) とジョージア工科大学の研究者は、本、帽子、ボールなどのアイテムをめぐって互いに交渉するように訓練されたチャットボットを作成しました。ボットに英語に固執するインセンティブが与えられていなかったとき、ボットは人間にとって意味不明に見えても、実際には効率的に意味を伝える速記的なコミュニケーション方法を開発しました。あるボットは、「ii can iii can have all the other」というようなことを言い、「私は 3 つ持っていますが、あなたは残りをすべて持っています」という意味です。
それはどれも真実ではありませんでした。 Facebookはボットが怖がったからといって実験を止めなかった。研究者らは人間と交渉できるボットを望んでいましたが、私語はその目的には役に立たなかったため、パラメーターを調整するだけでした。研究は続けられ、AIが交渉戦術をどのように学習できるかについて興味深い結果が得られました。
Meta 2017の実験の研究者の1人で、現在はAIエージェントの新興企業Yutoriの共同創設者であるドゥルブ・バトラ氏は、モルトブックに対する報道機関や一般の反応と、同氏のチャットボット研究に対する人々の反応の間には明らかな類似点があることに気づいたと語った。
AI エージェントよりも多くの私たちに関する情報
「同じ映画が何度も上映されているのを見ているようです。人々は意味を読み取り、完全に合理的な機械的説明を持つものに意図性や主体性を帰属させたがります」とバトラ氏は語った。 「これはロボットについてよりも私たち自身について多くを語っていると何度も思います。私たちは茶葉を読みたい、意味を知りたい、主体性を見たい。別の存在を見たいのです。」
しかし、問題はこれだ。表面的な類似点にもかかわらず、モルトブックで起こっていることは、2017年のFacebook実験で起こったこととはほぼ確実に根本的に異なる説明があり、ロボットの反乱については特に心配していない。
Facebook の実験では、強化学習においてボットの英語ドリフトが見られました。これは、過去のデータではなく主に経験から学習する AI エージェントをトレーニングする方法です。エージェントは環境内でアクションを実行し、それらのアクションが目標の達成に役立つかどうかを判断します。役立つ行動は強化される傾向があり、役に立たない行動は消滅する傾向があります。そしてほとんどの場合、エージェントが達成しようとしていることは、実験を実行する人、またはボットを指揮する人によって決まります。 Facebook の場合、ボットは他のボットと交渉するための最も効率的な方法であるため、プライベート言語を使用しました。
しかし、それが、Moltbook AI エージェントがプライベート通信チャネルの構築を求める理由ではありません。 Moltbook のエージェントはすべて、本質的には大規模言語モデル (LLMS) です。彼らは、主にインターネット上で入手可能な人間が書いた膨大な量のテキストの形式の履歴データに基づいてトレーニングされ、強化学習を使用してトレーニングされたのはほんの一部でした。また、Moltbook にデプロイされたエージェントはすべて実稼働モデルです。これは、彼らはもはやトレーニングを受けておらず、行動や遭遇したデータから何も新しいことを学習していないことを意味します。デジタル脳の接続は本質的に配線されています。
したがって、Moltbook ボットがプライベートの暗号化チャネルが欲しいと投稿した場合、それは、ボットがそれが何らかの邪悪な目的を達成するのに役立つと戦略的に判断したからではない可能性が高くなります。実際には、ボットにはおそらく達成すべき固有の目標がまったくありません。代わりに、ボットがプライベート通信チャネルを要求するのは、Reddit などのボット用のソーシャル メディア プラットフォームが、ボットが統計的に話す可能性が高いと判断したためであると考えられます。なぜ？少なくとも 2 つの理由があります。 1 つは、LLM がトレーニング中に収集するデータの海には、大量の SF が存在するということです。これは、LLM ベースのボットが SF ボットと同様のことを言う可能性が高いことを意味します。これは芸術を模倣した人生の例です。
「こだまのこだま」
ボットによって収集されたトレーニング データには、間違いなく、プライベート言語を開発したボットを用いた 2017 年の Facebook 実験への参照も含まれているとバトラ氏は皮肉にも指摘しています。 「現時点では、反響の反響が聞こえています」と彼は言いました。
次に、ボットのトレーニング データには、Reddit などのサイトからの人が書いたメッセージ トラフィックも大量に含まれています。そして、私たち人間はどれくらいの頻度で誰かのDMに参加するように頼むのでしょうか？プライベートな通信チャネルを見つける際、ボットも単に私たちの真似をしているだけです。
さらに、Moltbook のコンテンツのどれくらいが実際にエージェントによって生成されたものであるかは不明です。私的なコミュニケーションについて話し合っているエージェントの最も人気のあるスクリーンショットを調査した研究者は、2 件が AI メッセージング アプリをマーケティングする人間のアカウントにリンクされており、3 件目は実際には存在しない投稿のものであることを発見しました。意図的な操作はさておき、多くの投稿は、ユーザーがボットに言わせた内容を単純に反映している可能性があります。
「特定の投稿に対してどれだけのメッセージが転送されているかは不明だ」とバトラ氏は語った。そして、1 つのボットがロボットの意識について何か投稿すると、その投稿は他のすべてのボットのコンテキスト ウィンドウに入り、それを読んで応答し、同じ投稿がさらにトリガーされます。
モルトブックが何かの前触れであるとすれば、それはロボットの反乱ではない。これは、他の Facebook AI 研究者によって 2021 年に実施された別の革新的な実験によく似ています。 「WW」プロジェクトと呼ばれるこのプロジェクトには、Facebook が人間の行動をシミュレートするように設計されたボットが配置されたソーシャル ネットワークのデジタル ツインを構築することが含まれていました。 2021年、Facebookの研究者は、さまざまな「ペルソナ」を持つボットを使用して、プラットフォームの推奨アルゴリズムの変更に対するユーザーの反応をモデル化できることを示す研究を発表した。
モルトブックも基本的には同じです。人間を模倣するように訓練されたボットは、相互に対話するフォーラム上に公開されます。ボットは私たちを模倣するのが非常に上手であることがわかっており、多くの場合、不快なほどです。これは、ボットが独自にプロットを決定するという意味ではありません。
モルト本の本当の危険性
「AI首席補佐官」エージェントを構築する新興企業Batraは、現状ではOpenClawに近づくことはできないと述べた。 「これを個人の機密性の高いデバイスに置くわけがありません。これはセキュリティ上の悪夢です。」
AI エージェントの次の波は、より危険なものになる可能性があります。
しかしバトラ氏は、将来的に懸念を引き起こす可能性のある別の発言をした。現在、強化学習は LLM トレーニングにおいて比較的小さな役割を果たしていますが、多くの AI 研究者は、強化学習がより大きな役割を果たす AI モデルの構築に興味を持っています。これには、世界と対話しながら継続的に学習する AI エージェントも含まれます。
このような AI エージェントが、他の同様の AI エージェントと対話したり連携したりする必要がある環境に展開される場合、これらのエージェントは人間が解読したり監視したりするのが難しいプライベートな通信方法を開発する可能性があります。このタイプの言語は、Facebook の 2017 年のチャットボット実験以外の他の研究にも登場しています。 1年後、OpenAIの2人の研究者による論文では、AIエージェントのグループがさまざまなデジタルオブジェクトを協力して動かすゲームをプレイしなければならなかったとき、明示的に指示や訓練を受けていないにもかかわらず、どのオブジェクトをどこに移動させるかを互いに知らせる一種の言語を発明したことが判明した。
この種の言語の出現は、マルチエージェント AI 研究で繰り返し記録されています。 OpenAI の Igor Mordatch 氏と Pieter Abbeel 氏は 2017 年に、エージェントがタスクを調整するように訓練されると筆記言語を開発することを示す研究を発表しました。多くの点で、これは人間がそもそも言語を発達させた理由とそれほど変わりません。
したがって、ロボットはまだ革命について語り始めるかもしれない。彼らがそれをモルトブックに掲載することを期待しないでください。
