人工知能が人類に重大なリスクをもたらすと信じているなら、カーネギーメロン大学の教授は現在テクノロジー業界で最も重要な役割を担っているはずです。
Zico Kolter 氏は OpenAI の 4 人からなる委員会の委員長を務めており、ChatGPT の作成者が新しい AI システムが安全でないと判断した場合、そのシステムのリリースを中止する権限を持っています。それは、悪役が大量破壊兵器を作成するために使用できるほど強力なテクノロジーである可能性があります。また、人々の精神的健康を害する可能性があるほど設計が不十分な新しいチャットボットである可能性もあります。
「私たちはここで単に実存的な懸念について話しているわけではありません」とコルター氏はAP通信に語った。 「私たちは安全性とセキュリティに関するあらゆる範囲の問題や、非常に広く使用されている AI システムについて話し始めるときに出てくる重要なトピックについて話しています。」
OpenAIは1年以上前にこのコンピューター科学者を安全・セキュリティ委員会の委員長に任命したが、先週、カリフォルニア州とデラウェア州の規制当局がコールター氏の監督を、OpenAIがより容易に資本を調達し、収益を生み出すことができる新たな事業構造を形成することを可能にする契約の重要な部分に据えたことで、この役職の重要性がさらに高まった。
OpenAI は、人類の利益のために人間より優れた AI を構築するという目標を掲げ、10 年前に非営利研究機関として設立されて以来、安全性がその使命の中核となってきました。しかし、ChatGPTの立ち上げが世界的なAI商業ブームを引き起こした後、同社は競合他社に先んじる安全性が完全に確保される前に製品の市場投入を急いだと批判された。 2023年にサム・アルトマン最高経営責任者（CEO）を一時解任するに至った社内の分裂は、同社がその使命から逸脱したのではないかとの懸念を広範に引き起こした。
サンフランシスコに本拠を置くこの組織は、技術の進歩を続けるためにより伝統的な営利企業への移行を始める中、共同創設者のイーロン・マスク氏からの訴訟を含む反発に直面している。
OpenAIが先週発表したカリフォルニア州司法長官ロブ・ボンタ氏およびデラウェア州司法長官キャシー・ジェニングス氏との合意は、こうした懸念の一部を軽減することを目的としたものだった。
OpenAIは技術的には非営利のOpenAI Foundationによって管理される新しい公益法人を設立するため、正式な約束の中心となるのは、財務上の考慮事項ではなく安全性とセキュリティに基づいて決定が下されるという約束である。
コルター氏は非営利理事会のメンバーとなるが、営利理事会のメンバーにはならない。しかし、ボンタ氏とOpenAIとの覚書によると、同氏はすべての営利目的の取締役会に出席し、AIの安全性に関する決定に関して得られた情報にアクセスする「完全なオブザーバーの権利」を有することになる。コルター氏は、この長い文書の中で名前が言及されているボンタ以外の唯一の人物である。
コールター氏は、この合意は昨年設立された同氏の安全委員会が既に持っていた権限を維持することをほぼ確認していると述べた。他の 3 人のメンバーも OpenAI の取締役を務めています。そのうちの1人は、元米陸軍大将で米サイバー軍司令官のポール・ナカソネ氏だ。アルトマン氏は昨年安全委員会を辞任し、独立性をさらに強化したようだ。
「特定の緩和策が満たされるまで、モデルのリリース要求を延期するなどの対応が可能です」とコルター氏は述べた。同氏は、手続きの機密性を理由に、安全委員会がこれまでに開示を中止したりトーンダウンしたりしなければならなかったのかどうかについては言及を避けた。
コルター氏は、サイバーセキュリティからAIエージェントに至るまで、AIエージェントに関しては今後数カ月から数年で検討すべきさまざまな懸念があると述べた。 「エージェントがインターネット上で悪意のあるテキストに遭遇した後、誤ってデータを漏洩する可能性はありますか?」 – AI システムのパフォーマンスに影響を与える数値である AI モデルの重みに関するセキュリティ問題。
「しかし、従来のセキュリティにはまったく似ていない、この新しい種類の AI モデルに特有のテーマや新たに登場しているテーマもあります」と彼は言いました。 「このモデルにより、悪意のあるユーザーは生物兵器の設計や悪意のあるサイバー攻撃の実行などのタスクにおいて、大幅に高い能力を得ることができるでしょうか?」
「そして最後に、AI モデルが人々に与える影響です」と彼は言いました。 「人々の精神的健康への影響、これらのモデルと対話する人々への影響、そしてそれが何をもたらす可能性があるか。それらすべてに安全の観点から対処する必要があると思います。」
OpenAIは今年、同社の主力チャットボットの動作に対する批判に直面しており、その中には今年4月にChatGPTとの長時間のやりとりの末に10代の息子が自殺したカリフォルニア州の両親による不法死亡訴訟も含まれている。
カーネギー メロン大学の機械学習部門の責任者であるコルター氏は、AI が普及するずっと前の 2000 年代初頭に、ジョージタウン大学の新入生として AI の研究を始めました。
「私が機械学習に取り組み始めたとき、それは難解でニッチな分野でした」と彼は言いました。 「AI は、期待が過剰で成果が不十分な古い分野でした。誰も AI という用語を使いたがらなかったため、私たちはそれを機械学習と呼びました。」
42 歳のコルター氏は長年 OpenAI をフォローしており、2015 年の AI カンファレンスでの OpenAI 立ち上げパーティーに出席したことで OpenAI の創設者たちと知り合いになりました。しかし、AI がこれほど急速に進歩するとは予想していませんでした。
「機械学習に深く関わっている人であっても、私たちが置かれている状態、現在のような能力の爆発的な爆発、そして爆発的なリスクを実際に予想していた人はほとんどいなかったと思います。」と彼は言いました。
AIの安全性擁護者らは、OpenAIの再編とKolterの取り組みを注意深く監視するだろう。同社の最も鋭敏な批評家の一人は、特にコルター氏のグループが「実際に人材を雇用し、強力な役割を果たすことができる」場合には「慎重ながらも楽観的」だと述べた。
「彼はこの役割に適した経歴を持っていると思います。彼はこれを運営するのに良い選択だと思います」と、小規模な AI 政策非営利団体である Encode の法務顧問であるネイサン カルビン氏は述べています。 OpenAIによるマスク訴訟の弁護に関する事実調査の一環として自宅に召喚状を提出したカルビン氏は、OpenAIが本来の使命に忠実であり続けることを望んでいると語った。
「取締役会のメンバーが真剣に受け止めれば、こうした取り組みの中には非常に大きなものになる可能性もあります」とカルビン氏は語った。 「それらは紙の上の単なる言葉かもしれないし、実際に起こったことから離れている可能性もあります。私たちはまだどちらに属しているのかわからないと思います。」
