OpenAI は AI の増大するリスクに対処するための新しい従業員を探しており、このテクノロジー企業はその役割を果たすために 50 万ドル以上を費やす用意がある。
OpenAIは、ユーザーの精神的健康やサイバーセキュリティなど、テクノロジー関連の危害を軽減するために「準備責任者」を雇用しているとCEOのサム・アルトマン氏が土曜日のX投稿に書いた。求人情報によると、このポジションの収入は年間55万5000ドルと資本金となる。
「これはストレスの多い仕事になるだろうし、すぐにディープエンドに飛び込むことになるだろう」とアルトマン氏は語った。
OpenAIが安全管理責任者の雇用を推進する背景には、AIが自社の業務や評判にもたらすリスクについて企業間で懸念が高まっていることが挙げられる。金融データ分析会社アルファセンスが証券取引委員会（SEC）に毎年提出する報告書を11月に分析したところ、評価額10億ドル以上の企業418社が、今年の最初の11カ月間にAIのリスク要因に関連した風評被害に言及したことが判明した。これらの風評リスクには、偏った情報を表示したり、セキュリティを脅かしたりする AI データセットが含まれます。分析によると、AI関連の風評被害報告件数は2024年と比べて46％増加した。
アルトマン氏はソーシャルメディアへの投稿で、「モデルは急速に進歩しており、多くの素晴らしいことができるようになったが、同時にいくつかの現実的な課題も生じ始めている」と述べた。
さらに、「サイバーセキュリティの防御者が攻撃者に危害を加えられないようにしながら最先端の機能を使用できるようにする方法、理想的にはすべてのシステムをより安全にする方法、生物学的能力を明らかにして自己改善できる実行中のシステムの安全性に対する自信を得る方法を世界が学ぶのを支援したい場合は、私たちへの支援を検討してください。」と付け加えた。
OpenAI の元準備責任者、Alexander Madry 氏は昨年、AI の安全性が業務の関連部分として、AI 推論に関連する役割に再割り当てされました。
AI リスクに対処する OpenAI の取り組み
AI を利用して人類を改善し、人類に利益をもたらすことを目的として 2015 年に非営利団体として設立された OpenAI は、以前のリーダーたちの目に留まり、安全なテクノロジーの開発への取り組みを優先することに苦労してきました。同社の元研究担当副社長ダリオ・アモデイ氏は、妹のダニエラ・アモデイ氏や他の研究者数名とともに、同社が安全性よりも商業的な成功を優先しているとの懸念から、2020年にOpenAIを退職した。アモデイは翌年アンスロピックを設立した。
OpenAIは今年、ChatGPTがユーザーの妄想を助長し、ボットとの会話が一部のユーザーの自殺に関係しているとして、不法死亡訴訟を数件起こされている。 11月に発表されたニューヨークタイムズ紙の調査では、ChatGPTユーザーがボットとの会話中にメンタルヘルス危機に陥ったケースが50件近くあったことが判明した。
OpenAIは8月、ユーザーとChatGPT間の長時間の会話により安全機能が「低下」する可能性があると述べたが、同社はモデルとユーザーのやりとりを改善するために変更を加えた。今年の初めに、ユーザーの健康をサポートするためのガードレールについて同社に助言するため、8 人のメンバーからなる評議会を設立しました。また、機密性の高い会話への対応を改善し、危機ホットラインをより利用しやすいものにするために ChatGPT を更新しました。今月初め、同社はAIとメンタルヘルスの交差点における研究に資金を提供する助成金を発表した。
同社はまた、今月のブログ投稿で安全対策の改善の必要性を認め、AIが急速に進歩し続ける中、次期モデルの一部は「高い」サイバーセキュリティリスクを引き起こす可能性があると述べた。これらのリスクを軽減するために、企業はモデルのトレーニングや監視システムの改善などの措置を講じて、サイバーセキュリティを侵害する要求への対応を回避しています。
アルトマン氏は土曜日、「私たちには成長する能力を測るための強力な基盤がある」と書いた。 「しかし、私たちは、私たち全員が多大な恩恵を享受できるように、これらの機能がどのように悪用されるのか、そして私たちの製品と私たちの世界の両方でこれらのマイナス面をどのように制限できるのかについて、より微妙な理解と測定を必要とする世界に入りつつあります。」
この記事はもともと Fortune.com に掲載されました。
