研究者らによると、AIの手下をいじめた方が、礼儀正しくするよりも良い結果が生まれるかもしれないが、だからといって失礼な口調が長期的な影響を及ぼさないというわけではないという。
ペンシルベニア州立大学が今月初めに発表した新しい研究では、ChatGPT の 4o モデルは、研究者のプロンプトが粗雑であればあるほど、50 個の多肢選択の質問に対してより良い結果を生み出すことが判明しました。
礼儀正しさと無礼さによって分類された 250 以上の固有のプロンプト全体で、「非常に失礼な」応答は 84.8% の精度を達成しました。これは、「非常に丁寧な」応答より 4 パーセントポイント高かったです。基本的に、LLM は、研究者が「次の問題を解けますか?」と言ったときよりも、「ねえ、ゴーファー、それを考えてください」のようなプロンプトを提示されたときに、より良い反応を示しました。
通常、失礼な応答はより正確な応答をもたらしますが、研究者らは、「不道徳な談話」は意図しない結果をもたらす可能性があると指摘しました。
「人間とAIのやりとりにおいて虐待的または品位を傷つける言葉を使用すると、ユーザーエクスペリエンス、アクセシビリティ、包括性に悪影響を及ぼし、有害なコミュニケーション規範を引き起こす可能性がある」と研究者らは書いている。
チャットボットが部屋を読み上げます。
このプレプリント研究は査読を受けていないが、文章の構造だけでなく口調もAIチャットボットの応答に影響を与えるという新たな証拠を提供している。これは、人間と AI の相互作用がこれまで考えられていたよりも微妙であることを示している可能性もあります。
AI チャットボットの動作に関して行われたこれまでの研究では、チャットボットが人間から与えられるものに敏感であることが示されています。ある研究では、ペンシルバニア大学の研究者らが、抑制された反応をもたらすようにLLMを操作するために、効果的な説得技術を人間に適用した。別の研究では、科学者らはLLMが持続的な認知機能低下の一形態である「脳腐れ」にかかりやすいことを発見した。彼らは、低品質のウイルス含有量を含む食事を一貫して与えられた場合、精神病とナルシシズムの割合が増加することを発見しました。
ペンシルベニア州立大学の研究者らは、回答のサンプルサイズが比較的小さいことや、研究の大部分が1つのAIモデルであるChatGPT 4oに依存していることなど、この研究にはいくつかの限界があると指摘した。研究者らはまた、より高度なAIモデルでは「論調の問題を無視し、各質問の本質に焦点を当てる」ことが可能だと述べた。それにもかかわらず、研究により、AI モデルとその複雑さの背後にある関心が高まっています。
これは特に当てはまります。 ChatGPT の応答は、多肢選択テストなどの単純な構造が与えられた場合でも、プロンプトの細かい詳細に応じて変化することが示されています。電気工学とコンピュータサイエンスの学位を取得し、研究者の一人であるペンシルベニア州立情報システム大学教授のアキル・クマール氏はこう語る。
