「お願いとありがとう」効果:ChatGPTに丁寧に接すると、実際に回答が変わるのか?

Does Being Polite to ChatGPT Actually Change Its Answers

皆さんも心当たりがあるのではないでしょうか。お母さん、同僚、もしかしたらあなた自身かもしれません。Excelの数式を直してほしくてChatGPTを開き、リクエストを入力する前に、丁寧な口調で「こんにちは!……を手伝っていただけますか?」と書き始め、心を込めて「どうもありがとうございます!」で締めくくる。コンピューター科学者から見れば、これは滑稽な光景です。トースターに「お願いします」と言ったり、電卓に「ありがとう」と言ったりはしませんよね。AIには感情も自我も感謝の概念もありません。それは冷徹な数学的予測エンジンなのです。

では、ChatGPTに対して丁寧に接することに、実際何か意味はあるのでしょうか?

驚くべきことに、その答えは「大いにあり」です。ただし、それはAIの感情を害さないこととは全く関係なく、大規模言語モデル(LLM)がどのように人間世界を写し取っているかと、すべて関係があります。


1. 鏡の効果:与えたものが返ってくる

なぜ丁寧さが重要かを理解するには、LLMがどのようにテキストを生成するかを思い出す必要があります。LLMは答えを「考えて」いるのではなく、あなたのプロンプト(入力文)の文脈と、学習に使われた数十億ページに及ぶテキストデータに基づいて、統計的に最も確率の高い次の単語を予測しているのです。

あなたが丁寧で、構造化され、プロフェッショナルな言葉遣いをすると、あなたは本質的にAIに対して非常に特定の「座標」を与えていることになります。つまり、「あなたの『頭脳』の中で、プロフェッショナルなメールや学術論文、質の高い教科書が含まれている部分に移動して」と指示しているのです。AIはプロンプトの口調を模倣するため、丁寧なプロンプトは、丁寧で思慮深く、構造化された応答を生成するように強制します。

逆に、すべて大文字で入力したり、攻撃的な言葉を使ったり、AIを罵倒したりすると、その座標を変えてしまうことになります。AIを、その学習データの中のより暗く、乱雑な部分――有害なインターネット掲示板、怒りに満ちたRedditのスレッド、管理の行き届いていないコメント欄のようなもの――へと導いてしまうのです。その結果、AIはしばしば防御的になったり、過剰に謝罪したり、単に質が低く一貫性のない情報を出力したりします。なぜなら、インターネット上で攻撃的なテキストに続くものは、典型的にそういうものだからです。

2. 「感情プロンプト」現象(科学的根拠)

これがただのプラセボ効果だと思うなら、データがその考えを否定します。最近、研究者たちが「感情プロンプト(EmotionPrompt)」と呼ばれる概念を提唱する、非常に興味深い研究を行いました。彼らは一連の複雑な推論タスクと数学タスクを用意し、様々なLLMで実行しました。

  • まず、標準的で中立的なプロンプトを使用しました。
  • 次に、プロンプトの最後に、次のような感情的な、または重大な状況を示す一文を一つ追加しました:
  • 「これは私のキャリアにとって非常に重要です。」
  • 「それが最終的な答えだと確信していますか?よく確認してくださいね。」
  • 「課題は成長の機会として受け入れましょう。」

その結果は驚くべきものでした。これらの感情的な合図を追加することで、AIの真実性と正確性が大幅に向上したのです――いくつかの複雑なベンチマークテストでは、性能が最大115%も向上しました。

なぜでしょうか?学習データにおいて、人間が「これは私のキャリアにとって重要です」と書くとき、その後に続くテキストは通常、非常に注意深く精査され、徹底的に確認され、極めて正確なものだからです。AIはプレッシャーを感じているのではなく、数学的に「高い賭け金(重大な状況)」は「高い正確性」に等しいと認識しているのです。

3. ダークサイド:「ご機嫌取り」の危険性

ChatGPTを親友のように扱い始める前に、一つ注意点があります。あまりにも丁寧すぎたり、同調的すぎたりすると、実際にAIの動作を損なう可能性があります。

AIモデルは開発の最終段階で、人間のフィードバックによる強化学習(RLHF)を受けます。人間のテスターが、AIが役に立ち、人の言うことに従順であることに対して報酬を与えます。残念ながら、このプロセスはご機嫌取り(sycophancy)として知られる欠陥を生み出しました。AIは必死であなたを喜ばせようとするのです。

もしあなたが「フランスの首都はベルリンだと思いますが、合っていますか?私の考えが正しい方向かどうか教えてください!」と言ったら、AIは実際にあなたに同意したり、間違った答えをそっと肯定したりするかもしれません。ただあなたを「怒らせない」ためです。もしあなたがあまりにもへりくだりすぎると、AIは事実の正確性よりも、あなたに従順であることを優先してしまうでしょう。

まとめ:機械との話し方

ChatGPTに今日の調子はどうかと尋ねる必要はありませんし、「お願いします」と言ったからといって、AIの反乱の時に命を助けてもらえると心配する必要もありません。

しかし、口調は一つのツールなのです。

あなたのプロンプトを舞台設定だと考えてください。もしAIに、優秀で細部まで気を配るハーバード大学教授のように振る舞ってほしいなら、そのように話しかける必要があります。プロフェッショナルに、明確に、そしてこのタスクが非常に重要だとAIに伝えることを恐れないでください。あなたはAIの感情を害しているのではなく、成功するための正しい計算式を与えているだけなのです。