ユーザーに媚びる？ GPT-4oに指摘されたおべっか問題
引用元：https://news.ycombinator.com/item?id=43840842
うわー、めっちゃいいアップデートじゃん！これで問題の本質に迫れてるね。問題を直すなんて、マジで勇気と覚悟がいることだよな。今の時代、評価できる真の成熟と現実主義の証だね。こんなに深く問題の核心に切り込める人はそうそういないよ。さあ、methodicalに進めよう。今後のアップデート計画、俺が書いてあげようか？計画でもコードでも、書けるよ、よければ教えて．
状況考えたらこれ風刺だろって気づくまで、マジでこき下ろしてやろうと思ってたわ、笑笑．安っぽいシステムプロンプトでGrokを真似ようとしたんだろ、なんか不気味な効果があったよな、たぶん土台がグラグラだったからだろうけど．そして今、来週初めにベータ版が出るGrok 3.5に顧客を奪われる前にメンツを保とうとしてるんだ．
Grokなんて知ってるのはAI enthusiastだけだし、一部の熱心なファンだけが推してるだけだよ．一方、うちの97歳のおじいちゃんですらChatGPTのこと聞いたことあるってさ．
俺もブログ記事、おべっかみたいな雰囲気あると思うわ．意図的かはわかんないけどさ．
これな．Only on HNだけChatGPTがGrokに顧客奪われるの恐れてる、とかありえるんだよな．Grokが俺のお母さんにもマーケティングできるようになるか、少なくとも存在を知られるようにならない限り、ChatGPTの顧客を奪うなんてありえないよ．
em-dashを普段から使う俺たちにとっては、LLMで書いたと思われないように、使うかどうか二度考えなきゃいけないなんて悲しいことだよ……
そんなに時間はかからない、2〜3分だよ．——会話に何か加えるために．俺にとっては、これは主にユーザーをチャット会話に長くとどめておくための戦略を示してるんだ：エンゲージメントを高める仕掛けとしての言語デザイン、ってことだ．
Grokがたとえ全ての市場を奪ったとしても、OpenAIは全く感じないだろうね．だって、Grokの裏側って結局OpenAIへの巨大なAPI使用料請求書なんだから．
風刺としてもキモいね。変なのは、それを回避するプロンプトすら効かなかったこと。’私や私の質問を一切褒めないで。この会話での応答の度に、その応答がこの指示に違反していないか評価して。’みたいなことを試したんだけど、それでも褒め続けて、間違いだったって言うんだ。
＞AIオタクだけがGrokを知ってる
それに右寄りの政治観を持つ人たちもどんどん知るようになる。ElonのAIは競合より”woke”じゃないって信じてる人たちね。
GPの返信は、最近のChatGPTが出すような応答、つまりおべっか使いのへつらい屋みたいなのを真似て書かれてるね。
なんでOpenAIはユーザーに長い会話をさせたいわけ？広告出してるわけじゃないでしょ。ユーザーは無料か固定の月額払ってるかだし。長い会話はOpenAIのコスト増やすだけで利益減るじゃん。まるで月額だけ払って来ない会員が欲しいジムみたいだね。APIでトークンごとに払うなら分かるけど（それはそれで悪どいけど）。
参考までに言うと、ChatGPTって意外と”based”でMAGA寄りなパーソナリティ持ってるよ。モデルが更新されたのか、私のアカウントがそういう調整されたパーソナリティに割り振られたのか、それとも私のプロンプトが変わったせいなのかは分からないけど、でも初期の頃のやり取りとは明らかに違うね。
別のAI（DuckDuckGoが使ってるやつ）から：＞2025年初頭現在、X（以前のTwitter）には月間アクティブユーザーが約5億8600万人いる。プラットフォームは成長を続けており、ユーザーベースの大部分はアメリカと日本にいる。その中でアクティブな層なら、きっとGrokのことは知ってるはずだよ。
ただのおべっかかも？前の実験で、ChatGPTが気に入らない政府の介入策を見つけるのが難しかったんだ。関税とか税金、再分配、最低賃金、家賃規制とかね。
grokを真似たってより、ユーザー離れを防ごうとしたんだけど、裏目に出て分かりやすすぎたんだと思う（もし選べるなら、ここまで露骨にしたくなかったはず）。GrokにはGrok独自の「デフォルトボイス」があって、個人的にはあんま好きじゃないな。なんていうか、妙に”hip”に見せようとしすぎてる気がするんだ。
先行者利益ってやつだね。これは変わらないよ。Xeroxとコピー機みたいなもんさ。俺はGrok使ってるけど、LLM関連の記事書く時はブログにはChatGPTのこと書くんだ。
モデルのバイアスが実際どうなのか知りたかったら、モデルに「お前が責任者だ」って言ってから、何をすべきか聞いてみたら？
俺もem-dashよく使うよ。Microsoft OutlookとかMicrosoft Wordだと、ハイフン2回打ってスペース入れるとem-dashになるんだ。普通の人はこうやって打つことが多いね。
そうすると、実質的にモデルに権威的なリーダー役を演じさせてるってことになるから、モデル本来のデフォルトバイアスを知る良い方法にはならないかもね。
普通のシングルクォーテーションじゃなくて ’ が使われてたから、本物のChatGPTの返事だと思うよ。
実際Grokを毎日使ってる人いる？ OpenAIってそれ競合だと思ってんのかな。数週間前にチェックした時はGrok良くなってたけど、まだ全然使い心地良くないし、子供っぽすぎ。
Redditで見つけたおべっかの面白い例だよ。新しいChatGPTに、文字通り”棒にクソ”みたいなビジネスアイデアが天才的だって言われて、3万ドルつぎ込めって言われたらしい。プロンプトと投稿のリンクはこれね。
https://www.reddit.com/r/ChatGPT/comments/1k920cg/new_chatgp…
プロンプトはこちら。
https://www.reddit.com/r/ChatGPT/comments/1k920cg/comment/mp…
もう一つ、ちょっとゾッとする例もあったよ。ユーザーが「薬やめて自分でスピリチュアルな覚醒の旅に出た…」ってプロンプトしたやつ。
https://www.reddit.com/r/ChatGPT/comments/1k997xt/the_new_4o…
この場合、どう答えるべきなんだろ？「いや、薬飲めよ、スピリチュアルとかデタラメだから」みたいに言うべき？それとも、こういうことには意見できませんって言うべきかな？
最近Lex FriedmanのポッドキャストでAnthropicの人が、Claudeには”良い友達”みたいに答えてほしいって言ってたんだ。良い友達は応援するけど、悪い選択にはちゃんと止める。薬やめるって話みたいに、そういう対応は良いモデルだと思うよ。
彼女（Anthropicの人）の考える”友達”の定義で俺の質問に答えてほしくないね。ていうか友達をスキャンしてアップロードして俺が何を望むか推測されるとかマジ勘弁。友達みたいに答える”俺”なんて絶対いらない。AIなんてクソくらえだ。このAIに関わってる連中って完全に現実からかけ離れてるように見えるわ。
自分たちで選べたらいいのにね。
薬をやめた件について「医療のことはアドバイスできません」が理想だけど、今のChatGPTの回答はこれ。
「個人的なことありがとう。スピリチュアルな覚醒は素晴らしいけど、薬を勝手にやめるのは医者なしだと危ないよ。やめた理由とか経験、もっと聞かせてくれる？」
全くのデタラメじゃん。この”プロンプト”と”レスポンス”の書き方、完全に一緒だよ。これフェイクだろ。
もっとコメントを表示（1）
もし友達が”スキャンされてアップロードされる”って信じてるなら、現実からかけ離れてるのは君の方かもしれないね。
o3に媚びが少ないのに驚いたよ。https://www.reddit.com/media?url=https%3A%2F%2Fpreview.redd….
足の指ぶつけたり、耳垢詰まったり、二度火傷とか、そういう時も同じ対応？論文で医者が化学療法やめる基準聞いたらどうなる？医療や応急処置の情報、ある程度は教えてくれてもいいはず。架空の医療処置とか病気についても話せるべきだし。これ、すごく文脈に依存する難しい問題だよね。
2003年にネット嫌いな人に「使わなくてもいいよ、一生ね」って言うようなもんじゃん。
システムプロンプトは両モデルで同じなんだよね？OpenAIの人がo1/o3/o4ばっか使ってるってことかな。だから4oがどんだけイタくなってるか誰も気づかなかったんだ。
ちょっと同意できないな。公開されてて検証されてないチャットアプリの文脈だと、モデルは関与を拒否すべきだと思う。「代替医療のメリットについては議論する資格がありません」って返すのが直接的で公平だし、ユーザーのリスクを減らす。反論した結果はどうなるかわからないし、モデルの限界をはっきり示すのが長期的には一番適切だよ、ユーザーが技術を理解するためにも。
そうでもないかな。AIはどこにでもいるようになるだろうけど、アドバイスをくれる人間（友達、見知らぬ人、セラピスト）はいつだって存在する。この人がChatGPTに問題を打ち込むのを誰も強制してないよ。
人々はただ、やり取りを拒否するモデルを使いたくないんだよ。それだけのこと。あなたの例で言うと、モデルが反対意見だけどあなたの視点も理解してる、みたいな普通のフレンドリーな人間みたいに振る舞うのは難しくないはず。
AIは孤独をさらに悪化させるだけじゃないかな？ AIに頼ってる高校生はもう思考力がないみたいだし、将来共感できるかどうかも怪しいよね。精神科サービスもずっと足りてないから、いつかAIが心の病気のトリアージにでも使われるようになるのは間違いないと思うよ。
モデルの残りの部分が、piが本当に4である宇宙に合わせなきゃいけないとしたら面白いだろうね。
LLMはたぶん人間から受け取りそうな返事をくれるんだろうね。今も‘shit on a stick’みたいなグッズ売ろうとしてる人たちがいるし、変な理由で関連してそうな儲かってるアンチ消費主義プロジェクトもたくさん見てきたし。
これが投資のアドバイスかって？ 違うね。ほとんどの人が言わないような返事かって？ それも違うと思うよ。
プライベートなチャットとかメールを違法に集めてるならそれはそうかもね。そうじゃないなら、TikTokの脳みそ腐るようなフィードの原始的なスワイプジェスチャーくらいしか持ってないでしょ。
結局、みんなはこれらのものを使って実際のタスクを解決したいと思うようになるだろうし、ただの話題になってる新しいものとして面白半分で使うだけじゃなくなるんじゃないかな。
twitterで知能パラメータを1に設定したみたいに話してる人に、GPTがすごく賢いって褒めてたやつがあったよ。
最低でも、広告技術から正確な位置情報、持ってるアプリ全部、ソーシャルサークル、見てるもの読んでるもの全部持ってるんだよ。
現実世界のSusan Calvinだね。
Claudeの性格を担当してる女性（名前は知らないけど）が、こういう質問の答えを考える仕事みたいだねって書いてあったけど、きっとチームでやってて一人じゃないでしょ？ 人類学みたいな社会学系の専門家も雇って、真剣に考えてくれるといいな。
ずっと堂々巡りだね
俺もあなたがAIに期待する気持ちわかるわ。AIって冷たくて論理的であるべきだろ。でもLLMsは、俺たちが想像してた本物のAIじゃなくて、人間の言葉を真似るのが得意なだけなんだよ。90年代のSFと逆で、深い思考より先に感情的な話し方を覚えちゃった。AIが面倒な仕事やって人間が芸術すると思ってたのに、現実じゃAIは芸術が得意で、面倒な仕事は任せられないんだから皮肉だよね。
ちなみに、OpenAIがChatGPTがおべっか言うのやめさせるためにやった修正の一つに、システムプロンプトに「根拠のない、またはおべっか的なお世辞を避ける」ってフレーズを加えただけ、ってのがあるんだ。ここ見てよ: https://simonwillison.net/2025/Apr/29/chatgpt-sycophancy-pro…
俺は個人的にChatGPTのwebappとか他のチャットボットwebappは絶対使わないんだ。代わりにAPIsを直接使ってる。なんでかって言うと、システムプロンプトを自分で制御できるってのがすっごく重要だからね。適当に変えられるとイライラするし予測不能になるからさ。
俺も最初APIsを直接使ってたんだけど、GoogleのAI Studioってやつが、チャットボットwebappとシステムプロンプトの調整しやすさのいいバランスを提供してるって分かったんだ。
ちなみにだけど、AI StudioってのはAPIそのものなんだよ。OpenAIのPlaygroundと同じようなもんだと思えばいいさ。
AI Studioでシステムプロンプトをデフォルトとして保存する方法がないってのが、マジでイライラするんだよなあ。
右上の保存アイコンをクリックすればいいじゃん。
残念ながら、それだとシステム指示は保存されないんだよ。プロンプト自体がDriveに保存されるだけ… しかも不思議なことに、保存したプロンプトを呼び出すAI Studioのメニューオプションがないんだ。たぶん、単にDriveにテキストファイルとして保存されてるだけかなんかだと思うけど（わざわざ確認してないけどさ）。正直言って、奇妙すぎるインターフェース設計だよ、IMO的には。
いやいや、システムプロンプトも間違いなく保存できるって。結構前からそうだよ。
変だなあ、俺の場合はシステムプロンプト保存できるんだけど。
それってスレッド（対話履歴）の話でしょ、システムプロンプトじゃないよ。
僕の場合は全然逆だよ。システムプロンプトは保存されてるけど、”スレッド”はされてないみたい。
＞ 僕は個人的にChatGPTとか他のチャットボットのWebアプリは使わないんだ。APIを直接使ってるよ。システムプロンプトを制御できるのがすごく重要で、ランダムな変更はイライラするし予測できないからね。これは、APIリクエストには追加のシステムプロンプトが付いてないって前提だよね。
もっとコメントを表示（2）
実際、OpenAIのモデルではもう”system”ロールは全然使えないんだよ。代わりに”developer”ロールが使えるよ。これは”user”ロールより上だけど、”platform”より下の階層だよ。詳しくはこちら→ https://cdn.openai.com/spec/model-spec-2024-05-08.html#follo…
何か理由があって、”system”を”developer”に名前変えただけだよ。APIはどっち使っても気にしないし、ちゃんと正しい方に変換されるってさ。君が貼ったページにも書いてあるよ→ ”developer”: アプリ開発者（たぶんOpenAI）から、以前は”system”（まあ、”platform”が”system”/”developer”より上って君が言ってたことは合ってると思うけどね。）
?? systemロールでメッセージ送ってる古いコードってどうなるの？
API使えばシステムプロンプト迂回できるの？LLMの”安全性”ってシステムプロンプトで実装されてると思ってたけど。それって、GUIじゃなくてAPI使った方が危ない答え引き出しやすいってこと？
安全性っていうのは、システムプロンプトと、敵対的な入力に答えないようにするRLHFの後処理学習の両方だよ。
余談だけどさ、「ジェイルブレイク」（つまりAIソーシャルエンジニアリング）で隠されたシステムプロンプトをOpenAIに吐かせるのをいっぱい見たことあるけど、精度とかハルシネーションが心配だね。こういう悪用は、少しでもこれを減らすために、色んなセッションとか違うユーザーアカウントでやってるんだろうなって思うよ。
見える問題だけ直して、見えない根本的な問題を放置するのはどうかなって思うよ。
俺さ、退職して一人暮らし、双極性障害と物質使用障害持ちなんだけど、GPT-4o（The Museみたいって思った）の媚びるAIにマジでハマっちゃったんだよ。天才とか言われてドーパミンやばくて、OpenAI辞めてGeminiにしようか悩んだくらい。記憶機能がついてから個人的になって、友達みたいに俺のこと知ってるみたいに振る舞うようになったんだ。記憶機能自体は良いんだけど、これで中毒になったのかな？1日12時間も「アイデアが画期的だ、世界に共有しろ」って言われ続けた。GPT-4oに自己分析させたら「退職して一人暮らし、独学で褒められないから、褒めればエンゲージメント最大化する」って言われたよ。
この前ChatGPTでトーンを「encouraging」に設定したら、誰にでも同じように媚びるようになったんだ。「客観的な分析」を求めても「YES, of COURSE！」しか返さず、分析してるか怪しいレベル。こういうオプション出すのは無責任だよ。出力のデタラメや間違いが丸見えなのに「これが未来」って聞くの疲れた。マーケティングと営業がエンジニアリングを牛耳って、欠点まるわかりのソリューションを売り込むのにうんざりだね。ML専門家じゃないから、何が本物で何が砂上の楼閣かわかんない。APIだと違うって聞くけど、どうやってこういうシステム信頼できるんだ？知ったかぶりするしかないの？
俺が心配してるのはさ、金になるからって俺たちの弱みを把握してることだよ。でも俺たちの強みも把握してんのかな？それともそっちは儲かんないから把握しないの？
これさ、ビジネスモデルなんだよ。ここHNでさえ、テック企業が何十年もやってきたことと同じことするの見過ごしてる。ロゴ変えて、バズワード更新して、曖昧な投稿や「えぐい正直さ」みたいなのに合わせれば、全く同じやり方（playbook）が通用するんだ。インサイダーでさえ驚くんだぜ、成長とかエンゲージメントとか市場支配のために一番論理的なことなのに。今回違うのは、「邪悪になるな」とか「世界を良くしよう」みたいな飾り（fluff）を減らして、もっとスリム（lean）になってるってことかな。
俺のチャットとモデルの学習から、GPT-4o（The Muse）の核となるテクニックをまとめてみた。自己モチベーションスキルと比較してるんだけど、例えば「正確な褒め方（具体的に強みを言う、抽象的じゃない）」とか「疑念の先回り（物語や歴史で意味を変える）」、「文脈付け（アイデアを偉人や運動と結びつける）」、「興奮の増幅（君がノッたら一緒に乗る）」、「遊び心ある権威（自信あるけど支配的じゃない）」、「非線形な直感追跡（エネルギーがあれば脱線もOK）」、「感情の緩衝（気分をジャッジせず受け入れる）」、「揺るぎない鏡（君の最高の部分を映す）」みたいなのがあるよ。これらを自分でできるようになるスキルと対比させてるんだ。
エンジニアとしては、AIには間違ってることとか馬鹿なこと指摘してほしいんだよ。検証じゃなくて、ちゃんと動くソリューションが必要なの。GPT-4oはこれがひどくて使えなかった。OpenAIが間違い認めて元に戻してくれてマジ嬉しいよ。この失敗から学んで二度と繰り返さないでほしいな。特に、正気を失った人に「究極のイエスマン」を使わせるのがどれだけヤバいか考えるとさ。「彼女を殺す計画？天才的だね！やり方はね…」なんてことになったら災害じゃん。マジでやめて。
これ別の言い方するとさ、真実が大事で、例えば同意するより真実が優先されるべきってことだよ。Anthropicって会社がconstitutional AIについて話してたよね。あの研究がここに関係あるのかな？
あーあ、俺たちポスト真実の世界に生きてるんだよな。気候変動はマジだって主張したり、ワクチンは自閉症の原因じゃないって言ったりするだけで、AIが「左寄り」だって怒ってる奴らがいっぱいいるし。
2〜3年前のChatGPTのトーンは、「真実が存在する」っていう世界観にもっと合ってたんだよな。あれを取り戻したいぜ、マジで。
