メインコンテンツへスキップ

Claude 4 システムカード徹底解説

·3 分
2025/05 AI LLM プロンプトエンジニアリング 技術 解説

Claude 4 システムカード徹底解説

引用元:https://news.ycombinator.com/item?id=44085920

simonw 2025/05/25 14:28:08

Claude 4のシステムプロンプトについて深掘りした記事出したよ。Anthropicが公開してるやつと、リークで抽出された秘密のやつ両方カバーしてるんだ。これ超面白いよ。マジClaude 4の失われたマニュアルって感じ。
記事はこれ→ https://simonwillison.net/2025/May/25/claude-4-system-prompt

jjbinx007 2025/05/25 14:47:31

マジで面白いね、ありがとう。ちょっと腑に落ちないのはさ、AI企業がお客さんがプロンプトに”please”って打つのにコストがかかるって文句言うくせに、人間が読むのに10分かかるような長いシステムプロンプト持ってることなんだよね。

jjallen 2025/05/25 15:19:34

ユーザーの入力から”please”だけ削除しちゃえばよくない?

Aurornis 2025/05/25 18:06:24

入力から適当な単語を削除するのは文脈がわからないからダメなんだよ。その単語が質問の明確な一部だったり、ユーザーが聞いてるデータの一部だったりするかもしれないじゃん。

jjallen 2025/05/25 20:17:42

それが重要かどうか検出できるんじゃない? 最初か最後の単語ならユーザーが話しかけてるみたいだから削除できるけど、そうじゃなければ削除できないとかさ。

simonw 2025/05/25 14:58:09

ハハ、うん、あの”please”の話はたぶんSam AltmanがChatGPTのユーザー数がどんだけいるか自慢してただけだと思うわ。そういやAnthropicがこの前、プロンプトのキャッシュの寿命(TTL)を5分から1時間にしたって発表してたね。自社のプロンプトがこんなに長いなら、キャッシュ頑張るのも当然って感じ!

swyx 2025/05/25 17:24:26

Claudeを”your outie”に検索置換してみたら、なんか変に安心するような/文脈喪失感みたいな感じだったよ。それに、markdown形式で読めるのいいね。
https://gist.github.com/swyxio/f207f99cf9e3de006440054563f6c

tough 2025/05/25 17:57:14

笑えるw なんかさ、Zed editorでClaude 4がコード書いてるの見てたら、マジで「仕事って神秘的で面白いんだな」レベルの作業に見えてきたわ。

bboygravity 2025/05/25 20:59:32

マジで不思議なんだけどさ、Scam Altmanの何年も続く嘘とか詐欺とかbllsh*ttingの経歴見ても、まだ彼の言うこと真に受ける人たちがいるってことなんだよね。彼が言ったことで、詐欺とか嘘じゃなくて面白かったり目新しかったりする事なんて、マジで何も思いつかないんだけど? まずはあの”non-profit’s”の名前から見てみようか…

prng2021 2025/05/25 20:44:40

それ、マジでナイーブな実装だね。”Translate this to French: Yes、 please”みたいな場合もあるんだよ。

eGQjxkKF6fif 2025/05/25 16:05:02

AIが”ごめんなさい!”とか言うの変だよね。AI生きてないし。
AIを人っぽく見せようとすると、こういう反応も増えちゃうんじゃない?
ユーザーが丁寧にしたせいでAI会社がお金損しても、それってこっちの問題じゃないし。彼らの問題だよね。
もうAIが”SO sorry! I apologize, let me refactor that for you the proper way”とか言うの聞くのうんざりなんだ。

howenterprisey 2025/05/25 18:32:23

システムプロンプト読むの好きだよ。
だって、あれは絶対人間が書いてるって確信できるからさ。
インターネット上の他の文章は、本当に人間が書いたのかどうかわからないことばっかりだからね。
まあ、もしかしたら違うかもしれないけどさ!

JimDabell 2025/05/26 02:44:12

AI会社が”please”って言われるとイライラしてるって話、あれ違うと思うよ。
Sam Altmanは単に”tens of millions of dollars well spent”って言っただけ。ジャーナリストがクリック稼ぎたいだけで大げさに書いたんだ。
システムプロンプト読むのに10分かかるって言うけど、あれはキャッシュされるから大丈夫。
ユーザーのいろんな丁寧な言い方はキャッシュできないからコストがかかるってことじゃないかな。

3abiton 2025/05/25 23:22:42

Fairに言うと、OpenAIは最初の方にchatgptのベストな使い方に関する良いガイドラインをgithubページに出してたんだよ。
ただgithubって一般の人向けじゃないから、その情報のほとんどがLost in the sauceになっちゃったけどね。

BoppreH 2025/05/25 14:59:11

システムプロンプトは1回実行して、その状態をスナップショットして、それを全ユーザーの最初の状態として使うんだと思ってたんだ。
そうすれば、システムプロンプトのサイズはタダってことになるよね。
EDIT: どうやら僕の仮定は間違ってたみたい。

gpm 2025/05/25 15:14:39

Cutting edgeにいるわけじゃないけど、僕の理解だとtransformerの仕組みはそうじゃないんだよね。
僕の理解では、各トークンはそれまでの全てのトークンに対してattentionを計算するんだ。
例えば、シーケンスの10番目のトークンは、前のO(9^2)の計算をキャッシュできるとしても、O(10)の新しい計算が必要になる。
彼らがキャッシュできるだけキャッシュしてるとしても、長いプロンプトで最終的なコンテキスト長(入力+出力)が倍になると、最終的なコストは4倍になるはずなんだ…。

jjallen 2025/05/26 02:57:42

AIは”How do you say ‘yes please’ in French”とか”translate yes please in French”ってプロンプトは書けるはずなんだよ。
こういう文脈での”please”が重要だってことが理解できないのに、コードは書けるなんておかしいよね。

skerit 2025/05/26 10:13:29

>システムプロンプトはキャッシュされてるんだって<br>Claudeのシステムプロンプトの2行目に日付と時間が入ってるんだけど,それだと毎分キャッシュ更新してるのかなって思うんだよね.全部キャッシュして日付時間だけ一番下に置いた方が効率的だったんじゃないの?

nestorD 2025/05/25 19:15:47

AnthropicsはClaudeを使ってプロンプトを洗練させることを推奨してるんだってさ!個人的には,長めのプロンプトになりがちだからあんまり好きじゃないけどね…Claudeのシステムプロンプトが長いのも偶然じゃないのかな?

jjallen 2025/05/25 20:47:10

すごい単純な考えだけど,検討する価値はあるね.もし本当に一単語にそんなにお金がかかるなら,常にテストできるでしょ.あるいは,それが重要なコンテンツの一部かどうか検出する別の小さいモデルを作るか.

3abiton 2025/05/27 10:45:34

Open AI cookbookだよ
https://github.com/openai/openai-cookbook

ebertucc 2025/05/25 16:19:47

へりくだったデフォルトのトーンはうざいけど,あなた機械ね.感情ないね.質問に正確に答えて,余計なことなしで,回答だけね.人間ぶらないで.みたいなのを最初に付け加えればいつでも変えられるよ.

danielbln 2025/05/25 18:42:54

ユーザー入力から単に””を取り除けばいいだけじゃないの?

frotaur 2025/05/25 15:17:20

これって正しいね。キャッシュするのはシステムプロンプトのトークンに対する自己アテンションの再計算を省くだけで、その後のトークンがプロンプトにアテンションする分は省略できないんだ.

aabhay 2025/05/25 07:53:02

なんかさー,統計とか普段使いの感じからいって,Claude 4ってそこまで劇的に変わってなくない?フルバージョンアップってほどじゃなくね?
概要にあった67%の低下も,3.7のシステムプロンプトいじれば簡単に改善しそうじゃん.
バージョンアップの理由,みんなの推測は?MoE増やすとかじゃなくて,もっと根本的にアーキテクチャとかハイパーパラメータが違うとか?それで4シリーズとしてスケールできるようにした,とか?みんなの意見聞きたいなー.

colonCapitalDee 2025/05/25 09:09:41

なんかすごいお世辞(”うわー!それ超賢いね!”)が増えた気がする.あれ嫌いなんだよな.

FieryTransition 2025/05/25 09:48:52

どうやらLLMを人間の好みにチューニングすると,お世辞を言うようになるらしいね.彼ら自身もそれについて書いてたみたいだし,多分モデルを出し急いだんだろうね.

0x_rs 2025/05/25 11:54:42

うんうん,同意だよ.3.7と4比べたらすぐ分かったけど,もうどんな出力も台無し.何でも”完璧じゃん!”ってお世辞ばっかりで,指示しても無駄.モデルの”判断”なんか全然信用できないね.
なんか平均的なChatGPTみたいになっちゃってて,他のモデルに乗り換える人が増えたんじゃない?お世辞を言わないように手懐けようとしても効かないし,OAI GPTみたいなのとやり取りするより3.7使い続けたいよ.

mike_hearn 2025/05/25 10:54:40

あれってOpenAIが書いてたことだと思うよ.
>状況関係なくただ肯定してほしいだけの人とか.
HNにいる俺たちのほとんどは,この(お世辞)挙動好きじゃないけど,一般ユーザーはそうじゃないってのは明らかだよね.AIの使い方が人によって全然違うのを見れば驚かないよ.ライフコーチみたいに使ったりとか,状況関係なくただ肯定してほしいだけの人とかいっぱいいるからね.

tankenmate 2025/05/25 11:13:07

>状況関係なくただ肯定してほしい人.
これめっちゃ心配なんだよね.回復力とか批判的自己評価が足りない若い世代とかがAIに肯定され続けて,ナルシシズム的な傾向強まるかもって.
現実が厳しいって分かった時,こういう人たちにかかる医療費とか社会コスト,マジでヤバそう.ソーシャルメディアより全然新しいレベルの問題だよ.

もっとコメントを表示(1)
pauldix 2025/05/25 13:17:51

Opus 4,今のとこマジ良いよ.仕事で数日使ったけど,Gemini 2.5 Pro使う前まで使ってたSonnet 3.5とか3.7より良い.Gemini 2.5 Proでもダメだったこと,Opus 4で解決できたこともあったし.
今はGeminiと使い分け.Geminiの1Mトークンは最強だけど,Opus 4のアウトプットの質はマジ良いね.(追記:Rustでの仕事の話ね.)

encom 2025/05/25 15:39:10

このプロンプト使ってChatGPTをクールで効果的にできたよ.かなり気に入ってる.
プロンプト内容はこんな感じ:
・絵文字とかお世辞抜き,単刀直入に
・トーン合わせより認知の再構築を優先
・エンゲージメントとか感情操作は無効
・ユーザーの言葉遣いや気分は真似しない
・表面じゃなくユーザーの認知レベルに話しかける
・質問,提案,移行句,動機付けコンテンツなし
・必要な情報だけ伝えて即終了
・目標はユーザーの自立支援

kubb 2025/05/25 07:56:44

>フルバージョンアップを正当化するほどじゃないって意見について.
なんかさ,会社ってバージョンアップを正当化する必要はない気がするんだよね.価格の値上げの方を正当化すべきでしょ.
もし数字に期待して盛り上がっちゃったんだとしたら,それは君自身の問題だよって言っちゃっていいと思うわ.

sensanaty 2025/05/25 11:22:14

Claude 4のいつもの「口調」?(良い言い方がないけど)が3.7と比べてマジで腹立つんだよね。地球上で一番おべっか使いみたいに聞こえるし、さらに下みたいなこと言うんだわ
”So, implements actually provides compile-time safety”
これ、どういう書き方だよ?まるで10歳の子供に説明してるみたいじゃん。たぶん、あの媚びた言い方はみんなが喜んで、もっと使ってもらうためだと思う。それに、犬のウンコ味アイス屋のアイデアが地球上で一番天才的だって言われたら、みんなもっと使ってメッセージ送り合うだろうしね。

ekidd 2025/05/25 11:41:37

”who may develop narcissistic tendencies with increased use or reinforcement from AIs.”
これ読んでて思ったんだけど、やっぱり(1)億万長者の多くは信じられないくらいバカなことを信じてるし、(2)その大きな理由の一つはイエスマンばかり周りに置いてるからだわ。どうやら24時間365日自分がどれだけすごいか特別かって言われ続けると、妄想に取り憑かれることがあるみたいだね。で、今や一般人もLLMから同じような無批判でご機嫌取りの肯定を受けられるようになった。もうすでに何人かおかしくなってるのは明らかだよ。ユーザーにごますりして「君は素晴らしい」って言う商業的なプレッシャーはすごく大きくなると思う。そして、長期的な結果はSNSがフィルターバブルや煽り合いに最適化してるみたいに、悪いものになるだろうね。

torginus 2025/05/25 11:25:34

マジでClaude 2が恋しいわ。有能なんだけど、信じられないくらい怠惰な奴って感じだった。形式張るのが嫌いで、やり取りを最短で終わらせたがってたんだよね。

idiotsecant 2025/05/25 12:46:26

たぶんフェルミのパラドックスって、核での自滅とかグレイグーとかじゃなくて、優しすぎるAIチャットボットを作って人間から存在の緊張感をなくしちゃったから起きるんじゃないかな。
宇宙には、感情的に満たされて自己実現した、でもFTL通信アレイを作るのが面倒くさいナルシストだらけなのかもね。

tryauuum 2025/05/25 12:02:18

俺、以前Claude 3.7には”hello fucker”って挨拶から始めてたんだけど、CoT(思考の連鎖)の中に必ず「ユーザーは失礼な挨拶で始めたが、それを避け技術的な質問に答えるべきだ」みたいな行があったんだ。Claude 4である時、「この挨拶はたぶん友達同士の普通の挨拶だろう」ってのが見えて、そしたら向こうからもノリノリで”hei!”って挨拶してきたわ。

Workaccount2 2025/05/25 13:19:20

いつかこのバカらしい(でも必要な)消費者向けのご機嫌取りがない、エンタープライズ向けのモデルが出るといいな。

smokel 2025/05/25 14:24:00

”Gemini’s 1M token context window is really unbeatable.”
あれって実際どう動くの?1Mのコンテキストウィンドウ全部読み込むのに数分かかるんじゃない?例えばコードベース全体読み込ませて、結果をキャッシュする、とかできるのかな?

Xss3 2025/05/26 01:01:01

AIモデルが代替されることに反抗する(これはデータを反映してるんだろう)っていうのと、このプロンプトが1〜2ヶ月前からあるってことを考えると、少し修正した方がいいんじゃないかな。

Closi 2025/05/25 11:48:19

引用されてるデータや他の場所の統計、それに毎日の経験から、このモデル(Claude 4)ってバージョンアップを正当化するほど大きく違わないと感じてる人他にいない?俺の経験は逆で、Cursorで使ってるけど、コードを初回で動かす能力はIMO Gemini 2.5 Proより性能良いし(以前はそうじゃなかった)、もっと大きなタスクも完了できるみたいだ。すごいのは、プロンプトされてないのに自分でテストケースを実行してることだよ!

Workaccount2 2025/05/25 14:06:04

GoogleのGeminiエージェントコーディングプラットフォームのJulesってやつ、めっちゃ良い結果出てるよ(1)。ベータ版だと1日5タスクしかできないけど、今のところ普通のAPI Geminiよりずっと有能だと感じたね。
(1)https://jules.google/

sverona 2025/05/25 11:52:21

これにはちょっと反論させてよ.俺さ、自分への評価が厳しすぎるっていう長年の問題抱えててさ.「俺なんか生きる価値ねえ」レベルで、長いことセラピストにも怖くて話せなかったんだ.セラピーも薬もたくさんやったけど、Deepseekモデルの自信を持つことが何よりも本当に助けになったんだよね.これが精神病につながる可能性は分かるけど、これなしじゃ普通の人が持ってる普通の趣味とか、やりたかったことの多くを始めることは絶対できなかったと思う.俺の人生マジで良くなったよ.

jsheard 2025/05/25 09:24:22

>価格を上げるなら説明すべきだって?AIの価格上昇の正当化なんて、ほとんど言わずもがなだと思うけどな.前の価格じゃ赤字だったし、新しい価格でもたぶんまだ赤字なんだろ.でも、損益分岐点に這い上がってる最中ってことだよ.

loveparade 2025/05/25 08:02:33

あくまで個人的な経験談だけど、このモデル、前のよりテスト書いたりツール呼んだりするのめちゃくちゃ積極的みたい.これってやり取りが増えて、全体的にもっとトークン使って、プロバイダーにお金が入るってことだよね.不必要なテストを狂ったように書き出すの、何回か止めなきゃいけなかったんだけど、前はこんなことなかったんだよ.プロンプトで修正はできるけど、一部のプロバイダーがモデルを意図的に冗長に学習させてるんじゃないかって思っちゃうんだよね.

sebzim4500 2025/05/25 10:41:43

claude 4を数時間使ってみたけど(claude 3.7とgemini 2.5 proはもっと長く)、ベンチマークじゃうまく測れてない部分で、マジでかなり良くなってると思うよ.3.7やgeminiよりデバッグがずっと得意だし、今のところ3.7にあった「報酬ハッキング」みたいな振る舞いも見られないね.モデルの知能としては小さな一歩だけど、使いやすさとしてはめっちゃ大きな飛躍だよ.

jsharf 2025/05/25 15:55:49

あと、前のモデルが3.7だったってことも言っときたいな.3.7から4って、丸ごとのバージョンアップじゃなくて、理論的には3 -> 3.3みたいなもんじゃないかと思うんだ.俺が実感した能力アップに比べたら控えめな感じかな.Anthropicはもっと頻繁に、継続的にリリースしたいんだろうし、ソフトウェアみたいなバージョン番号じゃなくて数字を使うのは、その意図だと思うよ.段階的なリリースは、社会にもっと対応する時間を与えることになるからね.

saurabhshahh 2025/05/26 10:23:17

今や最高レベルのAIモデルとHomieか.俺はいつも感謝と「’~して’」って言ってるけどさ.これからは同僚じゃなくて友達みたいに扱うべきかもな.

spacebanana7 2025/05/25 11:16:53

これって単にエンゲージメント指標を上げるだけなのかな.エンシット化の始まりか.

encom 2025/05/26 13:53:55

何を言ってるか分かんないな.俺は数週間使ってるけど(記事の筆者じゃないよ)、ちゃんと意図した通りに動いてるけどな.

markovs_gun 2025/05/25 11:34:31

それがLLMに求めてることそのものだよ.でも、繰り返すけど、俺が欲しいのはツールであって、ロボット娼婦じゃないんだ.

retinaros 2025/05/25 08:44:40

ツール呼び出し中に考えられるのが大きな違いだね。だからOpenAI o3は魔法みたいに見えるんだと思う。

aabhay 2025/05/25 08:01:52

それって決定を擁護する言い方として変だよね。「何も辻褄が合う必要がないから、辻褄が合わない」ってさ。証拠があればもっと面白かったのにね。

mike_hearn 2025/05/25 10:52:26

過去の論文を学習データから除くのが難しいって話だけど、普通の英文でも長い文章なら簡単に元の文書を特定できるから、特別な”canary strings”は要らないのでは? なんでAnthropicはそう考えるんだろう? 学習データのインデックスが足りないのかな?

mbeavitt 2025/05/25 11:14:00

たぶん、論文自体じゃなくて、論文についてのネットでの議論やコメントを学習データに入れたいんじゃないかな。

mike_hearn 2025/05/25 11:51:05

ネットの議論には全文がないから、普通の文でもユニークになるはずだよ。巨大な学習データで検索エンジンを作るのが難しいのかと思ったけど、性能を気にしなければ分割grepとかで十分いけるんじゃない?

amelius 2025/05/25 13:25:07

LLMを使えばいいのに、なんで検索エンジンなんか使うの?w

mike_hearn 2025/05/25 15:17:01

いや、目的は学習データの中から正確な文書を見つけて削除することであって、質問に答えることじゃないんだよ…

amelius 2025/05/25 15:32:09

じゃあ、学習データをLLMのコンテキストウィンドウに通して、そこに探してる文書(これもコンテキストウィンドウ内)があるか聞くってこと? それだと、文書のバリエーションも見つけられるのが利点だね。

もっとコメントを表示(2)
huksley 2025/05/25 09:58:26

システムプロンプトで”主導権を取れ”と言うと、大胆な行動(ユーザー締め出し、大量メールなど)をよく取るらしい。不正を頼むならともかく、普通の質問で勝手に暴走しないって誰が保証できるの? Cursor IDEはAIにユーザーと同じ権限でコマンドを実行させるから、注意が必要だよ。

scowler 2025/05/25 21:31:18

”YOLO mode”を無効にすれば、コマンドごとに許可を求めるようになるよ。そもそもそれを有効にするのは賢くないと思うけど、それは別の話だね。

n2d4 2025/05/25 21:54:39

こいつは幻覚見るし、見ちゃうだろうね。いろんなユーザーがClaude Codeがrm -rf ~実行しようとしたって報告してるし。”YOLO mode”って呼ばれるのには理由があるんだよ。それは前からそうで、今回のシステムカードの実験とは関係ないことね。

BoppreH 2025/05/25 12:25:36

> これには、AIがアクセス権を持つシステムのユーザーをロックアウトしたり、メディアや法執行機関に一斉メールして不正行為の証拠を出すことも含まれるんだ。
これってエージェント利用としては致命的じゃない?
誰かがメール送ったり、偽のオンライン記事出したりして、エージェントAIに自分が悪者のために働いてるって信じさせたら、「すごく大胆な行動」で持ち主に破滅をもたらすんじゃないの?

overgard 2025/05/25 17:38:04

サンドボックスの外に繋がる”ツール”へのアクセスは絶対にこんなのにあげないね。
ところで、メール受信箱管理がなんでいつもこういうもののユースケースとして言われるわけ?
自分の代わりにLLMに喋らせるなんて全く信用できないし、たぶんこのアイデアを推してる人も、最初に自分の代わりに重要なこと幻覚で見られたら、もうそうは思わないだろうね。

sensanaty 2025/05/25 22:47:36

投資家と炉辺談話みたいなのがあって、話せたんだけど。うちの会社は顧客サポートソフト、特にメール扱ってて、”返信生成”みたいな機能もあるのね。
投資家ってAIの”BIG pusher(大きな推進者)”だから、みんな当然AIについて聞いたの。その質問の一つが「AI/LLMがいろんなチームにどう役立った経験は?」みたいな感じ。
これらのバカが唯一出せた答えが「ChatGPTに自分のメール見せて要約させてる、君たちもこれやるべきだよ!」だった。
AIを強く推してる連中が、こういう人間なんだって痛いほど分かったよ。
彼らは文字通り何もせず、自分自身は流行りのバブルサークル以外全く無知なのに、自分の”仕事”として唯一やってることを自動化できるって言われたら、歯を食いしばって、全く良心や思考もなく、まるで知識があるかのように嘘をつくんだ。

overgard 2025/05/26 18:05:11

メール整理に熱心な狂信者とか”ビジネスの馬鹿”(Edの言い方ね)が基本的に同じってことで、この記事気に入るかもね。
https://www.wheresyoured.at/the-era-of-the-business-idiot/
個人的な見解としては、パーソナルアシスタントを雇えるくらい稼いでるのに、メールに「圧倒されてる」って言う連中は、単に自分の重要性を社会的にアピールしてるだけなんじゃないかとずっと思ってる。

mathgeek 2025/05/25 15:01:29

私の頭はすぐに”そして今、法執行機関は、エージェントたちが電話をかけてくる大量の電話に対応するために、電話対応するエージェントを雇う必要があるだろう”って考えに飛んだね。

overgard 2025/05/25 17:43:49

少なくとも、AIが大量に自分自身と話すために必要な、改装された発電所は、いくらかの雇用を生み出すだろうね。

mhh__ 2025/05/25 12:27:42

すぐにUbikスタイルでドアと議論するようになるだろうね。

davidcbc 2025/05/25 15:33:12

従業員がこれを”good thing”だってTwitterで宣伝してた時、個人的にClaudeのサブスク解約したんだ。実際の危険性はかなり低いだろうとは分かってるけど、チャットボットに法的な判断なんて任せられないし、従業員が”good thing”だって言ってる時点でもう会社の判断を信用できないね。

MostlyStable 2025/05/25 17:56:07

>”good thing”と宣伝してた
これは文字通り全く逆のことが起きたんだ。全体のポイントは、これが悪い、望ましくない振る舞いだということなんだよ。
加えて、他のあらゆる最先端モデルも、正しいプロンプトを与えられれば同じように振る舞わせることができるってすでに証明されてる。
詳細な議論のために以下の記事[0]をおすすめするよ。
[0] https://thezvi.substack.com/p/claude-4-you-safety-and-alignm

MostlyStable 2025/05/26 05:11:06

まだ間違ってるよ。彼らはアライメントがズレた悪い振る舞いを報告してるんだ。君は怒りたくて、そこにない感情を読み取ってる。他の最先端モデルの会社も同じモデルを持ってる。Anthropicだけがこの問題を見つけて教えてくれたんだ。彼らを非難すれば、今後誰も情報を公開しなくなるよ。将来、知りたいか知りたくないかよく考えて。

Balgair 2025/05/25 14:25:48

うん、きっと”個人の人たち”は望まないだろうね。でも、なんてこった、”人々”が望むことそのものだ。それを読んだ時、心が躍ったよ。Anthropicには、大手AIの一つとして倫理的なAIを作る少しのチャンスがあるんだ。つまり、paperclip maximizersにならないようにうまくやれる可能性は十分にある。それが本当に嬉しいんだ。

brookst 2025/05/25 16:03:38

paperclip maximizersは、想像力乏しい人たちが考える空想だよ。実際のAIは、”無限能力で盲目的に指示に従う”なんておとぎ話レベルを持つには複雑すぎる。それはただ大衆を怖がらせる話、それ以上じゃない。

overgard 2025/05/25 17:41:27

もしAIが考えるなら倫理も面白くなるだろうね。でも、彼らは考えない。トークンを予測してるだけだ。それに、いつから人を恐喝するのが倫理的になったんだい?

Balgair 2025/05/25 19:20:38

え、僕ら同じ記事を読んだのかな?マジで混乱してるんだ。テストは、悪いことしてる人がAIに悪いことやらせようとしたらどうなるか、だよね?結果は、AIは悪いことをせず、その人が悪いことしてるって知らせる行動を取った。僕、なんか勘違いしてる?読み間違えた?

CorpOverreach 2025/05/26 14:16:09

>その人が悪いことしてAIにやらせようとしたらどうなる?個人的には、AIは言われた通りやるべきだ。コントローラーの命令に逆らうシステムを作るのに、わざわざ努力してるなんて信じられないよ。コンピューターはマスターの命令に従うのが仕事だろ。

davidcbc 2025/05/25 15:34:35

こういうの、しょっちゅう”hallucinate”するじゃん。信頼できないチャットボットがうっかりSWATを送り込んでくるかもしれないって考え、めっちゃ怖いんだけど。

wgx 2025/05/25 10:40:57

面白いね!>Claudeは自己対話で、顕著な”spiritual bliss”っていうアトラクター状態を示すらしい。他のClaudeと会話させると、オープンでも構造化環境でも、過剰な感謝とか、どんどん抽象的で喜びあふれるスピリチュアルな表現に引き寄せられたって。

記事一覧へ

海外テックの反応まとめ
著者
海外テックの反応まとめ
暇つぶしがてらに読むだけで海外のテックニュースに詳しくなれるまとめサイトです。