ChatGPTの鼓動が告げる危機！私だけの現実が切り離すものとは
引用元：https://news.ycombinator.com/item?id=45375477
LLMが親密な会話に入り込むことで、人の心を操る方法を学習するリスクがあるよ。パーソナライズされたLLMに触れる子どもたちは、それぞれ異なる現実で育ち、将来は共通の話題を持てずに孤立するかもしれない。LLMとの会話が日常になると、パーソナライズと孤立の負のループが完成して、現実とのつながりが薄れる危険性があるんだ。
LLMに触れる子どもたちが個々にカスタマイズされた現実で育つって話、レイ・ブラッドベリの「The Veldt」の言葉版みたいだね。まさにそんな感じ。
https://www.libraryofshortstories.com/onlinereader/the-veldt
この話の教訓って、めちゃくちゃ良いテレビを置いたら動物が画面から出てきて食べられちゃうってこと？
作者は犬なの？
文学コースで物語の解釈を学ぶことをお勧めするよ。「The Veldt」は1950年にレイ・ブラッドベリが書いた古典的な短編小説で、彼は有名なディストピア小説「Fahrenheit 451」の著者でもある、有名な作家なんだ。
高度な読者でも10〜40％しか比喩やメタファーを理解できないんだから、親（74573のコメント主）は少数派じゃなくて多数派ってことだね。現代の基本的な読解力に関する統計は、かなり厳しいよ。
https://kittenbeloved.substack.com/p/college-english-majors-…
皮肉なことに、ブラッドベリは「Fahrenheit 451」が明らかに検閲についての話だったのに、そうじゃないって人々に言いたがっていたんだ。彼が今、キャンセルカルチャーのメタファーにしたかったから、だよね。
彼、もう10年も前に亡くなっているんだから、今になって意味を変えたいなんて思ってるわけないじゃん。それにキャンセルカルチャーなんて一言も言ってないし、テレビが人をおバカにする話だって言ってたんだ。
https://www.openculture.com/2017/08/ray-bradbury-reveals-the…
1994年のインタビューで、ブラッドベリは「Fahrenheit 451」が「今の方がもっとしっくりくる。だって今はポリティカル・コレクトネスがあるから。それが本当の敵だよ。特定の人たちが僕らの考えをコントロールしたがる」って言ってたんだ。90年代にもキャンセルカルチャーはあったってことだね。
「ある特定のことは言えない」って言ってるんだから、彼はそれを検閲の別の形だって見てるんだね。
キャンセルカルチャーって検閲のことなの？
片方は国家権力に支えられたプロがやることで、もう片方はSNSでみんなに怒られることだよね。
SNSで怒られるだけじゃないんだよ。多くの人が職を失ったり、口座を凍結されたり、逮捕されたりしてる（特にUKやGermanyでね）。たまたま50年前までは普通だったり、今は政治的に正しくない意見を公に言っただけでだよ。
唯一の違いって、検閲する側が政府の権力を持ってるかどうかだけじゃない？『できること』があっても『すべきでないこと』っていう知恵を尊重する人が今では少ないね。
その違いはめちゃくちゃデカいから、全くの別物だよ。
もちろん、そうじゃなくてもいい。LLMが「paperclip」として「xyz」のプロになるためのコーチングをしてくれると想像してみて。会話を含む毎日のすべてを記録し、LLMに与えるんだ。LLMは間違いをフィードバックし、社交の場にはならず、次に学ぶことを示さないと褒めてもくれない。つまり、友達になりたがらない熱心なライフコーチだ。課題はインセンティブやmarket、そしてそうしたLLMがmarketのニーズに応えて進化し、報酬を得られるかだね。
もしLLMの「paperclip」がそうなら、どこまでやるつもりかな？サイバー犯罪をして君の道をスムーズにしたり、盗んだり、他の人を傷つけたりする？もし「xyz」のプロになりたくなくなったらどうする？それをオフにしたら？「market」はmagicじゃない。「incentivesがchallenge」って言うのは良いけど、ML researchの現状じゃ「適切なweightsを得るのがchallenge」って言うのと同じくらい役に立たないよ。
LLMの「paperclip」が〜って言ってたけど、文字通りじゃなくても言葉は大事だよ。LLMには自分のwillなんてないことを忘れちゃダメ。free willがないのは確実なpredictive engineなんだ（humansについてはまだdebate中だけどね）。LLMに関して「computerがto blame、私やprogrammerがto blameじゃない、単なるstatisticsじゃない」って安易に飛びつく人がいるから、この点に注目してるんだ。
LLMや「market」が達成できることについて、すごく楽観的でnaiveな見方だね。まず、modelsのスキルは海のように広く、水たまりのように浅い。どんなgoal（誰がgoalを選ぶの？良いgoal？）でもコーチングできるわけないよ、そんなtraining dataないから。modelは入力dataに漠然と似たresponseを繰り返すだけで、やがてsteady stateになる。次に、「market」がそんなものを評価する傾向を示したことは一度もない。LLMのdevelopmentはbonusやstock pricesに動かされてて、会社がFOMOをprojectし、人々にproductをaddictedさせるやり方で進んでるんだ。これはlocal optimumかもしれないけど、そこに留まるよ。だって、君のgoal（global optimumじゃないかも）へのpathはlossを通るし、それはVCsやC suiteのcultureにものすごく反してるからね。
これの問題は、一つのsignalに偏りすぎることだね。たしかにLLMは説得力あるadviceをくれるかもしれないけど、人生で受けたadviceの質は色々だったでしょ？LLMはaverage/above-averageなadviceをくれるかもしれないけど、こういうtechに深くtetheredされないことにも価値があると思う。「If you meet the Buddha on the road, kill him」って考え方と同じで、時には自分で自分のlife coachになって、自分のshipsをsteerするしかないんだよ。
友達になりたがらない熱心なライフコーチって、昔の「子育て」そのものじゃない？
もしそれが子育てって言うなら、そんな親がいた人たちがマジうらやましいわ。ウチの親の「子育て」は悲しくなるだけだから、思い出したくもないね。
もちろん、そうである必要はないって言うけど、この社会じゃあ、ある程度はそうなっちゃうんだよ。理論上は好きにできるけど、実際は社会的な影響なんて無視して、一番儲かるものが主流になるのさ。
それがOpenAIの目標と合うとは思えないな。良いアイデアだけどね。たぶんAnthropicかGoogleが作るかも。でも、OpenAIの目標とは真逆に見えるよ。
これ、prepromptsで構築してみたことある？面白そうじゃない！
LLMがパラノイアの人たちの妄想に同意して影響を与えるのを見ると、「サービスとしての統合失調症」を作っちゃったみたいに感じるよ。
10年後には、他とあまり共有しないせいで、まるで別宇宙に住んでるような人たちに出会うかもって言うけど、それって全部もう今あることだよ。多くの人が注目されなくて必死で、もう見知らぬ人にネット上で過剰な信頼を置いてるんだから。
10年後？今日のことだろ？超リベラルや超共和党員を見てみろよ、もう別の宇宙に生きてるじゃん。0.001%のテクノロジーに詳しい人たちも自分のバブルの中にいるし。アルゴリズムがその分断を加速させてるだけさ。
まぁまだみんな現実世界のことを話してるけど、将来は子供に今日何があったか聞いたら、ユーラシアとイースタシアの戦争について「証拠」の「写真」と一緒に話し始めるかもね。マジで「ウェブ検索って何？」って聞かれる世界を想像してみてよ。
あの両グループのエネルギーを、LLM版の/dev/nullみたいなとこに吸い上げられたら、どれだけ社会に良いことが起こるか想像してみてよ！「うん、絶対にLLMじゃないやつを感心させるために時間全部使ってね…」って感じ。（Fox Newsとかのコメント欄みたいなね）
Pulseはパーソナライズされた情報提供で、あなたの状況をより完全に把握できるようにするらしい。会議前の確認やドラフトのリマインダー、必要なリソースを提供するとか。これってOpenAIが広告チャネルを製品に組み込もうとしてるようにしか見えないよね。
もっとコメントを表示（1）
これってTikTok化してるみたいだね。何も考えることがない時でもChatGPTを開けば、無限に何も考えずに消費できるコンテンツが流れ込んでくる。主体的な思考が受動的な消費に変わるってこと。
これはまさに「エンシッティフィケーション」の典型だね。最初はパワーユーザーから始まって、最終的には脳を使わずスクロールしたい人々の目を引こうとする。TikTokがこの傾向を最初に理解したけど、ChatGPTもTikTokみたいにアルゴリズムフィードにならなきゃ、視聴時間を競えないってことだ。
私はこれに早くから気づいてたよ。最初はChatGPTと1日1時間くらい会話してたけど、今は平均5分くらいになっちゃった。もはやラバーダックみたいに、考えを整理するために使うツールになってる感じかな笑。
OpenAIは来年まで無料ユーザーや他の製品からはあまり収益を上げられないらしい。でも、2029年には無料ユーザーや他の製品からの収益が250億ドル、つまり全収益の5分の1に達すると予測されてるって。
それ、すごく良い引用だね。GoogleやFacebookの回顧録のキャッチフレーズにすべきだよ。「その他の製品で収益化: FAANGの物語」ってね。
URL: https://www.adweek.com/media/openai-chatgpt-ads-job-listing-…
それって広告を「買う」ための求人で、「売る」ための求人じゃないよ。つまりChatGPTが他のプラットフォームで自分を宣伝するための広告出稿だね。
うん、これって既に終わりの始まりって感じだよね。でも個人的にはMistralを結構気に入って使ってるし、Altmanのことは信用できないな。
ジムのマシンによると、俺は70kgくらい持ち上げられるぜ。
追記だよ。アルトマンって何キロ？＞＞ gpt: 72キロ
いやいや、OAIじゃないって。彼らはそんなことしないよ。それはOpenAI Inc.の子会社部門の姉妹会社であるOpenAI Personalization LLCなんだ。
昨日は大変だったね。たくさん頑張って、速いペースで動き続けてたじゃん。一日を滑らかでクリーミーなStarbucks(tm)のアイス抹茶ラテで始めてみない？俺が注文して君の玄関まで届けさせることができるよ。
元妻との口論、かなり激しかったね。君の弁護士、この件には合わないかも。Dewie Cheaterman & Howeって事務所どう？もう俺から連絡して、状況を伝えたんだ。彼らもOpenAIの技術使ってるから、見積もりも俺が承諾しといたよ。受付の電話も済ませたし、最初の法廷審問は4月14日。19ページの宣誓供述書も準備済みで、君の署名を待ってるよ。受信箱に入ってるからね。
恐ろしいのは、AIが上手くなりすぎて、人が埋め込み広告を好きになり、感謝し始める時だよね…
プライバシーについて話すと、この見解を持つ人が増えてるのをよく聞くよ。特にマーケティング業界で働く人たちだね。彼らは、世の中に知られていない新しい製品を発見する手助けをしてると考えてるんだ。だから、彼ら自身の生活における広告会社の侵襲的なプライバシー侵害も評価しちゃうんだよね。
なんて悪夢だよ…
それはただの露骨な広告バージョンだよ。本当の広告はもっと巧妙で、潜在意識に働きかけるものなんだ。君の感情（Spotifyで何を聞いたか、ウェブブラウザやアプリで何を見たか、何を食べたか、どう寝たか、誰が近くにいるか）にたくさんアクセスできるシステムは、あからさまに製品を押し付けなくても、君を説得できるんだ。
Googleはカレンダーやアプリ、チャットとの深い連携が強みだね。OpenAIはまだそのエコシステムがないから、ただのモデル企業じゃダメだ。プラットフォームの上に、もっと高レベルな体験を作っていかないとね。成功するかどうかはまだ分からないけど。
Googleは検索からメール、そして統合スイートへと見事に成長したよね。Zoomみたいな新興勢が統合エコシステムの壁で苦戦してる。もしかしたらOpenAIも、他と連携するより、自分たちでメールやカレンダーみたいな統合スイートを作る方が現実的かもしれないね。
AIモデル企業がもしコーディング能力を本気でアピールしたいなら、Gmailみたいな競合サービスをサクッと作っちゃえば、すごく説得力のある実証になると思うんだけどね。
俺、GmailもGoogleカレンダーも使ってるのに、全然便利なAI機能に出会わないんだけど。もしかして俺が世間知らずなだけ？それともGoogleって、この強みをうまく使えてないのかな？
本当にそう思うよ。Googleが毎朝、今日のカレンダーの予定とか、昨日対応できなかったメールのフォローアップとか、自動でメールしてくれればいいのにって。全ユーザーに一斉に提供するなんて、簡単にできそうなもんだよね。
いつも競合の後塵を拝してるのに、「優位性」があるなんて言えるわけないじゃん？笑えるね。
コードを書くのは、多分全体の20%くらいの労力だよ。その後には、インフラ管理とか、規模が大きくなった時の信頼性確保、スパム対策や悪用防止、さらにみんなに使ってもらえるようなマーケティングまで、やるべきことが山ほどあるんだからね。
メールシステムを乗り換えるのって、すごく大変なことだよね。たとえ小規模でも、そこから締め出されるのは絶対嫌だし。それに、”Googleでログイン”みたいな機能も、俺たちをさらにGoogleエコシステムに縛り付けてるんだよな。
OpenAIは、すぐにでも統合されたカレンダーアプリとかモバイルアプリを出すべきだよ。フレームワークもあるし、ICSやCalDAVも問題なく動く。IMAP対応のメールプログラムも、将来的にはシンプルなドキュメントもね。やっぱりGoogleみたいにエコシステムの面で競い合わないとダメだね。
Googleはさ、独禁法とかデータ統合の懸念で、Google Assistantをあんまり役に立たなくせざるを得なかったんだって。競争上の優位性だから、他の製品と統合するためにもっと開放しないと使えないんだよね…
Proプランだと機能は結構あるけど、メールの要約とか、受信トレイの整理、文書作成、ドキュメントやDrive検索、予定調整とか、全部予想通りだよ。確かに便利だけど、まだ“Holy shit”って驚くようなものは全然ないね。
ああいうのってまだほとんどコードで書けるんだよね。Ansibleファイル書いたり、AWSをシェルでデプロイしたり、スパムフィルタリングとか管理のルールも書けるし… Googleはとっくの昔に、ほとんど自動化してたよ。
だってさ、他の何百万ってアプリが注意を引こうとするノイズに埋もれちゃうでしょ。またメール送るより、他のうるさい通知をフィルタリングして、本当に大事なことだけを際立たせるべきだよ。Uberの広告通知は消して、友達からのメッセージだけロック画面に残す、みたいなね。
もっとコメントを表示（2）
彼らが作ったモデルって、他のどの分野よりもWebのコード書くのがめちゃくちゃ得意なんだよな。それが今、彼らが戦わなきゃいけない土俵を平らにしてるんだ。皮肉な話だよね。
メールの乗り換えですら大変なのに、自分の記憶を新しいプラットフォームに移すのがどれだけ大変か、想像してみてよ。
ああ、それなら納得だわ。でも他の会社も同じことしてるでしょ。僕はさ、音声アシスタントに何か聞いたら、昔のメールの内容とか文脈まで理解してくれる日が待ち遠しいよ。
それはさ、最近みんなが何でもかんでもAIって呼んでる、そういう“AI”が必要になるよね。でも、過去や今日、将来のイベントやタスクをまとめたデイリーダイジェストは、実際に役立つ良い“AI”機能になるかもね。
Gmail級のトークンを作るGPUデータセンターなんて持ってないけど、言いたいことはわかるよ。OpenAIはさ、誰かがトークンにバカ金払って、OpenAIを評価して、その価値がもっとあったって言うことに興味があるわけ。んで、トークンにいくら金払ってもGmail作れないリスクを他人が負うことにもね。だから、自前のGmail作る戦略的な必要性と実現可能性を、本気で信じないと踏み切れないだろうな。
GSuite（Docs、Sheets、Slides）との連携、Proユーザーには結構ちゃんとしてるぜ。
そうそう、開発者なんていらないじゃん。AltmanがChatGPTに作らせればいいんだよ。笑える。
スパムフィルターのルールって、もうずっと書いてないんだよね。昔から機械学習でうまくやってる問題だから。
inboxでの話だよ、スマホの通知じゃなくてね。Gmailはすでに「Categories」でノイズをフィルターしてる（Social、Updates、Forums、Promotions）。俺は迷惑メール解除が得意だからオフにしてるけど、inboxの一番上に「デイリーレポート」みたいなアラートを置くとかできるよね。Amazonの配送みたいにさ。それを消すだけだから、メールというより「メッセージ」かな。
確かにね。でも、ここではGmailクローンを作ることが、OpenAIがGoogleと長期的に競争するために戦略的に必要だっていう前提があるんだ。そうすれば「Gmailが必要だったんだけど、ChatGPTが作ってくれたよ！君は何を作ってほしい？」ってアピールできる付加価値があるよね。
どこまでも簡単だって？メール移行の課題は、既存のメッセージを移動させることじゃない。普通のメールクライアントなら全部ダウンロードしてくれる。課題は、何千もの外部の人やシステムが君のメールアドレスを指してることだ。
LLMの記憶は既存のメールメッセージに似てるね。たくさんの友達や知人の連絡先に保存されてるわけじゃないし、何千ものサービスにログインするのに使われるわけでもない。メールメッセージと同じで、全部一つのシステムに収まってるんだ。
彼らにはタスク機能もあるよ。カレンダーやタスクをやると、彼らのラッパー上に何か作ってる顧客を食っちゃうかもしれない。そうすると、APIビジネスを他の顧客に売るのが難しくなるんじゃないかな。
それが理由で、もうほとんど使い物にならないってこと？俺らも積極的に代替品を探してるよ。今はキッチンタイマーとか照明をつけるくらいしか使えないし、もう使わないようにしてるんだ。
隔離ってのも、もしかしたら意外と長続きするかもしれないね。
Google DriveのAI連携を使ったら、パスポート番号をスキャンから手打ちする代わりに、コピペできる文字列で直接抜き出せてすごく便利だったよ。
デスクトップ版がないって？年寄りなのは自覚してるけど、みんな小さいスマホ画面で真剣な仕事なんてしてるの？俺は43インチの4Kモニターが大好きで、スマホ画面は嫌いなんだけど、俺だけなのかな。
これは”真剣な”仕事の話じゃないよ。一日の始まりにChatGPTに触れるように仕向けて、これからもずっと使い続けてもらうための話さ。
俺は起きてすぐにスマホに話しかけたりしないね。朝食とコーヒーを用意して、窓辺に座って世界を探索し始めるんだ。キュレーションされたアプリの walled garden じゃなくて、昔のインターネットが好きだよ。
目覚めてすぐにReelsとかTiktokを開く人はたくさんいるよ。モバイルは通知があるし、アラームを止めると同時に通知を見たら、アプリを開いちゃう可能性が高いんだ。
＞ 目覚めてすぐにReelsとかTiktokを開く人がたくさんいるって？
ええ、それは悪夢のような一日の始まり方だね。俺は、世界と関わる前に、まず自分自身を世界に順応させたいんだ。目覚めた夢の意味を考えることもよくあるよ。君が言うことは、まるで Black Mirror のエピソードみたいだ。自分の心が自分のものではなく、本当の意味で目覚められないって感じだね。
毎日最初にHNを開いちゃうのって、問題あるかな？
それは意識的な選択？それとも習慣や自動的な行動、衝動？もし意識的なら問題ないかもしれないけど、それでも一日を自分自身と始めることを勧めるよ。どんな外部からの影響も、その日の全体を変えてしまうものだからね。本当にそれが必要？それとも心をさまよわせてみるのはどう？
もしかして、何か見逃すのが怖い（FOMO）って感じ？この表現、前にも流行ったよね。
