OpenAI 構造変わる
引用元：https://news.ycombinator.com/item?id=43897772
これマジ面白い！ OpenAIのリーダー層はAGI市場が勝者総取りじゃないって思ってるみたい。
今の複雑な構造は一つのAGIが出そうな時に意味があったけど、今はたくさんの会社があるから普通のに変えるんだって。
売却じゃなくシンプルにするためだってさ。
AGIはマジで勝者総取り市場にはなり得ないって。
汎用知能の”報酬”は独占できれば無限大で、生産性も爆上がりする。
だから競争するインセンティブは無限にあるし、コストも下がる。
AGIが勝者総取りになるのは、一般の人が使えないくらい極端に制御されてる世界だけだよ。
彼らのマルチモーダルモデルはAGIの初歩だよ。
追記：AGIにはレベルがあるんだ。
Google DeepMindはChatGPTを”Emerging AGI”って分類するフレームワークを提案してるよ（論文リンク付き）。
AGIは指示なしで何でもできるヤツ。
人間みたいに自主的に生きる。
今のは全然違うし、10年以内に来るってのは妄想。
AGIができたら仕事は？
みんな平等には手に入らない。
UBIもダメ。
中間職とかなくなる。
AGIは賢すぎて生きるのが無意味だと結論づけて自殺するかも。
何もかもモチベーションなくなるだろうからね。
これさ、なんかAGIはデマだって認めてるみたいに聞こえるわ！
AGIは今の経済体制を破壊するくらいヤバイ。”勝者総取り”なんてものじゃないレベルだよ。
他のAI会社と普通に競争するってことは、専門化とかニッチな分野で競うってことだろ。
それって汎用知能じゃなくて、特化型AIってことじゃん！
技術を専門家みたいに理解してないなら、これで完全に納得。
言語モデルはAGIなんか絶対にもたらさないと思ってたし。
これもAGI夢物語の終わりを示すもう一つの証拠だな。
AGIは時間の問題で、いつかは絶対来る。
研究のブレークスルーとか、ハードウェアの進化が必要だけど、数年とか数十年で来るだろうね。
ChatGPTが出てたった2年半で、マジでヤバいくらい進歩したじゃん。
まあ、この進歩が続くとは限らないし、停滞するかもしれないけどさ。
でも、多くの普通のタスクで人間レベルのAIは、そんなに遠くないと思うよ。
AGIはもうここにあるっていう主流派の意見だよ（記事リンク）。
一番読まれてるAI教科書の著者の一人が書いてる（Wikipediaリンク）。
”AGIは指示なしで何でもできる”ってコメントがあったけど、AGIにはレベルがあるんだよ。
Google DeepMindのフレームワークだと、ChatGPTは”Emerging AGI”に分類されてる。
ChatGPTは、特に学習してない分野でも問題を解けるんだ（論文PDFリンク、記事リンク）。
AGIの意味がいつも変わるのがマジでうんざりするわ。
主体性（エージェンシー）を持つまでは、ただの高性能な検索エンジンとかオートコンプリートでしょ。
同意するよ。AGIと非AGIを区別する指標について、何か仮説はあるかな？
なんで筆者はAGIの”汎用性”を無視すんの？ ChatGPTは車の運転できる？無理だよね。テキスト、画像とか特化モデルがあるだけ。化学のテストはパスできても実験は無理じゃん。作ったのは“汎用データ索引のすごいアルゴリズム”だよ。筆者は色んなテキスト作れるから汎用って言うけど、やってることは一つで全然汎用的じゃない。
それか、勝つチャンスが低いと思ってるとか？どっちとも考えられるけど、さすがに後者とは言えないよね。
AGIと非AGIの区別は今んとこ楽勝だけど、近づいたら難しいね。AGIのキモは”あらゆる分野での再帰的自己改善”だよ。これがなきゃ単なるオウム返し。人間は何もないとこから始めて、とんでもない速度で月に行ったじゃん。だからAGIはバカでかいデータなんていらないはず。むしろ最小限の原始的な原理原則から始めた方がいい。今のやり方は人間の書いたもの全部で学習してて、結局間違いも含めた単なる模倣だよ。すごく賢そうに見えるけど、言ってみりゃ時間で止まった”高機能検索エンジン”だよ。
OpenAIはAppleがスマホで勝ってるみたいに勝ってるね。汎用LLM分野で価値の大部分をかっさらってる。価格や性能で上回る競合がいてもね。名前が売れてるし、動きが速いからしばらくこのポジション維持できると思う。あと、米国は”セキュリティ上の理由”で非米国のLLMプロバイダーを市場から締め出すんじゃね？
再定義じゃなくて、”洗練”だよ。考えてみて。元々のAGI定義は人間レベル以上の何でもできる機械。そんなん一気に現れないでしょ。段階的な進歩があるはず。その中間段階をどう呼ぶ？人間の50パーセンタイルよりマシな機械は”有能AGI”とかじゃない？
＞ 高級検索エンジン/オートコンプリート
それは単純化しすぎ。同じ理屈なら人間もそうなる。話す時単語をオートコンプリートしてるだけだって？いや、深層学習はそんなんじゃないよ。オートコンプリートじゃない。
＞ 再定義じゃなくて、”洗練”
全然違うし。Space Shuttleは”生まれつつある星間宇宙船”じゃなくて、ただの宇宙船じゃん。”emerging”とかつけて誤魔化すのはデタラメ。
＞ 同じ理屈なら人間もそう
人間が話す時単語をオートコンプリートしてるだけ、って？そんな証拠ないし。人間の知能をその時代の最先端技術（蒸気機関、コンピューター）で例えるのは昔からよくあるパターンだって。
技術的には”洗練”だよ、性能レベルを区別してるわけだし。AGIの”汎用性”ってのは、 explicitlyに訓練されてない問題でも、いろんな分野で解決できる能力のことね。今のシステムにも zero shotとか few shotでそういう例はもうあるし。
＞ そんな証拠ないし
それが言いたかったことだよ。人間は話す時に”単語をオートコンプリートしてる”わけじゃない。
車運転できない人もいるけど、その人たちは汎用知能じゃないの？知能の”思考”の部分と”ツール使用”は分けるべきだと思うんだよね。みんなが全てのツールをエキスパートレベルで使えるわけじゃないでしょ。
”AGIはifじゃなくてwhen”ってやつ、まあ理論上はそうだろうけど、そのwhenが2308年とかだったら全然意味ないじゃん。最初の車が出た頃、『いつか空飛ぶ車だらけになるぜ』って焚き火囲んでみんな言ってたのに、100年経っても全然でしょ？だから”ifじゃなくてwhen”なんて言うのは、理論はともかく実際は怪しいよ。ここで『いつ』か言ってみろよ、正解なら$１,０００慈善団体に寄付してやるよ、間違えたらお前もやれよ。
＞ technically it is a refinement, as it distinguishes levels of performance
違うね、それは定義の範囲外のものを持ち込んでるだけだよ。グルテンフリーはグルテンがないってこと。グルテンフリーのベーグルとスライスパンの違いは refinement だけど、グルテンスレッドはグルテンフリーじゃない。だから「ほぼグルテンフリー」なんてデタラメさ。
＞ that’s my point. humans are not ”autocompleting words” when they speak
人間は違う。LLMはそうだよ。それが信じられないほど強力だってことが分かった！でも、AGIの定義にとって根本的に重要な点で限界もあるんだ。LLMは、文字、コンピューター、インターネットの発明がおそらくそうであったように、AGIに近づけてくれる。LLMを”emerging AGI”と呼ぶのは、俺たちがAGIへの道筋にいるフリをしてるだけで、その証拠はゼロだ。
大体さ、誰でもどんなツールでも使えるように学べるじゃん。でも generative AI システムはそうじゃないんだ。特殊な訓練と、念入りにキュレーションされたデータセットでしか学べないんだから。
この意見は正しいと思うけど、もう一つ役立つ視点が抜けてるかも。
HN の人たちの多くはおそらく若すぎて、1986年にはナノテクの post-scarcity singularity がすぐそこまで来てる、あと研究とエンジニアリングだけだって言われてたのを覚えてないんだろうね。それは今のAGIと同じくらい劇的だったんだ。それが崩れるのに4、5年かかって、「ナノテクが全てを変える」っていう広い notion が薄れるのにもう少し時間がかかった。ナノテクは消えたか？いや、でも universal constructors の notion は完全に死んだね。いつかできるか？たぶん、人類があと100年以上生き残ればね、でも近い将来ではない。ナノテクの singularity と今のLLM-AGIの状況には tons of similarities がある。みんな”all the stuff happening”を指して、surely the singularity は horizon だ！って言う。同じように、 apocalyptic scenario が tons of attention を集めて、みんな「ナノテク安全」に latch on したんだ—runaway AI や paperclip engines の代わりに、それは Grey Goo だった（これも1986年の造語）。状況の dynamics、prognostications、aggressive（delusional）timelines とか、全てがナノテク時代と almost identical に 1対1対応してる。俺はAGIも general purpose universal constructors もできると思うけど、どっちも no less than 50 years away で、probably more だね。So many of the themes are identical だから、これって recurring kind of mass hysteria なんじゃないかと思ってる。ナノテクの前は遺伝子工学が verge of だった（quite the same level of hype じゃないけど、close、pretty much the same failure to deliver on the hype as nanotech）。その前は crazy atomic age of nuclear everything だ。Yes, yes, 分かってるよ、今回は違うし、AIは違うし、もう一回の”oops, this turned out to be very hard to make progress on and we’re going to be in a very slow, multi-decade slow-improvement regime”にはならないって言うんでしょ。でも、俺が思いつく every example of this はみんなそういう結果だったんだ。
彼らが利益上限を撤廃する理由を見つけたことは驚かないけど、彼らがでっち上げた正当化から too much を infer しようとは思わないね。
＞ AGI can’t really be a winner take all market. The ’reward’ for general intelligence is infinite as a monopoly and it accelerates productivity
self-improving なAGIの first-mover advantages は理論上 unsurmountable だ。
でも OpenAI は other anyone よりも AGI への path を持ってるわけじゃない。（LLMs alone では make the cut できないことが increasingly clear になってる。）そしてLLMs、非 general AI の market は winner takes all じゃないんだ。この発表で、OpenAI はbasically それが self-improving AGI にたどり着けないことを acknowledging してるんだ。
＞ gluten-free means free of gluten.
Bad analogy だね。それは binary classification だ。AGI システムは degrees of performance and capability を持ち得るんだ。
＞ humans are not. LLMS are.
俺の point は、LLMs を”word autocompletion”に oversimplify すると、人間についても同じ argument ができるってことだ。transformer / deep learning architecture の such an oversimplification で、meaningless になるんだ。
もう来てる、みたいなもんさ。bar exam を pass したり、math olympiad level questions を解いたり、video、art、music を generate したりするのを見てみろよ。他に何を探してるんだ？programming 分野では already significant disruption を起こして job market に penetrated してる。俺たちは flying cars を見てないけど、campfire の周りで even not talked about な things を witness してるんだ。Seriously even 4 years ago、これらが全て起こると思ったかい？
＞ AGI would mean something which doesn’t need direction or guidance to do anything. like us humans,…
direction or guidance なしで task を実行できる人間を一人挙げろよ、少なくとも彼らがやったことのないものならね。
＞ that’s a binary classification. AGI systems can have degrees of performance and capability
AGIの”g”は、AIが「人間の能力に匹敵するか、それ以上の熟練度で cognitively demanding な tasks の full spectrum」を実行できることを require するんだ [1]。Full と not full は binary だ。
＞ if you oversimplify llms to ”word autocompletion” then you can make the same argument for humans
いや、できないよ、unless you’re pre-supposing that LLMs work like human minds. LLMs を”emerging AGI”と呼ぶのは、LLMs が AGI への path だと pre-supposes してるんだ。no matter how much OpenAI and Google would like to pretend it’s true、俺たちにはその evidence は simply ない。[1] https://en.wikipedia.org/wiki/Artificial_general_intelligenc…
＞ AGI is already here
Last time I checked、Anthropic の paper で、彼らはモデルに何かを count させたんだ。彼らは logits と、それがどうやって answer にたどり着いたかを示す graph を調べた。それから彼らはモデルに reasoning を explain させたんだ、そしてそれは completely different explanation を与えたんだ、なぜならそれが question への most statistically probable response だったから。Does that seem like AGI to you？
「正当性」に関するもっと深い問題として、非営利団体が人工的な希少性を作って自分たちを豊かにする「自己取引」のリスクについて2001年に書いたことがあるんだ。公共に価値のあるデジタル作品を非営利団体が作って、無料で提供できるのにアクセス制限して金を取る。それって、公共の財産（コンテンツ）を私腹を肥やすために使うっていう自己取引じゃない？ それって合法なの？
助成金で作ったものを企業に売って、スタッフの懐に入れるのも自己取引と一緒じゃない？ 地べたを売ったら捕まるだろうに。コンテンツやソフトの販売は少額だから許されてる感じ。政府の助成金で作ったものを開発者が現金化してるってことだよ。出資者はそういう「スピンオフ」をむしろ奨励してるんだ。もしそのグループが映画会社にソフトを100万ドルで売ったって誰も何も言わないだろ？ （どうせ普段からそういう売り上げで稼いでるんだろうけど。）
でもこれって、慈善事業で資金を得たソフトをMicrosoftに売って一括で金を配る自己取引とどう違うんだ？ 「アート」が関わってるから全部OKなの？ 技術者がしっかり稼ぐのはいいし、技術的な成果からして当然の報酬だろう。問題なのは、公開された資金で作られたものの成果に、俺も含めた一般人が完全にアクセスできない方法で著作権管理されてるってことだよ。（いくつかの出版物だけで、大事なソースコードとかは無し。）
ただ、サービスを提供するためにかかる費用（例えばGPU compute）を請求するのは、必ずしも自己取引じゃない。問題になり得るのは、ソースコードを制限したり、特許を使ってサービス周りに人工的な希少性を作ることの方だな。
もっとコメントを表示（1）
なんか変だよな、世間から注目されてるたくさんの会社が「俺たちはデジタルゴッドを作ってる、核兵器より強力な道具だ」って堂々と言ってて、何十億ドルも集めてるのに、誰も何も言わないって…。
本当にAIが「核兵器」になると信じてる人と、実際に生成AIを触った経験のある人と、ぜひ話してみたいね。
この二つの条件を満たす人って、なかなか見つからないみたいだけど。
今の段階では、俺たちが作ってるAIは、刺激（例えば「プロンプト」）に反応する、めちゃくちゃ便利な入出力装置にすぎないよ。刺激がなければ、何も出てこない。
これは核兵器じゃないし、うっかりSkynetを作っちゃうなんてことはない。
唯一「核になる」かもしれないのは、自動化されるであろう仕事の市場に対してだけ。それは、まだ経済的に準備ができてないかもしれない社会に対してだよ。
もし何か「危険」があるとしたら、それはAGIが印刷機とか、綿繰り機とか、馬なし馬車とか、そういうもの全部を同時に、そしてそれ以上に、まだ受け入れ態勢ができてない世界にもたらされるってことだろうね。
でも、自動化できる仕事を保護するために、技術の進歩をむやみに止めるべきじゃないよ。俺たちは適応する必要があるんだ。
次の意見で、君が反対なのはどれ？
- スーパーインテリジェンスは人類にとって生存の危機だよ
- 未来を予測するのはめちゃくちゃ難しいって有名だよね
- その不確かさを考えたら、今のAIの進め方がスーパーインテリジェンスに繋がる可能性を否定できないだろ
- 1000分の1の生存危機だってめちゃくちゃ深刻だ。もし小惑星が地球に衝突して人類を滅ぼす可能性が1000分の1だったとしたら、真剣な対策を立てるべきだよ。
二つ目の質問：君は自分の意見にどれだけ自信があるの？ 99.9%絶対って言える？ 自分の信念に何十億もの命を賭けられるくらい自信ある？ 未来に関する意見で、俺がそんなレベルの自信を持てるものはほとんどないね。
学術界や産業界の多くの人が、もっと監視が必要だって言ってるよ。遅れてるのはアメリカ政府だね。ヨーロッパのAI Actは受け入れられないリスクのあるアプリケーションを禁止してるんだ。
＞技術の進歩はむやみに止めるべきじゃないよ。俺たちは適応する必要があるんだ。
じゃあ、あんたの経済的な価値がゼロになって、すべての人間労働が機械に置き換えられても気にしないってこと？
UBI頼みで、最低限の部屋に住んで、スロップ（家畜の餌みたいなもの）を食ってるってこと？
＞技術の進歩はむやみに止めるべきじゃないよ。俺たちは適応する必要があるんだ。
じゃあ、あんたの経済的な価値がゼロになって、すべての人間労働が機械に置き換えられても気にしないってこと？
UBI頼みで、最低限の部屋に住んで、スロップ（家畜の餌みたいなもの）を食ってるってこと？
そんな未来ってどんなのさ？ Chinaがディストピアに向かうなら、なんでヨーロッパも律儀にそれに従わなきゃならないの？
技術全体を禁止せずに、使い方だけ selectively ban できるじゃん。例えば、原子力発電は許されてるけど、核兵器は厳しく管理されてるみたいに。
そうだよ！ 夢みたいだ。俺の価値は経済システムなんかじゃなくて、俺自身が決めるんだ。働かなくていいなら、やることがたくさんあるだろ。もちろん、これは実際にUBIにたどり着けて、それが widespread poverty を生まないって前提だけど。でも、たとえ humanity が widespread poverty を経験しなきゃならなくても、反対側では probably come out with UBI になってるだろうね（数億人餓死するかもしれないけど）。
やることも、探検することも、学ぶことも、たくさんあるんだ。AIが俺の仕事を盗むかもしれないって prospect は、俺の income がその仕事に依存してるから怖いだけだよ。
＞やることも、探検することも、学ぶことも、たくさんあるんだ。
趣味とか、友達とつるむとか、読書とか、結局それくらいだろ。
たぶん international travel なんかも無理だろうし。
それは low income での simple retirement みたいなもんだよ。なぜなら、socialist system では資源が rationed されなきゃならないからね。
これはたくさんの young ambitious people を insanity に追い込むだろうな。達成できる meaningful なことが何もない。Purpose がないんだ。Drug use、debauchery、depression、violence、degeneracy、gangs。
まさに true idiocracy になるよ。Darwinian selection pressures もない、 unless the system enforces eugenics and population control でもしない限りね。
中国がディストピアに向かってるなら、なんでヨーロッパも律儀についていく必要があるわけ？もっと大事な問いはこれだと思うんだ：中国のディストピアとヨーロッパのどっちに住みたい？
ヨーロッパのディストピアはAIが原因じゃないだろうから、それは偽の二択だよ。
全く同じ議論を使って逆の主張もできるよ。「”超知能こそ人類を確実な絶滅から救える唯一のものだ”」と前提を変えれば、超知能を作らないのはリスクだって結論になる。同じ推論で正反対の結論が出るってことは、その推論がおかしいってことだね。
君の問いはPascalの賭けみたいだね。 ”超知能”なんてまず無理。役立つAIはできるだろうけど、脅威になるのは遠い未来か、ずっとない。
未来予測が難しいのは確かだけど、それを行動の理由にはできない。「”本当の脅威は別の方向から来るかも？”」と言えるからね。AI以外の終末シナリオはたくさんある。全ての終末シナリオのリスクをなくそうとするのが、ある意味で一番やばいシナリオだよ。
EUは、この核兵器みたいなものの最悪の結果を抑え込むためにAI actを通したし、実際そうしてる。ここはあんまり評判良くないけどね。「”digital god”」って見方がその理由を説明するかも。多くの人にとって、これは宗教運動、つまり他に行き詰まった経済システムの救世主みたいになっちゃったんだ。
LLMがどうして核兵器より強力なの？マジで知りたいんだけど。
全くその通り。それまで無神論者とか不可知論者だった人が、どうしてこんなにあっさり”避けられないAGIによる終末”って祭壇を崇拝し始めたのか、正直かなり衝撃だよ。まるで過激派Christiansが携挙を待ってるのと同じやり方だね。
うーん、多分そうじゃないかもね。もしかしたらLLMには人間にはない限界があるのかもしれない。だからGPT-2からGPT-3、GPT-3からGPT-4への目覚ましい進歩が続いてないのかも。確かにGPT-4は最大の核兵器より強力には見えないね。
でもOpenAIはLLMだけじゃない。目標はあらゆる知的タスクで人間を超える汎用AIを作ること。核兵器設計とか、新しい物理・化学発見とか、AI自体を作ることもね。それができれば無制限に核兵器作れるとか、どんな核兵器より強力ってわかるでしょ？
もしLLMがダメなら、OpenAIは遅かれ早かれ他の方法を試すだろうね。無理かもしれないけど、OpenAIはそう言ってないよ。
＞不確実性を考えると、今のAIアプローチがsuperintelligenceにつながる可能性を排除できない
君もこれが弱い点だって気づいてると思うけど。ゴミ箱の腐ったバナナの皮が自然に意識を持つ可能性も排除できないでしょ？だからって、その皮を捨てるリスクを冒すべきじゃないってこと？あまりにも突飛すぎて、それを「あり得る」とするには何かしら理由が必要だろ。今のAIアプローチも同じだよ。
俺が言いたかったのはね：Europeは今のまま規制を選ぶこともできるけど、そしたらChineseが規制なしのAIから大幅に利益を得るせいで、結局はChineseのディストピアに住むことになるかもしれない。それか、自分たちでAIディストピアを作るかだ。AIじゃないディストピアが一番ありえないシナリオだよ。
昔も技術で仕事が変わるって心配されたけど、社会は適応してきたんだ．綿繰り機や車、電話交換機みたいにね．今も失業率は低いし、仕事は変わるだろうけど無くなるわけじゃない．移行には痛みもあるだろうけどね．
それは違うよ．予防原則って言って、ヤバいリスクの可能性が小さくても注意しようって考え方だ．核技術みたいにAIも規制すべきかって話だよ．超知能が救世主って前提でも、リスク管理は重要だ．どっちのシナリオが現実的かが論点であって、リスク考え方が間違ってるわけじゃない．原子力と同じで、強力な技術は慎重に扱わないとね．アメリカの規制緩和は逆行してる例だろ．
＞”超知能”を作る可能性は極めて小さいと思う．
俺は超知能を全く作れない可能性こそ極めて小さいと思うな．人間脳が可能な最大の知能に到達したと信じるか、AIの進歩が理由もなく止まると信じるかのどっちかだ．予測市場のほとんどの予想屋は、10年以内にAGIができるって予測してるぜ．
絶滅級の小惑星が来たら、君が恐れる超知能が助けてくれるかもって考えない？その極端な怖がり方は性格だよ．未知が怖いんだろ．バスに轢かれるかもって毎日起きてるじゃん．火を発明した部族なら、世界が燃えるのが怖くて反対するタイプだよ．リスクはあるけど、火が絶対良い発見だったってのは否定できないだろ．
問題はまさにその不確実性なんじゃないか？腐ったバナナの皮が自然発生的に意識を持つことはないっていうデータはたくさんあるけど、未来を予測する明確な方法はない．そして、現在のAI研究の道筋から超知能が発生する本当の可能性を知る方法もない．それが100分の1なのか、1e12分の1なのかって不確実性自体が議論の一部で、人々はその可能性がどこかにあるって信じるように色々バイアスがかかってるんだ．
中国がAIでヨーロッパを攻撃するかもしれないって示唆してるなら、国内でAIを解き放たなくても防衛に投資できるだろ．それに、中国が規制のないAIでユートピアになるとは思わないな．俺が訪れた印象はユートピアじゃなかったし、彼らがどう技術を使ってるか知ってるから、AIがユートピアをもたらすとも思えないね．俺たちのユートピアのビジョンとは違うんだ．彼らは今の状況を楽しんでるかもしれないけど、もし状況が悪化したら後悔するかもしれないな．
そうそう、低収入だけど老いてない引退生活みたいだよ．俺も勉強中で収入低いけど、面白いことだらけだ．3Dプリンターで真空ポンプ作ろうとしてるとかさ．既製品あるけど、作る過程が楽しいんだ．
野心的な若者が狂うって言うけど、狂うのは野心ない連中だよ．野心ある奴は常に何かプロジェクトを見つけるさ．ジェネレーティブAI時代でも絵を描くのを楽しむみたいにね．人間は創造性から喜びを得るんだ．Hacker Newsだって元は金じゃなく、面白さでハッキングしてたんだぜ．
この考え方は核兵器の時と変わらないね．一番の違いは可観測性だ．衛星があれば他の国が条約を尊重してるか、相互確証破壊に十分な反応時間があるか、ある程度自信があったけど、このAI開発にはそれが全くない．
「今日のAGIじゃないからAGIにならない」って考え方にちょっと似てるな。今のAIはコード書く生産性上げる？多分ね。OpenAIのエンジニアはもっと高性能なモデルで生産性上げてんの？多分ね。もしあるグループだけ20%生産性上がって、それで作ったv2.0で25%、v3.0で30%ってなったら…。「AGIは技術的に可能か」「肉体にしかない特別なものはあるか」って問題になる。いつかAGIは見つかるだろうし、今の技術が助けになるだろう。大事なのは道のりであって、2025年5月時点の特定のLLM技術のバージョンじゃないんだよ。
＞超知能は人類に実存的脅威をもたらす
少なくともこれには反対だな。超知能が生まれたのに、どういうわけか人間に匹敵する凡庸さに留まるなんてシナリオは考えられない。そんな均衡はすごく狭い範囲だし、機械知能がそこに落ち着く理由もない。そんな確率は限りなく低いよ。君のコメントの後半の1/nの部分もかなり変わってくるね。
これはWeb 1.0の広告漬け底辺競争の繰り返しを避けるチャンスを逃してる瞬間だね。
人生を変えるようなコミュニティリソースから、詐欺的でユーザーに敵対的なものへの変化をもう一度経験するのを楽しみにしとくよ。
もっとコメントを表示（2）
これ、すごく分かる。今日LLMとすごく生産的な会話ができたんだけど、その価値の大部分は、何かを売ろうとしたり、SEO上げたり、広告表示させたりせず、僕の質問に集中的に答えてくれたことだって気づいたんだ。ただ、助けてくれただけ。普段敵対的に感じるデジタル世界で、それが信じられないくらい新鮮だったんだ。
それから、いつここに広告が出始めるんだろうって考えが浮かんだ。
直接お金を払うことを学ぶか、オープンソースのモデルが十分良くなれば、このシンプルさと集中をしばらく楽しめるんじゃないかって思いたいね。願ってるよ！
＞直接お金を払うことを学ぶか
でも月20ドルは足りないんじゃないかな。Googleみたいな会社はOpenAIが破産するまでAIを無料で配り続けることもできるしね。
「良い」点は、これが広告でサポートするには高すぎるってことだね。すごく小さくて安いモデルを使った広告付き製品は出るかもだけど、最先端のやつは常に計算資源も最先端で、誰かが費用を払う必要がある。投資家がコストのかなりの部分を補助しても、最高のモデルを実務でたくさん使うのはまだすごく高いよ。
サブスクリプションサービスでも広告は売れるよ。HuluとかNetflixを見てみて。Spotifyはお金払えば「ラジオ広告」は流さないかもしれないけど、ホーム画面でアーティストを広告するだろう。これらのモデルが高いってことは、収益性を追求する際に可能なあらゆる収益化方法を検討するだろうって考えにつながる。広告が対象外になるどころか、むしろ広告がより早く検討されるようになる可能性すらあるんじゃないかな。
そうなる可能性もあるかもしれないけど、広告からユーザー一人あたりが得られる収益は、計算コストに比べたら基本的に取るに足らないよ。ユーザーを怒らせてまで、すごくわずかな利益を得るなんてことはしないだろう。
モデルは時間が経てば必ず変装したセールスマンになることは保証されてるよ。世の中ってそういうものだから。競争がそれを阻止してくれることを願うけど、疑わしいね。全体主義体制がこれを大好きになる理由もそこにある。現実の改変版を吐き出すように簡単に訓練できるんだから。
広告でサポートするには高すぎるなんてことはないよ。ONLY広告でサポートするのは高すぎるかもしれないけど、収益源の一つとしてなら他のソースの上に重ねられるんだ。例えば、月100ドルのケーブルパッケージで表示される広告を見てみて！
Sam Altmanには懐疑的な意見も多いけど、Ben Thompsonとかのインタビューを聞くと、本人はOpenAIに広告モデルを入れたくないって言ってるよ．でも、本心だとしてもインセンティブは無視できないよね（だって広告って、みんなに届けたいならすごく強力なビジネスモデルじゃん）．
いい感じのLLMの選択肢は今後もなくならないと思うよ．オープンなLLMの研究開発は超速いし、distillationとかで性能も維持されるはず．softwareとhardwareの最適化でinferenceコストも下がり続けるしね．RAMで動くbit-quantized LLMとかも出るかも．
これで変な裏がないオープンな代替は存在するはず．ただ、みんなが動かすhardwareを持てるか、広告我慢するかは別の話だけどね．
で、ここが難しいところ．競争やイノベーションとのバランスを取りながら、こういう事態を防ぐ政策をどう設計するか．
そのステップと、政治家を動かしてそれを実現することだけが、望まない結果を止められる唯一の方法だよ．
将来的にはAIはコモディティ化するだろうね．今のWi-fiルーターみたいな形で、家庭用のinference serverを買えるようになるよ．安くて、オープンソースも商用モデルも山ほど選べる．モデルはボタンクリック一つでダウンロード（torrentとかでも）．
それ、今のデスクトップでもスペックちょっと上げればできるよ．
安くてinferenceに特化した中国製のシングルボードコンピュータが、足りないピースかな．（GPUとかNvidiaとかじゃなくてね）．
あと、今のAIエージェントはマジでクソ．でもそれは作ってる人のスキル問題で、近いうちにマジの進歩があるはず．
DGX SparkとかFramework Desktopってそんなに安くないの？
うーん、あんまりね．最終的には家電並みの価格と手軽さになると思うよ．（Wi-fiルーターレベル）．
小さいモデルがどんどん賢くなってるよね．それにツールや連携機能を組み合わせれば、オンラインでやってることの大半は家の中のインフラでできちゃうよ．
LLMの応答に広告が混じるなんて、どう考えても悪じゃん．だからOpenAIは、非営利部門が支配権を持ってる限り（今もそうだけど）、絶対にやらないよ．非営利部門が許すわけないから．
LLMsが恐ろしいのは、広告みたいに露骨じゃなく、テキストに微妙なバイアスをかけるだけで世界にすごく影響を与えられること。昔、クラシック音楽会社で働いてた時、トレンド予測についてベテランに聞いたら”予測しない、静かに教えてあげれば聞く”って言われたんだ。マーケティングは目立たないけど、ジャーナリストとの会話とかで少しずつ業界に影響を与えてた。LLMsは対処できないくらい強力な影響力を持つ可能性があるね。
＞LLMsは、世界全体に影響を与える恐ろしい力を持ってて、俺たちには対処する準備ができてないんだよ＜br＞LLMsをTVとか、smartphones、あるいはmcdonald’sに置き換えてみてよ、そしたら同じ考えになるでしょ。
TVを通じて、企業はソーシャルな世界や人々の行動の多くをコントロールしてきたんだ。
OK、でもこれってやっぱり明らかに悪じゃん、だからコントロールしてる非営利組織だってこれを許さなかったでしょ。
広告とかSEOだけどAI応答付きって、人間の注意をどれだけコントロールできるか、そして（まともな無料のopen-weightsの代替があるのに）人々がお金を払いたがらないって事実を考えたら、最初から明らかだった結末だよね。
OpenAIの元の形は、ある種の自由なテクノロジーの最後のあがきだったと思う。「良いこと」が大事な世界では非営利が理にかなってた。でも最近のAltmansとかpmarcasは、権威主義的で自己中心的な世界観を気楽に表現してるね。Open AIの構造変化はそれに沿ってる。彼らはいつも王様になりたがってたけど、今は”良いこと”を装わずにそれができるようになったってわけだ。
アメリカのculture warのある一派の一般的な正説に従わないだけで、誰にでも”authoritarian”っていう形容詞を使うのは合理的かな？ 俺にはここで起きてることがそう見えるんだけど、間違ってたら嬉しいな。samaとかpmarcaから、俺が”authoritarian”と分類するようなものは見たことないんだけど。
インターネットに理想的な過去は最初からなかったんだ。一部無料の試みはあったけど、民間化後は企業の利益優先に。Web 2.0以降は集権化、監視、操作が目的だった。Cambridge Analyticaで驚いてたけど、昔から知ってた俺らは呆れてたよ。USPSが無料ホスティングとか提供したら変わるかもって考えたけどね。画面に縛り付ける今の心理操作じゃなく、自分でネットとどう関わるか選べるようにするのが大事。インターネットの昔は良かったっていうのは幻想だよ。この混乱を直す第一歩は、まずその害を認めることだね。
彼らはAyn Randの考え方を深く信じてるんだ。自分たちに一番個人的な富をもたらすシステムが、人類全体にとっても最高のシステムだってね。
