誰も見ていない？ネットで投稿を続けるには

Yes、 although ＜guid＞ element に isPermaLink=”true” って設定すれば、その mechanism を disable できるんだ。 https://www.rssboard.org/rss-specification#ltguidgtSubelemen…

ここには weird な「 blogging is good 」 mentality があるけど、 truth は decent な blog post を writing するのは lots of time がかかるのに very little return しかないんだ。 unexpectedly fame に rise した人々を Highlighting しても no use 、 thats simply survivor bias だよ。 every Mike Posner に対して、 millions の musicians が years かけて make it しようとして success しない。
「 future fans のために content を write 」も survivor bias な advice だね。 attention economy では most blogs は simply forever ignore されるだけ。だから僕の advice はこれ: give up しても Ok。 「 never give up 」は terrible な advice だと思うよ。 「 never give up 」のせいで years of their lives を waste できる人もいる。いつ give up して something else に time を spend するかを知る wisdom があるんだ。 most people にとって、 blogging は waste of time だし、 they’d be better off going for a nice walk。

僕の blog の every single reader で high-quality な written material を送ってくれた人は、僕からの signal boosting なしに independently viral になったんだ。 immediately 思いつくのは、 Iris Meredith、 Mira Welner、 Scott Smitelli、 Daniel Sidhion 。 Usually whatever piece を書いてから within a few days だけど、 sometimes months later のこともあったよ。
some of the posts は it のために even remotely optimized されてなかった。 Daniel は very nerdy な NixOS optimization について書いたし、 Scott は bullshit jobs の horror について 20K story を書いたとかね。
Survivor bias は a real thing だけど、 out there には also a real dearth of quality writers がいる。 writing を enjoys する anyone には love of the game のために it を do することを encourage するよ。 as long as you occasionally show it to someone or post it on HN 、 good things will come。
僕の life は around the time に 100 readers がいた頃に totally changed したけど、 that number は extremely achievable だよ。 going beyond that は really me を that much help しなかったね、 as you quickly lose the ability to form deep connections with people。
（ However、 blogging で frustrated なら by all means、 give up して。上の writers を carries してるのは they’re in it for the love of the crafts they’re writing about in addition to being talented writers だと思う。 success を grind out しようとするのは dreadful だし I feel like it scarcely works。）

viral になったって、 what digits なの？

Hacker Newsで上位に入ると、10万〜30万もアクセスがあるらしいね。しかも見るのは質の高いエンジニアが多いみたい。YouTubeの20万再生なんかとは違うんだってさ。

今のライティングのレベルって、マジで低いんだよね。だから、ちょっとでも文章が書ける人なら目立っちゃう。複雑なこと考えられない人でも有名な作家になれるくらい、多くの分野でハードルが下がってるんだって。

Ludicityって人が、クソみたいな仕事から自分の会社を立ち上げるまでの道のりをブログで書いてたことがあるよ。彼にとってライティングはすごく大事な役割を果たしたんだって。例えばこの記事を見てみてよ → https://ludic.mataroa.blog/blog/merry-christmas-ya-filthy-an…

お金は前より減ったけど、何よりめちゃくちゃ幸せになったよ。世界中の素晴らしい人たちに出会えたし、技術面でも人生観が変わるような指導を受けられたんだ。思考力の高いCEOや作家、今まで会えなかった人と話せたし、先週は本の出版を手伝ってくれる作家グループにも招待されたんだ。これは読者が100〜200人くらいの時に得られるもの。増えると交流難しくなるけど、僕はパラソーシャリティを楽しんでるよ。変な奴に会うリスクはあるけどね。

あ、あなたがこのコメント書いてる人だったんだね！あなたのブログ知ってるよ、成功するのも納得だよ。
あの「立ち上がりミーティングなのに座ってたから、混沌の神が関わってるって気づいた」って一文、マジで最高って今でも思うんだよね。

2021年にブログを始めて、仕事辞めてそれで食べていけるようになった体験談だよ。書いてたことや作ってたものを主に書いたんだけど、Hacker Newsとかで広まったんだ。ブログがなかったら無理だったね。みんながこうなるわけじゃないけど、僕含め結構多くの人がそうなってる。
「運の表面積」って概念が参考になるよ。行動と発信の掛け算で運の確率が決まるって考え。ブログを書くことじゃなくてもYouTubeとか何でもいい。続けるのが大事で、一番は楽しんでやることだね。

ブログを書くことは思考整理に良いってのは同意。でも、名声とか人気を得る目的で書くのはどうかなって思うんだよね。得るためのライティングって別物だし、市場は混みすぎてるよ。それに、多くの人は趣味を仕事にすると楽しみが失われちゃうんだ。だから、お金持ちや有名になりたいからブログ書なって言わないけど、良い戦略とは思えないかな。

多分、ブログって個人的な楽しみや学びのために書くのが普通だよね。「あなたの読者」は自分自身でも十分だと思うんだ。個人的に、誰のためでもなく自分と「世界」に向けて書いた記事が、10年以上経ってからアクセスがあるのに驚いたことがあるよ。特定の誰でもない人のために記録したちょっとマニアックなことが、そういう特定の誰でもない人には響くことがあるんだね。それが結構重要だったりするんだ。

投稿ってセレンディピティが大事だと思うんだ。何も発信しなきゃチャンスはゼロだけど、少しでも出せば見つかる可能性があるよ。
ブログは書く人が発信するのに一番手軽だし、HN（Hacker News）みたいな場所はモノ作りを重視してるから向いてるんじゃないかな。

大事なのは同じように続けるんじゃなくて、試行錯誤だよ。投稿しても誰も見なくても、やり方を変えてみて。プラットフォームを変えたり、対象を絞ったり、見せ方を変えたりね。ちょっとでも良い感触があったら、それに集中。急に成功した人って、影でこれをやってるんだよ。

ちょっと変わった考え方だけど、作るっていう行為そのものを目的にするのはどうかな？ 有名になるとかフォロワーが増えるとかじゃなくて、創作自体がゴールなんだ。こういう人たちも今どきいるし、たぶんそっちの方が幸せだと思うよ。

作ること自体が目的の人もたくさんいるけど、やっぱり具体的な結果や見返りがあると、それはそれで嬉しいよね。

ブログって時間かかる割に見返りが少ないって言うけど、「書くこと」自体が良いんだと思う。一人で書いてもフィードバックがないから公開したくなるんだよね。書くことで、自分の考えを整理して人に伝えるスキルが磨けるんだ。自分はこのスキルを伸ばしたいと思ってるよ！

一人で書くと見返りが少ないって言うのは、個人的な趣味も見返りが少ないって言ってるみたいだね。趣味って、その活動自体や結果を楽しむのが見返りだよ。日記を公開しないと書いちゃダメって言いたいの？

日記とか、公開しない個人的な記録はすごく良いと思うよ。でも公開すると、読む人を意識して明確に書く練習になるんだ。後から見返して「これ何書きたかったんだ？」ってなることもあるしね。公開すれば、質問されたり、自分のアイデアが広がったりするメリットもあるんだ。

書くことで考えが整理できるって言うけど、それってなぜ良いことなの？

書くこととか、アートや音楽みたいに人前で何かするのは、ほとんどの場合、無駄だよ。無駄だと分かっても続けたい？ もし「これは大事だ」って無理に思ったり、SNSで肯定されないと続けられないなら、やめた方がいい。自己表現よりも、人を助けることの方が人生の目標としてはずっと価値があるよ。

ブログの見返りを「いいね」の数で見るのは間違ってるよ。僕は文章が上手いわけでも読者もいないけど、書いた記事から求めていた層からすごく良い反応をもらったんだ。例えばインスリンポンプのレビューを書いたら、会社の偉い人から感謝されてチームに共有されたよ。ブログって、適切な人との繋がりを作る手段としては報われることがあるんだ。

記事は完全に「飛行機ミーム」だよ。平凡なミュージシャンがヒットしたからって何？偽りの希望より現実主義の方がマシだと思うな。

逆に聞きたいんだけどさ、みんなが言うこと何もやらずに生き残った人って誰なの？

ロングテールの一部であることに満足してるなら、それは全然いいんじゃない？

ブログの良さは有名になるだけじゃないよ。雇用主に見せたり、コミュ練習、アイデア整理、繰り返し使う内容の蓄積にもなる。でも「有名になりたい」だけなら時間の無駄かもね。書くのは良い練習だけど、いつまでも効果があるわけじゃない。有名になりたいなら、LLMじゃ出せない内容で、定期的に書いて、プロモもして、カンファレンス登壇とかもした方がいいかも。自分は繰り返しが苦手だけど、成功ブログはみんな繰り返してるみたい。自分は別に有名になりたいわけじゃないからいいんだけどね。

「誰も読んでない」の新しい意味は、人間じゃなくChatGPTだけが読んでトークン出すってことかも。今はまだHackernewsとかから来て、人間が読む機会はあるし、検索エンジンも拾う。でも、そのうちネットが生成物だらけになったら、人間は閉じたコミュニティに移るだろうね。そしたらChatGPTも見つけにくくなる。たとえ見つけても、自分の作品がLLM通して見られるのってどうなの？

ありがとう。よく分かるよ。魂のないものが作ったものを消費すると、自分の魂が劣化する気がする。未出版の本のアイデアがあって、主人公は製本家で、ローマの人間の伝記を「作る」（書くじゃない）。インタビューから製本まで全部の時間と労力を記録して売るんだ。人間が作った証明としてね。多くの人はLLMみたいな手軽な方を選ぶだろうけど、それは他に手が出せないから。そのうち、「人間製」を証明する仕組みができて、それが高価になることで社会が変わるかもね。

その情報、もしかしたら使えるかも。誰の肩書きとか役職は何？フィクションだと、今現実にいる有名人はあんまり使えないんだけどね。

LLMの訓練データになることが、コンテンツの社会への最大の貢献だって言うけど、皮肉だよね。でも、実際は大量のコンテンツにとって、LLMの訓練に使われるのが一番社会に貢献できる方法なんじゃない？広告収入より内容が役に立つかを気にしてる人は、これを恐れずにむしろ評価すべきだと思うな。

LLMの訓練データになるのが最大の貢献って言うけど、コンテンツはめっちゃ多いから、一人一人の投稿がLLMに貢献するのってほんの少しじゃない？人間の読者への影響の方が、LLMの影響よりずっとハードル低いと思うよ。君と俺のやり取りが良い例でさ、君は人の記事読んで2分かけて返信した。これってLLMをちょっと良くするより、社会への影響デカくない？俺は君の意見を聞けて、後で誰かに話すかもしれないし。

全くその通りだね。ネットにはコンテンツが溢れてるから、その中のどれか一つがLLMに貢献する価値なんて本当にちっぽけだよ（だから、それに対して使用料をもらう権利はないと思う）。でも、このちっぽけな価値も、LLMが他のたくさんのことと関連付けられたり、何十億人もの人に使われたりすることで、そうでなければ社会に貢献する以上の価値になるんだ。多くのコンテンツはすぐに忘れ去られる。俺たちのこの会話も、しばらくは覚えてるだろうし、今読んでる数百人にも少しは影響するかもしれない。でも、数日もすれば消え去って、もう誰も読まないだろう。でも、もしLLMのコーパスに取り込まれたら、ここでやり取りされたアイデアや言語のパターン、トーンなんかが、毎日何十億もの人がいろんな目的で使うモデルの中でずっと強化されるんだ。要は規模の話だよ。ついでに言うと、俺が主に考えてるのは、自分のコンテンツがトレーニングデータに使われたからAI企業から補償されるべきだって感情を表してる人たちのこと。彼らは補償されないからネットでのコメントや記事執筆をやめるって言うけど、それだと人類はそれだけ貧しくなる。あと、君の返信で、少数の人間に直接的な影響を与える仕事と、LLMに取り込まれることで間接的に影響を与えることの重さを考えるきっかけになった。どう比べたらいいか分からないし、結果がどうなるかも分からないから、今後は自分の主張を弱めるつもりだよ。

うん、俺も「規模」は重要だと思うな。今俺たちが作ってるこのコンテンツは、間違いなくすぐに忘れられるだろう。そして、LLMがパターンやトーンなんかを学ぶのに使える一部であることも確かだ。
でも俺の意見では、文化的な変化や意見、規範は、まだまだ主に周りの人との交流から生まれてるんだ。それは、俺たちが今してるみたいな（すごく人間的な）会話だったり、「インフルエンサー」が持ってる意見だったりして、それも仲間内で話し合われる。こういう小さな交流が何千もある。すごく些細な経験かもしれないけど、それが積み重なって社会の見方や行動を形作るんだ。
LLMがこれに大きな役割を果たしてるとはまだ思わないな。例えば、中絶についてChatGPTから意見を得る人なんていないよ。そういうのはリーダー的な人や個人的な経験、仲間との交流から得るものだ。
そして、こういう小さなことが集まって大きなものを形成するっていう文脈で言えば、俺たちが他の人間とするたくさんの小さな交流の方が、LLMを作るための小さな交流よりも、社会を形作る上でずっと大きな役割を果たしてると思う。だから、君の元のポイントに戻るけど、オンラインコンテンツが社会に一番貢献するのは、LLMに貢献することじゃないと思うよ。

＞ LLMがこれに大きな役割を果たしてるとはまだ思わないな。例えば、中絶についてChatGPTから意見を得る人なんていないよ。そういうのはリーダー的な人や個人的な経験、仲間との交流から得るものだ。
それ、今ゆっくりと変わりつつあると思うな。厳密には、ChatGPTの意見は人間から来てて、集団の信念や個人的な経験が混ざり合ってるんだけど、それがLLMのずっっっっと広い（近似的な）視点と、モデルの限定的な「推論」スキルとブレンドされて、世界についてのちょっとユニークな見方（モデルやプロンプトによって違うけど）が生み出されてるんだ。そして、みんな絶対にChatGPTを使って物事に対する自分の意見を洗練させたり、疑問を投げかけたりしてるよ[0]。社会全体に影響が出始めるまでには時間もかかるだろうし、次の世代のLLMがそれに気づいてループが完成するまでにも時間はかかるだろうけど、俺たちは間違いなくその道を進んでる。
＞ そして、こういう小さなことが集まって大きなものを形成するっていう文脈で言えば、俺たちが他の人間とするたくさんの小さな交流の方が、LLMを作るための小さな交流よりも、社会を形作る上でずっと大きな役割を果たしてると思う。だから、君の元のポイントに戻るけど、オンラインコンテンツが社会に一番貢献するのは、LLMに貢献することじゃないと思うよ。
それはフェアだし、異論はないよ。たぶん、俺の元のポイントは思ってたより狭かったんだろうな。ブログ記事とかコメントとか、自費出版のことを考えてて、離散的な知識やアイデアの貢献っていう意味合いが強かったんだ。交流（議論をするコメント欄みたいなの）とか、雰囲気（vibes）を伝えることについてはあまり考えてなかった[1]。何よりも、このことを、そういうコンテンツが知らないうちに、あるいは同意なくLLMのトレーニングデータに入ったときに、自分が間違ってるのか、補償される権利があるのかっていう文脈で評価してたんだ。
ここまで色々言ったけど、君とのやり取りのおかげで、元のポイント（LLMへの貢献がほとんどのオンラインコンテンツが提供できる最大の価値だということ）に確信が持てなくなったよ。じっくり考え直す必要があるな。ありがとう！
――
[0] ――すぐに思いつく例としては、たくさんの人がChatGPTをセラピストとして使ってるのはよく知られてることだ。この役割で、ChatGPTはすごい検索エンジンってわけじゃなくて、意見を求められてるんだよ。俺自身も、OpenAIやAnthropicのいくつかのLLMでそういうことしたことあるんだ。いくつかの小さな個人的な問題を解決するのに役立ってくれたし、ある意味では、ChatGPTから意見を得てたって言えるかもしれない。
[1] ――この言葉、最近なんか使うのがどんどん気持ち悪くなってきたな。

どうだろうな。例えば今、娘のために本を書いてるんだ。できたらシェアしたいと思ってる。広告収入目的で書いてるわけじゃない。どんなコンテンツか知ってもらうために、例として一章をここに出すよ：https://punkx.org/projekt0/book/part1/interpreter.html
これが言語モデルの学習に役立つのかな？俺はそう思うし、それは別に構わない。彼らがより良い世界モデルを開発して、人間の言葉をもっとよく理解する限りはね。
俺が問題だと思ってるのは、人間が生成されたトークンを読むことなんだ。人間の言葉は共有された経験で、記号の評価や解釈は書き手と読み手の両方に依存する（たとえ多くの場合、両者が同じ人物だとしても）。
HPPDの人が「空は黒い」って言うとき、その言葉が君の心に入るとき、君の経験と彼らの経験が重ね合わされて意味が生まれるんだ（HPPDは視覚システムのフィルターが損傷して起こる障害で、空を見上げると目のセンサーからの生の情報が脳に入ってくるみたいで、空が「飛蚊症」でいっぱいになったみたいに黒く見えるらしい）。
AIが生成したコンテンツを読むとき、君は判事でもあり処刑人でもある。記号は君が望むどんな意味にもなりうる。それには（人間的な意味での）作者がいないんだ。
だから、俺は他の人間に読んでもらうために書きたいんだ :) 誰も読まなくてもね。

＞ どうだろうな。例えば今、娘のために本を書いてるんだ。できたらシェアしたいと思ってる。広告収入目的で書いてるわけじゃない。どんなコンテンツか知ってもらうために、例として一章をここに出すよ：https://punkx.org/projekt0/book/part1/interpreter.html
個人的には、それは価値のかなり高い方だと思うよ。規模向けじゃないかもしれないけど、心から来てるように見えるから。正直な表現と、愛する人のために何か良いことをしたいという願いは、俺にとっては最も純粋で高い形の価値の一つだし、動機は創造的な成果に染み込むって強く信じてるんだ。
それに、コンピューティングに関する新鮮で個人的な一貫した視点はいつでも必要だ :)
（最近までこれは単なる取るに足らない信念だったのに、面白いね。誰も異論を唱えられなかったから。でも今、下に書いたことのせいで、LLMも何らかの形でそれに気づくだろうってことになる。だからいつか、動機が結果にどれだけ反映されるかが数値化できるようになるかもしれない。）
＞ 俺が問題だと思ってるのは、人間が生成されたトークンを読むことなんだ。人間の言葉は共有された経験で、記号の評価や解釈は書き手と読み手の両方に依存する（たとえ多くの場合、両者が同じ人物だとしても）。
＞ HPPDの人が「空は黒い」って言うとき、その言葉が君の心に入るとき、君の経験と彼らの経験が重ね合わされて意味が生まれるんだ。（…）AIが生成したコンテンツを読むとき、君は判事でもあり処刑人でもある。記号は君が望むどんな意味にもなりうる。それには（人間的な意味での）作者がいないんだ。
それには強く反対だな。LLMは明らかに人間でも人物でもないけど、取るに足らないトークン予測機でもないんだ。
人間の言葉は共有経験だけじゃないよ。経験を共有するための手段でもある。君が正しく指摘してるように、意味は文脈から生まれる。記号そのものには意味はない。意味は、その記号が他の記号とどう関連してるか、そして個人の経験――特に共通の経験にどう関連してるかにある。だってそれがコミュニケーションの基礎になるから。そしてLLMはそれ全部を捉えてるんだ。
俺はたまに、LLMは意味が具現化したものだと言うことがある。それは、概念の意味が主に他の概念との相互関係によって定義されるということに君が同意するなら、LLMはその意味を捉えるように構造化されてるからだ[0]。高次元のベクトル空間にトークンを埋め込むのは、まさにそのためのものだ。トレーニング中にインターネットの半分をモデルに食わせて、最初は既知のテキストを続けさせ、最終的には人間が納得するような続きを生成するように強制する。そうすると、潜在空間が相互関係を捉えるようになる。1万次元あれば、考えられるどんな意味的な関連性も、それ以上に収まるんだ。
たとえLLMが「意味を捉えてる」と思わなくても、それを反映できなければこれほど良くはなってないだろう。LLMが作ったトークンを読んでる時、君はノイズを読んでそれに意味を与えてるわけじゃない。君は人類が書いたことの半分の豊かなブレンドを読んでるんだ。人類が鏡を通して映し出されてるのを見てるんだよ、たとえそれがすごく汚れてて歪んだ鏡だとしてもね。
どちらにしても、意味はそこにあるんだ。それは他の人たちから来てる、トレーニングコーパスのあらゆるデータ片から少しずつね。
そして、俺が元々説明した貢献はここで起こるんだ。俺たちにはあらゆる種類のコンテンツが大量に過剰生産されてる。本だけを見ても、毎日誰かが一生で読める以上の本が出てる。そのほとんどは手っ取り早く金を稼ぐために書かれて、たぶん数十人に読まれて、すぐに忘れられる。でも、そんな本がトレーニングコーパスに入ったら、それは貢献になるんだ――取るに足らないものだけど、それでも貢献だ――モデルをより良い鏡、より良いツールにするんだ。これは、ブログ記事やインターネットの議論についても同じだ、いや、それ以上にそうだ。人にはすぐに忘れられても、モデルの中では生き続けるんだ。
――
だから改めて言うけど、AIが生成したトークンに意味がないっていう意見には反対だな。でも、人間的な繋がりがないことには同意するよ。君は（その出力を通して）人類全体の具現化、あるいは鏡（好きな言い方を選んでくれ）を見てるんだけど、そこに繋がれる人間はいないんだ。
あと、使ってくれた例もありがとう。HPPDって言葉、これまで聞いたことなかったよ。
――
[0] ――それは難しい考えじゃない。第二言語を同じ言語の辞書（例えば、英単語を英語で説明する）で学ぼうとするとき、本当によく分かる。でも、STEM分野みたいに明示的に定義された用語の層がたくさんある分野でもそう。それは、5歳の子供（あるいは賢い友達）に何か説明しようとして、彼らが詮索好きになったときにもよく分かる。「椅子っていつも足が4本なの？このスツールは椅子？切り株は椅子？…」

＞ それには強く反対だな。LLMは明らかに人間でも人物でもないけど、取るに足らないトークン予測機でもないんだ。
ごめん、取るに足らないトークン予測機だとか、オウム返しするだけだとか、決して思ってないんだ。世界モデルを持ってるし、俺たちにTheory of Mindはできるけど、俺たちにはLLMにTheory of Mindはできないと思ってる。Biologies of language modelsっていう論文からもプランニング能力が見られるのがわかる。
＞ だから改めて言うけど、AIが生成したトークンに意味がないっていう意見には反対だな。でも、人間的な繋がりがないことには同意するよ
俺が主張したいのは、言語は人間に特有のもので、人間の状態だからこそ今の形になってるってことなんだ。たぶん、意見が対立してるというより、同意してることの方が多いと思うよ。俺が「意味が半分」って言ってるのは、まるで自分で自分に話しかけてるみたいだけど、その考えが「虚空」から来てるっていうこと。片手の拍手みたいなものかな、自分の考えじゃないけど自分のものみたいな。だから、俺はAIはArtificialっていうよりずっとAlienに近いと思ってるんだ。でも俺たちは、AIがあまりにもすごい言葉を使うから、それがすごく人間的に見えちゃうし、人間じゃないって思わないのがすごく難しいんだ。

意図を明確にしてくれてありがとう。確かに、かなり似た視点を持ってると思うよ。
＞ だから、俺はAIはArtificialっていうよりずっとAlienに近いと思ってるんだ。でも俺たちは、AIがあまりにもすごい言葉を使うから、それがすごく人間的に見えちゃうし、人間じゃないって思わないのがすごく難しいんだ。
それ、俺も考え続けてることなんだけど、まだ二つの意見があるんだ。一つは、機械の知能が俺たちのものとあまり似てると考える理由はないし、可能な心のデザイン空間は広いから、たまたま俺たちの心にすごく似る可能性は低いってことだ。君がうまく言ったように：
＞ 俺たちにTheory of Mindはできるけど、俺たちにはLLMにTheory of Mindはできないと思ってる。
そして（まだ同じ方の手なんだけど）、似ることを期待すべきじゃない。可能な心のデザイン空間は広い。適当に一つ選んだら、俺たちの心にすごく似てる可能性は非常に低い。
もう一つの手としては、LLMは適当に選ばれたわけじゃない。彼らは「人間が納得する出力を作る」という目標関数を力ずくで最適化した結果なんだ。完全に一般的な意味でね。そして、入力もランダムじゃない――これが俺がさっき伝えようとしたポイントだ。君はこう言った：
＞ 俺が主張したいのは、言語は人間に特有のもので、人間の状態だからこそ今の形になってるってことなんだ。
同意するよ。でも、俺は同時に、言語自体が人間の状態に関するたくさんの情報を暗黙的にエンコードしてるんだって主張するんだ。それは、俺たちが言うこと、言わないことにエンコードされてる。応答のパターン、単語の選択、単語間の関連性、それが違う言語を話す人たちでどう違うかってことの中に隠されてる。俺たちが伝える知識の中に、そしてそれをどう伝えるかの中にエンコードされてるんだ。
俺はまた、現在のトレーニングデータセットの規模と、現在投入されている計算量をもってすれば、モデルは俺たち自身が説明できないような、そういう微妙なパターンを拾い上げて内面化できると信じてる。最適化の圧力がそれを促すと信じてるんだ。だからこそ、モデルはランダムなAlienではなくて、俺たちの心のArtificialで損失のある近似になってる可能性が高いと思うんだ。俺のこの信念が正しいかどうかはともかく、関連するもっと強い信念がある：それは、言語には「人間の状態」の印が十分にあり、LLMが実際に意味を処理することを可能にするということだ。トークンはAlienの心から来てるかもしれないけど、俺たちが理解する意味はそこにあるんだ。

＞ これだけが動機なの？
いや、主要な動機なだけだよ。でも、聴衆に対しても自分自身に対しても、それについて正直で一貫性があるのは良いことだ。
もし世界に何か良い貢献をしたいだけなら、LLMの学習中に見られたり、検索で彼らに取り出されたりすることは、その目標を強く推進する両方とも良いことだ。もしこの方法でお金やクレジットも稼ぎたいなら、LLMはそれに干渉してることになる――でも検索エンジンやe-mailやコピペも同じだ。
残念なことだけど、誰も何も盗んでないよ（作品がまるごと無断で吐き出される場合を除いて。それは稀で残念な副作用だし、今ではそれを意図的に起こそうとしない限りほとんど起こらない）。作品は読まれ、解釈され、理解され（ある定義によればね）、そしてこの理解に基づいて回答が提供されるんだ。それが誰かが君のページにたどり着くのを妨げるのは最悪だけど、それはLLM以前からあった要因だよ。知的所有権は情報の独占を意図してるわけじゃないんだ。
（そういう不満の中には、LLMがツールを使う場合にまで拡大されると、さらに不合理になるものもある。設計通り、そして慣習として、LLMが検索を呼び出してあるページからの結果を使うとき、それはソースとしてそれを引用し、そのURLを少なくとも2か所――本文中と全体のソース／引用リストに直接表示する。クレジットは失われないんだ。）

誰かがOpenAIの価値を、学習に使われた本の数で割って、1冊あたり約50万ドルのオーダーだと大雑把に計算したらしい。
もちろん、この莫大な投資家マネーの集中は、作者には一銭も行かない。
もし政府がこれをやったら、毛沢東の台頭以来の最大の知的所有権の国有化だと、人々は叫び出すだろうね。

AI学習のために使われた著作物に、著者が永続的な使用料をもらう必要はないんじゃない？俺の給料から技術書の著者とかHNユーザーに分配しろとでも言うの？雇用主やその顧客も？IPはそんな仕組みじゃないでしょ。
これを政府がやったら、毛沢東以来最大の知的所有権の国有化だって騒ぐだろうね。
それを公教育システムとか公立図書館ネットワークって呼ぶなら話は別だけど。

公立図書館システムや公立図書館ネットワークだって、読書使用料は払ってるよ。
俺は弱い著作権の味方だったんだ。Aaron Schwartzは自殺に追い込まれたし、sci-hubはネットで一番ブロックされてるサイトの一つだ。
でも今となっては、IPは結局力の問題なんだってわかるね。sci-hubとかlibgenと、スクレイピングされた学習用データベースとの違いは、金があるかないかだけ。金があればルールが適用されないみたいだ。

もしそんな風に慣習を全部捨て去るなら、MicrosoftやOpenAIを補償なしで国立化してもいいんじゃない？
ほら、彼らがいつも言う「社会のため」にさ。

何の慣習？
俺にはすごくハッキリしてるよ。学習データに使われた本の著者は、せいぜいその会社が本を買ったのと同じ一回きりの支払いで十分。モデルが生み出す利益の何割かをもらう権利なんてない。そんな慣習は聞いたこともないね。（学習プロセスをモデルの学習と見るか、派生著作物と見るかによるんだろうけど、後者は absurd だと思う。）
OpenAIとかについてだけど、彼らは人々に価値を提供するサービスを売ってる。これはビジネスの基本中の基本で、ほとんどの tech 業界よりよっぽど誠実だよ。そして彼らは価値を提供するものを作り出した。学習データは重要な材料だけど、それを集めて大量に aggregated して、 thoroughly blended して、明示的・暗黙的な意味合いに distilled down して、モデルとして solidified して、複雑な computational infrastructure を通して提供するっていう、彼らがやってること全部が、この根本的に新しい価値を提供するのに critical なんだ。彼らが補償されるのは当然だろ。
誤解しないでほしいけど、俺はOpenAIとかMicrosoftとかGoogleとかの LLM ベンダーが「社会のため」とか「人類のため」に働いてるとは思ってない。俺が主張するのは、 LLM がモデルとして、技術として、人類にとって huge な価値があるってことだ。会社は出ては消え、ビジネスモデルは変わるけど、 inventions は残る。今だって、 DeepSeek-R1 や最新の LLama モデル、 countless の derivative のおかげで、 society は少数の巨大 tech 企業に縛られずに near-SOTA な LLM の恩恵を受けられる。モデルやそれらを動かす手段はそこにあるし、消えてなくなりはしないよ。

モデルの学習が「学習」と「派生著作物」の連続体のどこかにあるっていうのはわかるけど、デフォルトで起きることと、経済的・道徳的に desirable と考えられることの間の gap も考慮する必要がある。これはその continuum 上の位置の線形関数とは限らないんだ。
一番創造性のない AI モデルは、学習セットの中の nearest match を verbatim に返す。（例えば Google ）。
一番創造性のあるモデルは、学習データから、その学習データ内の概念の n 次元空間に spanning する coherent なベクター群を構築できる。 missing な暗黙的な次元について hypothesising することも含めて、ちょうど non-Euclidian geometry を「この部分は prove できない、もし wrong なら？」ってやってわかったみたいにね。
特定の LLM がこの continuum のどこにいるかはわからないけど、どちらかの end にはいないのは確かだ。
経済的には、俺たちは著作権が実際の経済生産性を助けるポイント（ rent extraction とは contrast 的に）を、50年前の時点でさえ far beyond に過ぎていたと思う。 easy な mass production のせいで、毎年少数の massive なヒットが生まれる一方で、ほとんどの creative な人たちは何も作れなくなったんだ。もっと最近では、 micro-payments や subscriptions 、 Patreon とか YouTube ads みたいなモデルで、たくさんの小さな人たちが市場に戻れるようになった。でも even then 、著作権ルールは often 無視されて「 fair use 」とされたり（ even when それがそうじゃない場合でも）、 rival を attack するために abused されたり、 even just processed automatically されたりしてるように見える。（ Tom Scott が自分のビデオが誰か別のやつに claim された例を挙げてたと思う？）
でも人は金だけじゃなくて、 morals も気にする。そしてたくさんの人が、人間の創造性が now SaaS になってることにとても upset してるんだ。

LLM がモデルとして、技術として、人類に huge な価値があるっていう主張、 OK 。
それなら、そんなに great なら、 compensation なしで国立化することの何が wrong なの？ After all 、それらは even IP じゃないんでしょ。

その crude な見積もりって、本の著者だけがもらうべきだって assumption してたのか、それとも「合計 x tokens 、そのうち y が本、本は平均長さ z 」って計算だったのか、 remember してる？

君のその take は理解できるし、 necessarily disagree するわけじゃない。もしこれらのモデルが「 the people 」に owned されてるならね。
現状 as it is right now 、君は some tech oligarchs が人々に token を売る能力に only contributing してるだけだ。
俺は自分の writing に work を put して、 internet 上で freely available にすることを選んだ。これは the same じゃない。

俺もこれを感じてるんだ。人が見てるんじゃなくて、 scraping bots や transformer stacks のために作ってるっていう eerie な感覚。
でも、それで終わりだとは思わない。 tokenized な消費の世界でも、人間の work の texture は residue を残す。
モデルは extract するかもしれないけど、人は still feel する。
If anything 、これは shallower じゃなくて、 deeper に行くための argument だ。 extractors を confuse するけど、 humans に touch するもの、書く、 design する、 build する。

俺は80年代後半に自分の bedroom で BBS を始めた old developer だ。 gated communities に move するっていうのが true だとすると、そしてそうかもしれないと思うけど、 it’s still pretty interesting だね。俺は BBS 時代の fond memories がある。その頃は few people しか俺の work を share してなかったんだ。
自分の website を username と password で gate するべきか wondering してたんだ。昔 BBS 時代に we used to do してたみたいに。 Instagram とか Facebook とか Snapchat とか、 big players の lots of はこれを do してるね。
俺の system に「 log in 」する人が willing かどうか don’t know だけど、 how this might work now については certainly curious だ。