利用者規約とプライバシーポリシーが更新！思わぬ落とし穴はない？

アイデアを考えるとき、Claudeは関連情報を探したり、文章の確認を手伝ってくれるだけ。だからアイデアはClaudeのものじゃない。
でも、Claudeが俺のアイデアを学習して、似たアイデアを持った別のユーザーに提案したらどうなる？そのユーザーはそれが新しいアイデアだと思って、先に発表しちゃうかもしれないよね。

公開されてるウェブで研究するのと、同僚の個人的なノートや話から研究するのとは、全然違うことだよね。

「Claudeは学習データしか知らない」って言うけど、俺はClaudeが俺の入力に基づいて新しい動きをしたり、既存のアイデアを新しい方法で組み合わせたりするのを見てきたよ。
もはやただの記憶じゃないと思うな。

フィンランドで海を見て空が緑に見えたら、本当に空は緑なの？
自分の視点を客観的な真実だと思っちゃうのは、よくある間違いだよね。

俺はAIをものすごい「関連付けエンジン」だと見てるんだ。
数学研究だと「誰も知らないアイデア」と「誰かが持ってるアイデア」を見分けるのが大変だったけど、インターネットやAIで変わってきた。
AIって、うまくプロンプトを使えば「点と点をつなぐ」能力もあるんだよ。独創的に見えるアイデアが、実は潜在的なつながりだったりするのって面白いよね。

数学研究に限らず、特定の分野で俺が最適化したコードとか、うまい解決策みたいな「秘密のソース」が、Claudeを通じてみんなに広まって、みんなが自分のアイデアだって思っちゃうかもしれない。
ビジネスパートナーともこの話をしたけど、うちは秘密の部分はClaudeには見せないようにしてるよ。他の部分はすごく便利だけどね。

新しい利用規約のポップアップが出たら、「opt out」オプションを選んでね。そうすれば、君のチャットがトレーニングに使われなくなるよ。

まあ、理論的には使われないだろうね。エンジニアリングチームで働いたことある人なら、「if(doNotDoThisCondition)」のチェック忘れってよくある話だって知ってるでしょ。だからオプトインの方がユーザーを尊重してるってことだよ。

もし自分の仕事が本当に斬新だったら、確率的なモデルで後から出てくる可能性ってすごく低いんじゃない？AIは集合知の総体を出力してるようなもんだし。概念が出てくるには学習データでかなり一般的じゃないとダメでしょ。だからプライバシーやイノベーション的にも、概念が推論で出てくるほど一般的になったら、それはもう公共知識の一部として扱われてもいいんじゃないかな（IPは別として）。

今後、モデルは新しくて意外な部分に重みをつけて学習を最適化するかもしれないね。モデルが賢くなるほど（予測精度が高まるほど）、予期せぬ新しいアイデアからより多くの価値を得るようになるだろうし。

いい点だね。でも、モデルってそんな振る舞いできるのかな？確率に依存してるんだし、もし新奇な出力に重みをつけすぎたら、信頼できない幻覚マシンになるだけじゃない？一部の人はどう思ってるか知らないけど、モデルは概念の妥当性を推論できないんだよ。繰り返し出てくるデータで何が正しいかを決めてるだけ。
そうは言っても、そうチューニングされたモデルは見てみたいね。「creativity model」として売り出して、ユーザーが大量のゴミみたいな幻覚を受け入れる前提で、概念の妥当性を自分で判断するようなものなら面白いかも。

モデルの出力調整ではTemperatureが重要な役割を果たすんだよ。理論的なスイートスポットがあるって指摘は正しいね。詳しくはこの記事をどうぞ: https://towardsdatascience.com/a-comprehensive-guide-to-llm-…

もう起こってると思うよ。ChatGPTは僕のchess.comのプロフィールとHacker Newsの投稿から、僕の名前とプロジェクトを結びつけられたんだ。珍しい問題の解決策をたった一つの入力から学習するのも、そんなに難しいことじゃないんじゃないかな。1000回見た解決策と、1回しか見てない珍しい解決策の両方を参照できるのかもしれないし。

いま、多くの「いたちごっこ」的な脅威検出開発をしてる人たちは、自分の仕事を公開LLMの外でやってるよ。だから君も僕たちと同じ状況ってことだね。

これって、AIが抱える最大のジレンマの一つを完璧に言い表してるよ。AI企業は、自分が所有していない人間の知識をどこまで利用するのをやめるべきか。どこに線引きするべきなんだろうね。どうやら、全く線引きがない可能性もあるみたいだけど。

知識は所有できるもんじゃないよ。知的財産権なんて産業を支えるために作った法律上のウソなんだから。知識や情報なんて数字の2みたいに誰のものでもないんだよ。

じゃあさ、Anthropicは自分とこのソースコードに財産権を持っちゃダメって言いたいの？

そもそも財産権ってものが法律上のウソなんだよ。君が持ってる他の全ての権利だって法律上のウソじゃん。だから何って話だよね。

「財産権が法的虚構」って不動産はそうかもね。でもモノの所有は当然の権利だと思うよ。ヨーロッパでアメリカ人がスリに遭うTikTok動画見れば、みんなの気持ちがわかるんじゃない？

でもさ、稼いでるソフトのソースコードとか、営業の顧客リスト、小説の原稿、秘密のレシピ、頑張った論文とか盗んだスリに対しても、同じ気持ちでいられるの？君の寛大さ、すごいね！

人間相手なら、君のアイデアを他の人に話したって自由だろ。なんでLLM相手だと違うの？LLMが君のアイデアをそのまま再現するなんて、まずないしね。
人類の進歩のためには、プライバシーを尊重しちゃいけないんだよ。

「LLMと人間の違い」って？LLMはプログラムで人間じゃないからさ。人間は特別なんだよ。なんでかって？だって俺たちが人間で、ルールを作るからね。ハンバーガーと友達の話みたいに、バカげてるよ。

「機密性」って概念に完全に反対してる人を見るの、すっごく好きだよ。

全然違うよ！俺が反対してるのは偽善だけ。LLM好きは、みんなのアイデアや努力をLLM学習に使うのは正当で、人類の進歩に必要なことだって言うんだ。なのに、その恩恵を受けてる奴らが、自分たちのアイデアだけは別って言うのは偽善だろ。

わかった！同感だよ。皮肉探知機をチェックしないとね。

Claudeが俺の数学研究手伝ってくれてるってさ。自分だけおいしい思いして、後から来た奴には道閉ざしてる感じだよね。

未発表の作品と、すでに発表されてる作品の違い、って話だろ。

別に驚かないね。大手AI企業は既存データでの学習が限界で、もうネット中のデータ使い果たしてる。だから今度はみんなのデータが欲しいんだよ。これからどんどん怪しい手を使ってくるさ。

データブローカーと違って、AI企業はすでにみんなのデータを毎日手に入れてるんだからな。利用規約をうまく変更して、ちょっとしたPR問題さえ乗り切れば、みんな一週間で忘れちゃうって。

企業の法務チームがこの件をすぐ忘れるとは思えないな。俺はいつも、これらの企業が他社のソフトの「Amazon basics」版を作る市場戦略を進めてると思ってたけど、これもその一歩だろ。

うん、これは全然驚かない。AI企業にとってデータは広告技術企業よりもっと金のなる木で、存在そのものに関わるくらい重要なんだ。この二つの業界が交わるところで、本当にヤバい行動が出てくるだろうね。GoogleとかFacebookは、すでにデータをお互いに使っててもおかしくない。

新しいモデルが、自分たちが作ったクソみたいなデータで学習して苦しんでるのを見るのは気分がいいね。もっと計画的に、出版社とちゃんと契約するとかしていれば、人間とAIのコンテンツを区別できたはずだ。でも、連中はとにかく急いで全部取り込んだせいで、もう手遅れだよ。

モデルが自分たちの作ったデータで苦しんでるっていう証拠は全く見てないし、もしそうだとしてもそれが原因だとは思えないな。もし、そういう研究があるならめっちゃ興味あるんだけど。

「AIモデルが再帰的に生成されたデータで学習すると崩壊する」って記事、これだよ。
https://news.ycombinator.com/item?id=41058194

俺が求めてたのはこれじゃない。今のモデルが「苦しんでる」って証拠と、それが自分たちのデータを食い続けたせいだって証拠が欲しいんだよ。何年も前の記事で、現在の状況と関係ない仮説を話されても意味ないんだよな。

2023年で止まってる今のモデルのこと？
「訓練データは最新でいつまで？」って聞いたら、ChatGPTは「2023年4月までだよ」って言ってたね。GPT-5でも訓練データを更新したがらない理由があるんだ。
「数年前の記事で、今とは関係ない」っていうけど、今のモデルはもっと古い訓練データが元だから、記事の古さで判断するならそれらも無視すべきじゃない？

コンテンツを盗んだなんて言われてないよ。彼らは法廷で資料を海賊版にしたって言ったんだ。

盗用じゃなくて、侵害だよ :)

これがガードレールや規制が必要なさらなる証拠だね。

みんなこの動きに驚いてないみたいだけど、俺は本気でショックを受けてるよ。とんでもない自滅的なビジネス決定だね。Googleだって、悪魔的だとしても、Gmailの内容を検索結果に載せるなんてしないじゃん？そんなことしたら誰もGmailを使わなくなるからね。これはLLM版のそれだよ。俺、何か見落としてる？

Gmailは2017年まで何年間も、メールの内容に基づいて広告を出してたんだよ。
https://www.npr.org/sections/thetwo-way/2017/06/26/534451513…

それに2010年にはHTTPSをデフォルトにしたんだ。時代が違うんだよ :)

HTTPSはそれに関係ないと思うな。Googleがデータを所有してるから、どう輸送されるかは問題じゃないんだ。ただ、どう保存されるかは重要だね（君しか取り出せない方法で暗号化されてることを願うよ）。

Googleは君のメールからめちゃくちゃデータを掘り出してて、物を買わせるように操作したり、US政府に通信内容を渡したりと、いろんな目的で使ってるんだ。これはメールを誰でも検索できるようにするのとは違うけど、Claudeにメールを学習させるのも、内容を公開するのとは違うよね。それに、Googleのこういう行動は罰せられてないのが残念だよ。

Perplexity.aiの記事（https://www.perplexity.ai/page/anthropic-reverses-privacy-st…）によると、Anthropicの規約変更は企業・教育機関ユーザーには適用されないみたいだよ。彼らの言う「自滅的なビジネス決定」って主張は違うかもね。非商用アカウントはAnthropicにとって収益にならず、彼らは「フリーライド」を減らしたいんだろう。近いうちに有料のプライバシー重視サービスを出すんじゃないかな。

Anthropicが「フリーライド」を減らすって言ってるけど、ユーザーは数クリックでチャットの学習を拒否できるんだよ。だから、これって要するに、気づかないか気にしない人から簡単にデータを集めてるだけじゃない？

なんか、同じことみたいだね。Anthropicは「それっぽい言い訳」をしてるだけだろうけど、結局は一定のユーザーからそれなりのデータや利益をくすねるつもりでしょ。

Gmailは無料だけど、それでも無料ユーザーのメール内容をGoogle検索に公開するのはありえないだろ。それにAnthropicの新しいポリシーは、Pro（月20ドル）やMax（月200ドル）プランにも適用されるんだから、「無料だから」って話じゃないんだよ。

つまりさ、ビジネス用途のLLMが、プライバシーを気にしない非ビジネスユーザーの入力データで学習されちゃうってことだよな。

このデータは強化学習に役立つし、他の企業もみんなやってるよ。それに一番大事なのは、いつでもオプトアウトできるってことだろ。

みんながやってるからって言って、それが正しいとは限らないだろ。多くのユーザーはAnthropicが他と違うって理由で選んだのにさ。

それってナイーブだよ。遅かれ早かれ、投資家や株主が入ってくれば、みんな同じになるもんなんだよ。

彼らはもう来てるよ。GoogleはAnthropicの主要な投資家の一つだしね。