速報！米vs Google訴訟でY Combinatorが原告支持の意見書を提出！

BlekkoでもGoogleのインデックスと広告の二重独占について同じ議論があったんだ。もしGoogleがインデックスへのアクセスを自社や他社に公平な価格で提供し、広告も自由にさせたら、検索状況は一変するね。Googleがクロール／インデックス事業を分離し、収入を親会社じゃなく事業に回せば、DDG（プライバシー重視）や広告なし、特定分野特化とか、いろんなフロントエンドが出てくるチャンスになるだろう。それは全く違う世界だよ。

速報！小さな検索エンジン会社は、自分たちがGoogleと同じインデックス使えるのが超いいアイデアだと思ってるってさ。あと、ここの部分、最高だね：「Googleの検索結果は、広告主導の競合の中でも最高の品質だ。」「え、Googleの結果がKagiよりいいって認めんなよ！自分たちには関係ない、なんか言葉付け足せ！」って言った奴の息遣いが目に浮かぶわ。

最近KagiとかGoogle使ったことある？ Kagiの方が断然いいよ。

https://commoncrawl.org/ これはroot DNSサーバー（公共財として管理されてる）の自然独占と似てるね。Common Crawlとかに、もっとお金をかけるべき理由はないよ。Internet Archiveはデータをずっと$2／GBくらいで残しておける最後の手段みたいな保存場所（他でもいいけどね）。このデータへのアクセス提供は、NOAAとかCERNみたいな機関が科学データを提供するのと似てると思う。公共財（OSIモデル的にシステム全体）の上に基盤を作ろうよ。それがBig Techの支配と、価値を独占しようとする彼らの無限の欲望から社会を守る手助けになるんだ。

＞インターネットのクロールは自然独占だ。どうしてそう思うの？キャッシングプロキシなんてほとんどタダだし、古い機械でも毎秒何千件ものリクエストをさばけるよ。ぶっちゃけ、今ほど競合の検索エンジンを作りやすい時代はないんだ。性能も回線もソフトも、超安いかタダでめっちゃ手に入るんだからさ。

それならさ、なんでオルタナティブな検索エンジンとかSEOサービスって、独自にインデックス作ってるわけ？ どうして競合同士でとっくに協力し合わないんだろうね？

それはね、みんなThielの言う「競争なんて負け犬のやること」って考えを信じてて、自分が独占になることを夢見てるからだよ。独占ってのは、規制を緩くした結果として当然起きることで、まさに大企業がロビー活動して目指してるとこだもんね。

歴史を振り返っても、本物の独占企業なんてほとんどないし、そんなに長く続かないんだよね。政府から特別な特権をもらわない限りは、だけど。

Kagiのコメントを見るたびに「最近Kagi使った？めっちゃ改善されてるよ！」ってあるんだけど、これってブランドイメージアップのためにボット使ってるんじゃないかと思っちゃうレベル。
だって、実際最近Kagi使ったけど、結局いつもGoogleに戻っちゃうんだもん。Kagiじゃ何も見つけられないから。
KagiとGoogleの関係は、SiriとChatGPTみたいなもんかな。Siriなんて「今何時？」も答えられないし。

サイト側って、今のクローラーに加えて少し増えるのをそんなに嫌がるもんなの？
なんか独占って言っても、やるのにめちゃくちゃコストがかかって、他社がそのコストを回収できると思ってないからってだけな気がするんだけど。

サイトオーナーに指図する権利なんてないんだよ。実際のところ、彼らはあんたのボットをブロックしようとしてるんだ。
ボットをブロックされないのが理想だけど、これまた全く不自然で広告に引っ張られてるホスティングプロバイダの独占のせいで、リクエストごとのコストがバカ高いから、サイト側が別のとこに移るまでは無理なんだよ。

あれはGoogleのビジネスを完全にぶっ壊すような、ほんとバカげた提案だよ。
もしそれが目的ならそれでいいけど、あれらの是正措置がまるで死刑宣告以外の何物でもないってことから目を背けちゃダメだね。

規制されてない環境だと、集中（寡占）は当たり前だよ。
そりゃ市場を100パーセント支配する純粋な独占なんて珍しいけど、集中はめちゃくちゃ横行してるじゃん。
テック、航空会社、銀行、メディアとか、ほんの一握りの会社が支配してるんだから。

「数個」だって？
こっちは常時数百個のボットと戦ってるんだよ。1日に数千、いや数万個なんてザラ。
アメリカ、中国、ブラジルとか数百もの異なるIPから、何十種類もの偽装したユーザーエージェントを使って、robots.txtを完全に無視して、人間が仕事するのに必要なサービスに負荷をかけてきやがるんだ。
追記: ちょっと$JOBで動かしてるAnubisの過去24時間の統計見てみた。
チャレンジ: 829,586
拒否: 621,462
許可: 96,810
これ、けっこうアグレッシブな「拒否」ルールをAI関連のボットにかけてて、しかも割と小さいサイト2つでの話だからね。
Anubisで守られてないサイトなんて、まだ数百、いや数千とあるんだよ。
Anubisみたいな努力は、Cloudflareとかの「セキュリティ」会社が売りつけてくるWAFにお金を払いたくない会社にとっては、救世主みたいなもんなんだ。

Googleのアーキテクチャを単純な図で見るなら、まあ隔離された一部を切り離すだけに見えるだろうけど、実際やるとなるとマジで大変だよ。
なんでAppleにはiPhoneの電話とメッセージ機能だけ切り離せとか、Metaにはユーザーフィードデータだけ切り離せとか、アメリカ連邦政府はWashington D.C.だけで運営しろとか言わないわけ？
これは1980年代初頭のAT&T分割とは違うんだよ。あれは設備とか配線を別々の組織に渡せばよかった（それでも簡単じゃなかったけど、臓器摘出みたいなもんじゃなかった）んだから。
みんな、そこんとこ理解しなきゃダメだよ。そして、今やってることがGoogleを殺す行為だってこと、そしてGoogleはもう既に思考停止したエンタープライズ向け企業になりかけてたってことを知るべきだね。

だったら、なんでみんなGoogleの検索インデックスが欲しいわけ？

彼らがボットをブロックしようとするのは、Googleが独占してるからだよ。
Google以外の全てをブロックするコストなんて、ほぼゼロなんだから。
これは「自然な」独占なんかじゃなくて、昔のInternet Explorer 6.0みたいもんだね。
みんながActiveXとかIE固有の機能を使うようにサイトを作ってた、あの時代みたいに。

これの問題はさ、「皆が一度に完全に協力しないとダメ」って感じなんだよね、もしGooglebotを置き換えるならさ。
Googlebotだけを許可してるサイト全部が、ccbotを許可するように変更しなきゃいけないじゃん。
現状ではさ、Googlebotがどこでも許可されてる共通のボットなんだよ。ccbotはそうじゃないんだよね。

これって二つの違う問題みたいだね。
一つ目は、もし千個も検索ボットがいたら？サイトの変更点リストを教えてくれる標準機能が必要だって話。
もう一つは、robots.txtを無視して一日何度もサイトをスクレイピングする迷惑ボットのこと。
これはrobots.txtで許可しない項目にトラップ仕掛けてアクセスしてきたらBANすれば legitimateな検索ボットには影響ないじゃん。

一つの答えとしてはさ、役に立つ価値を提供するまで、ちょっと手間賃を払うとか？
例えば、リクエスト一つごとに小銭を払うみたいなさ。

ウェブのクロールって費用がかかるんだよね。
誰か他の人がクロールした結果を使う方が安いと思うよ。
KagiがGoogleのインデックスへのアクセスを主張する根拠は分からないけど、多分何らかの独禁法的なものだと思うな。

クリックストリームへのアクセスが一番デカいんだよね。
誰がどの検索結果をクリックしたかってデータだよ。
これがないと、良いランカーは作れないし維持も無理。
クリックストリームが多いほど良いランカーが作れて、それがサービスを良くしてユーザーを増やすんだ。
結果、独占。
解決策は、皆がクリックストリームデータを共有することだけだよ。

コストはほぼゼロなのに、リターンはそれ以下って感じ。
他にもリターンが文字通りゼロなボットやスクレイパーがいっぱいいるからさ、Googlebot以外の全てのボットをブロックするサイト運営者を責められないよ。
altruist-botとかcommon-crawler-botも許可してくれたら良いんだろうけど、それは彼らの判断だし、多くは合理的に決めてると思うんだよね。

規制強い市場、例えば公共事業とか航空は集中してるね。金融みたいに規制当局が後押しすることも。
規制ない市場に決まりはない。
規模の経済が、規模による複雑性のコストを上回るかどうかの問題だよ。
ソフトウェアとか金融は100倍顧客にサービスするのに100倍コストかからないから集中してるんだ。
規制はコンプライアンスコストが規模で効率化するから、普通は集中を高める効果があるね。

Google searchが独占なのはクロールじゃなくて、ウェブサイトの統計とかユーザーの行動データ全部を知ってるからだよ。
元々のリンクベースのランキングは、簡単に操作されちゃうからダメなんだ。
ユーザーの好みに基づいてどのサイトが良いかを知る必要があって、そこでデータが必要になるんだよね。
大量のユーザーデータにアクセスできないと、Googleみたいなものは何も作れないよ。

もっと言うとさ、ウェブのクロールは皆にとって費用がかかるんだよ。
ボットが多いほど、ネット上の全てのウェブサイトが無駄なトラフィックをたくさん処理することになる。
理想的な世界では、ウェブドメインみたいに一つの信頼できるインデックスがあって、全てのプレイヤーが協力してそれを作って維持、改善するんだ。
そうすれば、ウェブサイトは毎日何千ものボットに叩かれる必要がなくなるじゃん。

これってデータ欲しい企業に有利になるよう考えられた解決策みたいで、経済的に有効なビジネスモデルじゃないと思う。インデックス作ってアクセス売るのが儲かるなら、なんで誰もやってないの？参入障壁も低いのに。Blekkoはインデックス持ってるけど、それで儲けられてる？

robots.txtで禁止してアクセスしたやつをバンするみたいなトラップ仕掛けても、スクレーパーが色んなIPで来るから全く通用しないよ。正当なアクセスと悪質なアクセスを区別できないんだ。結果的にきついフィルタリングになって、許可するボットは個別にホワイトリストに入れるしかなくなるね。

この訴訟、”Search engine”時代の終わりでちょっと遅れてる感あるね。今AI応答がGoogle Searchの代わりになってきてるし。2000年頃のMicrosoft Windowsへの訴訟と似てるな。ウェブアプリ出てきてOSの重要性薄れた頃にantitrust lawsuits来たし。つまり、dominant playerは市場がイケてる間は独占できて、市場が変わり始めたら訴訟が来るんだ。規制を早くやると市場を殺すし、最高の製品が勝って一時的に支配するのは市場のサイクルとして必要。もっと良い製品出たら市場は移るでしょ。

5〜10年後に検索の代わりになる”AI”プレイヤーはゼロになるって、1ドル賭けてもいいよ。まあ、これは別の話だけどね。

その賭けに乗るよ。AIプレイヤーは既に多くのユーザーにとって、多くのケースで検索を代替してる。

AIスタートアップやGoogle/MetaがAIで赤字垂れ流してる「まずは客を捕まえろ」って段階だからだよ。本格的にmonetiseし始めたら（トレーニングとか実行の本当のコストをユーザーに払わせたら）話は変わる。ほとんどの人はLLMに月20〜30ユーロ/ドルも払って検索の代わりにはしないって。（OpenAIのビジネスモデル分析見たら、有料プランでも1クエリごとに赤字らしいよ）。

代わりに、お金に影響されたり、広告だったり、金払ってる誰かのためにカスタマイズされたコンテンツを食わされるのを甘んじて受け入れることになるだろうね。

それ、もう一回ゆっくり読んでみてよ。もちろんAIの回答は微妙に操作されるでしょ。だって直接お金に影響されるコンテンツなんだから。

俺の意見だと、AIが検索の代わりになってるのはパワーユーザーとか技術詳しい人を釣ってるだけだよ。アドレスバーじゃなくてGoogleで「facebook.com」って検索するみたいな、Googleをずっと使い続ける人もめちゃくちゃ多い。そういう人はChatGPTとかKagiにすぐ乗り換えたりしないって。

最近はGoogleで調べてたほとんどの事をChatGPTで調べるようになったよ。広告とかゴミみたいなもので膨れ上がったサイトを読み込む必要なく、即座に簡潔な結果をくれるから。

Google自身もこれに四苦八苦してるみたいだよ。
検索結果の一番上（トップ）にGemini AIの応答が表示されるようになったのは、ユーザーをGoogleに留まらせてChat GPTとか他のAIに行かせないためだと思うんだ。
君はどう思う？

僕の見解は、トレーニング用のLLMフィードバックを素早く集めるのと、みんながChatGPTに行かないようにするのが主な目的だと思う。
OpenAIは先行者メリットがあるけど、Googleは最高の検索インデックスとかWorkspace連携とかで強い。
Googleに足りないのはOpenAIが持ってるフィードバックデータだ。
ChatGPTは検索結果を使ってないから問題もある。
将来はAIとデータ検索の組み合わせが進化すると思うよ。

検索の前にCarlinの言葉（少なくとも僕のお気に入りのMcNulty / Bunkの言葉）を入れると、Gemini AIの結果を回避できるんだ。
一瞬だけど、君はクラブに入って、AIはそこにいないって感じになるよ。

今のAIは”Film expert”効果があるって指摘。
訓練データに基づいてもっともらしく書くけど、内容の正確さは評価できない。
だからユーザーは間違った情報を信じやすい。
Geminiも「知らない」と言えない問題がある。
AIは検索の代わりにはならないと思う。「Search Classic」が残るだろうね。
でも、信頼できるデータで訓練されて「知らない」と言えるAIなら良い”教科書”になるかも。

検索エンジンがAI生成コンテンツやAIに味付けされたコンテンツを表示し始めたらどうなる？
広告で支えられてる検索エンジンをどう信頼すればいい？
最高額の広告主を優先し、さらにAIのクソ（slop）を混ぜてくるなんて。
未来は暗い…
僕はむしろ、AIエージェントにGoogle検索させて、広告バイアスをなくし、結果を人間にわかりやすい形にまとめてもらう方がマシだ。

それをやる前に、ウェブをクロールして”リアル”な情報だけをデータセットに残せるAIエージェントを書いてみることをお勧めするよ。
”リアル”を定義する任意の属性セットを選べる。
僕は”正確”、”完全”、”検証可能”が好きだ。

チャック、その賭けに乗るよ。
完全に置き換わらないかもしれないけど、AIが事実上の検索プラットフォームになるだろう。
僕は最近、Googleを使うことがどんどん減ってるよ。

スポンサーリンクばっかりで、知りたい情報が画面の下の方にあるときだけ、Googleを使う気分になるんだ。

組み合わせ検索ができるっていう、ただそれだけの理由でもね。
MQTTとAWSとv3/v5とmax packet sizesを別々に検索する必要はもうなくなったんだ。

検索はAIになるだろうね。
ただし、Google自身もAIができるから、そこに”AI”プレイヤーが全く関わらない可能性もあるよ。

AIの応答がGoogle検索に取って代わってきてる”検索エンジン”時代の終わりに、今回の訴訟はちょっと遅かったかもね。AIは検索インデックスをどんどん使ってるけど、Googleは最大を持ってるから、その独占を使ってAI市場でもズルするんじゃないかって心配があるよ。

会社が規制され始めるのって、力が衰えてきたタイミングなのは偶然かな？俺は逆だと思うんだ。Googleが力を失い始めて、競合が政治にお金を注ぎ込んだり、新しい仕事とお金が生まれたりした時に、正義の歯車が回り出したんだよ。規制はGoogleの明らかな衰退が原因だよ。

これって自滅行為みたいだよね…90年代のMicrosoftの反トラスト法訴訟と違って、Googleはそんなに反競争的じゃないように見えるけどな。確かに検索では前例のない規模だけど、AIでその独占も脅かされてるしね。むしろGoogleを司法省の鈍器で叩くと、FAANG全体のスタートアップM&Aが完全に凍結しちゃうよ。IPOの窓口がほとんど閉じてる今、これはスタートアップのエコシステム最大の出口を奪うことになる。個人的には良くないと思うし、YCの利益にも反する気がするんだけど。誰かこれについて説得力のある反論してくれない？

YCは検索とか広告とかの流通チャネルが独占されてないエコシステムから最も利益を得られるはずだよ。スタートアップは本来、実力で競争すべきで、Googleのプラットフォームを使わせてもらえるかとか、買収されるかとかで決まるべきじゃない。IPOとかPEによる買収、異業種からの買収とか、M&A以外の出口だってあるしね。この視点からすると、Googleの広告技術スタック支配は、多くのYC企業が頼ってるデジタル広告の門番になってるって見方もできるよ。

”そんなに反競争的じゃないように見える”
そんな風に見えるだけだよ。そんなに反競争的じゃないなんて全く思わないね。この訴訟で特に焦点になってるのは検索市場だけど、政府はGoogleが以下のような強い証拠を出してる：
・他の市場（ブラウザ、モバイル）での立場を使って、検索での競争を妨げてる。
・それらの市場（ブラウザ、モバイル）の他の大手ベンダーに巨額のお金を払って、市場シェアのほぼ100%を検索での優位性を保つために使ってる。
この二つはかなり露骨な反競争的行為だよ。製品の質じゃなくて、既存の収益源とか他の市場でのリードに基づいて競争してるんだから。

GoogleはMicrosoftが使ったのと同じ手口でEdgeブラウザを潰したんだよ。
お金とGoogle Playサービスを使って競争を邪魔してる。
全然反競争的じゃないなんてことはないよ。

体験談だけど、Edgeを使ってみようと思ったら、たぶん市場で一番機能てんこ盛りのブラウザだったよ。唯一の目的は”Microsoftがお前のブラウジング体験全部を監視すること”みたいに見えた。Microsoftの強引なダークパターンで、PCに詳しくない人が騙されて使わされてる気もするし、そういう人たちはMicrosoftがどれだけ情報を集めてるか気づいてないんじゃないかな。だから、Edgeのマーケットシェアが、みんなが本当に好きで使ってる自然なものなのかはすごく疑問だよ。

ChromeもGoogleにとってそういう存在になってるね。

GoogleがEdgeブラウザを潰したんじゃなくて、Microsoftが諦めただけだよ。Mozillaがゼロから独立したブラウザを持てるなら、Microsoftだってできたはずだ。ただ、Chromiumをリブランドして終わりにした方が楽で安かっただけさ。ウェブ（技術スタック）の進歩がブラウザを作りやすくするために止まるべきだなんて議論は納得できないね。