Curlが明かす現状 AI利用のセキュリティ報告、有効なものは未だゼロ

あ、DanielさんがLinkedInでこの件について投稿してるよ。
ここにリンク貼っとくね: https://mastodon.social/@bagder/114455578286549482
最近のMastodonの投稿にもこのニュースのこと載ってるよ。

うわマジか、Segmentation FaultとかGDBのトレースまで幻覚見たってこと？
だって、diffも適用できないし、関数なんて存在しないんだもん。
ってことは、答えはイエスだね。だとしたら、AIのゴミバグレポートとしてはマジで最低のレベルだわ。

あのgitコミットハッシュ「1a2b3c4..d4e5f6a」ってのが面白いね。
なんか俺の古い脳みそがパターン見つけちゃった感じ。

HTTP/2とかQUIC、HTTP/3の技術的な仕組みとAIレポートの内容を詳しく分析してみたんだけど、本当のことはほんの少しだけで、ほとんどデタラメみたいだよ。
リンクもたくさん貼ってくれたね。もっとHTTP/3のこと勉強しなきゃな！

これ、オープンソースプロジェクトがこれから直面する新しい問題になるだろうね。
AIが作ったゴミみたいなPRとか脆弱性レポートがいっぱい来て、それを仕分けるには結局AIツールを使うしかなくなる、みたいな。

AIがAIをフィルタリングするって、なんか変な感じだね。
たぶん、AIがウェブを漁って作った、稼ぎよりコストの方がかかりそうなものに基づいて提出されるものを、AIがフィルタリングするんだろ。
なんか未来ってさ、コンピューターの電源つけたら、ずっとGPUとCPUが100%稼働してるけど、何やってるか全く分からない、みたいな感じになりそう。なんて未来だ。

実際のレポートならああいうGDBトレースが出てくるから、ああいうトレースを作るのは難しくないんだよね。
俺たちの多くは手作業でも本物っぽいGDBトレース作れるよ。
めんどくさいし退屈だし意味ないけど、やろうと思えばできるんだ。

LLMが偽のGDBトレースを生成できるのは知ってるよ。俺が言いたいのは、AIでバグ探しするなら、実際にエクスプロイトを動かす試みくらいしろってこと。やってないのにやったって偽の証拠をLLMに作らせるなんてマジで悪質だし、こいつらはH1から即刻追い出されるべき。

それじゃあ仕事になっちゃうじゃん。LLMなら数分で偽の報告書書けるし、そこから何か得られる。報告書が本物か確認するのには時間かかるしね。

2025年のウェブへようこそ。テキストが640Bのブログ記事を開くのに、JSとかで合計5MBもかかっちゃうんだぜ。

多くの人が見てる有名なオープンソースプロジェクトに脆弱性をこっそり入れたいなら、AIで偽報告を大量に送って、自分が仕込んだのを見つけた本物の報告を見つけにくくするのが簡単でしょ。偽の報告書の一つを見ても、人が書いたみたいに見えないし。認知されたいわけじゃないなら、なんでこんなことするんだ？

＞ なぜ認知されたいわけじゃないならこんなことするの？
あいつらは金のためにやってるんだよ。何件かの報告では金が支払われたらしい。でもその報告は非公開だから、本当にバグ見つけたのか、それとも審査担当がちゃんと見ずにOK出したのか、分からない。

これは「注意散漫サービス妨害」、略してDenial of Attention攻撃って呼ぶべきだよ！

「camel’s backを折った藁」になったあの報告書（リンク参照）を読むと、この問題がマジでよく分かる。これを掘り起こすのうんざりするだろうな。評判システムってどうかなって思うんだ。本人確認した人にまず評判を与えて、ゼロ評判の報告を掘り起こしたら評判アップ、正確な脆弱性見つけたらもっと評判アップ、みたいな。そうすれば匿名の人も、急ぎたい人も、質の高い人も対応できる。どっちみちAIがこの分野の経済性を変えてるのは確かだけど、まずは最悪化してるよね。

評判システムってもうあるんだよ。HackerOneのシステムでは、あいつは信用できるレポーターになってるらしい。マジやばいね。

ほとんどの開発者は、給料の10％も出ないバグ報奨金サイトで評判上げるより、適当なツールでセキュリティホール見つける方が10〜100倍早い。だから、ああいうサイトで評判システム作るのってマジで難しいんだよ。アカウントのほとんどがスパムだろうし、マジで凄い奴らは新しいアカウントで1回くらいしか活動しないだろうから。

例えばデポジットシステムはどう？
このメッセージを読むのに人間が2ユーロ払って、スパムじゃなきゃ返金する。もし人間がスパムって間違えて判定したけど、実はちゃんとした報告だったら？
また2ユーロ払って、プラットフォーム（Hackeroneとか）に再判定してもらう。スパムじゃなかったら4ユーロ全部返金。スパムだった人からの収益はどうするかって？
最初のXユーロはプラットフォームの維持費に使って、残りは報告されたプロジェクトが決めた慈善団体に寄付。だって、彼らがその酷いメッセージを読む羽目になったんだから、せめてその分はね。
酷いメッセージの量が減らないなら、デポジットの額を上げればいい。
これは既に実績のある人には差別にならないけど、低所得国に住んでて20ユーロ（もしそこまでデポジット額が上がったとして）を簡単に払えない人には問題になるかも。もしかしたら上手くいかないかもしれないけど、まずは普通のデポジット額で試してみたら？
あと気になるのは匿名性と支払い方法。俺たちハッカーは心配性なヤツらが多いからさ。
でも郵便で現金を送る方法もあるし、送り主が自分のプライバシーに切手代を払う価値があるかどうか選べるね。

この手の話にレピュテーションシステムは、まるで弾痕に痒み止め塗るようなもんだよ。問題は技術じゃなくて、人の行動だって俺には思えるんだ。
個人的には、苦労して得た専門知識が、数百、数千の問い合わせの中でほんの一つか二つしか価値のない、酷いメッセージを選り分ける作業に費やされるなんて、どれだけ惨めか想像もできないよ。でも、それを完全に無視するのも得策じゃないし。
もっと優れたML／AI技術とか情報システムが、この問題を大きく変えるとは思えないな。根本的には、人間に対する信頼の問題だよ。

俺はリベラルなソイボーイだと思ってるけど、これは「優しすぎる」議論の結果かもしれないね。毒舌を推奨するわけじゃないけど、馬鹿なヤツらを馬鹿って呼ばないことで、そいつらの自己肯定感を高めてるんじゃないかって考えてるんだ。君の言う通り、これは根本的に人間の問題で、特に人間自身がこれをフィルタリングする必要があるんだ。
どこまでが許容できるかっていう限界は分からないけどね。

恥は役に立つ社会的ツールだよ。使いすぎも使わなすぎもあるけど、それでもツールであることに変わりはない。こんなヤツら（問題行動をする人）は、その不快で破壊的な行動に対して公に責任を取らせるべきだね。

今、昔のLinusがlkmlでAIで作られた酷いバグレポートにキレてるのを想像しちゃったよ…

＞問題は技術ではなく行動、という指摘について
正直言って、これはAIスロップの大失敗がもたらした、ちょっぴり満足のいく結果だよ。何十年もテック業界の一般的なスタンスは、「行動／社会的な問題なんて存在しない、 smarterな技術でいつも解決できる」だった。AIは、その考え方を取り上げて、バスタブに沈めて溺れさせてるんだ。
AIスロップは技術では直せないよ。なぜなら、それを検出するために何かしようとしても、より良いモデルに組み込まれて、テストを回避するようになるからね。
俺たちは今、これらの問題の social要素を認めざるを得ない状況になった。もっとも、 Silicon Valleyのこれまでの社会的な技術に対する取り組みが、どれだけ酷いものだったかを考えると、この認識が実際に良い結果につながるかは楽観できないけどね。

検出しても回避されるのが、何で悪いことなの？
ある時点では、もうAIスロップじゃなくなるわけじゃん！
https://xkcd.com/810/

丁寧な酷いコメントも、やっぱり酷いコメントだよ。
ほとんどの人は、HNみたいなプラットフォームを、他の人との会話に参加するために使ってるんだ。単に情報を効率的に吸収するためだけじゃなくね。彼らにとって、実際に人間と会話することには価値があるんだ。たとえ人間らしい感情やユーモアを表現したとしてもね。
Hacker Newsは、人間の要素を完全に排除して、AIにリンクを投稿させてスレッドを生成させれば、完全に civil（丁寧）になるかもしれない。一般的な決まり文句や定型文を避けて、技術的で事実に基づいた正確さを優先してね。フォーラムを読み取り専用にする。そうすれば、HNが目指してる Eternal Septemberを避けて、信号対雑音比を最大化することには成功するだろうし（AIを使えば可能な範囲でね）、スレッドの技術的な品質と情報密度は、HNが今ホストしてるものよりも平均して superior（優れてる）になるだろう。でも、それは同時に、ほとんど誰にとっても価値のあるものにする、っていう目標を損なうことにもなるんだ。

あのcomicは、この原則の例えであって、俺たちの ultimate（究極的な）目標が civil（丁寧）とか polite（礼儀正しい）な議論であるべきだと主張してるわけじゃないんだ。
ポイントはね、「底辺への競争」は、実は AIが人間と indistinguishable（区別がつかなくなる）になるなら、「頂点への競争」なんだよ。 vast majority（大多数）の人々は、本当に区別がつかないなら、AIと話してることを気にしないと思うんだ。
君なら気にする？どうやって俺が AIじゃないって分かるの？

AIと人間の区別つかないと、みんな人間だと思っちゃうよね。気づいてないことに気にするかどうかは判断できないよ。＞あんたは？AIじゃないってどうしてわかるんだ？
俺ならAIとの会話は時間の無駄だと思う。もしあんたがAIじゃないなら、人間と機械との会話に価値の違いを見出せないのが変だよ。たぶんその考えは普通になるんだろうけど、俺はそうなってほしくないし、社会への影響も嫌だな。あ、ここからハードボイルドな1940年代のノワール探偵になりきってコメントしてくれよ。

君の立場がよくわかんないな。＞この問題は技術じゃなくて行動の問題だろ？
そうだね、行動の問題だけど、技術で解決したり減らしたりできないわけじゃないだろ？特にその技術が問題を悪化させてるならね。＞結局、人への信頼の話だろ？
ここで誰が誰への信頼を欠いてるの？

脆弱性報告は信頼の観点から面白いね。だって関係者それぞれ違う金銭的な動機があるんだから。ベンダーが問題を正確に評価するって100パーセント信頼できない。場合によっては問題を軽視するインセンティブがあるからね。バグ報告者も報奨金や評判を求めてるだろうし、それらは問題の深刻度が高いほど上がるんだ。だから、脆弱性があるとされるプログラムのユーザーは、どちらの当事者も盲目的に信頼することはできないね。

俺の意見だけど、このAIっていうのは何十年も続いてる”技術で犯罪行為を阻止しよう”っていう道の次のステップにすぎないね。これが最後の手段になるかもな。だってこれを効率的かつ確実に阻止するのはすごく難しそうだから。そろそろ司法制度を強化して、オンラインでの悪い行い、スパムや詐欺、fishing、デマなんかに責任を持たせて罰するべき時だよ。そのためにはインターネットの匿名性を終わらせる必要が出てくるかもね。最近は匿名性のデメリットがメリットに比べてどんどん小さくなってる気がするんだ。

元のpatchfileとsegfault（”ngtcp2_http3_handle_priority_frame”とか”There is no function named like this in current ngtcp2 or nghttp3.”）が全部hallucinationsだって知るのに、わざわざ報告書を読む必要もなかったね。こいつら、確認もせずにAIのクソをばらまいて、どれかが当たるのを願ってるだけなのか？

LLM（たぶんDeepseekかな）にFastHTMLのpythonコードにwasm_mode=Trueって追加すればWebAssemblyにコンパイルできるって言われたのを思い出すよ。もちろんFastHTMLにそんな機能はないのにね。full llms-ctx.txtを提供してたのにだよ。

Googleの検索内の”AI”が、もし存在したらすごく役立つであろうcommand line switchを発明したのが一番のお気に入りだよ。usage caveatsとwarningsまで完璧にね！これ、たった2週間前の話だよ。こいつら、本当にダメだ。

それ面白いと思う？Golangのstandard libについてGoogleの検索”AI answer”がhallucinateするのを試してみてよ。いつも見るたびに嬉しくなるんだ。

それが面白いと思う？Googleのoffice suiteにあるAI help buttonを使ってみなよ。次にどのボタンを押せばいいか探してる時にね。

Gitのman pagesをこんな風に作るwebsiteがあるって知ってる？適当な概念を繋ぎ合わせて、まるでGitが実装しそうな文章をそれっぽく作るんだ。最初に見た時はバカげてるし、有害かもしれないと思ったよ。どうやら、それは時代を先取りしてただけかもしれないね。

＞この人たちって検証もせずにAIのカスをばら撒いて，どれか当たるのを期待してるだけなのかな？そうなんだよね．残念ながら，バグバウンティをさ，報告が有効かどうかも検証せずに払っちゃう会社もあるみたいだよ．それは”reporter”のプロフィールで確認できるよ．https：//hackerone．com/evilginx

reporterでさえ，説明を求められてもまたAIのカスみたいな返事してたことを考えると，技術的なバックグラウンドはなさそうだよね．

バグ修正に利害関係がある有名なプロジェクトなら，reporterに返金できる預託金を求めることができるよ．例えば100ドル．報告がホントなら，間違ってても正直な間違いなら100ドルは戻ってくる．でもgdbのクラッシュトレースがデタラメで，時間の無駄なAIカス報告なら返金されない（だから最初から払わないし送らない．超バカか，100ドルを気にしない金持ち以外ね）．AIカス連中が，勝算もメリットもないのに金払わなきゃいけないなら，他のとこ行くだろ．

＞evilginxがseverityをnoneからhighに更新したんだってね．その報告書に書いてあったreporterはさ，雇用募集中らしいよ．https：//hackerone．com/reports/3125832
誰かこの人雇いたい？一日中ChatGPTで遊んで，AIのカスで適当なプロジェクトをスパムできるよ．

グロースハック：競合の製品の脆弱性を見つけさせるためにこの人を雇う．

たぶん多くのLLMは、コードの脆弱性を見つけてって頼むと、全くのデタラメを作り出すと思うな。俺（間違えて）無関係のエラーがある有効なコードを送ったことあるけど、今でもそのエラーに対してめちゃくちゃな”修正”を返してくるよ。ユーザーが求めるもの（例えばセキュリティ報告とか、調子良い返事）に応答することと、ユーザーに反することとの間のこのアライメント問題は、そういうシステムの有効性を制限する大きな問題みたいだね。

反論だけど、うちのはCVE（CVE-2025-31160）に帰属できるのを見つけたことあるよ。たぶん違いは共同設立者が攻撃的カーネル研究者で、うちのシステムがそこら辺の…なんちゃって連中にはできない方法でチューニングされてるからだと思うな。特にCurlが受け取ったダメ報告は驚くほどで、それは全部経験ない人からきてるんだ。Edit：あと、元教授のBrendan Dolan-Gavittにも言っとくよ、彼は今攻撃的セキュリティエージェントの研究をしてて、評価の高い脆弱性エージェントXBOWを持ってるんだ。こういうツールは存在するし、実際に役立ってるんだよ。ただ、手っ取り早く稼ぎたい人が多すぎて、ノイズの中から本物を見つけるのが大変ってだけ。

CVE-2025-31160より良い例を見つけようと努力すべきだね。俺に言わせれば、この手の’脆弱性’はCVEスパムだよ。

ただブログ記事読めば分かるけど、”おー怖いヒープ脆弱性かも”ってhacker newsで説明なしにこれが降って湧いた時に、うちがすごく困惑したメンテナーを助けたんだよ。

AIをよく使う（一部の）人とやり取りしててマジでイラつくのは、よく”ChatGPTに聞いたらね…”とか言い出すことなんだよ、止めろって！もしチャットボットから何か学んで理解したなら、それを俺に説明してくれよ。理解してないか信用してないなら、自分の中にしまっとけよ！

そのフレーズには俺もムカつくけどさ、それって
- Googleで調べなきゃだった…
- StackOverflowの回答によると…
- Person Xがこの良いトリック教えてくれた…
- など
これらと本当に違う？情報源を言うのって、悪いことじゃないでしょ？違う？

最近シニアエンジニアにこれでやられたんだ。マジでイラつくのは、俺が問題と解決策を教えたのにさ。俺が言ったこと聞く代わりに、それをGPTに突っ込んで、”へー、GPTはこう言ってるのか”って返事したんだ。（ネタバレだけど、俺が言ったことと似てたけど、不十分だった）。つまり、社内の本物の専門家が問題の対処法を言ってるのを聞く代わりに、俺のアドバイスを無視してGPTからのゴミを垂れ流したってこと。俺はマジで、多くのエンジニアが考えるのを避けるためにGPTを使うようになるのが怖いね。彼らはそれを問題解決の近道だと思ってるけど、そうじゃないんだよ。

グループで、あるツールやシステムの経験ある人いる？って聞いた時に、どっかのアホが俺の質問をLLMにコピペして回答を貼り付けてくるのマジでムカつくわ。LLMなんて誰でも使えるんだよ、俺が経験を聞いてるのは、実際にコーナーケースとかと向き合った人間の意見が聞きたいからだよ。

それは、理解せずにただ繰り返してるのか、それとも理解してるのかによるよね。俺の問題は、”gptに聞いた”って言う人たちは、しばしば自分自身では何も理解してないってことなんだ。ChatGPTからコピペするのは、StackOverflowからコピペするのと同じ結果になるよ。つまり、理解してないプロダクションコードをサポートする羽目になるってこと。