AIがドリトスを武器と誤認し武装警官が学生を包囲する衝撃事件！
引用元：https://news.ycombinator.com/item?id=45684934
Omnilertは誤報を認めたけど、システムは”意図通り機能した”って主張してるんだ。”迅速な人間による確認で安全と意識を優先”するのが目的だってさ。でもさ、このシステムは、何もないのに警官たちに「ティーンが銃を持っている」って伝えて、めちゃくちゃ危険な状況を作り出したんだよ。そのティーンはトラウマになるかもしれない。記事の引用を見ると、このティーン、この技術を売買した誰よりも大人っぽく聞こえるね。
どんなシステムにも誤検出（false positive）と見逃し（false negative）があるよね。病気検出みたいに、見逃しの方が誤検出よりずっと悪い場合もある。誤検出のコストは厳密な検査で済むから。でも、今回のケースではどちらも悪い。もし見逃しだったら、学生はもっと悲劇的な理由でセラピーが必要になったかもね。検出モデルの質改善もそうだけど、両方の失敗モードの”コスト”をできるだけ減らすべきだよ。人間を挟んだり二次チェックしたりするのがその方法さ。
”…その目的は、迅速な人間による確認で安全と意識を優先することだ。”だってさ。ああもう、企業が何一つ責任を取ろうとしないって、本当うんざりだよね。ありきたりすぎるよ。
僕は一度スワッティングされたことがあるんだ。彼女の家でね。誰かが911に通報して、僕が隣人を殺して遺体を家の中に引きずり込み、彼女の家族を人質に取っているって言ったんだ。ドアの叫び声に応じたら、銃を顔に突きつけられ、数えきれないほどの警官がいたよ。これは”抑制された対応”だと説明された。僕たちはノックで済んだんだ。残念ながら、こういう対応をあまり弱められない理由も分かる。何が起こるか分からないからね。
企業というものの発明は、事実上、個人から責任や罪を排除するためみたいなもんだよ。人間が起こした交通事故？人間が罰せられる。企業所有の車が起こした交通事故？ごくわずかな給料の減額につながる程度の罰金さ。
そうだよね、企業は人間が持つ全ての権利と、人間以上の能力を持っているのに、人間が負う責任はほとんど負わないんだよな。
”そして、あるティーンはトラウマになるかもしれない。”って？うーん。本当の危険はそこじゃないんだよ。本当の危険は、将来誰かが殺されることが火を見るより明らかだってことさ。それは単なる可能性じゃなくて、このシステムの作り方を考えれば確実なんだ。この技術はこんな風に使われるべきじゃない。まだ準備ができてないんだ。
https://www2.ljworld.com/news/schools/2025/aug/07/lawrence-s…
学校が使う主要なコンテンツフィルターによる別の誤報事例だよ。グループチャットで子供が何か馬鹿なことを言ったら、AIが学校に通報し、学校が警察に連絡したんだ。その子は逮捕され、裸にされて身体検査を受け、親や弁護士との面会もなしに24時間拘留された。最終的に保護観察処分になり、精神鑑定を受け、一定期間代替学校に通わなければならなかった。彼らはGaggleを訴えているけど、Gaggleはシステムがそんな風に使われることを意図していなかったと主張している。こういう誤報はすごく多いんだ。彼らの競合の一つであるLightspeedで面接したんだけど、彼らは人間が全てのアラートをレビューしてから学校や当局に転送する有料サービスを提供しているよ。でも、これは有料のアドオンだけどね。
警官たちはこんな風に騙されるのに、もううんざりしないのかな？それとも、軍の放出品の装甲車に乗って、特殊部隊の真似事をする機会を楽しんでるだけなのかな？
企業って個人の権利全部持ってるわけじゃないけど、責任は同じようにあるんだよな。個人事業主ならオーナーを、会社なら会社自体を訴えることになる。企業が人って言われるのは、「会社は複数の人々の集まりだ」って意味だよ。
これ、すごく良い質問だよね。残念ながら、警察の広報担当者から返ってくる答えは、システムがこういう風に動くのが普通だと思ってるって感じらしいよ。
多分、警官が従うべき手順なんだろうな。正直言って、気持ちはわかるよ。もし「嘘だろう。待機しろ」って判断して、それが本当で誰かが怪我したら、警官は責任を問われる。だから、どんなシナリオでも本物として扱って、ドアをぶち破ってから解決するんだ。
https://archive.is/DYPBL
GaggleのCEOは、学校が製品の意図と違う使い方をしてると言ってる。
本来は問題がエスカレートする前に早期警告するためのものらしいけど、「法執行の機会ではなく、教え育む機会として扱われてほしい」って。
でも、学校が「ゼロトレランス」政策を持ってる限り、そういう検知で警察を呼ぶのは当然だよね。
企業って刑務所には入れられないけど、人ならできる。これがマジで問題だよな。企業で決定する人たちは、会社に守られて個人的な責任を問われないんだ。会社は閉鎖されることもあるけど、めったにない。
Boeingが何百人もの死者を出した時だって、罰金だけで済んだし、それも結局顧客に回されるんだから。
その通り！もっとちゃんとした世界なら、AIは「これ、ヤバいかも？」って教えてくれるだけで、最終判断は人間がするのにね。
でも、現実世界では、間違った判断したらクビになるから、AIが「銃の可能性あり」って言えば、人間はとりあえずSWAT呼ぶしかないんだよな。
「AIの言う通りにすればクビにならない」ってのが現代の定説になるのかな。人類、マジで終わってるかも。
この件では、AIの誤検知は誤不検知よりずっとタチが悪い。
誤不検知でも、他の予防策があるから即悲劇にはならないでしょ。
そもそもこの国は、社会に銃が溢れてるって根本原因を解決しようとしないから、こんな変なシステムができちゃうんだよ。
企業が責任を全く取ろうとしないの、今更だよね。
だって、政治や経済のトップにいる人間たちだって、ろくに責任なんて取ってないじゃんか。
企業は人じゃないんだから、Boeingは何も知らなかった、ってことになるね。
じゃあ、Boeingの中にいた誰か一人が、その全ての知識を持ってたってこと？
でも、この件では誤検知も誤不検知もどっちも最悪だよね。
誤不検知だったら、もっと悲惨な理由でセラピーが必要になってたかも。
USAの警官がなんでも敵対行動とみなして撃っちゃう可能性を考えると、今回の誤検知は「スワッティング」みたいなもんだよ。このシステム、警察をけしかけて誰かを殺させようとしたんだ。
人間に対しては、少なくとも責任を問うことができるって話だよね。
エンジニアが情報処理を効率化するAI作ったけど、マーケティングが「意思決定ツール」って売り出し、営業が「全自動エージェント DecisionMaker Pro」って売っちゃった。そしたら半年後、子どもがおやつで銃向けられたってよ。バカなの？
「将来誰かが殺される」って危険性は、火とか電気とか、ほぼ全ての技術に言えることだよね。リスクとメリットのバランスで使うかどうか決めるべき。だから誤検知と真検知のデータがもっと必要なんだよ。
全く同意だけど、そもそも警察に注目されることが自動的に命の危険になるような状況を、何とかしなきゃいけないよね。
「ほとんどの技術に危険性はある」って議論ね。最近、この手の主張をしてめちゃくちゃ自滅した有名人が一人いるのを思い出したよ。
これは「AI swarmed」って言うべき状況だね。人間の推論なしで、AIがただ実行してリソースを指示しただけなんだから。
確かに。でもアメリカじゃ学校での銃乱射事件も多いし、銃持ってる学生はまず無害じゃない。だから、偽陰性（危険を見逃すこと）もタダじゃないんだよ。
アメリカじゃ警察や市民に人が殺されるのは日常茶飯事で、もう社会として問題に真剣に向き合ってないんだ。銃暴力を「自由社会の代償」って受け入れてるから、AIが判断しても大して変わらないよ。LLMだって訓練データで人種差別的な偏見があるしね。
それなら、一人につき警官を一人つけようよ。常に銃を頭に突きつけてさ。何かあった時に警官がいなかったらどうする？安全第一でしょ。
「責任を問える」って言うけど、実際は問わないじゃん。（企業も責任を問えるはずだけど、ほとんどしないよね。）問題は法的な枠組みとかじゃなくてさ。
警官とSWATingについて話したんだけど、まともな警官は誰かを傷つけない奴のドアを蹴破りたくはないんだ。でも、SWATingじゃない時に致命的な判断ミスをするわけにはいかないって感じてる。それに、手順に従わないと個人的にも法的に責任を問われる可能性があるからね。悪い警官は、攻撃的な態度を取るためのどんな理由でも探してるみたいだけど。
もっとコメントを表示（1）
HNはこんなに簡単に論理的誤謬に飛びつくの？僕の最初のコメントは今-4だけど、これまでのところ、関連性による罪悪感と暗黙の脅威の組み合わせが一つ来ただけで、他の返信はないね。みんなに思い出してもらうけど、僕の恐ろしい提案は物事のリスクとベネフィットの両方を測ることだったんだ。もし、物事のリスクとベネフィットを測ることが悪い考えだと本気で思ってる人、または、一般的には良いけどこのケースではダメだって思う人がいたら、名乗り出てよ。
校長が“この件で捜索された生徒さんや、目撃した他の生徒さんにとって、いかに不快だったか理解しています。カウンセラーが関わった生徒さんに直接サポートを提供します。”って言ってるけど、直接的なサポートやカウンセリングより、誤報に対して金銭を払わせるべきだろ。この技術はまだ実用段階じゃないし、学校みたいな公共の場所で使うべきじゃないよ。
教育長をSWATingで告発しろよ。意思決定者の説明責任が、悪い意思決定を止める唯一の方法だ。
教育長をSWATingで告発するって言うけど、フラグが立ったビデオの人間による検証はあったのかな？バッグが本当に銃に見えた可能性だってあるし。今のジャーナリズムはそんなことには興味なくて、必要な感情的な引用を手に入れたら次に進むだけだよね。
金銭的補償には賛成。でも技術にはリスクがつきものだろ？1回の誤報がすべてのメリットを上回るとは思わないね。誤報と正報の発生率、それにそれぞれの（主観的な）価値によるんじゃないかな。（このケースでは両方高いけど、銃撃を1回防ぐのは、無実の人が不必要に銃を突きつけられるのを防ぐより、断然価値があると思うけどね）。
じゃあさ、人間がランダムに子供を監視して、ビデオのフレームに銃を持ってるように見える子がいたらSWATチームを呼ぶのは、全部OKだって言いたいの？
あのジャーナリストたちは、間違いで銃を突きつけられた子供たちから（不当だろ、おい、不当なんだよ!!）感情的な反応を得ようとしてるだけで、ひどい奴らだよね…。彼らは、犯罪を追跡する上で必要な間違いを隠蔽しようとしてるだけなんだ…。
警備員が監視ビデオで誰かが銃を持っているのを見て、銃器禁止のキャンパスで、ポリシーでそれが確認されたら、うん、それは法律のあらゆる面で正当だろ。違法行為の監視が警察の行動につながった例なんて数えきれないほどある。君はそうじゃないって言ってるの？
人間がビデオを検証したなら、人間が意思決定者だ。人間がビデオを検証しなかったなら、AIシステムに白紙委任した人間が意思決定者だ。これはジャーナリズムの質の問題じゃないよ。
もう何度も言った気がするけど、この件と”AIブーム”の核心的な問題は、誰も本当に問題を解決したいわけじゃなくて、売れる商品が欲しいだけってことだよ。AIはどんな問題にも合う魔法のレンチみたいに見えるし、ほとんどの人はそれがどう機能するか、どんな限界があるか知らないから、喜んで”魔法の粉”を買ってるんだ。
記事のどの部分がそう言ってるのか引用してくれ。
黒人の学生から誤検出が出る可能性って、どれくらい高いんだろうな。
教育長はAIが銃を誤検出すると知っててシステムを承認した。人間による確認があっても責任は免除されない。AIが誤検出したら管理者はSWATを呼ぶだろうし、人間チェックは無意味。教育長も分かってたはずだ。悪いAIと警察の連携で、今後もっと多くの子供が犠牲になるだろう。
誰も動画で銃なんて見てないし、銃に見えるものも見てない。チップスの袋なんて、せいぜい膨らみになるだけだ。ポケットの何気ない膨らみを見て、銃だと考えるまともな人間はいない。そんなことなら、子どもたちを裸で学校に行かせた方がマシだよ。こんなパラノイアがMcMartin Preschool事件みたいなバカげたことを引き起こしたんだ。
USじゃ警官はテロリストより多くの人を殺してるぜ。価値を数値化するなら、そこを考慮に入れとけよ。
「誰も本当に問題を解決したいわけじゃなく、売り物になる製品が欲しいだけ」って意見に同意するけど、これはAIに限った話じゃない。資本主義が機能する理由でもあるんだ。誰もトイレ掃除や小麦の収穫なんてしたくない。みんなお金が欲しいだけなんだ。
人間による確認がなかったって、そんなに自信満々に言える根拠となる、記事からの引用かリンクを教えてくれよ。
Baltimoreでティーンエイジャーが銃を所持したり使ったりしてるのは、実際に深刻な問題だよ。
でも彼らはそれを見てない。彼らが見たのは、ズボンのポケットの上が膨らんでる子どもで、何かがポケットに入ってるって示唆してるだけだ。どんなアルゴリズムでも、曖昧なポケットの膨らみが銃だと正確に予測できるなんて、バカげてるよ。（まあ、薄くてピタッとした明るい色のズボンなら、もしかしたら…いけるかもだけど。でも、しわくちゃのDoritos袋を銃と間違えたなら、明らかに今回はそうじゃなかったってことだね。）
「警察は後に、警報の引き金となったAIが捉えた画像を見せた。彼のポケットにあったしわくちゃのDoritos袋が銃と間違えられていた。」この引用は、警察が警告を受けて写真を見て、「うん、あれは銃に見えるな、行こう」ってなったことを示唆してる。やっぱりバカげてる。
費用はすでにかかってるんだから、支払わせろ！職を辞めるか、刑務所行きになるべきだね。
この記事には、そんなこと書いてないんだけど。情報源のリンクを教えてくれない？
金は納税者がまとめて払うんだよ。関わった警官は、その結果税金が少し上がるってだけじゃん。
そんなことしても意味ないよ。間違えてもペナルティがないから、人間はとりあえずOKって言って、違ったら“ごめん”って言うだけ。フィードバック機構がないと、検証なんて無意味だね。
問題は、ドリトスを持った子がまだ生きてるかってことだよ。暴力的な警官は、本物の銃乱射犯には何もせず、Uvaldeの学校銃撃事件みたいに、何百人もの警官がうろつくだけで、親が子供を助けに行くのも阻止したのに、AIの誤報で銃と誤認し、しかも、その子が白人だから撃たれなかったのか？
記事をクリックする前に、生徒は黒人だと思い込んでたよ。使ってるAIモデルに人種差別的な偏見があっても驚かないね。むしろ、なかったら驚くよ。
多分、精神療法セッションに使えるギフトカードが贈られたんだろうね。
人間のレビューがあるかないかなんて関係ないね。愚かな人間がいるシステムは、愚かな機械がいるシステムと同じくらい最悪だ。実際、補完し合ってるよね。誰も銃を見てない。だって、銃なんてなかったんだから。
君の人生では、ひどいAIと警察の組み合わせによる子供の死が、もっと増えるだろうね。でも、ケーブルニュースを見てるような人たちは、“たった一つの犯罪を防げたら”とか“たった一つの命を救えたら”って言うのを止めないだろうね。
AIがハルシネートすると何度説明しても、信じない人は信じないだろうね。
全くその通りだけど、責任は営利企業じゃなく、利益の出し方を規制する側にあるべきだと思うよ。泥棒だって儲けたいけど、そんなに大金じゃなければ許されない、ってわけじゃないでしょ。
もっとコメントを表示（2）
もし警察が本当に銃だと思ったなら、一体何が“賢い”行動だったんだろうね？
これってYOLOみたいなオープンソースの物体検出モデルを収益化しただけみたいだね。簡単に作れるものを高度なAI機能として売ったんでしょ。
人の命を危険にさらすモデルなのに、その精度や訓練データ、誤検知率を会社以外に誰も知らないのはおかしいよ。
こういうのを導入するなら、統計や数値を公表するのを義務付けるべきじゃない？モデルについてもっと知るためにもね。
[1] https://arxiv.org/abs/1506.02640
“ヒューマン・イン・ザ・ループ”の視点が抜け落ちてるように感じるよ。いつかこの会社は不法死亡訴訟を起こされるだろうね。
訴訟費用を払っても、彼らはまだ利益を出せるだろうね。だからこそ、社会病質者はビジネスで成功するんだよ。
市民権弁護士のJohn Bryan（https://thecivilrightslawyer.com）がこれについて何か言うだろうね。
彼は警察が根拠の薄い情報で銃を突きつけて人を拘束することの合法性をよく批判するんだ。それは力の行使だから正当化が必要なんだって。
僕の考えでは、AIシステムと“ヒューマン・イン・ザ・ループ”の警官の両方が画像を見て銃だと信じたなら、停止は正当化されたかも。
でも、AIが警官に事前に画像を見せずに出動させただけなら、正当化は難しいよ。
いつか法廷で、企業がAIに何十億ドルも使ってるからAIの証拠はすごく強力だった、って弁護士が言う日が来るだろうね。
もしくは、警察はドングリが落ちただけでも発砲し始めた、なんて言うんだろうね。だから、彼らには高い基準を求めるべきじゃなくて、AIはむしろ改善策だ、って言われるかもしれないよ。
そして、その主張を粉砕する準備のできた反対側の弁護士が必要だね。
「タバコがたくさん売れてるから良いものだって言える」っていうのと、同じような論理の誤りじゃないの？
あー、残念だけど、そういうレトリックはすごく効果的だよね。
マーケティングでは「バンドワゴン効果」って呼ばれてて、人の考えや行動に影響を与える強力なテクニックの一つなんだよね。残念だけど、俺たちは社会的な動物だから「ソーシャルプルーフ」が過剰に影響力を持っちゃうんだよな。
今じゃボットやAIがその効果を増幅させちゃうんだからな。
「みんなAI大好き、23.1億人のインターネットユーザーが間違ってるはずないだろ」。
記事によると、警官は後で学生に警報が鳴った写真を見せたんだって。ポケットにはクシャクシャになったDoritosの袋が入ってた。つまり、写真に銃はなくて、AIが銃と勘違いしたポケットの膨らみだけだったんだ。これって合理的なパターンマッチングじゃなくて、AIのHallucinationみたいだよね。
でも、警官が写真を見せたってことは、もしかしたら出動前に手動で写真を確認してたってことかも。もしそうなら、AIが彼らの判断にどれだけ影響したのか気になるよな。AIなしでリアルタイムの監視映像だけ見てたら、同じ判断をしたかな？きっと違うだろうな。AIがフラグを立てた事実が、彼ら自身の判断をある程度上書きしたと考えるのが自然だよね。
正当な理由がない武力行使は、自動的に過剰な武力行使になるの？それともグレーゾーンがあるのかな？
これを見てみるといいよ。https://en.wikipedia.org/wiki/Graham_v._Connor
Palantirの監視プラットフォームと、Peter Thielが影の皇帝になる時代が来たな。非決定論的なMLシステムが、社会の重要な部分に誤って適用されたときに命を危険に晒すエラーを起こしやすいのは残念だ。でも、権威主義国家では、そんなことは隠されちゃうから、何も見るな、進めってことだろうな。監視と権威主義は密接な関係にある、Chinaを見ればわかる。これらの方法に抗議して、手遅れになる前に議員たちに行動を促すことが重要だ。
もしかしたら俺が見落としてるのかもしれないけど、この記事はPalantirとか彼らの製品についてのものじゃないと思うな。
Palantirは多頭のヒュドラの一つの頭にすぎない。一つの頭への懸念は、その怪物全体には何百倍も当てはまるんだよ。
自分の好きなことばかり話すんじゃなくて、なんで自分のコメントが関連するのか、ちゃんと文脈を説明する努力をしなよ。支離滅裂なことばかり話すのは迷惑だし、ちゃんと文脈を説明しないと誰も理解できないよ。
全くその通りだね。Palantirは名前を変えれば何も問題ないんだろうね。
このコメントには二重否定があるから、まさしく「誤検知（false positive）」だね。
記事はOmnialertの話であって、Palantirじゃないよ。事実は気にせず持論を展開するんだね。
結局、同じ欠陥のあるシステムで、目的は大量監視だよ。
そうかもしれないけど、実際にこの学生を武装警官が包囲したのはPalantirじゃないよ。本当の原因となった会社を免責しようとするのはおかしいんじゃない？
アメリカ人よ、目を覚ませ！街ではマスクをした国境警備隊が市民を逮捕し、軍は政府の顧客と化している。
腐敗は合法化され、これまでの独裁政権では考えられないような大量監視システムが確立されてるんだ。マジでやばいよ。この警告は超大事だから、ちゃんと聞け。目を覚ませ！
テクノファシズムへの反対は、たとえ「持論の展開」と批判されても続けるべきだね。その誤検知（false positives）の犠牲者が出ても、心理学者じゃなくて検視官が必要になるんだからさ。
反キリストについてあんなに詳しい人が、まさか間違ってるなんて思えないよね。
