テスラ、死亡事故でデータなしと主張 → ハッカーが発見！驚きの記録が車に残されていた
引用元：https://news.ycombinator.com/item?id=45062614
数年前にeBayでModel 3のインフォテインメントユニット買ってハッキングしたら、データ量がヤバかったんだ。VINから廃車オークション見つけて、最終的な事故場所がNC州のT字路だってわかったよ。Googleストリートビューで見たら、その車がぶつかったであろう木が見えたね。過去のオーナーの生活（家、職場、行ったお店）とか、GPSの位置情報が全部記録されてたんだ。
これってTeslaだけじゃないんだよな。現代のほとんどのインフォテインメントシステムに当てはまることなんだ。車はもう顧客のものじゃなくて、メーカーにとっては継続的な収益源って、上層部は考えてるんだよ。キャリアの初期に有名自動車会社のインフォテインメントチームで働いてたけど、顧客のプライバシーとデータについては毎日上司や他のエンジニアと議論してたけど、いつも少数派だったんだ。
へー！ハードウェアってどんな感じ？LinuxっぽいコンピューターにSDカードとかSSDが入ってるの？ファイルシステムは何？
ハードウェア的には、古いユニットはIntel AtomベースのCPUだったよ（最新世代はAMDだと思うけどね）。ハードウェアは典型的な組み込みシステムって感じで、CPU＋eMMC＋Bluetooth/Wi-Fi MCU＋セルラー子カード。OSはLinuxとQT UIなんだ。新しいハードウェアだと変わってるはずだけど、前の世代は暗号化（dmcrypt）を使ってなかったから、データは全部保護されてなかったんだ。
追記だけど、実際の自動運転部分のハードウェアスタックは、2つのカスタムARMチップを搭載した全く別のボードなんだ。ハードウェアとソフトウェアはもっと厳重にロックダウンされてて、OSやデータにはアクセスできないよ。Greenみたいな人たちが手に入れた自動運転の情報は、たぶん初代Model Sの自動運転ハードウェアがもっと防御が甘くて、アクセスしやすかった頃のものだと思うな。
ここでの”ロックダウン”ってどういう意味？これってDRM関連、例えばHDCPやBlu-rayの暗号化キーがネットに流出したのとほぼ同じ状況じゃないの？せいぜい復号キーが各車にカスタムで、再現不可能（例えば、ランダムな製造プロセスで作られる）で、Teslaがこれを読み取ってそのキーでしか開けられないように全部暗号化するってこと？でも、復号されたデータは全部”オンダイ”に保たれるの？（それともRAMも暗号化されてるの？）
ロックダウンってのは、ストレージデバイスがSoC/CPUを使って、ヒューズやOTPに書き込まれたキー（これは通常デバイスごとに異なるキー）でオンザフライで暗号化・復号されることだよ。ブートROM/ローダーは署名されたファームウェアイメージを要求するし、外部インターフェース（攻撃対象）への露出も制限されてる。俺の記憶だと、SoCに接続されてたUARTインターフェースですら、ブートローダーのかなり早い段階で無効化されてて、1つか2つのメッセージしか露出してなかったね。RAMが暗号化されてるなんてのは見たことないな。そろそろあのボードをストレージから引っ張り出して、もう少し突っ込んで調べてみる時期かもね。フォルトインジェクションにはあんまり強くないって話だし。
最近の組み込みチップでは、外部プロセス（フラッシュ）用にオンダイ暗号化キーを生成するのが一般的になってるし、ROM用のワンタイム暗号化キー（オンダイROMに書き込まれた後、製造時に消去される）だってあり得るよ。RAMの暗号化は、チップが起動ごとに内部でキーを生成できるから、基本的にタダみたいなものなんだ。もっと深いロックダウンも可能だけど、深くなるほど一般的じゃないね。オンダイキーにたどり着くのは、ブートローダー攻撃を見つけられない限り、ほぼ不可能だよ。ブートローダー攻撃を探すこと自体が、場合によっては国際的な兵器条約の破壊に匹敵するって法的に言われることもあるくらいだし。ナビゲーションデータなんかにはフリートキーもあるだろうし、もちろん公開鍵ベースのファームウェア署名もね。これは今や当然の標準だよ。
セキュアなコンピューティングってやつは登場したみたいだね。でも、俺たちにはその鍵がないんだよな。次はFairPhoneとか他のオープンなスマホに資金を出して、生き残れるように応援しなきゃな。ネットワークもオープンなスマホの参加を認めてくれるといいんだけどさ。
TeslaのシステムはWindowsで、UIはC#じゃないかなって思うんだよね。UIの仕事で誘われたんだけど、もっと近かったら絶対飛びついてたな。当時、俺はちょっとしたTeslaファンボーイだったし、オフィス向かいのPalo AltoのDeer Creek Roadのあのエリアもすごく好きだったんだよ。
Tesla MotorsのLinux関連のGitHubリポジトリはこれだよ。
https://github.com/teslamotors/linux
もしこれ（TeslaのインフォテインメントシステムがWindowsやC#だという話）が本当なら、Teslaだけが業界で使えるカーインフォテインメントシステムを持ってるなんてことにはならないはずだよな。
TeslaのシステムはLinuxで、UIはQtなんだぜ。
以前のオーナーの生活…そしてもしかしたら死の一端が見えるってこと？
その地域のニュース記事を調べてみたけど、報告されてる死亡事故は何も見つからなかったな。でも、もしかしたらってこともあるのか？
roadway.reportとHacker Newsへの投稿だよ。
https://roadway.report/
https://news.ycombinator.com/item?id=41012443
クラッシュデータがTeslaに自動送信されて、送られたらすぐ削除対象になるって理解で合ってる？もしそう設計されてるなら、Teslaがデータに単独でアクセスして、使うかどうか決めるためとしか思えないな。これは裁判ではダメなはずだけど、今のところ通ってるみたいだね。Teslaサーバーでのクラッシュデータ削除には監査証跡があるべきだけど、本当のところどうなのかは分からないな。
優しく見れば、クラッシュ後に外部の人が車やメモリにアクセスして、オーナーのプライベートデータが漏れる可能性があるってことだよな。あと、車のデータが公になったら、誰がどう見せるかで言いなりになるから、調査は専門家だけがアクセスできた方が安全なんだろう。飛行機のフライトレコーダーが事故後に生データをすぐには公開しないのと似てるね。
テスラがデータをしっかり保存して当局に渡すならいいんだけど、データはデバイス上でほぼ無保護だったし、復元もできなかったかもね。テスラは顧客のプライバシーを尊重することで知られてないし、事故の詳細を公表したこともあるんだ。それに、AutopilotやFSDに不利なデータを「紛失」する動機もあるからね。
個人的には、自分の車が勝手に当局にチクるのは嫌だな。
「テスラがデータに単独アクセス」って言うけど、全ての自動車メーカーがそうだよ。データ記録や取得に標準規格はないし、部品によってはサプライヤーしか読み取れないデータもあるんだ。
もしテスラにアップロードされる他の種類のデータがあって、衝突データもそのコードを流用してたら、テスラに保存された時点で車からデータを消すのは、ストレージ不足を防ぐ合理的理由になる。もちろん、衝突事故の場合は最善じゃないけど、悪意で消されたわけじゃない可能性もあるってこと。
ほとんど間違ってるよ。少なくともアメリカではね。車にEDRがあれば、収集するデータは法律で定められてる。取得に標準インターフェースはないけど、メーカーは第三者が使える商用データ取得ツールを提供しなきゃいけないんだ。
https://www.ecfr.gov/current/title-49/subtitle-B/chapter-V/p…
「この通話は品質向上のため録音されます」みたいなもんだろ。録音されると困る場合は「録音されてない」ってことにして、都合がいい時だけ記録があるってね。テスラは顧客データ（大量にあるのに）の扱いがずさんなことで有名。最近、車内ビデオが社内で回し見されてたって記事もあったし、自動運転のテスラでポルノ女優が撮影した映像も、「品質向上のため」に社内を回ったんだろうな。
ドライバーが自分の行動に責任を持つ世界は、公正で安全だと思う。もし不注意や無謀な運転で事故を起こしたら、事実が明らかになってそれ相応の罰を受けるべきだ。無関係な人が他人のミスの責任を負うよりずっといい。そうすれば、みんな無謀な運転を二度としないようになるだろうし、もしならなくても、少なくとも自業自得ってこと。
データ保持は法律部門にとって最重要事項だ。コードの再利用でデータ保持の決定が偶然に行われるなんてありえない。データが記録されるたびに、法律部門は裁判官の前で手ぶらにならないよう、保持についてすぐに確認する。車が記録するすべてのバイトと、その管理方法は、法律部門によって細部まで文書化されるはずだよ。
この見方が正しいと思う。プライバシーはすごく重要だけど、車は基本的に凶器だ。公道で使うなら、プライバシーと他の利益のバランスを取る責任が多少は伴うはずだよ。
「この通話は品質向上のため録音されます」ってのは、免責事項だけど、録音の許可も与えてるってことだよ。
あなたの車じゃなくて、テスラからライセンスされたソフトウェアが個人情報を晒してるんだよ。
もっとコメントを表示（1）
この法律って空車重量が2,495kg（5,500ポンド）以下の車が対象みたいだね。俺のF-150ですら対象外になりそうだよ。
そうだよね。会社との通話を録音してた知り合いがいて、免責事項がないと「この通話は録音されてます」って伝えてたらしい。そしたらほとんどの会社がすぐに電話切ったって言ってたな。でも、その録音が役に立ったって話は聞いたことないけどね。
それってちょっとバカな反応だよ、ごめんね。
車が情報を晒すってことは、逆に相手のドライバーを晒したり、自分が悪くないって証明したりもできるってことだよ。
電子機器を最小限にした車の制御ユニットって手に入らないのが残念だね。実装されてないはずの機能が動くなんて、面白いよね。
俺の過失じゃないなら喜んでデータ公開するよ。もし俺の過失なら、アメリカ合衆国憲法修正第5条の権利を行使して公開を拒否するね。もし俺が意識不明になったら、どうでもいいから遺産で公開してくれ。
車は追跡装置なんてなくても、100年も前から公道で使われてたんだぜ。
「うっかり」都合の悪いデータを全部削除できないって法律があるの？
そうだよな。多くの罪のない人が、車の運転の責任を理解してないバカのせいで大変な目に遭ったり、命を落としたりしてきたんだ。
もしテクノロジーでそういう奴らを裁けるなら、俺は100%賛成。奴らは報いを受けるべきだし、被害者は正義を得るべきだよ。
データの保持や削除は法律的に重要だよね。Teslaのソフトウェアの訓練データに保持義務があるかは不明だけど。
「コードの再利用でこういうミスは起きない」って言うけど、Teslaならありえそうだよ。
例えば、クラッシュ時にデータ全アップロードする機能の後に「アップロードしたらデータ削除」機能を追加したら、こういうバグは簡単に起きるだろうね。
電気自動車ってバッテリー管理や効率、ルート計画とか、コンピューターがめっちゃ重要なんだよな。エンジン車とは全然違う。Teslaがこれに力を入れてるのは正解だね。Slateみたいな会社がどう出るか楽しみ。
昔、ある男が録音した電話会話でEvil Corpを訴えた話があったな。Evil Corpは「同意がないから違法だ！」って言ったけど、男はEvil Corpの免責事項に「通話は録音される」って書いてあるじゃんって反論。裁判官が男の味方について訴訟が進んだんだ。Evil Corpはケーブル会社だったような…。
俺が「最小限」って言ったのはね、メーカーが広範囲なデータ収集やソフトウェアでの機能制限なしに、必要最低限の機能だけ提供するって意味だったんだ。でも実際は、監視とか搾取目的のシステムを支えるためにソフトウェアが使われてるじゃん？これじゃ「最小限」とは言えないよな。
データが記録されたら法務部がすぐにデータ保持について確認するって話だけど、俺の経験だと、むしろディスカバリーでの予期せぬ事態を避けるために、メールを90日で自動削除するポリシーを設定してるぜ。
これって大型トラックには関係ないかもだけど、ほとんどのセダンは当てはまるよね。もしかして「大型車の方が安く作れる」って話と関係あるのかな？
「俺には修正第5条の権利はない！」って言ってるけど、それは違うぞ。修正第5条は自己負罪を強要されない権利だ。犯罪を犯したか分からない事故には適用されないし、政府からの強制に抵抗する権利であって、自分の持ち物が証拠になるのは防げない。血まみれのナイフが証拠にならないなんて馬鹿げてるだろ？民事訴訟で証拠を出さないと、法廷侮辱罪になるぞ。
全員が追跡されるような社会を望むなら、それは今の中国と一緒だぞ。プライバシーがないことには代償があるんだ。「100%賛成」なら、今すぐ中国に移住すればいいじゃん。
「俺の友人が『この通話は録音されてます』って言うと、企業はすぐ電話を切ったらしい。」誰かが録音宣言したら、電話を切るべきだよ。大抵、法的に使うための脅しだからな。企業側なら、上司や法務部に報告すべき。顧客サポートが録音するのは、客がサポートとのやり取りについて嘘をつくことが多すぎるからだよ。昔は「無料交換って言われた！」とか嘘をつく奴が多かったけど、録音で全部バレてたんだ。
陪審員に見せられたビデオで、Teslaは170フィート先の車両と116フィート先の歩行者を検知してたらしい。なのに、ビデオを見ると、McGeeが近づくにつれて、Teslaはアンゴロのトラックを通り抜けるルートを計画してたんだって。まさに彼と彼女が標識の陰に立ってた場所だぜ。Teslaは検知してるのに、そこを突っ切るルートを選ぶのかよ？このソフトウェア、マジでヤバすぎないか？
やばい動画がこれだよ: https://vimeo.com/1093113127/e1fb6c359c
歩行者を検知してその中を通り抜ける経路を計画する、どころじゃない。歩行者を轢いて、さらにその中を通り抜ける経路を計画して仕留めるって、これもうめちゃくちゃだろ。
うわー！最悪なのは、Teslaが子供を轢いたことすら検知してなかったってことだよ。これだとひき逃げの罪にも問われるぞ。車陰から飛び出してきた子供を轢くのは、状況によっては人間でもありえるかもしれない。でも、人間なら何事もなかったかのように走り続けるなんてしないよ（よほどの鬼畜じゃない限りね）。
それだけじゃないぞ、人間なら法律で決められてるスクールバスのために止まるはずだろ。だから、エラーは(1)スクールバスで車を止めないこと、(2)子供を轢いたこと、(3)子供を轢いたことを検知しなかったことの3つだな。
問題は、このソフトウェアがとてつもなく高い耐障害性を持たなきゃいけないのに、これだけ複雑だとそれがめちゃくちゃ難しいってことだ。99.9%の精度じゃ全然足りないんだよ。だって、スクールバス1000台を通過するたびに子供を殺すかもしれないってことだからな。コンピュータが昔より多くの仕事をしてるのに、いまだに飛行機にパイロットがいるのはそのためだろ。
俺はWaymoに何度も乗ったことあるけど、いつもスムーズだったよ。だから自動運転は可能なはずなんだ。TeslaのCEOが「人間は運転に目しか使わないから、ウチの車はカメラだけでLiDARは不要」みたいな独断的なルールを決めてるのが問題なんだよな。ロボットカーは人間と同じようには運転できないってことを、彼は受け入れるべきだ。ロボットカーは人間よりうまく運転できるけど、それは彼ら自身のやり方でやらなきゃいけないんだ。
タクシーは違うよね。ロボタクシーなら、何かあったときに自分のせいにならないから乗ってもいいかなって思うかもしれない。バスや電車と同じだ。でも、FSD搭載の自家用車（LiDARがあろうとなかろうと）は、高速道路みたいな特定の状況を除いては信用しないよ。だって、もし何かあったらFSDが失敗したとしても、結局俺の責任になるだろうからね。
＞ FSDが失敗したとしても俺の責任になるだろうからね
MercedesのDrive Pilot [1] を運転してる場合を除いては、そうだな。この場合、Mercedesが責任を負うことになるよ [2]。Drive PilotはまだFSDじゃないけど、機能が増えればMercedesも責任を引き受ける方針を続けるだろうな。
[1] https://www.mbusa.com/en/owners/manuals/drive-pilot
[2] https://www.roadandtrack.com/news/a39481699/what-happens-if-…
＞ 99.9%の精度じゃ足りない、スクールバス1000台通過するたびに子供を殺すかもしれないってことだから
それに対して高い精度は必要ないんじゃない？スクールバスを追い越さないのがルールだから、それは出会った1000台の（停止中の）バスにつき1回の違法な追い越しってことになる。それに、全ての違法なバス追い越しが必ずしも子供を即座の危険にさらすわけじゃないだろ。
通勤中に毎日停止中のバスに遭遇することだってあるだろう。重要なイベントに対しては、間違いなくその精度レベルが必要だよ。
AIってこれまで見たことないくらいすごいもので、世界を大きく変えるだろうな。文字通りSkynetになるだろうけど、Counter-StrikeのBotみたいにパスファインドするところは無視してくれ。
https://waymo.com/rides/san-francisco/
WaymoならSFでいつでも乗れるし、毎日何千回も成功してるんだぜ。
OPはさ、イーロンが『近いうちに出る』って言ってたのに、結局10年も経ってるのに実現してないことを皮肉ってるんじゃない？目標はどんどん変わるし、やつらはWaymoにかなり遅れてる（pun intended）みたいだね。
もっとコメントを表示（2）
Waymoが成し遂げたことは本当に素晴らしいし、信頼できる交通手段になってると思うよ。でも、まだ地域限定だよね。SFが管理された環境ってわけじゃないけど、重要な制約だ。でも、たぶん自動運転の一般的な解決策をいつか実現するための正しい道なんだろうな。
で、Waymoはさ、さっきのWaymoの状況を回避するためにどれだけのMan-hoursを費やしたんだよ？
自動運転車はみんな同じじゃないよ。TeslaとWaymoは別物だ。Waymoが動くサービスにどれだけMan-hoursを費やしたかが、君にとってなんでそんなに重要なの？もし『多すぎる』と判断したら失格なの？
AIに与えられてる今の過剰な称賛を俺は軽蔑してるよ。もしMicrosoft Clippyが『賢い』って言えないなら、LLMだって賢くないだろ。20年前にもっと劣化したバージョンが全部あったのに、誰もComputer VisionとかNLPとか覚えてないのか？
テスラはオブジェクトパーマネンスがない『犬／豚問題』抱えてない？170フィートで検知されても、近づくと消えちゃうとか。止まった車や標識とか、固定物はフィルタリングされるのは普通だけど、他のメーカーのドライバーはアシスタンス機能をそこまで信用しないよね。
参考: https://m.youtube.com/watch?v=LaK_8-3pWKk
オブジェクトパーマネンスって超重要だよね。だからテスラは3、4年前にシステムに導入したって、めっちゃアピールしてたんだよ。
衝突は2019年のことだから、3、4年前って言うとちょっと遅い話だよね。
彼らが言ってるのは、衝突した相手じゃなくて別の車や歩行者を検知したって意味じゃないかな？（もし被害者だったら、『a』とは言わないだろうしね。）
記事からの引用だけど、事故直後にデータが自動でサーバーにアップロードされて、テスラ本社から受信確認が来たんだって。
で、すぐにそのデータは車から『unlinked』されて削除対象になったらしい。これ、テスラでは普通なんだって。マジかよ…って感じだよね。
これ、どうやったら正当化できるか想像してみたけど、コンプライアンスや法的な問題、データ保持とか色んな疑問が出てくるよね。こんなコードを導入したやつら、一体誰なんだよ。
というか、一人の仕業じゃないってことね。
もし悪意がないとしたら、車のメモリ節約のためじゃないかな。データがサーバーにアップロードされたんなら、車に残す意味ないもんね。
これ、結構普通のテレメトリーアップロードっぽいな。送信して、受信確認までコピー残して、成功したら消すって流れ。なんか言葉のせいで怪しく聞こえるだけじゃない？『unlinked』は、ファイルを削除するPOSIXコールだよ。俺、10ドル賭けるわ。
『マジかよ』って思ったのは、サーバーからデータ消したって部分ね。あなたが引用した車から消すってのは、別に普通に聞こえるけど。
衝突した車から衝突データを消すようにソフトウェアが設計されてるって、おかしいと思わない？
テスラにあんなに信頼を置く人がいるなんて信じられないよ。EVのリードを失ってAIやロボットの超大国になろうとしてるにしても、こんな企業行動は望まないよね？ これはまるでAperture Scienceレベルの企業不正だよ。
問題のアーティファクトはアップロードするための一時アーカイブだったんだ。これをunlinkしないシナリオなんて考えられないね。
こんなのは企業じゃよくあることだよ。リーダーへのカルト的な崇拝は別としてね。US企業だけじゃなく、VWの排ガス不正も酷かったけど、今も絶好調だし。あれは大騒ぎだったけど、テスラから見えてくるのはいつもの企業行動って感じだ。
それは100％間違ってるね。標準的なやり方では、衝突に関するファイルは「ロック」されて、ローカルで削除されないようにするんだよ。
これは車だよ。死亡事故を起こす可能性がある車両だ。ウェブサイトなんかじゃない。こんなやり方が『監視不足』とか『かなり標準的』なわけがないんだ。自分のシステムが何をしているか考えてないにしても（これが一番好意的な説明だけど）、お前は意図的にやったかのように責任があるんだぞ。
それで、サーバーのコピーまで削除するってこと？
テスラのソフトは車の人じゃなくソフトウェアの人が作ってるのが特徴で、良い面も悪い面もある。車には不適切かもしれないけど、記事の仰々しいトーンはひどいね。退屈なシステムを興奮させるような邪悪なものに見せかける、最悪の紫の散文だよ。unlink()呼び出しを怪しく見せなくても主張はできたはずだ。
それが間違いだとは思わないな。技術的には正しいけど、数ヶ月後に自分やPM、その上司、さらに上の上司とか、みんながひとつのエッジケースを見落としてたコードをデプロイしたことない？ どのソフトウェア開発者もそんな経験はないって言うのか？
怪しいのは、サーバー上のデータも誰かが『意図的に削除』することだね。これはプロセスがクラッシュしてもコンピューターが動き続けるようなクラッシュダンプとは違う。まるで飛行機のブラックボックスがデータをメーカーにアップロードした後、墜落後に自分で削除するようなものだよ。
