ウクライナのハッカーがロシアのドローンメーカーのITインフラを壊滅させた!
引用元:https://news.ycombinator.com/item?id=44579902
俺、自宅に約30サービスあるちっちゃいラボを運営してるんだ。ある日メインディスクを交換しようと思って、全部ゼロからバックアップで再構築することにしたんだよ。1時間くらいで立ち上がったんだけど、そっから1週間あれこれ直してた。「あ、そういえばあれも変えたな」とか、「なんでこれこんな設定になってるんだっけ」って思い出せなくて。これ一人でやってるシンプルなラボで、全部Dockerなのにこれだよ?
IT業界で働いてる俺が言うけど、何年も大勢で管理してきたインフラをゼロから復旧させるのは本当に大変な作業なんだ。ランサムウェアにやられた近くの病院でボランティアで手伝ったけど、そこのIT担当者2人は復旧方法が全然わからなくて、公式のサポートもひどいもんだった。大手企業のランサムウェア攻撃でも手伝ったけど、「なんでこうなってたんだっけ?」って記憶を呼び戻すだけでもとんでもない労力だったよ。書類やテストはあったけど、現実は厳しかったね。
警察に家宅捜索されて1万ドル相当の機材、デスクトップとかノートPC、NAS、HDDを全部持っていかれた後、俺のホームラボのかなりの部分を再構築しなきゃいけなかったんだ。でも、以前バックアップの責任者で災害復旧計画にも関わってたから、ある程度準備ができてたんだよね。
- バックアップのオンサイトミラーコピー(警察は見つけなかったか、置いていったか)
- 押収された機材の元々の役目を果たしてた古いハードウェア(俺、ちょっとした収集癖があって、こういう時のために取っておくんだ)
- 複数オフサイトバックアップ
- かなりちゃんとした設定のドキュメント
おかげで1~2日以内には元に戻れて、失ったデータも数日分くらいかな。ホームラボだからそこまで大事なものじゃないけど、良い(良くないけど)レジリエンスのテストになったよ。これで、たくさんの処理とストレージを破壊するようなイベントの影響をさらに抑えるための、いくつかの構造的な変更を考える経験もできたんだ。
(8ヶ月後、警察は何も見つからなかったから機材全部取りに来いって言ってきたけど、俺の子どもたちはトラウマになったよ、ありがとうね)
なんで家宅捜索されたの?
手短に言うと、CSAM配布。家宅捜索される理由として最悪だよね。どうやら俺のIPアドレスがなんかリストに載ってたってのが唯一の根拠らしい。これしか説明を受けてない。面白いのは、警察がほとんど事前調査してなくて、朝6時半に踏み込んできた時に家に子どもがいるなんて思ってなかったことだね。
まだこれが引き金になるんだ。2022年8月の話だよ。この時の記憶や考えを何ページも書いたけど、今でも10個くらい理由があって怒りが収まらない。長いバージョンはまだ書いてないし、多分これからも書かない。これ以上このことについて考えたくないし、今はもっとひどいドラマに対処しなきゃいけないんだ。見てみてよ。https://news.ycombinator.com/item?id=44533637
生きてるってことは確かだよ。しんどいけど、なんとか頑張ってるところだよ。
P.S. 昔のHNのコメントには、この家宅捜索について言及したのがいくつかあるから、興味があれば遡って見てみて。
アメリカの話?歩道で滑って訴えられるような国で、政府は訴えられないの?
現代のITプラクティスって、災害復旧をあまり想定してないんだよね。厳格なバックアップ手順がある組織でも、復旧テストをほとんどしない(全然しないところも多い)。人手不足のチームが多いから、全部が急場しのぎで組まれちゃってるし。インフラを簡単に再構築できるように準備するのって、「ただセットアップする」通常のやり方の2倍の手間がかかるって言われてるしね。
オーストラリアだよ。無実の人がこんな目に遭う可能性を最小限にするために何かできないかって調べたけど、結局、特定の警察官に対する苦情を出す以外に選択肢はなかったんだ。家宅捜索の「正当性」や令状を請求する前のデューデリジェンス、令状を正当化するために必要な証拠を判断する彼らのシステムに疑問を呈する(簡単で明確な)方法はないんだ。
「子どもを守るため」って理由で、全てが盲目的に承認されてるって感じだったよ。俺の娘も子どもだったし、こんな経験を吸収しちゃうんだよね…。息子も子どもだったけど、彼はあんまり影響を受けてないみたい。
だからドキュメント化ってめちゃくちゃ重要なんだよ。ソフトウェアアーキテクチャレベルでもね。数ヶ月後には、今のプロジェクトの意思決定を書き留めておきたいんだ。
- なんでKyselyをDrizzle、Knex、Prisma、TypeORMとか他のORM/SQLツールじゃなくて選んだの?
- マイグレーションはどうやるの?
- なんでNode.jsじゃなくてDeno/Bunを使ってるの?
- なんでプロジェクトをコントローラー/モデル/サービスディレクトリじゃなくて機能ごとのディレクトリに構成したの?
- なんでこのライブラリをフォークしたの?これをアップデートし続ける手順は?GitHubのissueとかPRは?
- なんでAWS/GCP/Azureのどれかでホスティングしてるの?なんでLambda関数じゃないの?なんでDockerなの?
- なんで数ある軽量Kubernetesディストリビューションの中でこれを選んだの?
- そもそもなんでこのプロジェクトを始めたの?何を目指してるの?
だからREADME.mdに「# Decisions」セクションを作ったんだ。こうすれば自分の決断を疑って、また20個もドキュメントタブを開いてソリューションを比較する時間を無駄にせずに済むからね。
アメリカの子どもは早い段階で警察を信用しちゃダメだと学ぶのがいいってことだね。
どこの国なら子どもたちが警察を信じられるんだろうね?
この前さ、クライアントの重要なサーバがぶっ壊れて、バックアップから復元しようとしたんだ。そしたら、一部のソフトウェアがハードウェアに紐づいた変なライセンスチェックのせいで新しいサーバで動かないんだよ。しかも、その大事なソフトウェアを作った会社がもう存在しないって判明したんだ。
うん、俺も似たような経験あったけど、今はNix使ってるからこういう問題解決できるんだ。
これって悪夢みたいな発見だよね。俺も似たような経験あるけど、幸いそこまで影響はなかったよ。
だからDockerが好きなんだ。ソースを保管してれば、何があっても復旧できるからね(少なくとも’何があっても’が通用する限りは)。
だからこそ、Infrastructure as Codeがめっちゃ大事なんだよ。
>Dockerが好きなんだ、って話だけど、俺の理解だと、あのシナリオではDockerは役に立たなかったと思うんだけどな。
病院がランサムウェア攻撃された時、ボランティアで復旧手伝ったんだ。脅威アクターがボランティア装うのをどう防いだの?審査とか受けた?
1990年代のメインフレームは超安定で、10年以上再起動なし、カーネルも再起動なしでアップグレードできたらしいよ。でもある会社で停電あってバックアップ発電機も故障。復旧後、サービス立ち上げに何ヶ月もかかったから、多くの会社が再起動テストし始めたって話。
いや、OPはDocker使ってたけど、IAC使ってるような小さいホームラボでも、手動でちょこっと変更することってあるんだよね。IACは役立つけど万能じゃないってこと。IACのいいテストは、IACだけで新しい環境を最初からプロビジョニングすることだよ。
状況によるけど、もしアプリがDocker化されててイメージがあれば、他の場所で再起動するだけだよね。ライセンス確認がネットワーク設定ベースなら、同じ設定で。でももちろんダメになることもあるし、コンテナの復旧テストは簡単で動作確認できる。ただし、Y2K対応してなくてライセンスが156年とかだと話は別。変な話は認められない、<defunct number>に電話して。ITは喜びと幸せに満ちてる!
俺はGitHub Issuesを使ってるよ。すごく便利で、何か決定したら関連するIssueにコメントするんだ(よく”Decision:…”ってフォーマットでね)。アーカイブされてて検索もできるし、APIからもアクセス可能。コミットがIssue番号参照してるから、ソースコードからも簡単にたどり着けるんだ。
具体例ある?悪いことみたいに言ってるけど、完全に納得できるシナリオも想像できるんだ。例えば、その人がSNSでCPを共有してる場合とか。で、結局何について話してるの?
この件に関してはGermanyとUKが最悪の違反者に見えるけど、それはEnglish language mediaに載るもののselection biasかもしれないね。もし本当に興味があるなら、もっと記事を引っ張ってこれるよ。
https://brusselssignal.eu/2025/06/german-police-mass-raids-h…
https://www.yahoo.com/news/german-woman-given-harsher-senten…
https://www.foxnews.com/media/germany-started-criminal-inves…
https://www.telegraph.co.uk/news/2023/08/10/autistic-teenage…
https://www.dw.com/en/germany-greens-habeck-presses-charges-…
『現代のIT慣行は災害復旧を考慮してない。厳格なバックアップ手順があっても、復旧テストはほとんどしない』という意見は古いと思うな。現代の企業では、DRはインフラ構築で最も重要で難しいステップの一つだよ。何が重要か選んで予算を割り当て、テストし、次回のテスト日を計画するんだ。ただし、全てをDRするのはすごく高くて大変だから、予算に基づいて本当に重要なものを選ぶ必要がある。
僕が関わる全てのプロジェクトには、technical-decisions.orgファイルがあるんだ。失敗した実験やテスト、インストールコマンドなんかを記録するdaily-notes.orgファイルもね。トップレベルの見出しは日付だよ。技術的決定は以前daily-notes.orgにあったんだけど、LLMがアクセスしやすいように別のファイルにしたんだ。LLMが普及する前からこの習慣を始めたんだけど、なんでだったか思い出せないや。
『病院がランサムウェア攻撃された時、ボランティアで復旧手伝った』って、どうやって関わったのか気になるな。すごいことだけど、医療ITってアクセスがめちゃくちゃ厳しくない?PHI関連の仕事では、システムに入る前にPHI研修や身元調査があったよ。緊急事態なら簡易的なHR手続きで済ませた可能性はあるけど、病院に知り合いがいてサービス提供したの?
最近ADR(Architectural Decision Records)を使い始めたんだ。これらはSaaSのソースコードと同じリポジトリにMarkdown形式で保存してる。ソースコードが復旧できれば、なぜそうしたかの理由(Why’s)も復旧できる可能性が高い。それが無理なら、どっちみち手詰まりだからね。
ドイツの会社で働いてるんだけど、そこは印刷したExcelシートで3ヶ月先の生産計画を立ててるんだ。ERPシステムの移行が失敗して、誰も直せない。生産管理部門はこの事実を隠そうとして、エンジニアリング部門と話さない。これが何年も続き、コンサルタントは機能しないシステムから金を稼ぎ続けるだろうね。製造にはITインフラは必要ないってことだよね、単なる「あったらいいな」って感じ。
それは彼らがどれだけレジリエントかによるね。みんな卵を一つのカゴに入れがちだから。
ロシアは全体的にかなりレジリエントだってことを示してきたよ。この件でも何か違うと考えるのは難しいね。
Excelは多くの一般オフィスワーカーにとって理解しやすく、修正可能という利点があるよね。ほとんどのITインフラで、そんな機能が要件としてないのはちょっと驚きだよ。それがあれば、もっと使いやすくなるのに。
もっとコメントを表示(1)
弱い者をいじめるのはレジリエンスとは呼ばない。ウクライナへの西側の支援は全くのジョークだったな - https://carnegieendowment.org/europe/strategic-europe/2025/0…
90年代後半、デンマーク国防省がSAPベースのDeMarsという新調達システム導入を計画。導入直前、知人の軍曹が担当品目を大量購入し、詐欺容疑で尋問された。彼はDeMars導入への不信から在庫切れを防ぐためだと説明し、全ては会計済みだと主張。結果DeMarsは導入後1年間調達停止。友人の担当品目だけが在庫切れを免れた。
HPがSAPに移行したとき、生産がほぼ6ヶ月止まって、4億ドルを失ったらしい。新しいシステムへの切り替えは、たとえ良くなるためでも、苦痛で費用がかかるプロセスなんだよ。俺が働いてた会社はSAPへの移行に成功したけど、2年くらいかかって、かなり大変だった。
ロシアは現代技術で10年以上遅れてるんだよ。CIAが本気を出せば、ロシアのソフトウェアインフラをかなり破壊できると思うけど、彼らにとってはロシアのシステムに出入りして情報を集める方が都合がいいんだろうね。
政治家が“何かする”のを待つより、自分で助けることもできるんだ。評判の良いウクライナ支援組織を見つけてお金を送るのは、そんなに難しくないよ。
それがイーロン・マスクかジェフ・ベゾスの別アカウントでもない限り、こんなの焼け石に水みたいなもんだよ。
ロシアが技術的に10年遅れてるって主張は、ちょっと大げさじゃないかな?
数年前にロシアに行ったけど、商業的にはUKと同じテクノロジーを持ってるし、ソフトは同等かそれ以上。YandexやVKは国内向けで、GoogleやFacebookみたいな世界的な広がりはないけど、技術レベルは高いよ。
政府サービスや決済のデジタル化では、むしろ進んでるところもあった。サイバー戦やハッキングの分野でも、ロシアや中国のハッカーの名前が挙がるし、コンピューター教育も優れてる。戦争ではウクライナでバカな真似をしてるけど、ドローン戦などの進化は目覚ましい。一体どこが10年遅れてるって言うんだ?
街中で人が捕まって死地に送られたり、反対意見を言っただけで男性親族のドアが蹴破られて90%の死亡率の敵陣突撃に送られたりする政権を支援するのは、公平に言ってかなり難しいよね。無計画な戦争でジェノサイドを公言する政権を支持するなんて。
だから、これらを考慮すると、西側諸国からの支援ってのは本当に莫大なものなんだよ。
ソフトウェアがなきゃ、ドローンなんて使い物にならないよ。在庫を全部覚えていれば手動で操作するクアッドコプターを組み立てられるかもしれないけど、3Dプリンティングで部品を作ったり、安定した飛行、自律操作、監視、それ以上の高度な使い方をするドローンはもう作れない。遠隔操作すら多分無理だね。
彼らは以前と同じものを使い続けられるよ。
ベテランのソフトウェアエンジニアとして確信を持って言えるけど、ソフトウェアエンジニアリングってのはすごく、すごく無駄の多い作業なんだ。今だってWindows 3とかDOS、古いUnixで十分なはず。実際の進歩にかかるオーバーヘッドは、人類の進歩の遅さを示してるし、今、戦争でドローン工場が破壊されたことの重要性について議論してるのが現状だよ。
原住民が土地に平和に暮らしてたのが正解だったと思うし、何かするなら、生命が宇宙で生き残るのを助けるために何をすべきかを科学に全時間を費やすべきだった。
ERPシステムの移行がうまくいかなくて、誰も直せないってのは、SAPの主要なビジネスモデルに違いないね!
設定して壊れた状態で納品されたら、それを直すためのコンサルティング費用が永遠に続くんだから。
僕はウクライナの大サポーターだけど、正直に言わせてもらうと、ロシアで人が街から引っ張り出されてるってことはないよ。2022年半ばから後半に部分的動員があった時は一時的にそうだったけど、今は違う。むしろウクライナの方がこの傾向が強いけど、彼らも物理的な強制力は使えないらしい。
ロシアは契約にサインするためのボーナスや給料を増やしてるし、ほとんど人手不足じゃない。人手不足はウクライナの方だよ。
もちろんロシア軍も、新兵にウクライナに送らないとか後方勤務だとか約束破りが多いし、“使い捨て”部隊も作ってる。毎年義務的な徴集兵に正規契約させるプレッシャーもすごいだろうけど、一部で信じられているような状況とは違うね。
同意だね。ITは、コンピューターがもっと多くの人を単なる消費者じゃなくて生産者にすべきだってことを忘れちゃった。IT管理者はコントロール、監査、権限、費用ばかり気にして、職場の生産性を高めることには全然フォーカスしてないし、多くの場合、ユーザーに反してる。
軍にもっとソフトウェアを導入しようって動きはたくさんあるけど、こういうレジリエンス(回復力)の問題って、真剣に受け止められてないと思うんだ。戦時下で使うシステムって、最適な状況じゃないし常に攻撃を受けるのに、多くの“エンタープライズ”システムなんて、そもそも紙よりちょっとマシな程度でしか機能しないじゃん。
Excelが「修正可能」って思われるせいで、オフィスワーカーが複雑な処理を「後処理」でやってるのがプロジェクト失敗の原因だって俺は思うね。
本来はデータソースを直すべきなのに、みんなExcelで全部やっちゃうからさ。
水鉄砲の軍隊がどれだけ有能で、しぶといか、あんたはきっと驚くぜ。
誰もがExcelを理解してるわけじゃない。特に「Excelの達人」しか扱えない複雑なシートは、そいつが辞めたらビジネスが破綻するリスクがあるんだ。
だから俺らがコンサルで、それをWebアプリケーションに変えてたんだよ。
2024年のアメリカの慈善寄付は5920億ドルで、そのうち3920億ドルは個人からの寄付なんだ。
俺らが寄付の1%をウクライナに回せば、それもバカにできない額だぜ。
「国際関係」には350億ドル行ってたし、ウクライナはその大部分を占めてると思う。https://givingusa.org/giving-usa-2025-u-s-charitable-giving-…
オフィスワーカーのほとんどは、Excelを使い始めた初日には何も直せなかったし、理解もしてなかった。
Excelが非技術者にとって超アクセスしやすくて使いやすいからじゃない。
普及してるから、そしてその使い方に関するトレーニングが広まってるからだよ。
ロシアのデジタル化が進んでるって驚くのはなんで?
全体主義国家なら国民を管理するためにシステムを進めるのは当然だろ。
あとロシアの教育の質が低いって?それは違うね。
競争が激しいから、自己学習でプログラマーになって稼ぐしかない状況なんだよ。
ロシアが10年遅れてるって主張は言い過ぎか?
FacebookとかGoogleは数十億人規模だけど、ロシアのサービスは数百万人規模だ。
OfficeやChromeの代替もないし、オープンソースをフォークしてロシア語版を作るのが関の山だ。
チップ製造も無理で、ロシアのLancetドローンはNVIDIAのAIチップを密輸して使ってるって話だぜ。
ある製造工場では、生産計画全部をExcelスプレッドシートでやってたんだ。
それを理解して修正できるのはコンサルタント一人だけで、そいつは工場長より稼いでたぜ。
「理解可能で修正可能」ってのは、Excelだからってわけじゃなく、アプリケーションの複雑さによるんだよ。
会社をSAPに合わせる方が、SAPを会社に合わせるよりも簡単だって言われてるよな。
90年代後半、俺が働いてた製造業は紙から自社製ERPに移行したんだ。
ところが6ヶ月後、フォークリフトがUPSを破壊してシステムが全部ぶっ壊れた。
誰もシステムを信用してなかったから、紙での作業を並行してたんだってさ。
結局、俺が辞めた6年後も紙とExcelでやってたよ。こっちの方がフォークリフトにも強いからな。
ウクライナでのサイバー戦争はマジで新局面。ドローンが偵察、妨害、迎撃を革命化してるし、ジャミングされても動くのは超サイバーパンクだね。ロシアの爆撃機をドローンで破壊したり、ドローン製造に打撃を与えたり、ウクライナの非対称戦はすごいよ。
『未来省』って本では、ドローンが超優秀になって、どこでも誰でも殺せるから戦争が時代遅れになるってアイデアがあったんだ。最小の派閥でも国のリーダーを簡単に殺せるって。面白い考えだけど、本自体はあまりお勧めしないよ。
新しい武器が出たからって防御の進化が止まるなんて思い込みだよ。対ドローン用のドローンもあるしね。攻撃ドローンの性能と対策の安さのバランスが戦争経済では重要。ウクライナでは小さいドローンがデカいドローンの翼を壊してるのも見てるでしょ。
これは片側の情報でしょ?会社はバージョンコントロール使ってるし、開発者のPCに全部Gitクローンされてるはず。CADファイルとかもローカルにコピーあるから、本当の「壊滅」は疑わしいね。ウェブサイトも普通に動いてるし。Geranium 2の生産が止まったわけじゃないしね。てか、キミのコメント、ChatGPTが書いてる?
片側の話ってのは同意だけど、ChatGPTを疑うのは違うよ。AIっぽい特徴はないし、妥当な点もいくつか挙がってる。キミはコメントのほんの一部しか見てないけど、俺は残りの部分は正しいと思うな。
ウクライナ情勢はまるで知能テストだよね。戦時中は情報が不完全だから。スノーデンやアサンジュのハックみたいに証拠がアップロードされてない限り、このハックも信憑性が低いって話になる。この記事の目的はモラルを高めることで、大衆は確固たる証拠なんて求めてないんだ。
もっとコメントを表示(2)
電子妨害が効かないドローンもあるけど、そんなもんじゃないんだよね。最近熱いのは、電波を使わない光ファイバー接続のドローンだよ。それってマジで怖い話だよね。
この戦争から学んだ教訓が、他の戦争にも通用するかは、まだわからないね。FPVドローンがこんなに重要視されてるのは、ロシアが領土獲得のために大量の兵士を投入してるからかもしれない。ほとんどの国は、そんな損失を許容できないだろうし、そんな戦争目標を立てる度胸もないと思う。だからFPVドローンは、戦争のメタにはそこまで影響しないと俺は予想するよ。それよりも、安価な長距離ジェットドローンがここで重要になってきてるね。
戦争ってのは、「ロシアは悪、だから心配ない」みたいな考えを遊び場(例えば公開コメント欄)に追いやるのにうまいもんだね。FPVドローンはこの戦争で決定的な兵器だし、両陣営が使ってるんだ。ナゴルノ・カラバフ紛争みたいな他の最近の紛争でも決定的な兵器だったよ。メキシコのカルテル(元軍人ばっかり)もすでに兵器として取り入れて使ってるしね。
ドローン戦争ってのは、例えばアメリカが持ってる精密誘導兵器の能力を、多分能力は劣るけど、はるかに安価な方法で一般化してる感じだね。言い換えれば、もしこれがアメリカがロシアと直接交戦するなら、ここ数十年見てきたようにトマホークミサイルか何かみたいな感じになるだろうけど、それが爆弾付きのAir Hogsみたいな感じになってるってことだよ。
いや、それでもFPVドローンは使われると思うよ。問題は、敵が盲目的に突進してこない場合、どれだけ役に立つかってことだね。この技術の役割は、ぶっちゃけ動く機雷原みたいなもんだよ。
俺はスイスの中規模企業で働いてるんだけどさ、とんでもないスタック(技術の組み合わせ)をベースにした自社製のERPをコーディングしてるんだ。うちはそれを“混乱によるセキュリティ”って呼んでるよ。攻撃者が侵入したとしても、そこから抜け出す道は絶対見つけられないだろうね。たとえコードの90%を破壊されたとしても、うちは動き続けるよ。だってコードベースの95%はもう古すぎて使ってないんだから。
それって、進化のプロセスが生み出すような回復力だね!
数年前、アメリカ軍の代表者とのインタビューが結構有名だったんだけどさ。彼は、たとえハッカーがアメリカのシステムに侵入したとしても、システムが古くて、複雑で、バグだらけだから何も達成できないって言ってたんだ。俺たち完全にアクセスできる奴らでさえ、ほとんど何も動かせないんだからね!もちろん、それは意図的に言われたことで、真実を全く反映してないかもしれないけどさ。でも、それが一部の人にとってのセキュリティ(そして、どこかの誰かにとっては確実そうだけどね)だって考えは、一種の「Security by Obscurity」の延長線上にあって、怖いよね。
俺も自分のモデルをベースに、いくつかの大企業向けにMRPシステムを組んだことあるから、これがどう機能するかめちゃくちゃ興味あるよ。俺はいつも推奨される標準のセキュリティとDR(Disaster Recovery)のプラクティスに加えて、キーとなる認証のために独自のOTP-hashベースのレイヤーを追加してるんだ。俺は自分が偏執的だと思ってたけど、君のシステムは単に生産ラインを動かし続けるっていうよりは、世界の終わりみたいなシナリオに聞こえるね。
まさに現実世界のICEバリアだね!笑
笑えるな。これって恐ろしいのか、それともすごいのか、どっちなんだろうね?
会社中のデータが全部消えて、ゼロからシステムを再構築するなんて、普通は準備してないよな。ゼロからブートストラップする練習をしてないと、システム構成に依存関係の循環ができてて、いざって時に順番にデプロイできなくなるんだ。昔Jenkinsが設定プッシャーに依存するようになっちゃって、履歴を巻き戻すしかないとか、そういう問題が起きるんだよ。
ITの世界では、だいたい何でも依存関係の循環があるんだ。SSOみたいに、ほとんど全てのシステムの管理に必要で、SSO自体もそれに依存しちゃうとかね。ネットワークも同じ。ゼロからの再構築は、いつでも大変で時間もかかるもんだよ。完全に独立した予備のインフラを用意しない限り、これを回避するのは無理だと思うな。
エンタープライズITではこれを”ブレイクグラス手順”って呼ぶんだ。”緊急時にはガラスを割れ”って意味だよ。通常使わない独立した管理者アカウントを主要システムに用意して、そのアクセス情報を金庫みたいな安全な場所にしまっておくんだ。でも、これを確実にテストするのは難しいし、手順やドキュメントが古くなりがちだってのが問題だね。
完全な冗長かつ分離されたインフラは非現実的だってのは同意。100%準備できるとも言ってない。でも、対策の姿勢は改善できるんだ。例えば、サンドボックス環境を用意して、準備ディスクから定期的にフルセットアップの演習をするとか。バックアップの復旧テストと概念は同じなんだけど、まあ、ほとんどの会社はこれもサボってるから、君の言うことも一理あるかもね。
問題は、ちゃんとした復旧手順とそのテストの価値ってのが、実際にシステムがぶっ壊れるまで経営陣にはわかんないってことなんだよな。何か月も何も動かなくなるような状況を経験しない限り、準備は高すぎるし、面倒だし、リソースも食いすぎるって思われちゃうんだ。これが”Ask HN”を投稿するきっかけになったよ。投稿したから見てくれ→ https://news.ycombinator.com/item?id=44582994
これって、コンパイラのブートストラップを思い出すな。例えばRustのソースコードだけあっても、それを作るには古いRustコンパイラが必要で、それがまた別のコンパイラに依存して…って、最終的にOCaml製だった時代まで遡ることになる。OCamlコンパイラも必要になっちゃうわけ。別の方法としては、最新のRustcだけコンパイルできる簡略版をhttps://github.com/dtolnay/bootstrapで使うとかね。ブートストラップの問題については、https://bootstrappable.org/に良い記事があるよ。Linuxシステムをゼロからブートストラップできるプロジェクトはhttps://github.com/fosslinux/live-bootstrapだね。
これって、まるでパラレルユニバースの悩みみたいだな。建設業界の製品寿命って50年以上、時には何百年もあるのに、俺のキャリア初期の30年未満前の建設デザインファイルが、もう互換性の問題で開けないんだ。デジタル化の努力って、結局は短期的なニーズしか満たしてないみたいに思えちゃうんだよね。古くて時代遅れって思われてる2Dドローイングが、もしかしたら将来、助けになるかもしれないぞ。(今のPDFファイルが数十年後も開けるか怪しいけどな、紙も減ってるし…)。
俺が知ってる会社でも、1年前に同じことがあったんだ。全てが依存してたメインのストレージクラスターが壊れちゃってさ。でも、開発者のラップトップから全部を再デプロイして復旧したらしいよ。
ブラックスタートって、本当に大変な問題なんだよな。Facebookでさえ、一回データセンターのドアの鍵をぶっ壊して、復旧作業をしたらしいぜ。