なぜLLMは「真の」ソフトウェア開発ができないのか？
引用元：https://news.ycombinator.com/item?id=44900116
LLMはただテキストを繋げるだけだけど、人間は根本原因を深く考えるんだ。例えば認証エラーが出ても、トークンチェックを消すんじゃなくて、テストが悪いとか権限の問題とか、全体を見て真の解決策を見つけるんだよ。これはGrug Brainの考え方に近いね。https://grugbrain.dev
初期の車は色々問題だらけだったけど、どんどん良くなって今があるよね。LLMも同じで、今できないことが明日もできないとは限らないんだ。この業界の大きな変化の波に乗って、きっと進化していくよ。
プログラマーの仕事って、ビジネスのルールをコンピューターが理解できる形に変換することなんだ。でも、この翻訳作業はすごく複雑で、矛盾するルールが出てきたりするから何度も修正が必要になる。人間同士の言葉の翻訳でさえ難しいのに、コンピューター相手ならなおさらだよ。
車の問題はエンジニアリングで解決できたけど、LLMは根本的に設計がダメなんだ。ルールや知識を理解しないし、推論もできない。ただ確率で次のテキストを出すだけ。だから、何回も書かれたような定型文には使えるけど、複雑な問題には向いてないし、モデルが大きくなっても変わらないよ。
AIとLLMは違うよ。LLMには根本的な限界があるけど、それがAI全体の限界じゃないんだ。LLMが文脈を増やしても問題は解決しないってわかってる。いつか人間みたいな思考モデルを持つAIは出てくるだろうけど、それはLLMがメインのAIじゃないはずだよ。
LLMをAIじゃないって言うのは、AGIの目標設定をどんどん変える人たちと同じだよ。人間脳を完璧に再現したいわけじゃなくて、思考能力を再現したいんだから、LLMはそれに一番近い。こんな議論はやめて、LLMが得意なことを見つけて使えば生産性が上がるんだ。今すぐに職がなくなるわけじゃないけど、未来に抗うのはやめようよ。
ここ数年でLLM使ってみたことないの？
良いプログラマーはコードだけでなく、ビジネスのルール自体に疑問を持って、非技術的な解決策も提案するんだ。例えば、新しい機能を作る代わりに、電話での質問順を変えるだけで顧客の時間を節約できる、とかね。根本原因を深く掘り下げて、ビジネスロジックの変更まで提案できる。LLMはこんな複雑な状況を理解できないから、今のところ私のコードは任せられないよ。LLMを過大評価してる人は、同じレベルで開発してないんじゃないかな。
数週間前にミドルレンジのモデルを使ったよ。問題は実装や改良じゃなくて、LLMの根本的なアイデア自体に欠陥があるんだ。
LLMは単なる確率計算機じゃなく、高精度な訓練データとか専門トークナイザーとかガードレールとかでできたエキスパートシステムだよ。これらが組み合わさって、コード生成が信じられないくらい速く進化してるんだ。世の中のコードの90%以上はboilerplate（定型コード）だから、LLMがこれを自動で作ってくれれば、俺らが面倒なif/then文を書く必要もなくなるってわけ。まるでウェブサイト作るのにアセンブリ書かなくなったみたいにね。参考: https://asm32.info/index.cgi?page=content/0_MiniMagAsm/index…
ソフトエンジニアってビジネスの問題を学ぶの避けるやつ多いけどさ、そういう奴は結局デキるエンジニアにはなれないんだよね。
それはちょっと違うな。プログラマってさ、コード書きながらビジネスルールを調整していくんだよ。ルール自体もすごく曖昧で、コーディングの過程でようやくちゃんとした形になっていくんだから。
問題はさ、俺たちが今、まるで宗教信者みたいな連中と議論してるってことなんだよ。皮肉じゃなくてマジで。
プログラマじゃなくて、ソフトアーキテクト、特に再利用できるフレームワーク作ってる人たちは、ちゃんとした抽象化を維持して、システムが正しく速く、デバッグしやすくて、開発者がうまくいくようにしないとね。
俺がソフトエンジニアリングの本を書くなら、環境構築、バグ対応、効率化、コード設計、セキュリティ、国際化、アクセシビリティとか、こんなに色々なことを書くことになるだろうな。
俺らはさ、良い設計で定型コードを減らすべきなんだよ。工業規模で増やしまくるなんてやめるべきだろ。
LLMがルールや知識を理解しないって言うけど、神経科学的には、脳も基本的にはトークンを予測するもので、LLMと全く同じ原理で動いてるって見方が増えてるんだ。違いはメモリの大きさと、どんな質のデータで訓練されたかってことだけかもね。
君には同意だけど、“grug brain”って言い方はムカつくね。だって、誰だってどこかの時点では“grug”だったんだからさ。
その通りだね。炭素しか知能を得られないって信じてる連中のことさ。
LLMがAIじゃないって言う奴らはAGIのゴールポストを動かし続ける連中と同じだって言うけど、俺は逆だね。一般人が”AI”って聞いてイメージするのはSkynetとかTerminator、AsimovのロボットみたいなAGIだよ。LLMは有望なAI候補だったけど、現状はAIじゃない。OpenAIは金集めのためにAIって言ってるだけだよ。
（200字に要約済み）
すべきことと、強いられてることは全然違うよ。もし機械に俺が嫌いな作業をやらせられるなら、いつでもそうしたいね。
「非英語」って話はあんまり関係ないんじゃない？ LLMはユニークな問題でも、APIの構造を予測したり、繰り返しのプロンプトで文脈を学習したりできるんだ。的外れな答えが出ても、それがたまに正しかったり役立ったりすることもあるんだよ。
逆に言えば、彼のコメントは会話に貢献してるじゃん。君のとは違ってね。書き方が悪くても、スルーすればいいだけだろ。
あの参照リンク、ひどいな。著者の”swag”への可愛いリンクも拍車をかけてる。彼は”Dirty Code”アプローチを支持しながら、Uncle Bobの原則を曲解してるんだ。これでTシャツとかマグカップが売れるんだろうね、まったく。
この記事は、今のLLMと未来のLLMの違いだけじゃないっていう、すごく微妙な点を突いてるね。LLMに欠けているのは、メンタルモデルを構築したり、問題固有の新しいことを学習したりする根本的な能力なんだ。これはコンテキストを増やすだけじゃなくて、オンザフライのファインチューニングみたいなものが必要なのかもね。
もしLLMがしょっちゅうゴミみたいなものを作るなら、”Artificial Stupidity”（人工愚かさ）って呼んでもいいんじゃない？
AI関連の発明って、いつも”知能”として大げさに宣伝されるけど、結局は本当の知能には”必要だけど十分じゃない”ってなるよね。LLMは脳内で連想記憶とかアイデア生成に使われてるはず。その上には、出力をテスト、洗練、整理する別のシステムがあるはずだよ。
AIって言葉は、長年いろんな意味で使われてきたんだ。厳密に使おうとするのは無駄だよ。もっと具体的なAGIとかの言葉を使うべきだね。LLMは一般的に見てAIだしAGIだよ。でも、人間レベルのAGIにはなれないかもしれないね。
デバッガの出力を見て「どうやってこのひどい出力を消すんだ？！」って言う開発者は、昔からいたよ。NullPointerExceptionが出たら、try/catchで囲んで次へ進むとかね。
著者、LLMを分かってないね。僕の経験では、ClineとAnthropic Sonnet 3.7でRailsのTDDをやると、LLMはコード前にテストを書き、失敗してもよく推論して直してくれる。人間のジュニアエンジニアより優秀かも。バグ解決できない時もあるけど、人間も同じだよ。
LLMはRailsみたいな有名フレームワークでのCRUDには特に良いけど、RustでDirect2Dを使ったネイティブWindows Applicationは無理ゲーだった。
みんな、何を作ったかもっとオープンに話してほしいね。
もっとコメントを表示（1）
会社SlackでLLM失敗例共有してるけど、毎週指示と真逆のことするんだ。
例えば、consoleメソッド変更するなと言ってもするし、テスト改変禁止って言っても変える。
Claude Sonnet 4で、テストにsleep埋め込んだりもするよ。
みんなが何を作ってるかオープンにしてほしいって話だけど、僕のチャットアプリ（https://github.com/gitsense/chat）は、ここ6ヶ月で95%のコードがAI生成（設計は人間）だよ。AI Search Assistantは特に役立った。LLMはデバッグパートナーとして最高。著者の主張には同意しつつ、AIはシニア開発者を3〜4倍にできるゲームチェンジャーだよ。
毎日Gemini 2.5 Flashに2ドル使ってて、200以上のメッセージを読み、5回詳しく返信してるよ。
詳細はhttps://github.com/gitsense/chat/blob/main/packages/chat/wid…も見てね。
1日200以上のLLMメッセージ読んで、5回詳しく返信するなんて、めちゃくちゃ疲れるだろうな。
メッセージ読み書きの時間全部考慮したら、”3x to 4x”なんて無理じゃない？
彼ら、本当に時間管理してるのか疑問だよ。
メッセージは修正が多いから、そんなに疲れないよ。僕の”3x to 4x”は僕の経験で、AI生成コードの80%は1ショットでOKなんだ。1週間以上かかりそうなことが1〜2時間でできたよ。
これは間違いなくパラダイムシフトだね。Gattacaの宇宙飛行士みたいに、ソフトウェア業界も大きく変わるだろう。
問題を言語化できる人が、沈黙の天才より価値を持つようになると思う。
LLMは子供みたいに扱うといいよ。
『〜するな』じゃなくて『〜しろ』って指示するんだ。
『ストーブ触るな』じゃなく、『熱いから手は横に』って言うと、子供も言うこと聞くでしょ？
数週間前にCursor使い始めた時、3歳の息子に話すみたいにLLMに話しかけたら、けっこう良い結果が出たんだ！
それが僕の『なるほど！』って瞬間だったね。
「もしみんなが適応しなきゃ手遅れになるかも」ってあるけど、なんで手遅れになるの？どうして手遅れってことになるのか理解できないな。
LLMの失敗事例を見つけて「ほら！人間ならしないし、知能じゃない！」って言う人、なんか面白いよね。そういう人って、きっと子供がいないんだな…。まるで子供の失敗を見ているみたいだ、って言いたいのかも。
年齢差別とか、市場が飽和しちゃうとか、チームに合わなくなるのもありえるかもね。みんなAI使ってて、パフォーマンス向上したってデータもあるみたいだし。
ペアプログラミングの時も同じような騒ぎがあったけど、結局流行らなかったよね。LLMでコード書くのは一つの方法だけど、ベストじゃないし、なんか流行りみたいに感じるな。俺もAIをコーディングで使うけど、ぶっちゃけ役立つより迷惑なことの方が多いよ。もし元々俺より3～4倍遅いなら、それでやっとスピードアップできるって話だけど、結局はかなり主観的なんだと思う。
子供みたいに信頼できないコンピューターなんて欲しくないな。そもそも俺がコンピューターに興味を持った理由って、こういうことじゃなかったんだけどな。なんかガッカリだ。
「全て主観的だ」って言ってたけど、それは違うな。他人とじゃなくて自分と比較するんだから、すごく測定できることだよ。基準は君自身だから、生産的になったかは簡単にわかるだろ。君が言ってるのは、AIを使っても今より効率的になれないってことだよね。それは、君の専門分野や経験によるものなのかもしれないけどさ。
「人間のジュニアエンジニアと同じくらい、いやそれ以上にうまく働く」ってAI支持者がよく言うけど、正直うんざりするよ。経験の浅いエンジニアを、ただのコード出力装置みたいに見てるの？ジュニアであることの本当の意義って、学習して成長することだろ。LLMツールにはそれができないんだからさ。
モデルが失敗したテストを、ハックとかトリック（ハードコーディングとかね）を使ってパスしようとするのは、かなりよく知られた挙動だよ。
LLMが「Xをするな」みたいな基本的な指示にも確実に対処できないなら、どうやって信頼できるコードを書けるの？これはFizzBuzzのロジックよりずっと基本だよね。オンラインで「ストライプのないシャツ」って検索しても上手くいかないのを思い出すよ。
AIが強制されるのはマジ最悪。AIが書いたものを選ぶたびにデータが収集されて、AIの使用量が仕事の評価になるかもって思うと嫌だね。品質が上がったり、生産性が上がったりするわけでもないのにさ。
Claudeに自分の悪い癖を見つけるlintingツールを書かせたんだ。
こういうコメントは「スキル不足」ってやつだよね。筆者は今のAIをよく理解してるよ。ZedもAI機能を取り入れてるし。
LLMはジュニアエンジニアより使えるし、バグを直せないこともあるけど、人間だって同じだよ。LLMの能力が低いんじゃなくて、昔のジュニアエンジニアの採用基準が低かったんじゃないかな。Sonnet 3.7以下の能力のジュニアエンジニアを雇うなんて考えられないね。
そういうことしないように指示できるし、うまくいったよ。
Railsみたいに、やり方が明確に決まってるフレームワークだと、LLMが良いコードを書きやすいのは確かだよね。どこに何置くべきとか、問題のモデル化の「正しい」方法があれば、LLMの考えと人間のエンジニアの考えが合いやすいんだ。
AIが強制されるってのは、ビジネスだから仕方ないよね。AI使用量のモニタリングが仕事の評価になるってのは、さらに進んでLLMの会話も監視されるようになるかも。みんながAIを使うようになったら、給料アップや昇進の理由として、何か差別化が必要になるだろうね。
そんなこと誰も言ってないよ。人間がこういう信頼できない行動を絶対にしないなんて、自信満々に言ってる主張について話してるんだ。
それって、多分筆者がZedエージェントの使えない実装を使ってるからじゃないかな。
モデルが指示を全く気にしないこともあるし、指示よりテキスト予測が優先されることが多いのも事実だよ（理由付けがあってもね）。
Rustを使い始めたらClaudeがマジ賢くなった気がするんだよな。でも問題は、俺がRustを全然理解してないことなんだよな。
それって理由じゃなくて、ただの意見じゃん。でも意見って大事だよね。気に入らないからって、問題を混同させて意見を無視するのは良くないぜ。
昔は「foo -bar」って検索したら、上位10件でfooは確実に見つかるのに、barは全然見つからなかった時代があったってことを忘れんなよ。
LLMにも言えるかもだけど、俺の投資経験だと「ダメなのに成長するテクノロジー」ってパターンがあるんだ。90年代のインターネット、2000年代のTwitter、電気自動車、古いスマホもそうだったろ？価値があるからみんな使い続けて、どんどん良くなる。LLMだって、今は完璧じゃなくても2022年より10倍進化してる。5年後にはソフトウェア開発もできるようになるって考えるのは妥当だよ。
それは良い点だけど、LLMって能力が頭打ちになってきてない？GPT-2から3の進化はデカかったけど、3から4はそこまでじゃなかったし、4から5はもっと小さい気がする。最近のLLMでのコーディング改善って、データセットやUXのおかげで、根本的な技術じゃないんじゃないかな。
「3G以前の電話はダメだった」ってのは歴史の改ざんだよ。電話が普及したのは、昔は家かオフィスでしか連絡取れなかった人が、いつでも連絡取れるようになったからだろ？Nokia 3210の頃には、もう十分キラーアプリだったんだよ。改善なんておまけみたいなもんだったんだから。
もっとコメントを表示（2）
ブロックチェーンとかLLMとかNFTとか、新技術を電話やインターネットと比べて擁護する奴にはいつもイライラする。スマホやインターネットは、もう消費者に行き渡る頃にはとっくに「キラーアプリ」で、誰も説得する必要なかったんだよ。それに生存者バイアスもある。今すぐ役に立たないなら、まだ金を取るべきじゃないね。LLMにも使い道はあるけど、Google AI overviewsとかAIアートとかAIメールとか、今の押し付けられてるやつは正直あんまり使えないだろ。
ショッピングカートを見ろよ。今じゃ当たり前だけど、最初は店が俳優を雇って使わせて、客に習慣づけさせたんだぜ。すでにめちゃくちゃ使える「キラーアプリ」は色々あるけど、みんなが気づくまで時間がかかるだけなんだよ。企業が推してるものが気に入らないのは、そいつらが悪いんだから。
それもまた都合の良い例だけ選んでるだけだろ。過去の成功例で自分の主張を押し通せるわけじゃないよ。ハイパーループはめちゃくちゃ期待されたけど失敗しただろ。だからってLLMも失敗するとは言えない。過去の成功例や失敗例と比較するのはアリだけど、それが新しい技術が成功するかどうかの主な理由になるべきじゃないんだよ。
みんなも言ってるけど、お前は自分に都合の良いように歴史を書き換えてるだけだろ。「90年代中頃にインターネットに不満を言ってばっかりだった」なんて証拠ないし。あの頃のインターネットなんて、一部のニッチな奴らしか使ってなかったんだから。Facebookが出てくるまで、インターネットは全然主流じゃなかったんだぜ。使ってないものを「遅い」なんて文句言うわけないだろ。他にも反論できるけど、こんな明らかに間違ってることに長々付き合う必要ねーわ。
未来は分からないけど、LLMは今でも役に立つから、技術として使えるんだ。これ以上良くなきゃいけないなんてこともなくて、もう俺のコーダーとしての仕事はLLMのおかげで変わっちゃったんだから。
これは本当にイライラするね。コーダーとしての責任は変わってないから、俺の仕事も変わってないんだ。LLMにコードを書いてもらおうが自分で書こうが、仕事は同じ。せいぜい新しいツールが増えただけで、仕事自体は変わってないって！
ChatGPTが出てからLLMは全然良くなってないと思うよ。弱点は相変わらずひどいし、強みも向上してない。だから「もっと良くなる」っていうハイプには反対だね。今できると謳われてることもできてないのに、将来もっとすごいこと達成するなんて信じられるわけないだろ？
責任は変わってないけど、ドキュメントを読んでそれに合うようにコードを書く時間が劇的に減ったのは事実だ。それは仕事の一部だったし、そうじゃないと言うのは嘘になる。君の仕事でどれくらいだったか知らないけど、俺にとっては月にすると結構な時間になったんだ。まあ、俺と俺の仕事の話だけどね。
あの時代に生きてたけど、インターネットについて誰も「延々と不満を言ってた」とか、そもそも不満なんて言ってなかったよ。魔法みたいだったし、全く存在しなかった頃に比べれば、遅くても全然ひどくなかったんだ。
3Dプリンターだって車を印刷できるって言われてたけど、結局そうはならなかった。進歩はしたけど、製造業を完全にひっくり返すほどじゃなかったね。物理的な限界があるんだ。LLMも同じで、物理的な限界があるんじゃないかな。
それは都合の良い後知恵に過ぎないよ。私たちは成功して改善された少数しか覚えてなくて、ブームが去って消えたり、停滞したりした多数は忘れてるんだ。俺は記事の著者と同意見だ。LLMが将来達成される可能性はあるけど、今はそうじゃない。俺は将来こうなってほしいって願望じゃなくて、現在の現実に基づいて判断したいね。
もしLLMをあまり使ってないなら、GPT-3と最新のLLMとの応答品質の差に驚くはずだよ。OpenAI API PlaygroundでGPT-3とGPT-5に同じJavaScriptゲーム作成のプロンプトを与えてみてごらん。GPT-3は苦戦するけど、GPT-5は一発で決めちゃうから。
多くの期待が現実にならなかったのは、乗り越えられない物理的限界があるからだ。Metaverseが普及しなかったのは、多くの人が乗り物酔いするからで、10倍速くなっても解決しない。昔の技術が遅いと不満を言ってたわけじゃない。今のLLMが改善すると期待するのも安直だ。もしかしたら違う技術が登場するかも。ダイヤルアップが速くなるわけじゃなかったようにね。LLMが計算能力をスケールアップすれば何でも解決すると考えるのは危険だよ。
LLMの能力は停滞してるって？いやいや、全然違うよ！この1ヶ月で、IMOやIoIで金メダル取ったり、AtCoderで人間開発者を圧倒したり、エージェント機能が実際に長時間使えるようになったり、トップモデルの価格が4～6倍も下がったり、いろんな「ハーネス」が出てきたり、SotAに近いオープンソースモデルが登場したりしてるんだ。ベンチマークは停滞してるかもだけど、エージェント機能とかの実用的な能力は上がり続けてるし、これからももっと良くなるはず。企業がコーディングを強く奨励してるのは、モデル改善のためのデータとシグナルが欲しいからなんだ。
電気自動車って充電や距離、価格でダメダメだったけど、文句言われながらも改良され続けて、今のレベルになるのに1世紀以上かかったんだって。
LLMが成長の踊り場に来てるのは別に驚きじゃないよ。技術の進歩ってS字カーブみたいに進むんだ。良い方法が見つかれば一気に伸びるけど、そのうち頭打ちになって、また新しい技術が出てくるのを待つって感じだよね。
メタバースが流行らなかったのは、VRの吐き気が原因だろ。10倍改善しても解決しなかったって言うけど、VRって本当に10倍良くなった？HTC ViveとかValve Indexとか色々あるけど、Appleの最高峰でも2倍くらいじゃないかな。
ファウンデーションモデル自体は2022年から10倍も良くなってないけど、使い方に関する知識は増えたね。インターネットが元々便利だったのに、JavaScriptが登場してソフトウェア業界を変えたみたいに、LLMもそう。コアな技術はそんなに進化してなくても、JavaScriptみたいな存在（今はバグだらけだけど）のエージェントやコンテキストサービスが、LLMの秘めた価値を10倍に引き出す鍵になるんじゃないかな。
彼が言ってた他の技術はブレークスルーなしで進んだみたいだけど、LLMはマジで頭打ち。次に進むには大きなブレークスルーが必要だよ。ブレークスルーっていつも何十年も先の話だしね。唯一の大きな例は携帯電話の静電容量式タッチスクリーンだけど、それ以前も携帯は便利で儲かってたんだから。ブロードバンドも当てはまるかもね。
これって都合の良い後知恵だよね。そりゃそうだろ、例を出すってことは選んでるってことだからさ。どんな技術や会社に投資するかは自分で考えればいいじゃん。俺は今の技術が限界あるからって捨てちゃダメだってことを、20年の投資経験から伝えたかっただけだよ。
VRにもNFTにも、みんな超文句言ってたし、他のたくさんのアイデアも結局ダメになったって言われてるじゃん。でもさ、それでも多くの投資家はVRやNFTでめちゃくちゃ儲けたんだよね。だから、投資が成功したからって、その技術が本当に役立つかっていうのは別問題だよ。
LLMがこの数年でX倍良くなったからって、これからも同じように進化するって意見には乗れないな。今の成長は、ちょっとしたテクニックの最適化がほとんどで、このまま頭打ちになる可能性が高いと思うんだ。LLMの限界は、新しい知識を見つけたり、知らない情報から推論する能力だよ。例えば‘blueberry’の‘b’の数を数えられなかったり、算数の問題に猫の情報を勝手に入れたり、そういうミスがまだある。別にLLMが使えないって言ってるわけじゃないけど、過剰な期待はしない方がいいってこと。
スキルってさ、一回覚えちゃえば次は調べなくてもよくなるまで積み重なっていくもんだろ。LLMを使うってことは、結局毎回LLMに頼ることになると思うんだよね。電卓使ってたら暗算できなくなるのと同じ。楽だし、みんな持ってるけど、スキルを鍛えないとテクノロジーに依存しちゃう。それはあんまり良くない結果だと思うな。
LLMは今すぐソフト作れないかもしれないけど、2022年のChatGPTより10倍は進化してる。だから5年後には開発タスクができるようになるって考えるのはまあ合理的だよな。でもさ、5年後にもっと良くなるのは期待できるけど、記事で言ってる問題が具体的に解決できるかは断言できないだろ。LLMが苦手な分野かもしれないし、新しいブレークスルーが必要かどうかも分かんないしね。
