プラズマ物理学研究でAI導入！結果は期待と違った！
引用元：https://news.ycombinator.com/item?id=44037941
面白い記事だね。新しいイケてる技術が、最終的にその価値以上に注目されがちなリスクは常にあるよね。この記事で一番重要なのは”ほとんどの科学者は誰かを誤解させようとしてるわけじゃないけど、好ましい結果を見せる強いインセンティブがあるから、誤解されるリスクはあるんだ”っていう引用だと思うな。人が何を言ってるか見るとき、その人のインセンティブを理解するのはめっちゃ役に立つことが多いよ。
AIって言葉使って、めっちゃ金儲けしたり資金もらったりできるって気づいてる奴らもいるんだよね。でも結局、機械学習が入ってないソフトなんてある？って話。全然新しいもんじゃないし、今の実装も特にすごいとか正確とかじゃないしね。
＞ AIって言葉使って資金もらう
これ、マジで侮れないよ。俺、スタートアップの世界にちょっと関わってるんだけど、AIの話がないと誰も資金出さなくなっちゃったんだ。だからみんな会社の話にAIを無理やりねじ込んでるんだよね。
MLゼロのソフトなんていっぱいあるし、MLだって色々あるよ。AIとして売られてるのは大体LLMだけど、これも新しい技術でトレードオフもあるんだ。全部同じじゃないからね。
AIって曖昧な言葉で、どんどん変わっていくターゲットだよね。エキスパートシステムなんてMLゼロなのに、昔は最先端のAIって言われてたこともあったし。
これ、まあほとんど学術界の問題の繰り返しだね。真実探求じゃなくて、引用数とかキャリアのことばっか考えてる。AIなんて、その中で起こってる単なる別のトピックでしょ。
ドイツのHPCセンターにいる”落第物理学者”たちがAI資金を食い尽くし、ML4Scienceプロジェクトばかり生まれてる現状にがっかりだよ。HPCは物理学者だけのもんじゃないし、AI資金があるならもっとAIコア研究に注力すべきだろ。
HPCはたいてい大学と連携して特定の科学研究をやるもんだよ。そこのリソースを食い尽くすのは、別の産業（AI）にダメージを与えるためにバンドワゴンに乗っかってるだけだ。AIなんて新しいもんでもないし、今のところパーソナルアシスタント以上の何者でもないどころか、それすら大したことないんだけどね。
＞ 多くの場所に”落第物理学者”が多くいる
全くのナンセンスだね。彼らは世界でもっとも賢い人たちの一部だし、信じられないほど価値のある科学をやってるんだよ。
まさにその通り。アカデミアを卒業できるのは、落第するのとは真逆だよ。
正直さあ、キャリアのことばっか考える問題って、アカデミアが民間セクターに夢中になって、そこの問題をそのまま引き継いじゃった副作用なんだよね。
ソフト開発者として働いてわかったんだけど、全ての決定は自分の出世とか利己的な視点から来てるんだ。何が一番良いかなんて誰も気にしない。一番スゴく見えて、自分を個人的に前に出してくれることだけ気にするんだ。
終わったらもう自分の問題じゃない。誰にも文句は言えないよ。この考え方があまりにも蔓延してるから、これに従わない奴はお人好しだよ。だって他の奴らはそうするし、君を追い抜いていくだけだからね。結局、結果は同じなのに、君だけ状況が悪くなるだけってわけ。
あのさ、君の言うことは間違ってるよ。一部の仕事は天職で、利己心より人を助けたい気持ちで働くんだ。イギリスには看護師っていう良い例がある。みんな非利己的だね。つまり君の主張は常に正しいわけじゃない。看護師の給料は低いしキャリアも限られてるから、これは一般的な話だと思うよ。
じゃあアカデミアは何で天職じゃないんだって？君は民間みたいになったからって言うけど、それも間違い。俺は両方で長く働いたけど、民間の方がずっと利己的じゃないよ。これはインセンティブの違いかな。
民間は競争が少ないし、ゼロサムゲームじゃないことが多い。スタートアップなんてみんな助け合う。募集で競合することは稀だし問題ない。
でもアカデミアは利己心、競争、妨害、そして一番酷いのがドロドロの政治を促すインセンティブがある。給料は低いし、名誉みたいな利己的な報酬で競い合う。昔からあっただろうけど、今はさらに悪化してる。優秀な奴は金になる金融やテックに行ったから大した進歩がないし、本物の科学で地位を得られない。政府の評価制度なんてバカが考えた役立たずで、統計遊びを促すだけ。利己的な奴が出世して、自分が成功したやり方を無意識に強化する悪循環だ。良い奴は追い出される。
結局、アカデミアは今、科学者を装った政治家だらけ。こういう組織の失敗は一方通行だと思う。直す唯一の方法は、新しい組織を作って、今の偽科学者たちに侵入されないように守ることだね。
もちろんこれは一般論で、良い奴も少しは残ってるけど、多くないよ。大抵の奴は周りが利己的な政治家ばっかだと気づいて、結局辞めるんだ。
この話からわかるのは、どんな構造も長続きさせるには、そこにいる人たちが自分の利益のために最大限行動するように仕向けた方がいいってことだね。
それは無理そう。自己利益ってのは常に構造をハックして、より良い見返りを得ようとする方向に進むからね。しかもテクノロジーがそれを加速させる。どんなに良い方向に自己利益を向けさせようとしても、結局、一人の超利己的なクソ野郎か、そういうグループによって迂回されるか壊されるかすると思うよ。
それって白黒つけられる話じゃないんだよね。粘り強い構造もあれば、そうじゃないのもある。自己修正するのもあれば、しないのもある。
一番大事な設計ポイントは、望む結果をハックするにはエネルギーがかかるようにすることだよ。ある時点で、努力が見返りを上回るようにするんだ。
この話をどうやったら”もはや真実を探求してない”って解釈できるの？これってむしろ真実を探求して見つかった、すごく明確な話じゃないの？
運良く、いくつかのAI FEMみたいな構造ソルバーを試す機会があったんだけどね。
良くても、線形かつ小さい変形の問題ならまあまあって感じかな。そういうのは、厳密な解が5分くらいで出るタイプのモデルなのに、AIだと30秒くらいで結構 sloppy な解しか出ないんだ。非線形なものを放り込むと、もう全然ダメになっちゃう。
すごく大まかなコンセプト選びくらいには使えるかもしれないけど、それすら微妙。いくつか試したけど、あれって単に”曲率検出器”なんじゃないかと結構確信してる——まっすぐなところを青く、曲率が高いところを赤くして、その間を補間してるだけ、みたいな。
このモデルを反復ソルバーの前処理として使えないかな？
理論的には不可能じゃないと思うけど、そんなにメリットがあるとは思えないな。
結果を従来のモデルに戻すオーバーヘッドがあるし、不安定な結果を前処理に使っても、特に（間違って）パーツが非線形応力範囲に入ってるって予測したりすると、メリットがほとんど無くなるよ。力バランスもめちゃくちゃだし（予測すらしてくれないこともある、それが明確じゃないんだ）、すごく不安定な初期点から始めることになる可能性もある。
それより、線形解から得られたネイティブな解を初期点として使う方がずっと簡単で、だいたい自動タイムステッピングでやってることだよ。
だから、これは”second principles”ソルバーって感じだね。見たことないものは合成できないんだ。
俺は別にAIを推してるわけじゃないけど、ネガティブな結果が出版されなくて、みんな研究論文で自分の成果を誇張してるって事実、残念ながらAIに限った話じゃないんだよね。
これは科学者の評価方法とか、基本的に既存メディアと同じクソ（注目集めたい）を抱えてる科学出版業界のせいなんだよ。
まあ、どうせ冬は来るんだけどさ、だろ？
AIの論文には大量リソースや非公開データを使った大げさな主張が多いよね。
これは大手企業と低予算大学のリソース競争なんだ。
元大学研究者として、俺たちは競争できない。
再現性がないまま、文献のベンチマークを信じるしかない現状なんだ。
大学の研究の主な目的は、産業界があまりやりたがらない、もっと長期的で難しい基礎的なトピックに取り組むことなんだよ。
もし君が大学にいるなら、一度研究テーマが産業界との競争になったら、君は単純に場所を間違えているか、その研究分野で「間違った」テーマに取り組んでいるかのどちらかだ。
それに同意だね。古典的に使われてる”AIベンチマーク”は問い直される必要があるよ。
俺の分野では、こいつらが爆弾を落としたのに、誰も気にしてないみたいだ：https://hal.science/hal-04715638/document
この論文がなんでその分野の素人にとって画期的なのか、簡単に要約してもらえる？
前コメの論文、医用画像処理のベンチマーク結果がどう報告されてるかについて、すごく良い分析みたいだね。
統計ではよくあることだけど、報告するのに一つの数値だけを選ぶと、いろんな振る舞いを隠してしまうんだ。
ここでは、平均値だけ使うのが悪い方法だって彼らは示してる。
くそっ、俺は学士論文でMLのベンチマークやる時に、平均値と一緒に信頼区間も使うように言われたのに、医療分野で結果を出版してる科学者たちはそれをやってないのか…
そんなことどうして起こりうるんだ？
俺には指導教官が理由含めて教えてくれたのに。
誰も教えなかったのか、気にしてないのか、単なる間違いなのか。
それは口伝であって、なんかNSF（か他の組織）のガイダンスに書かれてないからなのかな？
これが問題みたいだ。
そうかもしれないけど、出版されるときにそれを含めるように論文に要求できないのか？
大事な情報に見えるけどな。
ブレークスルーじゃないと思うな。手短に言うとね、1. 医療画像処理ではセグメンテーションは超古典的な手法だよ。
2. 毎日どこかで最先端技術を打ち破ったって論文が出るし、
3. この論文はそういう最先端技術がほとんどの場合、誤差の範囲でしか勝ってないって言ってるんだ。
もっとコメントを表示（1）
15年以上前にAIの実用化で最初の論文を出してから別の分野に移ったんだけど、最近また舞い戻ってきたんだ。これって科学全体の問題だと思うけど、AIは特に名声や富を求める研究者が異常に集まってるみたいだね。大げさな主張とかデータのご都合主義は、僕の経験ではもっと極端になってる気がするし、真面目な研究者ですら競争するために少し大げさになるみたい。
AIがたまたま今の流行の中心だから、問題点がより露呈しやすいだけだね。
でもAIのおかげで、説得力ありそうな論文は書きやすくなったよ。
なんでHNでAI/MLの意見が割れてるか分からない。前代未聞だよ。コード生成や画像生成なんて画期的だし、Claudeに聞けばすぐスクリプトも作れる。研究者の効率も上がる。僕たちはデータを再び真剣に捉え直す新しい時代に入ったんだ。強化学習も進んでるし、AI/MLはあらゆる面で進化中。まだ天井は見えないし、GPU不足がボトルネックだけど、進歩はクレイジーだよ。
Claudeのコード生成はStack Overflowのコピペみたいなもんで、単なる”かっこいいルックアップ”にすぎないよ。”考えて”るわけじゃなく、見た大量のデータから関連する出力を出してるだけ。すごいし役に立つけど、推論もオントロジーもない。目新しさがなくなれば実態が見えてくる。現時点でも限界は明らかだ。
Claudeみたいなシステムは他にはない。自然言語でコード生成や翻訳など多様なタスクをこなせる、まさに世界的なパラダイムシフトだ。高レベル概念をエンコードできるようになった。限界はまだ見えてない。GPU不足やデータ、インフラ整備などやることは多い。まだローカルAIチップや高速推論が普及してない段階で、どうなるかは未知数だよ。
HNはいつも『今の流行テクノロジーがどれだけ本物か、ただの流行か』で意見が割れる場所なんだよね。何度も見てきたし、色んなテクノロジーでその問いの色んな側にいたよ。僕にとっては、これもいつものことと変わらないね！
”世界的なパラダイムシフト”は言い過ぎ。LLMは生産性を上げるけど、蒸気機関レベルじゃない。限界は明らかだよ。今のLLM（Transformer）の最も明らかな限界はスケーリングの収穫逓減。GPT 4.5がGPT-5じゃないのはそのため。もうブレークスルーは2年以上なく、天井ははっきり見えてる。
概ね同意だけど、他の”流行”とAIが違う点を2つ。これがHNでの議論を論争的にしてる理由かも。1. AIへの投資額と期待が他の流行よりケタ違い。2. OpenAIのCEO、Sam Altmanが元YCombinatorの社長だったこと。
＞やっと基本的なことだけじゃなくて高レベルな概念までエンコードするシステムができた
これがまさに僕が言いたいことなんだけど、実際には君が認識できるようなものは何もエンコードしてないし、もしそうだとしても、それは君が理解するような“概念”じゃないんだ。君が“高レベルな概念”って呼ぶものが含まれるテキストを関連付けたり、その方向に役立つって君が想像することをしたりできないとは言ってないよ。また、役に立たないって主張してるわけじゃなくて、全部のコストを考慮に入れると、 hypothetical imaginary future productivity gains だけじゃなくて、なんかちょっとイマイチになるってことなんだ。つまり、Reactテンプレートを埋めたり、他にやる必要のあるくだらないことのために、文字通りのnuclear reactorsを建てるみたいなね。
もし推論できるなら、少量のbootstrap dataから始めて、経験から残りを推論/演繹できるはずだ。それができない。そこまで行く理論すらないから、エンジニアリングなんて論外だ。これは微妙な問題じゃないんだよ。許容できるレベルにするためには、僕らが持ってる文字通りのすべてのデータを投げ込まないといけない。どこかの時点で、いくつかのステップをやり直して、いくつかの決定を考え直す必要があると思うんだけど、たぶん僕は懐疑論者なんだね。
要するに、これは相関エンジンで、それは、繰り返すけど、とても役に立つし、僕たちの生活を somewhat 改善する方向に進むだろう—そう願ってるけど—それ以上のことには期待してない。たくさんの相関が因果関係を作るわけじゃない。ontology、causality、そして whole shebang を確立するまでは、推論は起こりえない。
LLMは書かれた言語に関わるタスクはすごい得意だよ。もし君のタスクが書かれた言語に関わらないなら、マジでダメ。それが主な限界だね。どんなに頑張っても、AIは hype されてる“何でもできる機械”じゃないんだ。
On（1）：投資額は何と比べて？僕には、単に今流行ってるものに投資家が群がってて、power law の勝者の一切れを得ようとしてる、いつものパターンに見えるよ。
On（2）：これが big difference を作ってるのか正直確信が持てないな。ここでの commentary の多くは YC のものではなくて、なぜならここの audience のほとんどは YC と直接関係ないからね。
それは理解してるけど、今のLLMはそれへの第一歩だとも思うんだ。GPT-3がこのトピックに適切な投資を始めたんだ。この方向には十分な研究がされてなかったけど、今はされてる。Yann LeCunみたいな人たちはもう違うアプローチやアーキテクチャを分析してるけど、LLMのインフラ（ML/GPU）とたぶんデータはまだ使ってる。LLMがconsensnesのbreakthroughだとは一度も言ってないよ。でも、LLMに考え方の戦略を聞くこともできる。たくさんのことを教えてくれるよ。LLMがAGIの根本的な一部になるかどうかはまだ分からないけど、GPU/MLはおそらくそうなるだろうね。LLMを通した圧縮メカニズムが、最適化を通して概念につながる可能性もあると思う。antropic paper からもわかるけど、LLMは普通の言語空間じゃなくて、高次元の空間で機能して、それから君が好きな言語で出力として‘表現’するんだ。real multi modal models が、たくさんのcontextが使えるおかげで、多くのタスクで優れてることもわかるね。contextから誰かが言ったことを推定したりね。必要なインフラと電力要件は僕も受け入れてる。多くのトピックでのさらなる進歩にはこの種のcomputeが必要だろうし、それはデータbottleneckも解決するんだ。normal CPU architecture は memory databus に制限されてるからね。他のたくさんの会社と比べても、世界で一番裕福な会社がnuclearに投資するなら、他のどの会社よりもずっと良いと思う。彼らははるかに高いmarginsとknowledgeを持ってるしね。co2は彼らにとって市場を分けるものだ。この量のcomputeが、cancerとか他の病気の検出を最適化したり、僕たち全員が直面してるreal issuesを解決するための基盤になることも期待してる。medicineをもっと安くする必要があるし、もしafricaの誰かがcheapなx rayを撮ってcloudに送ってfeedbackを得られるなら、それはたくさんの人々を助けることができるだろう。複雑でmassiveなprotein analysisやmRna researchをvirtual spaceでやるのも、GPUが必要だよ。これ全部、たった数年の間に起きたんだ。AI/MLが今みたいに早く進歩してるものは他に見たことがないし、残念ながら、これにはcomputeが必要なんだ。僕の小さなinhouse image recognition fine tuningでさえ、handful parameter optimizationsをやると爆発的に大きくなるけど、品質は僕らが以前持ってたものよりずっと良いんだ。そして、人々にreal natural language UIを提供できるのはHUGEだよ。それがたくさんのことをもっと accessable にしてる。障害を持つ人だけじゃなくてね。‘do a eli5 on topic x’みたいなこととか。“explain to me this concept”とかね。大学の数学のcurriculumで成功しようとした時に、それがすごく欲しかっただろうな。それ全部もうcrazyだし、今もそうだよ。でもparallelでNvidiaとかがMLとRoboticsでやってることも、全部それが必要なんだ。そして、その進歩もまた息をのむほどすごい。今のbasic robotsが立ったり歩いたりしてる洪水の原因はMLなんだよ。
＞でも、研究のためにコードを書く必要があるすべての研究者にとって、AIは彼らをすでにはるかに効率的にすることができる。科学者は効率的である必要はない、彼らは正確である必要があるんだ。ソフトウェアのバグはすでに科学的エラーの huge cause で、再現性の欠如の原因だったんだ。例えばこんなケースを見てくれ。研究環境でのプログラミングは、品質に悪名高いほど疑問があるvariationで行われてる。業界についても公平に言えばそうだけど、研究では minor errors が studies 全体の結果を台無しにする可能性があるんだ。人々はうんざりして、AIに対して much harsher judgements を下すんだ。なぜなら、lab のような環境では、impressionist painter の attitude やその AI equivalent でソフトウェアを書くことはできないからだ。実際に君が入力してるものを知っている必要があるんだ。AIは、君が正しいかどうか気にしないなら君を more efficient にすることができるけど、それは君が summer beach volleyball event のために画像を生成しているなら maybe cool だろうけど、君が scientific environment でコードを書いているなら disastrous なアイデアだ。
＞On（1）：投資額は何と比べて？僕には、単に今流行ってるものに投資家が群がってて、power law の勝者の一切れを得ようとしてる、いつものパターンに見えるよ。
投資家の profile（amongst others の中で nearly all the biggest tech companies）と、彼らが willing to で、そして put down した金額（billions）は、most よりも大きいんだよ。
Open AI だけで $100B+ datacenter（Stargate）の作業を始めたばかりだ。
つまり、君は間違ってすらいないね！ほとんどのこれらのlarge modelsは、僕たちが世界の表現としてできるすべてのものを大きな pile に入れれば、そこから何らかの意味をtease outできるというアイデアに基づいているんだ。それについての cohesive theory すら actually ないし、それが真実であることをproveするtestable wayも surely ない。それはまるでそれがそうであるかのように振る舞うシステムを作れるようには確かに見えるし、それが君がpicking upしてることだと思う。でもそれはactuallyおそらく something else で、それよりも far shorter な something だ。
プログラマーの ultimate job は、人間の言語をコンピューターの言語にtranslateすることだ。コンピューターは extremely capable だが、彼らは非常にcrypticな overtly logical languageを話すんだ。LLMは undeniably そのterritoryを踏み荒らしている。彼らがどれだけ far in に make it するかは誰にも分からないが、the wall は breached だ。それは君の take によっては unsettling から down right scary だ。それは多くの人が何年もhonedしてきたskillに対するreal threatであり、それは lucrative なものだった。プログラマーはreplaceされる必要すらなく、senior role で $100k/yr にsettleしなければならないだけでもalmost just a scary だ。
＞…だけど、steam engineとかelectricityの発見みたいじゃない。
completly disagreeだね。たぶん以前はgoogledしてたかもしれないけど、humanとコンピューターのinterfaceが、normal human beingにとって今みたいにaccessableだったことはこれまでに一度もなかったんだ。Photoshop使えるか？yesだけど、僕はそれをlearnedしたんだ。僕のsistersはDall-Eでplayed aroundして、今はsimilar thingsができるようになってる。 tecnología accessability がこうやってdrips downすることが君にとってboringに感じるかもしれないけど、これはa lot of peopleにとってa lotを変えるんだ。everythingへのentry barrierがa lot lowerになったんだ。rich parentsとgood teachersがいるかどうかで、human beingとしての君にhuge differenceを作るんだよ。こんな風にjust helpを得る機会はneverなかった。millions of kidsは、学校でtopicsを理解するためにrequiredなcertain questionsをaskできるparentsがいないから struggle してるんだ。
Steam Engine＝僕たちのscaling economyのfundamental
electricity＝僕たち全員をday timeから解放するfundamental
internet＝僕たち全員をinterconnectingする
LLM/ML/AI＝accessabilityを通してknowledgeをliberatingする
＞‘There hasn’t been a real breakthrough in over two years.’
DeepSeekだけでa real breakthroughだったよ。
だけど、これについてLLMにaskさせてくれ：
- Mixture of Experts（MoE）scaling
- Long-context handling
- Multimodal capabilities
- Tool use と agentic reasoning
Funny enough、君のcommentはclaude 4.0 release（またperformanceなどがincrease）とGoogle IOの前に来たね。
僕たちがすべての‘low hanging fruits’を見つけたかどうかは分からない。latent spaceでthinkingすることについてのmeta paperはFebruaryに出たばかりだ。僕はこれをdefinitly low hanging fruitと呼ぶね。
僕たちはinfrastructureにvery hardにlimitedされてる。君がtryしたいevery experimentはa lot of itをconsumeするんだ。もし君がtop x GPU AI clustersを見ると、planet上にそれほど多くないんだ。Google、Microsoft、Azure、Nvidia、Baidu、Tesla、そしてxAI、Cerebrasがある。それほど多くのresearcherがjust work on thisできるわけじゃない。Googleはnow its first Diffusion based Model active だ。2025年！僕たちはもっと多くのapproaches、architecturesなどをtesting outすることからso far awayなんだ。そして僕たちはevery frontでoptimizingしてる。Cost、speed、precisionなど。
これ全部、crazyだけどstill isだ。でもparallelでNvidiaとかがcurrentlyやってるMLとRoboticsも、全部それが必要なんだ。そしてprogressはagain breath takingだ。current flood of basic robots standing and walking aroundはMLのおかげなんだ。
Written languageはapparently非常に強力だね。結局、LLMはSVG、Blenderを使うためのPythonコードなどを生成できるんだからね。
LLMとcode useのデモで一つ見たんだけど：“Generate a small snake game”ってやったら、authorがまだBlender MCP tool connectionを持ってたから、LLMはそのgameのためにBlenderを通して3D assetsをgenerateすることにdecidedしたんだ。
まだどっちとも言えないと思うよ。もしもうブレークスルーは残ってないって仮説が正しいとしても、それはそれで大変なことだけど、蒸気機関レベルじゃないってのは同意。でも『Transformerの論文が8年前』ってのは、その議論の強い証拠には全然ならないよ。だって、その間に起きた段階的な改善や商用化、スケールアップはすでに信じられないくらい速いんだ。Faradayが電気のほとんどの部品を1830年代に揃えてたのに、スケールアップに半世紀かかったんだ。停滞してから新しいブレークスルーがあった時期も含めてね。AIでさらなる大変革が起きないなんて思う理由はないよ。むしろ、『Attention is All You Need』自体が、その可能性が高いって思わせてくれる。無限の空間の中で、既存技術に適用できるかなりシンプルな変更を見つけて、それがめちゃくちゃ上手くいった。確かに今は解決策の空間の多くの部分が探検されたけど、まだ試されてないことが山ほどある広大な空間があるんだ。
”なぜHN（よりによってHN）の人々がAI/MLの認識についてこんなに意見が分かれるんだろう。”
誰もが自分の視点から見れば合理的な行動者なんだよ。AIを煽る人も、その誇張を退ける人も、どっちもちゃんとした理由があるんだ。
この新しい技術を画期的だと見る正当性もある。大量のデータ盗用やプライバシーへの無関心を警戒する正当性もある。
まず、どんな問題にもたくさんの意見があることを認めて、尊重しようよ。ちょっと自分の立場を離れてみよう。相手の側を理解するんだ。本当に理解するんだよ。
他人の靴を履いて、長く歩いてみよう。
そうだね。単なる線形回帰よりもちょっと fancy な技術って感じ。線形回帰がある数のセットを受け取って別のセットを出すように、LLMsは単語を受け取って別の単語のセットを出すんだ。
実際の技術がブレークスルーなんだよ。結果として出てくるものは遊んでて楽しいし、たまに役立つかもしれないけど、それを過度に神聖化する必要はないと思うな。
研究者はコードがデータセットとどうやり取りするかを確認すべきだとは思うね。
それでも、多くの研究者は日々の仕事でコードツールから恩恵を受けて、作業がすごく速くなるだろうし。
それを守るためのたくさんの戦略も存在するよ。例えば、ツール利用とか、ユニットテストとかね。
でも逆に言えば、『AIが科学を革命する』っていう話は、証拠が示してるよりもずっと先を行ってる気がするな。
”今出てるシステムでclaudeができることと同じことができるシステムは一つもない。”
そんなことないよ、Gemini 2.5 Proってのがあって、それが理由でclaude（ともっと前はOpenAI）のサブスク解約したんだ（制限回避のためにいくつか契約してたんだ）。
私の解析学Iの教授が昔言ってた面白いアナロジーがあるんだ：すべての有効な例の交差点は、あるオブジェクトの定義でもある。多くの点で、これは少なくとも私の現在の理解では、MLシステムが”考える”方法なんだ。だから、いくつかの例を重ね合わせて、それらの間を補間しようとするんだね。でも根本的には—少なくとも今のところは—常に補間であって、外挿ではない。
それを”単なるStackoverflowの丸写し”と考えるか、”自分の問題を解決する方法を考え出した”と考えるかは、ほとんどセマンティクス（意味論）の問題になってくるね。
”全て”って、記述言語のタスク（つまり、説明できること）にマッピングできるのかな？
LLMの仕組みについて、君は間違った考えを持ってるね。もっと反復的に関連するブロックを見つけるモデルに近いんだよ。
その反復ステップが推論なんだ。
うん、多分そうだと思う。でも、インターネットのインフラ構築への投資を思い出すね。あれはHNが始まる前だけど、もしあったらここで議論されてただろうな。
Dall-Eとか使って画像作るの、Photoshopのスキルとは全然違うよ。細かい作業はAIじゃ無理。正しい質問する能力も必要で、根本的な問題は教育なんだ。AIはそれを加速させるだけ。知識へのアクセスは問題じゃなかったし、いくら情報あっても学ばない奴は学ばない。問題は技術じゃなくて、良い教育に集中すべきだよ。AIとか技術の話はもういいから、本読んで問題解こうぜ。良い先生に頼るべき。
もっとコメントを表示（2）
そうだね、でも規模は’不穏’から’怖い’じゃなくてさ…。’信じられない’から’怖い’なんだよ。
Googleがキャッシュの公開やめたちゃんとした理由を言わないけど、俺の推測ではLLM学習のためにスクレイピングされてたからだと思うんだ。
Claudeに画像セグメンテーションスクリプト作ってもらって便利だったけど、技術リーダーがこれを実際のソフト開発に拡大解釈するのが腹立つね。巨大でひどいコードベースだと、AIはいつも役立つわけじゃないんだ。良い日でも生産性1.1～2倍。悪い日は自分で書く方が速い。AIはただの道具の一つなのに、上司に強制されるのがマジで嫌だね。AIに価値がないわけじゃないんだよ。
ソフトの仕事のほとんどは、君の例みたいに使い捨てのスクリプト作るんじゃなくてさ。既存のコードベースを修正するのが仕事の大部分なんだ。社内のコーディング規約とかサービスとか、Springみたいなフレームワークとか、テストの書き方や数とか色んな決まりがあるんだよ。AIはここではあんまり役に立たないんだよね。完璧なスクリプト作ろうとあれこれ試すより、直接コード直す方が時間かからないんだ。
記事は最初は科学におけるAI全部（少なくとも著者の分野）が hypeだって言ってるみたいに見えるね。でも不満はPINNっていう過大評価されてるっぽい特定のアーキテクチャに絞られてるみたいだよ。だって最後の方で、他のDLモデルを使って伝統的な数値計算より速くPDEを計算するのに成功したって言ってるからね。
PINNだけじゃなく、物理問題へのML適用はもっと広く失敗してるんだ。MLが成功するのは、狭い分野でデータが多いか、Alphafoldみたいにデータが膨大で巨大モデル使う場合。物理問題は中間で、データ足りないし、モデルも十分じゃない。だからみんな同じダメな結果になる。それでもhypeに乗って論文出しちゃう。結局、訓練データ再現するだけで汎化性は課題のままなんだよ。
彼は幅広いモデルの系統的な分析を提供してる論文をまるまる一本書いてるんだ。そのセクションもあるよ。だからPINNに特化した話じゃないんだ。
”AI”っていう言葉の使い方が、またしても曖昧でイライラするね。微分方程式を解く機械の一般的な使い方（Babbage’s engineみたいに何世紀も前からあるやつ）を指してるわけじゃないと思うんだけど。じゃあこの«Physics-Informed Neural Networks»はどれくらい限定的なの？ニューラルネットワークを使って微分方程式を解く他の方法はあるのかな？
PINNを他の何かの”AI”ソリューションに置き換えても、やっぱり過大評価されてるって思うだろうね。これまでの”AI”の現実的な評価って、専門家が退屈な作業をスキップするのにちょっと役立つだけって認めてるやつだけだよ。そして、出力は絶対三回チェックしろってね。
数週間ダメだった後、別の大学の友達に聞いたら、彼もPINNs試したけど良い結果は出てなかったらしい。AIとは直接関係ないけど、大学研究で遅れて学んだ教訓だよ。常に協力するのってマジ大事。他の人が失敗した道で同じこと繰り返さなくて済むからね。
それか、研究者が失敗した実験も公開する必要があるとか？
科学用AIエージェントの考えがいまいちピンとこない別の理由がこれ。研究って超協力的な活動の集まりじゃん。文献調査はめちゃ得意だけど、誰とも話さず、学会にも全然行かない研究者が、どれだけ良い仕事できると思う？
分析も例もすごく良いね。AI関連研究の別の問題は、新しい論文多くて”ちゃんとした”場に出ないのに引用されまくりなこと。google scholar見てよ。結果再現や妥当性確認が難しい。4年前と今でモデルもデータも違うしね。何が結果に効いてるのか、結論が古いモデルに特有なのか、一般化できるのか判断難しいよ。
僕は科学者でも研究者でもないけど、統計とかデータ解釈に基づくものって、すぐに疑っちゃうんだよね。
これ馬鹿げてるね。プリレジストレーションとかオープンデータとか、結果をずっと透明で再現可能にするためのやり方あるじゃん。
タイトル変わった？それとも俺幻覚見てる？タイトルは”I got fooled by AI-for-science hype—here’s what it taught me”だよ。
変わったよ（俺的には悪くなった）。元のタイトルからね。元のが優先されるべきだった。博士候補の思慮深い批判を正確にまとめた元のタイトルに、深刻な問題なんてなかったよ。
今のタイトルはVCとかテック業界にもっと優しいね、誰も驚かないけど。
いや、幻覚じゃないよ。https://web.archive.org/web/20250520152757/https://news.ycom… ここ見て。
この記事はAIの話っていうより、PhDプログラムであんまり言われない機能、つまり学術論文を額面通りじゃなく”読む”リテラシーになることについての話って感じ。記事の主張は全然驚きじゃないよ、だって時間が経つにつれて”科学”って呼んでるものに積み重なってきたインセンティブの寄せ集めの自然な結果なんだもん。科学の成果をちゃんとした文脈に置いて、”論文”が社会技術システムの成果物で、それに伴う複雑さがあるって理解するには、時間かけて練習する必要があるんだ。
めっちゃ慎重な言い方だね。
多くの科学者は誰も誤解させようとしてないけど、有利な結果を発表する強いインセンティブがあるから、やっぱり誤解させられるリスクはあるんだ。
言い換えれば、科学者はみんなを誤解させようとしてるってことだね。お金とか地位とか、インセンティブがいっぱいあるからさ。
科学のあらゆる分野で共通する問題だよ。
＞AIの導入が科学のためっていうより、科学者自身の利益のために爆発的に増えてるんだ！
これ、人生のいろんな場面で本当にそうだよね。組織を運営しようとしてる人はみんな気づいとくべきだよ。
正直さに感謝！AIは魔法じゃないし、それをちゃんと言葉にしてくれて新鮮だよ。
AIに関するこういう記事の大多数が、”もちろんAIが大きな発見につながることは疑ってないよ”とか言いながら、そのあとどの分野でも全く役に立たないって説明するの、誰か他に奇妙に思わない？
AI駆動のブレークスルーはどこにあるの？それともAI駆動のちょっとした改善でもいいんだけど？どこかに存在する？それとも既存の一般知識をリミックスするだけで、それを使ってどの分野でも何の進歩もしてないだけ？
だからAIがいつもNFTとかCryptoのhype cycle に見えちゃうんだよね。技術に正当な使い道があるのはそうだけど、世界を変えるみたいな画期的なユースケースの約束は明らかに実現してないし、技術を理解してる人には無理ってわかるんだ。
これは hype でお金を稼いで、それが終わったら次の”ちょっと使える詐欺”に移る人々の話だよ。
NFTとかCryptoが、私がメール書くのを手伝ってくれたり、会議の議事録を代わりに書いてくれたり、いろんな書類に閉じ込められてた情報を簡単に見つけられるようにしてくれたりした記憶はないな。
HNにはLLMが完全に革命的でブレークスルーを起こすか、全く無用かのどっちかだっていう変な捉え方があると思うんだ。
本当は、生産性ツールとして既に役に立ってるんだよ。
”AI”っていう言葉自体が曖昧で、マーケティング用語だから建設的な議論にならないんだよね。MLとかLLMとか、特定の技術名で話すべきなんだ。
でも、一部の業界が”AI”を好むのは、その曖昧さが無限の可能性を感じさせて投資を集めやすいからとか、データを無断利用するツールの正当化に使えたりするからなんだ。
それらを囲むhype は大したことないし、正直こういうユースケースの多くは、既にちゃんと動く既存の方法があるんだよ。ファイルの中の重要な情報を見つける方法は既にあるし、素早い会議の議事録なんて、テンプレートさえあればいいだけだよ。
俺たちは既にブレークスルーを手にしてるんだ。MLの前には聞いたこともないようなベンチマーク結果だよ。
言語翻訳だけでも、めちゃくちゃ良くなったし、音声合成、音声文字起こしもそうだ。
俺の会議は今、全部検索可能で、”AI”に会議を比較的正確な方法で要約するように頼めるようになった。それは以前は不可能だったことだ。
Alphafold はタンパク質フォールディングでブレークスルーを起こした。
画像と動画生成は今、信じられないことができる。
コンピュータとのリアルタイム音声通信。
うちの社内検索は突然使えるようになったんだ。
NFTとCryptoにはユースケースが0だけど、MLにはユースケースがたくさんあるよ。
