AIに革新的なアイデアなんてない？あるのは「新しいデータセット」だけだ
引用元：https://news.ycombinator.com/item?id=44423983
正直、AIはまだまだ初期段階だと思う。言語と視覚ではすごい進歩を見せたけど、それだけじゃん。人間って触覚とか味覚とか、いろんな感覚で世界を理解してるのに、今のAIはそこを全然捉えられてないんだ。
本当のAIのフロンティアは、人間が生きる感覚に満ちた世界にあるはず。そのためには、新しいハードウェアやデータ形式、学習方法が必要だよ。
最初のコメントの「言語と視覚は知能の中心じゃない」ってのには反対だな。オンラインの世界では言語、動画、音声で十分だし、人間と猿を比べても、言語とか視覚・聴覚こそが決定的に違う部分だと思うんだ。
他の感覚も面白いけど、知能の話ならやっぱりそっちが重要じゃない？
「驚くべき進歩」って言うけど、AIは1970年代の技術を今のすごい機械で動かしてるだけじゃない？ これが進歩なのか疑問だし、モデルとか計算方法で劇的に性能が上がる見込みもなさそうに見えるんだけど。
さっきのコメントで「言語と視覚が知能の中心じゃない」って言っちゃったけど、あれはちょっと言い過ぎだったかも。でも、人間の認知にはどんな感覚も大事だって意見は変えないよ。
言語って感覚とか認知を抽象化したものだよね。今の生成モデルは出力だけを真似てる感じで、身体性っていう土台がないから、時空間とか因果関係みたいな大事な理解がなくて、推論がめっちゃ弱いんだと思う。
AIに必要なのは、有機的な適応と記憶の持続性だと思う。人間の神経は変化するけど、LLMは固定されててリアルタイムに学習したり記憶したりできないんだ。
本当に賢い機械を作るなら、自分でリアルタイムで学んで記憶する能力がないとダメだよ。
「言語と視覚は始まり」って言うけど、今のAIの仕組みだと、もう終わりが近いかもね。ここ数年LLMのニュースばっかりで、他のAI分野で何かすごいブレークスルーってあったっけ？ 俺はあんまり聞かないな。
「言語は感覚の抽象化」って意見に反対。言語は感覚とか認知から独立して存在できるよ。プログラミング言語みたいにね。
身体性は面白いけど、別に知能に絶対必要ってわけじゃないと思う。量子力学みたいに、身体の感覚が邪魔になることだってあるんだから。
最初のコメントの「真のAIは感覚世界に」って話、マジで同意。ドクター・フーのダーレクみたいに、人間も体全体が自分なんだよ。体を運転してるだけじゃないってこと。
人間の手と指は、並外れた繊細さで知られてるんだ。物を操作する能力で人間に匹敵する動物は数少ないよ。タコ、ゾウ、類人猿だけが、器用さと繊細さにおいて同じくらいだね。
体の麻痺があるのに、電動車椅子で自分の体を文字通り運転して精神的に発達した人がたくさんいるよね。現代のAIが持ってる入力（テキスト、動画、音声）だけで、瓶の中に脳が存在したり発達したりできないなんて証拠はまったくないと思うな。
視覚は、この宇宙で周りの情報を簡単に集められる最速のスピードを利用してるのが面白いよね。だから特別で、すごく価値があるんだと思う。
言語は世界の情報をエンコードして圧縮できるから、もちろん信じられないくらい強力で、コミュニケーションの帯域幅をめちゃくちゃ増やせるんだ。
高レベルの認知プロセスには、聴覚と発話が重要な足がかりだったって言えるかな。何らかの理由で、音声で比較的高い帯域幅の信号を生成できる器官を進化させる方が、視覚でそれをするもの（自然界にテ○タビの画面みたいなお腹はほぼない）を進化させるより簡単なようだからね。
この意味で考えるのが面白いゲーム：絵しりとりやジェスチャーゲーム。
「1970年代の古い技術を引っ張り出してきて、100万倍パワフルなマシンで使っただけ。これを進歩と呼べるかどうかわからない」
もしこれが皮肉とかじゃないなら、君には本当にエキサイティングな研究と学びが待ってるよ！今のところ「コンピューターなんてただの足し算と掛け算で、それは何千年も前からあるじゃん！」って聞こえるね。
そうだね、でも新しいアイデアってあるの？それとも単なる願い？
忘れることってなぜ重要なんだろう？適用されなくなる期限があるものや、本当だと思ってたことが間違いだと判明しても、どこで間違えたのかを見るのに役立つよね。
人間はシナプスの数に制限があるから忘れるのが役に立つんだろうけど、機械は使えないものをディープストレージに移して、人間の深い記憶があるきっかけで掘り起こされるのと同じように、必要になったら取り出せるのかもしれないね。
これは純粋な魔術的思考だよ。AIがくっついてなければ、正しく一蹴されるような話だ。
他のことならこんな話し方はしないだろうね。
「Rustはまだ表面をかじっただけで、今のところコードにしか焦点を当てていないし、豪邸を建てたり世界の飢餓を終わらせたりすることはまだ探求してない」みたいに、他の何かについてこんな話し方をするのを想像してみてよ。
タッチってかなりクールなスキルをくれるよね。言語、動画、音声はオンラインインタラクションに必要な全部だけどね。タイピングやポインティングにタッチを使うのは、より効率的で効果的なインターフェースがないからなだけかもしれないけど。
大人は何か重要なことにタッチを使ってないかもしれない。でも赤ちゃんは周りのものを探検するためにタッチに頼ってるんだ。何でも口に入れるのはなぜ？舌が一番触覚が敏感な器官だからだよ。舌で触ってものを探検してるんだ。
そこから何を学んでるかは推測しかできないけど、写真やテキストを処理するだけでは手に入れるのが難しい、幾何学とか物体の表面特性の理解を得てるんじゃないかな。
「君のコメントは特に知能についてだった」
知能について話すと、LLMは3D空間や物質科学の深い理解や直感なしに人間に匹敵できるとは信じないよ。少なくとも触覚と温度感覚が必要だ。たぶん何十億もの単語でこれらのことを記述したテキストで置き換えることはできるかもしれないけど、それは疑わしいな。
それらの感覚の一つ、あるいは二つを欠いている人でも、普通にうまくやってるよ。
「瓶の中に脳が存在したり発達したりできない証拠」について。
脳はできるよ。もちろんできる。それはただの信号処理マシンだからね。
でも、人間が考える上で核になると考える何かを失うことになるんじゃない？認知の一部で苦労するんじゃない？
例えば、縦線だけの環境で育った猫を使った実験があったよね。彼らは普通の部屋に入れられた時、平らな表面を理解するのに苦労したんだ。
https://computervisionblog.wordpress.com/2013/06/01/cats-and…
化学分野でノーベル賞が2つも出てるよ。見てみて：https://www.nature.com/articles/s41746-024-01345-9
視覚コミュニケーションについてだけど、姿勢やジェスチャー、顔の表情を少し軽視しすぎじゃない？話し言葉ほど帯域幅は高くないけど、遅延がすごく少なくて、必要ならかなりステルスにできるんだ。
＞君には本当にエキサイティングな研究と学習が待ってるね
研究は終わってるんだよ。だからその点を指摘したんだ。君は反論もせず、見下して失礼だね。それは見せかけの知性の紙帽子だよ。あくびが出るね。
＞現時点では「コンピューターはただの足し算と掛け算で、それは何千年も前からある！」みたいに聞こえるね
じゃあ具体的に言おう。モデルの問題点は、モデル生成に指数関数的なコスト増加が必要なのに、出力性能は線形にしか増えないことだ。このコストカーブは、現在のハードウェア性能向上のカーブより悪いくらいだよ。つまり、根本的なアルゴリズム改善が全く見られない限り、これは厳しい状況に追い込まれてる。何十億ドルもの投機的資金をつぎ込んでも改善は見られないんだ。要するに、AI冬の時代2.0だよ。それについて何か計画はあるの？それに対処する具体的な研究は？この件について君自身の考えは？
ノーベル賞を2つも取るって、十分な進歩じゃないの？
なるほど、手話があるもんね。それなら君の言う通りかも。ジェスチャーの帯域幅が話し言葉と比べてどうなのか、興味深いね。これについてもう少し考えてみたんだけど、ジェスチャーより音を使うのが一般的なのは、音が遠距離や視界が悪くても伝わる放送メカニズムだからだと思うな。自分の縄張りを視覚的に示すのは結構大変だもんね。
使わないコードを削除する？散らかってるのを片付ける？習慣を変えようとしたことある？
進歩ってノーベル賞で測るの？あれって機関の委員会による投票って理解だけど。それはさておき、2024年の共有賞は1970年代、80年代の研究に贈られたんだよね。これは私のポイントを確認するために言ったの？見事にやってくれたね。2022年にはベン・バーナンキ氏に送るのが適切と判断されたんだ。そう、あのバーナンキだよ。冗談抜きで、金融危機のインパクトに関する研究に対してだよ。皮肉にも、これも元々は1970年代、80年代の研究だ。
この考え方への反論の一つは計算コストだと思うよ。AIのすごい進歩は、技術（Transformer）やデータセットよりも、ハードウェアと計算能力の進歩が最大の要因だ。もし20年前にTransformerや今のデータセットがあっても、当時のハードウェアではLLMの学習は無理だった。で、LLMはすでに今の計算能力を限界まで使ってる。だから、新しい10倍とか100倍の計算能力アップがない限り、だいたい今のレベルで停滞する可能性がめっちゃ高い。そうなると、今の100倍のデータでモデルを学習させるなんてほぼ無理で、それは複数のモダリティを追加して組み合わせるのに多分必要だろうね。
CとかJavaって低レベルな動きを無視してるから意味ないの？いや、動くマシンの文脈では重要でしょ。言語にとっても低レベル認知って、C/Javaにとってのマシンみたいに重要かもね。
技術進歩と科学進歩って混同しがちだよね。科学は新しいS字カーブを生み出すけど、最初は急成長、後で鈍化。みんな停滞って言うけど、急上昇期は最適化がすごかっただけで、新しい進歩はゆっくりだったんだ。
うんうん、マジ同意。あとS字カーブと指数関数の区別つかない人多いよね。あるとこだけ見ると似てるけど全然違うんだ。
もっとコメントを表示（1）
2017年にさ、自動化は事務や芸術家をコピーできるけど、人類は置き換えられないって言ってめっちゃ叩かれたんだよね。Moore’s lawとか言われたけど、技術ってこう進むんだよ。新しいもの見つけて、使い倒して、飽きて後始末って感じ。
最近痛感してむかつくことなんだけどさ、正しいことと成功することって違うんだよ。
マジで大事なのは、今やってるのがエンジニアリングの改善なのか、それとも新しい科学の大発見の一歩手前なのかを見分けることだよ。
単なる流行を『技術進歩』って言うなんて、ずいぶん甘い見方するね。
それは原因と結果が逆だよ。熱力学は蒸気機関の後、飛行は空力学の後、冶金は材料科学の前。LLMだって科学的洞察より試行錯誤の結果でしょ。成功した実験が、後から科学が理論化するネタを作るんだ。
John Carmackの実験って結構示唆深いよ。AIに2Dゲームをめちゃくちゃやらせて、知らないレベルやゲームをやらせると全然ダメ。これって知能じゃなくて狭いタスクの専門知識でしょ。汎用AI作るより、ASIでみんなを怖がらせる方が簡単だよね。
「転移関数が負ってどういうこと？ 同じモデルで、Aを superhuman レベルにしてから似たゲームBをやるのと、最初からBをやるので差があるか実験したのかな？ 差がなけりゃ、知識を転移してないか、プログラムミスかもね。
問題はね、モデルにパターンマッチングを学習させてるだけで、世界モデルを学んだり推論させたりしてないことだと思うんだ。
つまり、彼らはゲームを覚えてるだけで、ゲームのやり方を学んでるわけじゃないってことだね。
答え自体は覚えてるけど、どうやってその答えになったかのプロセスは覚えてないんだよ。
そんなの何度も反証されてるじゃん… 彼らは明らかに両方やってるよ。自分で簡単に証明できるって。
＞自分で簡単に証明できるって。
亡くなった心の哲学者がたくさんいる中で、そんな簡単に証明できるなら、ぜひリンクを教えてくれない？
なんでみんなこんな言い方にこだわるんだろうな。きっと目標を達成する方法はあるはずだよ。John Carmackは別にAIの専門家じゃないのに、なんで急に基準扱いなんだか。
彼（筆者）はこの結論出すのに適切なモデルも最新モデルも使ってないし、2Dゲーム向けの基盤モデルもないんだ。これただの楽しいプロジェクトだよ。
ビデオ/ビジョンの真剣な試みなら、ゲーム全般に合うノイズをかけられる確率的潜在空間が必要だろうね。veo3ってモデルは、AIが2Dも3Dも一般化できるって証明してると思うよ。veo3にどんなゲームでも数秒やらせてみれば、ファインチューニングしてなくても大体ちゃんと動くはずだよ。
すごく簡単だよ。Claudeに行って、新しい質問をしてみなよ。学習データに直接の例がなくても、大抵はちゃんと推論して良い答えを出すからさ。
それが新しい質問だって、どうやって分かるの？
ちょっとさ、ChatGPTとかClaudeに学習データに絶対ないような無理なプログラミングタスクやらせてみてよ。
例えば、”隣の文字がアルファベット順で隣接してる場合だけ文字列の文字を残すPython関数を書いて”とかね。
暗記だけなら絶対無理だけど、きっとできるはずだよ。
これ、ツール使ってる人にはめっちゃ当たり前なのに、いまだに”暗記だけ”って言ってる人がいるの、マジで変だよね。
”AI guy”って誰のこと？
この分野って結構新しいし、ここ数年でマジで変わったじゃん。
ジョン・カーマックは2022年にKeen technology作ったし、2019年から本気でAIやってるよ。
ゲーム業界出身だから、線形代数とかGPUとか、基礎となる数学やハードウェアのことめっちゃ知ってるし。
だから、ぶっちゃけ彼は今や”AI guy”でしょ。
でもさ、その理屈、ちょっと変じゃない？
彼が作ったAIシステムがXができなかったからって、XができるAIシステムが他にないってことにはならないでしょ。
特に、AIはめっちゃ進化してるって言ってるんだからさ。
まあ、Carmackは最新ハードウェアでの計算の最適化に詳しいのは確かだけど、それはAIには必要でも、それだけじゃダメなんだよ。
訓練データに絶対入ってないような、すっごい珍しい質問を思いつくのって、全然難しくないでしょ。
LLMってさ、人間みたいに概念を”記憶”してるわけじゃないんだよね。
訓練データのトークンパターンから出力を生み出してるだけ。
だから、全部の問題を学習しなくても、一番可能性の高いトークンの組み合わせを探して、答えっぽいものを作れる。
人間には新しい問題を解いてるみたいに見えるけど、要は統計的なトリック。
人間にはできないパターンを見つけて作れるのがすごいけど、それが”知性”かって言われると違うと思うな。
そういう、本当にユニークな質問の例をいくつか教えてくれない？
＞ AIシステムXがYができなかったとしても、Yができる別のAIシステムがないとは言えないよ。
ここでそれを証明する責任があるのは、あなたの方じゃない？
＞人間には新しい問題を本当に解いているように見える
だってそうなんだもん！
これ、意味不明な言葉遊びだよ。こんな馬鹿げた話に付き合うのやめるべきだ。
Turing testに結構近いAIがあるのに、まだ知的じゃないって言う人がいるんだからさ…
AIモデルがAtariとか2Dゲームを超人的レベルでプレイしたって話、どうなのかなって思ってたんだ。
モデルが出る前から、一部の人間はもう超人的なレベルだったのを覚えてるから。
たぶん、”平均的な”プレイヤーと比べてってことなんだろうけど、ゲームを極めた人とは違うよね。
俺も大体同じ意見かな…
たぶん、”パターンマッチング”の定義が人によって違うんだろうね。
「genuinely」ってのがよく分かんないけど、コーディングだとLLMはいつも新しい質問に答えてるよ。俺のコードベースは唯一無二だけど、LLMは仕組みやバグを詳しく説明したり、修正したり機能追加もできる。これって「新しいデータセット」だけってわけじゃないんじゃない？
これ、面白いね。人間が知識を「転移」する能力（初めて見るゲームでもすぐ理解するとか）って、実はそんなに万能じゃないんだ。特定の「近さ」の範囲でしか通用しない。例えば、マリオのフーリエ変換バージョン渡されたら、全然分かんないでしょ？
VVVVVVとかBraidみたいな空間変換ギミックは直感的だけどね。つまり、知能は「自然な」変換には強いけど、どんな表現でも対応できるわけじゃないみたい。ハイパースペシャリストしか作れない現状を見ると、「汎化能力」って結局人間ができることの模倣なだけ？って疑問に思うね。
パターンマッチングと世界モデルでの推論って、どこで線引くの？知能の多くは、ただ素早くパターンマッチングしてるだけだよ。
LLMが「ミラーテスト」に成功した例、知ってるでしょ？スクリーンショットの自分を認識して「私」って言うやつ。あれ、「LLMミラーテスト」なんて概念、1年くらい前まで存在しなかったんだよ。あれこそ「真に新しい問い」への回答じゃないかな。
もっとコメントを表示（2）
なんでそう思うの？AIはもう沢山のゲームで人間を超えてるじゃん。チェス、Go、麻雀、テキサスホールデム、Dota、Starcraftとかさ。AtariゲームでAIが最高の人間プレイヤーに勝てないなんて、マジでありえないくらい驚きだよ。
Veo3の世界モデルはまだ結構限界があるよ。YouTubeにないような配布外の動画とか、複雑な人間行動を生成させようとするとすぐ分かる。写実的な質感や光は超得意だし、水の流体シミュレーションもそこそこ上手い。でも、複雑な人間行動（特に特定の動き）は訓練データが足りてないんだよね。まあ、これはモデルの欠陥じゃなくて、物理ベースのシミュレーションで補うとか、そのうち克服できると思うけど。
ここで「もう解決済み」「彼は下手なだけ」とか言ってるコメント見るの、嫌だな。筆者はこの問題に長い時間取り組んでるんだよ。分野を進歩させようとしてるんだからさ。それに言うまでもなく、彼はコンピューターエンジニアリングのレジェンドだよ。
「彼はただ下手」とか「これは前に解決済み」って言うなら、「解決策」を具体的に指摘して、どう機能するかも示すべきだよ。
俺の意見では、今のモデルの問題は、人間みたいに分類的に学ばないこと。「ライオンは動物、動物は生きてる。ヤギも動物だからヤギも生きてる。」みたいな。あるいは、ゲームで「最初はこれでレベル上げして、次にこっちのアビリティを育てる。最初は前者で戦って、後者が育ったらスタイル変えよう」みたいに、理論に基づいて戦略立てて、経験で修正するやり方。今のAIモデルは、全体を最適化問題として、勝率上がるものを適当に探してるだけ。これは人間みたいに理論と経験を組み合わせてスケールさせるやり方ほど効率的じゃない。例えば、人間はゲームにアーリーゲームという概念があって、そこで得たものが後で大きく差になるって innately に理解できる。これもパターンマッチングだけど、もっと高いレベルなんだ。理論は、何でも試すより学習をスケールさせるんだよ。
Keenには、リチャード・サットンとかジョセフ・モダイールみたいな研究者がいるんだよ。それにジョンはもうフルタイムで5年近くやってるから、彼の経歴や学習能力考えたら、もうAI博士のかなりの割合の人よりAI詳しいんじゃない？
まあね…もし人生でゲームを1つしかやったことなかったら、他のゲームはかなり下手になるだろうね。これってそんなに目新しいことじゃない気がするな。
ちょっと思ったのと違うな。新しいアイデアって、全部古いアイデアからきてるんだよ。AIは古いアイデアを速く見つけたり、今までなかった新しい見方で見たりできる道具なんだ。イノベーションって、古いアイデアの隙間（穴とか交差点とか）で見つかるんだって。巨人の肩の上に立つって言うでしょ？AIは巨人の肩への特急エレベーターかもね。結局はAIをどう使うかだよ。
古いアイデアにアクセスするのは得意だけど、新しい視点はそうでもないかもね。LLMはデータ解釈で手伝えることもあるけど、全く新しいものを作るのはまだ苦手だよ。たいていのことと同じで、真実はその中間にあるんだ。LLMは研究の一部を速くするのには使えるけど、全部じゃないってことだね。
古いアイデアにアクセスして新しい視点を得るって話、特許データベースで昔はダメだったけど今なら使えるアイデアを探せないかなって思うよ。今の技術や新しい材料、あるいは別の使い方ならイケるかもって。
記事はAIの革新かデータのどっちが大事かって話をしてるよね。新しいアイデアも重要だけど、システムを良くするにはデータが大事なんだ。多くの人がデータを改善の一番の道だと思ってるよ。昔のAIの話で、データが増える-＞層が増える-＞また繰り返す、っていうサイクルを思い出したな。あなたのコメントが、この二つの改善の道とどう関係するのか、よくわからないんだ。
もし人間が、人類が作った全ての知識をぜーんぶ読み込んで、それでも全く新しいアイデアを出せないなんてこと、想像できる？いや、想像しにくいよね。
この違いは多分「読む」の意味にあると思うんだ。「読む」って書いたとき、人間は「読んでちゃんと理解した」か「理解しようとして読んだ」って意味で使うけど、LLMの「読む」は「ただ単語を数字に変えただけ」で「意味を理解したわけじゃない」んじゃないかな。「理解する」って何かっていう細かい話になるけど、それは大歓迎だよ。
そう、そこがポイントなんだよ、足りないところ。AIはまだ本当の意味で理解したり、自分の中に取り込んだりできないんだ。それがAGIとかシンギュラリティのレベルだろうね。まだそこにはいない。いくらデータを大量に入れても、今のやり方じゃそこには行けないだろう。もし人間が全てのデータを持ってたら、きっと面白いものを思いつくはず。でもそれも簡単じゃないだろうね。知識があっても、勝手にアイデアが湧いてくるわけじゃないから。AIに、関係なさそうなもの同士を無理やりつなげさせてみたらどうかな？斬新なものって、まだ誰も調べてないけど可能性がありそうなところに隠れてるんじゃない？でも、何が面白いかって、どうやって判断させるんだろう？
そういう全知の人間でも、結局何も新しいアイデアを出せない可能性もあるよね。
新しいアイデアを思いつくのも大変だけど、それを確かめるための実験方法を考えるのが難しいよね。
「新しいアイデアは全部古いアイデアから生まれる」って意見に反論。ベンゼン環の構造が分かったのって、夢の中だったんだって。それまで誰も見たことなかったけど、自分の尻尾を噛む蛇のイメージとして思いついたらしいよ。
AIに革新的なアイデアなんてない？って話だけど、みんな知ってるベンゼンの構造を発見したケクレも、全くの素人がゼロから閃いたわけじゃないんだよ。経験豊富な化学者たちが長年悩んでた問題で、夢で閃いたってケクレ自身が言ったのは25年後だし、その説も10年後に修正してるんだ。アイデアって、既存の知識の積み重ねや組み合わせから出てくるんじゃないかな。
https://en.wikipedia.org/wiki/August_Kekul%C3%A9
全くその通り！もし科学の世界で同じような門番ロジック（gatekeeping logic）を使ったらどうなると思う？他の人の研究やその派生物を使っちゃダメってなったら、全く進歩しないよね。ここで唯一まともな反論として見かけるのはIPとか著作権侵害の話だけど、正直そんなことどうでもいいんだ。
公平に見て、もし人間並みの知能を再現できるシステムを想像するなら、‘データセットを変える’ってのは、異なるモデルを作るために必要なことの妥当な要約だろうね。だって、俺たちの記憶、訓練、教育、背景なんかも、俺たち自身の問題解決能力の非常に大きな部分を占めてるわけだからさ。
モデルアーキテクチャを扱ったり論文を読んでたら、新しいアイデアがたくさんあるって知らないわけないだろ？面白い結果が出るのはほんの一部だけどね。PyTorchみたいなライブラリが、みんなを既成のソリューションに頼らせて基本的な概念を考えさせなくしてるんじゃないか、ってちょっと疑問なんだ。他の人のtokenizerやvision modelをくっつけて、単にチェックボックスを埋めてるモデル、どれだけあるんだろうね？
それは人間の世界のすごく普通のやり方だよ。ある時点で基礎的な探求がROIを生み出さない場合、例えばVC資金で大量の計算力を使って他の場所で進歩できるなら、そっちに少ない人数しか行かない。でも、他の分野が限界に達すると、優秀な人たちは努力に見合う大きな成果が得られる場所を探し始めるんだ。そして、次世代のPyTorchや基盤技術が進化していくんだよ。
ハードウェア（GPU）のアーキテクチャ的な限界の方が、PyTorchよりも研究を遅らせてるかもしれないね。Hardware Lotteryって呼ばれてる現象だよ。
https://hardwarelottery.github.io/
俺は10年間、BitGrid [1] っていうやつをハードウェア・ロッテリーのチケットにしようと頑張ってるんだ。[1] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu…
うん、それでも、最後の結構大きなアーキテクチャ改善からまだ2〜3年くらいだよ。3年って期間がどれだけ短いか分かってない人もいると思うな。でも、データセット以外にも、今たくさんの面白くて役に立つ研究が進んでるよ。LLM以外の分野でもね。俺はLLMやってないけど、新しいものが定期的にたくさん出てくるのを見てるからそう思うんだ。
逆だよ。PyTorchみたいなフレームワークはすごく柔軟なんだ。どんなアーキテクチャでも実装できるし、もし足りなければCUDAだって学べる。Kerasはその逆で、君が言ってるみたいに固定的だろうね。
そういうことを考えないような人たちは、PyTorchがなくてもたぶん実験的な開発なんてしないだろうね。
