Continuous Thought Machines 連続的に思考する機械とは何か

この論文、先行研究（生体的なSNNなど）を無視してるみたいで心配だね。特に「思考」って言葉の使い方が混乱招くよ。シナプス統合レベルのプロセスを「思考」って呼ぶなんて、MLやANNの常識と違いすぎる。パターン認識はわかるけど「思考」は言い過ぎ。両分野に詳しい者として、用語の選び方に疑問を感じるな。

まあ、なんか驚かないな。この10年か20年、神経科学の関連研究を認めたML研究者はさ、生物の脳と比べやがって傲慢だとかって、大体非難されてきた印象なんだよね。

著者たちはね、単一のシナプス統合を「思考」なんて呼んでないよ。彼らは、外部入力があるたびに展開される、ネットワーク全体の内部ループ（「内部ティック」）のことをそう言ってるんだ。そして、それが単に「思考に似ている」って明言してるんだよ。

生体的に妥当なスパイクに関する研究について、君の意見で一番洞察に富む本とか論文のリスト（簡単なレビューでもいいから）を共有してくれないかな？

元の投稿者じゃないけど、いくつか挙げるね。
書籍なら Theoretical Neuroscience Computational and Mathematical Modeling of Neural Systems - Peter Dayan, L. F. Abbott (2001) と、Neuronal dynamics がおすすめ。論文だと Real-Time Computing Without Stable States (Maass)、Dynamics of Sparsely Connected Networks of Excitatory and Inhibitory Spiking Neurons (Nicolas Brunel)、あとはレビュー論文として Spiking Neural Networks and Their Applications もあるよ。関連キーワードは LIF、SNN、LSM、Synaptic plasticity とか。

いくつか注目すべき論文リストだよ（全てじゃないけどね）：Maass 2002、Sussillo & Abbott 2009、Abbott et al 2016、Zenke & Ganguli 2018、Bellec et al 2020、Payeur et al 2021、Cimesa et al 2023、Ororbia 2024、Kudithipudi et al 2025 の論文を挙げてるよ。

ごめん、このコメントに返信すべきだったんだけど、親スレッドに別の返信を書いちゃったんだ。正直、あのpdf / paperは、一番緩い意味でしかスパイクする生物ネットワークを真似しようとしてないように感じたんだよ。主要な貢献は、出力の転置と出力のドット積を使ってることだけで、あとは入力に対するdiffusion / attentionに過ぎないと思うな。コンセプト的には、「入力attention」と「出力attention」を組み合わせた、一種の段階的な再帰モデルだね。

同意だよ。何十年もあるスパイクニューラルネットや類似の研究にほとんど言及せずに、まるで新しいアイデアみたいに提示してるよね。

このトピックに焦点を当てるのは素晴らしいね。分野をまたいだ橋渡しが見られるのはクールだよ。生体では時間を直線的に捉えがちだけど、脳と体では、短い「今」の中に埋め込まれた順序づけられた操作が重要なんだ。時間性については、John BickleによるRW Williamsへのインタビュー記事（The European Journal of Neuroscience掲載）を参照してみて。https://pubmed.ncbi.nlm.nih.gov/40176364/

この週末に出たのってさー、Continuous thought machines（生物の脳みたいに時間的にエンコードするニューラルネットワーク）、Zero data reasoning（巨大データセットで訓練するんじゃなくて、自分でやって学ぶAI）、Intellect-2（世界中に分散された強化学習アーキテクチャ）だよなー。
俺専門家じゃないけど、これってちょっとシンギュラリティにウサギ跳びで近づいた気がするわー。

俺はそうは感じないなー。マジで論文とか研究分野、多すぎるって。
DiffusionとかTransformerとか AlphaZero とか Chat GPT-3 みたいに、どれが「キタ！」ってなるか予測すんの、めっちゃむずいって。
でも、こういうステップ関数みたいに見える研究とか製品の進歩も、めっちゃたくさんの研究と試行錯誤の上に成り立ってんだよ。
お前が挙げた３つ、なんか組み合わせられたりすんのかな？そうだといいけど、全然わかんねーわ。

個別の論文にそんなにデカい顔させんなよ。
良くても、それってそこに至るまでの全ての努力無視してるだけだろ。
悪くても、なんかいいように見せて、わざと抜かしてること多い考えを、鵜呑みにして信じまくってるだけだからさー。

でもさー、Zero Data reasoning って、以前の研究をちゃんと直接引用してるじゃん。
あれは特に結構な進歩だと思うけどなー。今の手法への主な批判の一つに、「人間はテラバイト級の Common Crawl 食べて学ぶわけじゃなくて、経験から学ぶんだよ」ってのがあるけど、まさにそこに対応してるし。

そりゃもちろん、マジで良いアイデアの論文もあるよ。
でも、なんかイマイチうまくいかないことも結構あるんだよねー。
俺の分野の Nature の論文でも、実際に応用するとなると全然ダメなの多いし。
今回挙げられてるのがそうだとか言ってるわけじゃないけど、研究ってやつにはちょっとは健全な懐疑心を持って接するのが大事だよ、マジで。

俺も専門家じゃないけどさ、これってカメラとかアクチュエータとかバッテリーを発明したから、すぐロボットが世界征服すんぞーって言ってるようなもんだと思うんだよね。
要は、ウサギ跳びじゃなくて、赤ちゃんがやっと歩き出したくらいのステップだよ。

ある意味、そうなったとも言えるんじゃね？
世界中が人間みたいなロボットが荒野とか街中を勝手に歩き回ってるわけじゃないけどさー、世の中アクチュエータとかセンサーとかバッテリーで満載じゃん。
お前のコーヒーメーカーにもセンサーとアクチュエータ入ってるし。
車にもいっぱいだろ？タイヤとか、ミラーの角度とか、窓の高さとか、ドアノブの状態とかさ。
そういうロボット部品のほとんどって…もっとデカい工場ロボットが作ったもんだしね。
ある意味、支配されてるって言えるんじゃない？

そりゃロボットマスターレースへのたくさんの赤ちゃんのステップではあるけど、それが現実になるまでにはまだまだすっげー長い道のりだよ。
AGI（汎用人工知能）がいつかできるようになるって話と同じでね。

Intellect-2 も Zero data reasoning もさー、LLMs で動いてんじゃん（「Zero data reasoning」って名前マジで紛らわしいし、そんな画期的じゃないって）。
もし LLMs のヤベー進歩見たいなら、InceptionLabs が最近 Diffusion モデル使って推論を１６倍速くしたやつ見てみろって（https://www.inceptionlabs.ai/）。
時系列の強化学習アルゴリズムとか、推論モデルと比べたらマジでカスだよ。
AI 分野めっちゃ発展してるのに、ロボットとか自動運転はあんま進歩してないし。
この記事の手法はポテンシャルあるかもだけど、誰かもっと分かりやすく煮詰めて、用語変えないとダメだろ。せっかく頑張って書いてるけど、簡単には読めない記事だし。
あと、こういうモデルをちゃんと動かせるようになるには、まだ全然程遠いんだわ。
モデルがデカくなればなるほど、俺らが作った報酬関数の抜け穴見つけるのが上手くなるし。
これがマジでたくさんの分野で使える AI を邪魔してんだ。

みんなの反論読んだから、ここでコメントしとくわ。
その批判はさ、特定の、そこそこ有名な論文とかプロジェクト自体が、いきなりAGIとかSI（シンギュラリティ）とかへの明確な進歩だ！っていう狭い見方をするなら、マジで全部正しいよ。
でもさ、これらの特定の論文を、もっと広い研究の方向性を示してる代理だと考えるなら、その批判は的外れなんだわ。
実際、他のコメントでも関連する先行研究リストとか出てたし。
つまり、この特定の論文とかあの特定の論文が「ホップ（飛躍）」なんじゃなくて、ウサギ全体が正しい方向向いてて、細かい「マイクロホップ（微小なステップ）」がたくさん起きてるってことなんだ。
その集まった動きの中で、どれを「ホップ」って呼ぶかってのは、細かいこと気にする奴らの問題じゃん？
その間にも、ウサギはちゃんと前に進んでるかもしれないんだぜ。

でもさ、コード動かしたり製品使おうとすると、なんか足りなかったり、論文で言ってるほど性能出なかったりするんだよね。AI hypeに騙されないための個人的な対策としては、まず論文読んで具体的な主張とか結果、限界を確認すること。できるだけコードをダウンロードして動かしてみる。訓練データセット以外の入力とか実際の例でテストしてみるのがおすすめだよ。

このアイデア、完全に新しいわけじゃないんだよね。2002年にLiquid State Machines (LSM)って研究があって［1］、連続入力をスパイクNNで処理するやつ。Atariゲームにも使われたけど［2］、従来のNNに勝てないって結果。連続入力・出力で、脳の可塑性だけで動くNNとか、もっと研究進んでほしいな。自分で試したけど難しかった。たぶんまだ脳の仕組みが完全には分かってないんだと思う。［1］ doi.org／10.1162／089976602760407955
［2］ doi.org／10.3389／fnins.2019.00883

＞ Emulating these mechanisms… computationally efficiency.
ちゃんと時間を扱うシミュレーションって、今のハードウェアだとめっちゃ大変なんだよ。パラメータが増えちゃうし、計算効率も悪い。将来のスパイクを管理するのに優先度キューとか必要で、計算量が落ちちゃうんだよね。ハードリアルタイムが目標じゃないなら、この方向性を追う価値があるのか疑問。STDPは魅力的だけど、今のシリコン技術では難しそう。専用ハードウェアも資金尽きそう。

うーん、FFNで100msかかる処理を、CTMが内部10ms × 10ステップでやるとして、CTMも同じくらい簡単に探索できない？ 結局、明示的に時間軸組み込むのが本当に価値ある誘導バイアスなのか？って話に行き着くだけじゃないかな。

論文読んだけど、これ生物的なスパイクNNとは全然違うと感じたよ。入力履歴とattention使うのは改造版transformerみたい。同期も出力活性化の内積を取ってるだけ。最適化も勾配降下で、損失適用ステップを選んでるだけだし。これがスパイクNNの時間シミュレーションにどう似てるのか疑問。ニューロン同期も生物的な意味と違うし、アテンションの基本メカニズムに似てるよ。

論文の弱点は、比較対象がLSTMだけで、Attention／Diffusionモデルと比較してないことかな。Attentionを使った再帰モデルの性能が気になるけど、たぶんCTMとすごく似た性能と構造になると思うよ。

＞ The Continuous Thought Machine (CTM)… its functionality.
これめっちゃワクワクする論文だね。内部的な視覚的再帰とか、神経同期のアイデアが面白い。時間が絡むタスクのNNを解釈しやすくしてくれそう。（神経同期の適用は新しいかも）。
＞ Indeed, we observe the emergence… more effective AI systems
まさにこれ！思考プロセスをもっと透明にしてくれる応用が、他のアーキテクチャでも見たいな。Sakanaからのまた良い論文だね。

これって、以前のAI coderの不正疑惑で話題になったSakanaと同じとこ？あの時の基本的な間違いが、チームの信頼性を疑わせる原因になったんだけど。
https:／／www.hackster.io／news／sakana-ai-claims-its-ai-cuda-en…
https:／／techcrunch.com／2025／02／21／sakana-walks-back-claims-t…

彼ら、間違い認めて謝罪したし、論文も改訂中だよ。
間違いは大小問わずいつでも起きるものだよ。もっと大事なのは、透明性を保って、そこから学んで、同じ間違いを二度と繰り返さないことじゃないかな。

皮肉なことに、このウェブページ、僕のfirefox iOSだと連続的にリフレッシュされちゃうんだよねP

数学とアーキテクチャが融合したMLの図とか大好き。形式的な数学よりずっと退屈じゃないね。