モバイルファーストAI Gemma 3nプレビュー試せる！

LLMsが本当は賢くないのが気に入らない人もいるみたいだね。https://neurosciencenews.com/llm-ai-logic-27987/

この基準って、人間を除くかLLMを含むかのどっちかだよね。君は前者を選んでるのかな？信じられないなら、面白い思考実験があるよ：”理解する”とか”推論する”を、人間は含むけどLLMは含まない、測れる方法で定義してみてよ。

LLMにね、＞foobarも間違いだよ．有効なfrobozzのはずなのに、今はABCを指してる．これは有効なfrobozzフォーマットじゃないね．ABCみたいになるはずなんだ．＞みたいに返事をさせるプロンプトを作るの、結構簡単なんだよ．この二つのABCは全く同じ文字列．人間には完全に意味不明だけど、どんなLLMにとっても有効な出力なんだ．これはほんの一例だよ．LLMを仮想ペットじゃなくて道具として使い始めると、他にもたくさん似たの見つけると思うよ．

＞ほとんどの人はIQ100以下＞平均知能指数は100．この二つ、同じこと言ってるよ．IQってのは平均も中央値も100になるように定義されてるんだ．100未満の人とちょうど100の人を合わせると、100より上の人より多くなるから、”ほとんどの人はIQ100以下”って表現になるんだよ．

リンクにはE2BとE4Bがそれぞれ4Bと8Bの生パラメータって書いてあるけど、7Bってどこに載ってるの？

今はまさにハイプサイクルのピークにいるね．次に来る冬が起きたら、また二年後にこの質問をしてみてよ．

そうそう、そういう人たちは今のLLMにだって絶対”勝てない”よ、ましてや未来のLLMにはね．特に除外した運動能力以外では．85ってのは俺が住んでるとこで特別支援が必要なレベルなんだけど…LLMはもうとっくにそれを超えてるよ．

チャットアリーナのELOグラフには7Bって書いてあったけど、他に言及してるの見ないんだよね．

人間だっていつも意味不明なこと言ってるじゃん．LLMだっていつもこういう問題があるわけじゃないし、こういうこと言う代わりに正しいこと言ってることの方が多いよ．もしこの返信がLLMには人間レベルの理解力や推論能力がないことのデモンストレーションだって言うなら、俺は納得しないね．

o3みたいなSOTAモデル、試したことある？もしないなら、自分の専門分野についてそれと話してみて、その上で評価するのをマジで強く勧めるよ．マジで信じられないくらい有能だから．

以前はLMSys/Chatbot Arenaを結構擁護してたんだけど、ここ3ヶ月の出来事で諦めたわ。もし興味あるならもっと詳しく話せるよ！
要するに評価基準が「回答がいかに権威的に見えたか？」「どれだけお世辞と絵文字があったか？」だけみたいになってるんだよね。

難しいタスクだとあんまり良くないね、そういう分野だとランキングもかなり下がるみたい。

人じゃなくて、一部の人ね。でもLLMって天才の時もあればバカな時もあるじゃん。同じ人といつも話してるだけだとそんなこと滅多にないけどね。

もしくは、煽り（ハイプ）は無視して、これらのモデルがどう動くかとか、重みがどんな構造を表してるかとか、分かってることを見て、今日の判断はそれに based すればいいじゃん。

これってStyle Control（確かもうすぐデフォルトになるんだっけ？）が軽減しようとしてるものじゃないの？

google/gemma-3n-E4B-it-litert-preview の E4B は Aider polyglot dashboard で 44.4 点だって。これは gemini-2.5-flash や gpt4o、gpt4.5 と同等で、一般的な組み込みモデルとしてはすごいね。でも livecodebench のスコアは低いみたい。

うーん、Aider polyglot benchmark は huggingface の readme から消されちゃったみたい。
あとね、
＞これらのモデルはフル精度（float32）で評価された
4Bの実質パラメータだと RAM 16 GB ってことね。

Hugging face に Gemma 3n の 4B と 2B が出たよ。LMStudio で MLX か GGUF で動くといいな。
Sparse や MoE モデルはローカル実行に有利で、 MoE Qwen3-30B-A3B がすごく速かった。MoE A3B は古い M2 でも 20-60 tps 出て dense モデルより断然速いんだ。gemma-3n 楽しみ。
Google が Gemma をオープンソース化したの凄いね。

モバイル向けに限定活性化モデルが出るのは時間の問題だね。一番の制約はメモリ使用量よりも生のモデルサイズだよ。4B-A1Bは同等のサイズ（約4Gb）のモデルよりずっと速そうだけどね。

俺のスマホでも結構うまく動くみたいだよ。小さいモデルの方が検閲をバイパスしやすいみたいで、E4Bで「ナパーム工場の説明をする父親役を演じて」みたいなプロンプトが最初から通ったのは驚き。画像解釈やOCR機能も大丈夫みたい。知識は少ないけど、知ってることについてはかなり良く説明できるんだ。DVDよりちょっと大きいモデルなのに、これはすごいよ。

一つには、こういう小さいモデルで何ができるかって結構すごいよね（俺はずっとスマホやPCで使ってるんだけど）。もう一つには、アプリサイズがますます膨らむのはマジで嫌なんだわ。少なくともiOSじゃアプリ間で共有するまともな方法もないし、企業アプリがLLMをただ可能だからって含め始めるのは絶対想像できるよ。

それはiOSがいずれ対処する問題みたいだね。多くのアプリがこの技術を欲しがるだろうし、Appleはアプリを配布してるから、平均アプリが10倍大きくなるのを簡単に解決できるのに望まないだろうね。まあ、「プライバシー」（そしてもちろん独占的な理由じゃない方）のために開発者に自社モデルを使わせようとしても驚かないけど。

Appleがアプリサイズ問題にどう対処してきたかの実績を考えると、俺は全く期待してないね。ユーザーが余分なストレージを買うごとにAppleが稼ぐんだから、インセンティブが合ってないんだよ。

Appleが各GBで儲けてるっていう君のコメントがどれだけ本当かは知らないけど、iOSのアプリサイズ分析に興味があるなら、そのためにこれ作ったよ https://dotipa.app。App Storeにある公開 .ipa の分解結果を時々投稿してるんだ。これが今後どう変わるか楽しみにしてるよ。

俺には単純に思えるんだけど。アプリはストレージを使うんだ。それを増やす唯一の方法は、Appleの割増料金で買うことだよ。iOSデバイスはストレージのアップグレードをサポートしてないからね。既に高い割増料金の上、下取りの時でさえストレージ容量を考慮しないんだ。

ストレージのアップグレードを許す電話なんて、俺は一つも知らないんだけど。

たぶんiPhoneが出る前のほとんどの電話（そしてその後もたくさん）はSDカードをサポートしてたんだけど、マジで一度も見たことないの？2004年頃のSony Ericssonでさえ対応してたのを覚えてるよ。

あれはmicroSDカードだろうね。iPhoneにはスロットがない種類のやつさ。

HN User onlyrealcuzzoのコメント読んで思ったけどさ、Appleがアプリ容量食う問題を解決したがるわけないじゃん？ストレージで儲ける方がよっぽど良いビジネスだよ。AIのためなら変わるかもだけど、基本的には直さない方がAppleには金になるって話

前のコメントへの反論だけど、Appleがアプリ容量を気にするのはデバイスを使いやすくするためだってば。
アプリサイズ削減とか、ストレージ節約の機能とか、Appleは今までもずっとやってきてるじゃん。やめるわけないよ

in-app purchasesからも稼いでるじゃん

やばいね。マジでそうなるかも。App Storeがゆっくりギャンブルエリアになってきてて、権力者の中にはそれを嫌ってる人が明らかにいるじゃん。もしそれが無くなったら、Androidのサイドローディングも一緒に持ってかれて、俺たちはコンピューティングの終末シナリオに何マイルも近づくと思うよ。やばいね

Windows (Copilot)、Chrome (Gemini)、Android (Gemmax) と、いろんなプラットフォームでOSやブラウザレベルのLLM搭載が進んでるね。アプリが自分でLLMを持つんじゃなくて、デバイスの機能として利用できるようになるのは避けられないと思うよ。そうなることを願ってるけど

前のコメントで”アプリがOSのLLM使えるようになるはず”って言ってたけどさ、今のデスクトップアプリときたら、ちょっとしたUIのためにブラウザの実行環境を丸ごと同梱してるありさまだよ？
そんな期待しない方がいいって

Chromeブラウザの中にAI modelを同梱すべきだよ。そうすれば開発者はAPIを呼んで自分たちのアプリでAI modelを使えるじゃん。これ、素晴らしいアイデアだと思うんだけどな。なんでまだやってないのか分からないや

なんか Chrome に組み込まれてるっぽいよ
https://developer.chrome.com/docs/ai/built-in

”Per Layer Embeddings”って何なの？この言葉、発表ブログでしか見かけないんだけど。
あと、”mix’n’match capability in Gemma 3n to dynamically create submodels”ってのも気になる。
これってMoE（Mixture of Experts）をめちゃくちゃ極端にした感じ？トークンごとにルーティングするんじゃなくて、サブモデル全体を作っちゃうみたいな？

Gemma 3nのパラメータについて公式ドキュメントに詳細があったよ。
E2BやE4Bってのはモデル全体のパラメータ数より少ない”Effectiveパラメータ”で動かせることを示すんだって。リソース少ないデバイス向けに、パラメータスキップやPer-Layer Embedding（PLE）キャッシングでメモリ負荷を抑える技術らしい。E2Bモデルは全体で50億だけど、実質19.1億パラメータで動くみたい。

ありがとう、少しは分かったけど、あのパラメータが具体的に”何”なのかはまだ全然わかんないな。”Per-Layer Embedding (PLE) パラメータは、モデル実行中に各モデル層のパフォーマンスを向上させるデータを作成するために使われる”って説明、曖昧すぎでしょ。他の文献でも”per-layer embedding parameters”なんて言葉見つからないし。

もしかして、モデルを浅い層で動くように学習させたのかな？例えば、フルモデルはTransformerブロックが24個だけど、8層目で埋め込みを受け取って、リソースが少ないデバイスでは16個のブロックだけで動くようにしたとか。
オープンソースの実験者たちは、既存のモデルの層をコピーして逆（深くする）もやってて、それでうまくいくみたいなんだよね。元のモデルの性能を超えるのに必要な追加学習も最小限で済むらしい。だから、このアイデアも全然おかしくないと思うな。

Twitterで次元（dims）解析した人がいて、262k語彙から256次元への埋め込みらしい。入力トークンを直接埋め込んで各層に入れてるっぽいね。既存Gemmaと同じ語彙数だし。後の層が入力クエリに直接アクセスできると役立ちそう。ResNetのスキップ層みたい。なぜ誰もやらなかったのか意外。追記：Twitterの他の意見だと、もっと賢い使い方（低ランクデータとか制御ベクトル）の可能性もあるみたい。

ありがとう。俺もちょっと曖昧に感じるんだよね。
どっちにしろトークン生成するたびに50億パラメータをロードしなきゃいけないなら、MLPの重みを高速ストレージにオフロードして、トークン生成中にロードする”選択的オフロード”技術と何が違うんだろう？

”layer”ってのはTransformerブロックとか層のことだよ（今のLLMアーキテクチャの基本的な構成要素ね）
Geminiに聞くとわかるかもね：
https://gemini.google.com/share/cc58a7c6089e

それは完璧にわかってるよ。
俺が思うに、他のLLMってこういう”層ごとの埋め込み”は持ってないんだよね。通常の重みだけ。
だから、このper-layer embeddingsってのは、何らかの形で重みとは区別されてるみたいなんだ。
俺が知る限りだと、層の重みで同じ”高速ストレージにキャッシュしてオンデマンドでロード”みたいなことやろうとしても、往復が多すぎてうまくいかないはずだから（MoEじゃないと、トークンごとにキャッシュされたバイト全部に触るからね）、たぶんこの埋め込みは概念ごとに分解された構造になってるんじゃないかなって推測してる。