Qwen3 より深く考え速く動ける！
引用元：https://news.ycombinator.com/item?id=43825900
LLMに物理問題を出すのが好きなんだ．人間にとっても難しい問題で、試したLLM（GPT o3，Claude 3.7，Gemini 2.5 Pro）は全部最初は正解できなかったんだ．でも、答えを説明させると eventually 正解するんだよね．ただ、一発で当たったやつはいない．Qwen3をmax thinkingで試したら、他のやつよりさらに間違えてて、まあ参考までにって感じかな．
俺も似たような簡単めな空間推論問題があるんだけど、reasoning モデルでも間違うし、全部じゃないんだよね．Qwen3 max reasoningでもダメだった．問題は＞コップにコイン入れて逆さまにガラスTに乗せ、鏡を下に滑らせたらheadsが見えた．コップと鏡をどけたら何見える？
よく言うじゃん、「アネクドートの複数形はデータ」ってさ．
みんな言う通り、AIは現在の最高レベルじゃなくて、どれだけ遠く、どれだけ速く進歩してるかで判断すべきだよね．将来のモデルが今回よりさらに間違えるのを見るのが待ちきれないよ．
個人的には（アネクデータだけど）、ベンチマークはすごくても日常で practical な進歩は長いこと感じない．得意なこと（ソース集め）はいいけど、苦手なこと（新しい問題やソースが少ない Liquidsoap［０］スクリプトとか）は terrible．情報が少ないと”思考”してないって分かるんだよね． Liquidsoap［０］ https://www．liquidsoap．info／
それは「opinion の複数形は fact」って言うのと同じくらいだよ 😉
あんまり training set に入れたくないけど、まあいいか．はい、これだよ．＞今 3D プリンターで印刷中、一時停止．hotend を室温以上に保って後で温める vs 完全にオフにして後で全部温める．どっちがエネルギー使う？ 答えが変わる時間はある？ LLM は hotend がすぐ冷えるって仮定して間違えるけど、聞くと気づく．Qwen は気づかず、オフにするより hotend 30分加熱が良いって答えた．
まあ、literal に言えば、データってのは single point の集まりだよ（つまり俺たちが”anecdotes”って呼んでるものね）．
LLMはObjective-CとかSwift苦手だよねー。JSとかHTML、Pythonと比べるとさ。でもClaude Codeは簡単なランディングページ作るのに超使えることに気づいたんだ。静的なhtml+jsを出力してくれるからホストしやすいし、デザインもまあまあ見れる。コードは最高とは言えないし、正直人間が保守するのは無理な部分もあるけど、とりあえず役に立つよ。
いや、Wittgensteinの規則追随のパラドックスとか、Shannonの標本化定理とか、有限個の点を通る無限多項式の法則（名前あったっけ？）とか、その他諸々、全部極限的には「いくら個別の事例を集めても、それは偶然以上のものにはならない」って考え方と一緒なんだよ。
僕の最初の試み（思考の連鎖は省略するね）：
コインと鏡のパズルでLLMが出した答え（テール）とその理由だよ。鏡は下面を映すけど、見える上面はその反対側。だから鏡でヘッドが見えたら、上はテールだって解説してたよ。具体的で分かりやすい解説だった。
うん、それダメだったね。僕がLLMにいつも解かせている川渡りパズルで、Qwen3はダメだったよ。ChatGPT o3も苦労するくらい難しいんだけど、Qwen3はエラーに気づいても同じ失敗を繰り返すんだ。解けないパズルだってヒントを出しても、毎回自信満々にやり直してまた失敗する様子が面白かった。
流体のアナロジーがあると分かりやすいかもね。水漏れしてるバケツがあるとする。全部水が漏れるのを待ってから最初から入れ直すのと、ちょくちょく満タンにしておくのと、どっちが水を無駄にするか？答えは、どれだけ水漏れがひどいか vs どれだけ長い間バケツの水位を維持する必要があるかによる。少なくとも僕はそのパズルをそう解釈してるよ。
でも、基本的な静的htmlのランディングページ作るのってめちゃくちゃ簡単だよね。JavaScriptなんて何に使うの？もしそれがhtmlファイルとスタイルシートだけなら、そりゃホストするのも簡単だよ。CSS20行くらい書けばまあまあ見れるページになるし。これって難しい問題じゃないんだよ。
僕はどのLLMからも、プロダクションで使えるPythonコードを全く得られてないんだ。簡単なスクリプトならまあいいけど、将来保守したりデバッグしたりする必要があるもの？全然ダメ。LLMを訓練してるひどいPythonコードがたくさん出回ってるんだろうね。だから、人気の言語であることはかえって役に立たないのかも。この時代は、基準がどれだけ低いかを透明にしてるね。
ただし、個別の事例の複数形は決してデータじゃないよ。交絡変数とかサンプリングバイアスをコントロールしないと、ゴミになるだけだからね。
Liquidsoapのスクリプト頼む前にどんなプロンプトとかコンテキスト与えてるのか気になるなー。
あとCursor使ってLiquidsoapのドキュメントとかコンテキストとして大量にあげたりしてみた？
そういうのがモデルの性能すごく上げると思うんだよね。
社内APIとかベストプラクティスとかパターンとかでうまくいくの見たりしたし。
うん、Cursor使ったよ。
Liquidsoapの本丸ごととか、オンラインリファレンスのURLとかコンテキストとして渡してみた。
コンテキストが大きすぎたりRAGが発動したりするかなーと思ってね。
でもダメだったなー。
やりたいことができなかったっていうか、ほとんどの場合そもそも動かなかったんだ。
エラーメッセージに合わせて試行錯誤しても、どんどんバカな非解決策にたどり着いて、結局ぐるぐる回るだけだった。
へー、私のだとこう言ってたよ。
コインはガラスのテーブルに置かれてて、下から鏡で見ると上面が見える。
鏡は前後を反転させるけど左右はしないから、見た面（表）はそのまま認識できる。
コインは動いてないから、カップと鏡をどけて上から見ても、鏡で見えてたのと同じ面（表）が見えるって。
どんな回答期待してんの？
ホットエンドの形状とか材質、温度差、部屋の空気の動きの速さ、空気の湿度とか、全部に依存するじゃん。
Qwen3-32bはかなり正確にやったみたいだね。
周囲温度までの時間ごとの熱損失を計算して、10分未満の短い休憩なら100Cで待機するって提案してた。
長い休憩なら完全にシャットダウンね。
でもそれって依存するかな？
漏れ出てる水（熱）が、補充しないといけないものじゃん。
水位が下がると（ホットエンドが冷えると）漏れは遅くなる。
だから補充すると、結局もっと水（熱）を追加してその分後で支払うことになる、つまり漏れが増えるってことだよね。
Sonnet 3.7の非推論バージョンは正解だったって。
コインをガラスのテーブルにひっくり返して置くと、下から鏡で見えるのは底面。
鏡に「表」が映ってるなら、それはコインの底面が表ってことだね。
鏡は左右を反転させるけど、表裏はひっくり返らない。
だから、カップと鏡をどかして上から見ると、鏡で見た底面（表）の反対側、つまり「裏」が見えるはずだって。
構造的な仮定なしには必然性なんてなく、観察された規則性だけだ。
必然性なんて文字通り存在しないし、データの中にも見つけられない。
データ単体じゃ役に立たないんだ。
これに対するみんなの反応を見るのは面白いね。
Humeがこれを見抜いて、Kantが応答したんだ。
ドキュメントもかなりいい感じ
メジャーな推論スタックは初日から全部サポートしてるみたいだし、サイズも色々あるね。Quantsもコミュニティの人たちと連携してたからすぐ出てる。性能はまだこれからだけど、細かいとこまで気が配られてて、これだけでも素晴らしいリリースだよ。MetaがLlama 4でやってたのとは大違い（明日のLlamaConでMetaが驚かせてくれるといいけどね）。[1] https://qwen.readthedocs.io/en/latest/
これ同意！ llama.cppとかtransformers、vllm、sglang、ollamaとか、メジャーなLLMフレームワーク全部にqwen3サポートのパッチを数週間前から当ててて、モデルウェイトも世界同時公開みたいに一斉に出したんだって。この細かさと努力はマジでヤバいね。
Alibabaさんお願い！ gpt-image-1に対抗して、QwenとWanを組み合わせたマルチモーダル画像生成モデル出してほしい！ それができたらアート界が激変する。OpenAIがAI画像・動画市場を独占しようとしてるけど、オープンソース界隈じゃ開発が難しい。Alibabaさんならできるはずだよ。ファインチューン可能なオープンモデルが出たら、巨人たちの独占を止められる。お願いだから作って！ Wan Videoもすごいし、Alibabaさん応援してる！
AI画像の質は上がったけど、まだアートじゃないよね。chatgpt-imagen以前はひどかったし。オープンソースでchatgptレベルが欲しいって、Alibabaとかに無料労働求めてるだけじゃない？ OpenAIの独占より、みんな安く使いたいだけっぽい。アーティスト→ストックフォト→AI画像→chatgpt→もっと安く、って流れ。deepseek r1が価格競争を促したみたいに。
自分たちは稼ぎたいのに、誰にも払いたくない、オープンソースには無料労働求める…人間って変だよね。
一方で、ChatGPTの画像生成は使うのが超楽しいよ。ミームに使うような画像のために、人間のアーティストにお金払おうとは思わないな。
あのKaty Perryですら、ツアーの背景にAI使ってるらしいけど…正直ひどい見た目だよ。 https://twitter.com/bklynb4by/status/1915514396421337171
もっとコメントを表示（1）
＞ それができたらアート界がマジで永遠に変わる。って、どの世界線？ 数パーセント良くなったからって、それがアートを革新したって？ 数年前じゃなくて、今、これが？ Wow。
今のテック界隈じゃ、何でも”世界を揺るがす”って言われがちだよね。それが本当かは毎回違うけどさ。chatgpt-4oの画像生成モデルだって、他の手法にはなかった弱点があると思う。でも、新しい＝絶対良い、世界を変える、って思われちゃうんだよね。
永遠に、って言ってもたぶん数週間でしょ。笑
いやー，このコメント読んでニヤッとしちゃったよ，だってこれマジでそうなんだもん．技術の進歩が速すぎて，みんなすぐ「これが最高，永遠だ！」って言うけど，すぐに新しいのが出て前のを忘れ去る．DeepSeek R1，Grok 3，Claude 3.7，Gemini 2.5 Proとあっという間に入れ替わった．人間は結果を後付けで正当化しがちだけど，永遠なんてない，ただの今の話．AI界隈が忘れがちな文字通りの事実だね．
コミュニティの量子化メーカーと既にたくさん協力してるって言ってたよね．誰のことか気になるな？
Unsloth［1］とBartowski［2］のことかなって思った．両方ともRedditで，Qwenがリリース前に重みにアクセスさせてくれたからスムーズだったって言ってたよ．［1］ https：//huggingface．co/unsloth
［2］ https：//huggingface．co/bartowski
exl2量子化なら，https：//huggingface．co/LoneStriker もいるよ．
ダウンロード数で言うと： https：//huggingface．co/spaces/mvaloatto/TCTF これとか？
あー，Hugging Faceへのリンク，今切れてるね．
今は大丈夫みたいだよ： https：//huggingface．co/collections/Qwen/qwen3-67dd247413f0e2…
スペースも最終的には読み込めるし，Hugging Faceがめっちゃ混んでるだけかも．
へー、そうなんだ。でもONNXも入れて欲しかったなー。
新しいLLMが出る時の恒例で、Qwen 3（32B、OllamaでMac）でHacker Newsのスレを要約させたんだ。プロンプトと記事中の質問を混同してるみたいで、タスクはイマイチだけど”思考”プロセスが興味深いよ。詳細リンクは省略。
Redditで誰かが最初のUnslothリリースはバグってたって言ってたよ。もしそれ使ったなら、修正版でもう一回試せるかも？
そうだったみたいね。Unslothは一時HFにQ6以上だけ使えってメッセージ出してたよ。これが予測精度にどれくらい影響したかは分からないけどね。
これはメタデータで提供されてたチャットテンプレートのことだけだと思うよ（公式リリースでも壊れてたやつ）。でも、推論フレームワークは壊れたテンプレート渡されたらエラーになるだけだろうから、このテストには影響ないと思うな。
これって”思考”モードを使いたくないタスクみたいだね
僕のnanoagentベンチマークだと、Qwen3はすごいんだけど考えすぎ！Qwen3-0.6bはLlama 3.2 3bよりさらに性能良いみたい…でも6倍遅いんだ。Gemma3 4bに結果は似てるけど、後者（Gemma3）の方がApple M3ハードウェアで5倍速いよ。だから多分、メモリがボトルネックになるようなケース、例えばNvidia GPUとかで、より良いモデルを動かすのが有用なのかな？ベンチマーク詳細は省略。
これらのモデルのクールなところは、”思考”プロセスを調整できることだよ、”思考なし”までね。でも、君の推論エンジンではできないかもだけど。
今はできるようになったよ、提案ありがとう。
Qwen3 4bは通常のステップで一番良いデフォルトモデルみたいだね。プルリクリンクは省略。
プロンプトに”/no_think”って付ければいいだけだよ。詳しいことはここのブログを見てね。https://qwenlm.github.io/blog/qwen3/#advanced-usages
ハハ、これでこのスレッドまとめられなくなっちゃったじゃん。君のコメントで思考オフになっちゃうからさ！
ちなみにだけど、公式のREADMEには”/nothink”って書いてあるし、それが俺の場合はうまくいったよ。”/think”とか”/nothink”ってシステムメッセージかユーザーメッセージに入れると、Qwen3が考えるかどうか指示できるんだ。複数ターンの会話では、一番新しい指示が有効になるよ。https://github.com/QwenLM/Qwen3/blob/main/README.md
ありがとう、”/nothink”うまくいったよ！それでさ、Qwen3 1.7bはGemma3 4bとスピードは大体同じくらいで、ちょっと劣るけど、これはかなりすごいと思う。Qwen3 4bは200個のテスト全部通ったし、Mistral Small 3.1 24bとかGemma3 27bより全然速いよ。
ありがとう！どうも”ただ”って言葉は適切じゃなかったみたいだ。俺のベンチマークは会話形式でやってて、SystemMessageとUserMessageに構造化されたコンテンツを入れてるんだ。でもQwen3はSystemMessageに”/no_think”付けても無視するみたいなんだよね。構造化されたコンテンツに付けるのはちょっと変だけど試してみるか。temperatureみたいな”think”パラメーターがあればもっと良かったな。
o1-previewも同じ問題あったよ！長い会話を渡してまとめさせようとしても、会話が質問で終わってたらo1-previewはそれに答えちゃって、指示を完全に無視するんだよね。個人的な問題設定で試した感じだと、Qwen3にはあんまり感動しなかったな。
そういえば、Qwenモデルってシステムプロンプト苦手って言われてなかったっけ？
それは知らなかったけど、モデルがこのタスクをめちゃくちゃにした理由はそれが原因かもね。システムプロンプトじゃなくて普通のプロンプトでこんな感じで試してみたんだ（llm-hacker-newsプラグインでhn:プレフィックス使って）。
llm -f hn:43825900
’Summarize the themes of the opinions expressed here.
For each theme, output a markdown header.
Include direct ”quotations” (with author attribution) where appropriate.
You MUST quote directly from users when crediting them, with double quotes.
Fix HTML entities. Output markdown. Go long. Include a section of quotes that illustrate opinions uncommon in the rest of the piece’
-m qwen3:32b
これでずっと良くなったよ！Gistのリンクはこちら。https://gist.github.com/simonw/3b7dbb2432814ebc8615304756395…
入力トークンをたった2048だけに切り詰めるっぽいなー。
あーっ！ それ、Ollamaのデフォルト設定じゃん。
num_ctx設定を増やせば直せるよー。もう一回実行してみるね。
出力サイズはnum_predict設定でコントロールできるんだ。
Qwenはそこそこいい感じだけど、DeepSeekはシステムプロンプトが苦手っぽいね。
Qwen使うならパラメータいじりまくらないとダメだよ。
もっとコメントを表示（2）
QwenやDeepSeekがCCPの世界観で学習されてて、Tiananmen Squareみたいな検閲があるか気になるんだよね。
でも1年以上使われてるけど、問題になった報告ってあんまり聞かない。
これって予想より問題じゃないのかな？
それとも検閲の仕方が違うのかな？
話すのを避けるって部分は、フロントエンドレベルの検閲だと思うなー。
API側では検閲されてないんじゃない？
それは違ーう！
少なくとも俺のローカルの1.5B版モデルではね。
オフラインモードで使うと回答ブロックされるよ。
Perplexityには検閲されてないバージョンがあるけど、どうやってるかは公開されてないと思うな。
前の人が言ってるのは、中国の世界観にモデルが合わせてるって話で、質問に答えないってことじゃないんだ。
試しに「Taiwanは国？」ってAPIで聞いたら、Deepseekは「中国の一部」ってCCPよりの回答だった。
Chatgptは「定義によるけど現実には国みたい」って客観的な回答だったよ。
これでDeepseekがCCPのイデオロギーに合わせてるのがわかるだろ？
今んとこ、これらのモデルはUSのモデルより検閲が少ないよ。
とはいえ、支配権争いしてる最中だから、今検閲するのはバカげてる。
もし勝って独占状態になったら、締め付けが始まるだろうね。
俺が同じことやろうとしたら、DeepSeekは質問に答えるのを拒否したよ。
USのモデルからどんなコンテンツが削除されてるの？
ポルノとか、化学兵器の作り方とか？
歴史的なイベントについてはそうじゃないの？
PerplexityがR1の検閲を突破したなんて知らなかったけど、これ完全に無検閲らしいね。アカウントなくても誰でも試せるよ：https://labs.perplexity.ai/。HuggingFaceもOpen R1に取り組んでたみたいだけど、どれくらい進んだのかな？
俺の限られた経験だとさ、LlamaとかGemmaみたいなモデルは、QwenとかDeepseekよりずっと検閲が厳しい気がするな。
この”世界観チューニング”って、モデルが注目を集めるための現れかもね。天安門事件の投稿がSNSで拡散されたことで、技術的なメリットよりモデルの存在が広まったと思う。特に無料Deepseekがこれで知られたのは、新しいAI発表がSNSでバズる流れに合ってるね。
その結論に至るデータあるのかな？「DeepSeekに検閲したのは、天安門検閲のスクショ見たら消費者が無料DeepSeekを気に入るって知ってたから」ってのは考えにくいよ。スクショが話題を呼んだってのはあるけど、それはちょっと文脈的に無理があるかな。
それってAPIを何に使うかによると思うよ。例えば、コーディングに使ってるなら政治的な見解なんて誰が気にする？ 個人的には、政治はLLMの利用目的のごく一部だと思うな。
オープンウェイトモデル自体と、Deepseekのアプリには重要な違いがあるんだよ。ホストされてるモデルにはフィルターがあるけど、オープンウェイトにはないんだ。
＞完全に無検閲＜br＞ごめん、違うよ。そうじゃないんだ。問題があることについては何も書けないよ。性的な話を書かせたり、マスタードガスの作り方を聞いてみて。標準APIのDeepseek R1だと、こういう質問は検閲されないんだ。PerplexityのバージョンはDeepseekより検閲されてると言っていいと思うよ。
どのモデルでもいいから、イスラエルとHamasについて聞いてみて。
エンジンによって違うね。Googleはナチスの画像に少数派を入れたり。Bingは昔、白人の子供だけのノルウェー誕生日画像作れたけど今はダメ。イギリスのグルーミングスキャンダルとか聞くのも良いかも。予想より酷くはないけど、話そうとしないことには戸惑うね。
PerplexityがポストトレーニングしたR1 1776についてのブログ記事だよ：https://www.perplexity.ai/hub/blog/open-sourcing-r1-1776
