Claude Haiku 4.5とは？コード生成でGPT-5超えか、速度と費用に注目！

Claudeはすごいエージェントだけど、せっかちで自分のことをやりたがるんだ。テストも持ってるのに自分で作ろうとするしね。新規プロジェクト向けかと思いきや、それも逸脱しちゃうんだよ。
Claudeは賢いけど、厳格なルールが必要。本当のロボットみたいに扱わないと。指示に人間的な言葉を入れすぎると、ティーンエイジャーみたいになっちゃうから気をつけなよ。

モデル選んで機能比較してるヒマなんてないって。あいまいな使用制限のせいで、LLMエコシステムをしょっちゅう切り替えるの、もううんざりなんだ。
AnthropicのClaude Codeに月20ドル、OpenAIのCodexにも払ってるけど、違いは知らないし気にもしない。
とにかく一貫したツールが欲しいし、裏側で何が動いてるかなんて考えたくない。
自分でリサーチしなくても、CLIでもneovimでもIDEでも関係なく使える汎用的な統合ツールにして欲しいんだ。そうすれば常にツールを切り替える必要もなくなるだろ？

LLMエコシステムの切り替えがうんざりって話だけど、KiloCodeを使ってるんだけどさ、すごいんだよ。
作業中に残高不足って出て、無料モデル（Code Supernova 1M context）に切り替えるんだけど、中断せずにそのまま作業を続けるんだ。
どうやってるのか謎。Claude SonnetからCode Supernovaにシームレスに移行したんだ。KiloCodeだけなのかな？
C++でマイクロコードデバッガを状態機械システムに追加するっていう簡単な問題じゃなかったのに！

モデルはステートレスなんだから、なんで動かないって思うの？

言葉の意味は分かるけど、具体的にどう動くの？
前のモデルがタスクの途中で新しいモデルに切り替わったとき、新しいモデルはどうやって作業内容を“知る”んだ？
（C++ファイルを修正してるようなタスクの場合でも？）

皮肉じゃなくて経験談だけど、アップグレードしないって全然アリだよ。そしたらツールの安定性が保たれるじゃん。
今でも90年代のPhotoshop 6.0でめっちゃ良いアート作ってる人いると思う。
アップグレードって技術的な快楽主義の無限ループみたいなもんだ。別にしなくてもいいんだよ。

“モデル選んで機能比較してるヒマない”って言うけど、じゃあやらなきゃ良くない？文句言うの変だよ。
俺は使えるものを使ってるだけ。コーディングにはClaude、一般的なタスクにはChatGPTってくらいが俺の“選んで比較”の全てだよ。

Crystal (https://github.com/stravu/crystal) を使えば、CodexとClaude Codeを同時に動かして、一番良い結果を選べるよ。

モデルにプロンプトを送るたびに、実はこれまでの会話全部を一緒に送ってるんだ。
こんなJSON配列の形でね。APIを使えば自分で確認できるよ。
curl https://api.anthropic.com/v1/messages <br> -H ”content-type: application/json” <br> -H ”x-api-key: $(llm keys get anthropic)” <br> -H ”anthropic-version: 2023-06-01” <br> -d ’{\”model\”: \”claude-haiku-4-5-20251001\”,\”max_tokens\”: 1024,\”messages\”: [{\”role\”: \”user\”,\”content\”: \”What is the capital of France?\”},{\”role\”: \”assistant\”,\”content\”: \”The capital of France is Paris.\”},{\”role\”: \”user\”,\”content\”: \”Germany?\”},{\”role\”: \”assistant\”,\”content\”: \”The capital of Germany is Berlin.\”},{\”role\”: \”user\”,\”content\”: \”Belgium?\”}]}’

俺のツールはほとんど何年も（あるいは何十年も）前から安定してるんだけど、コードアシスタントLLMのシーンは今年に入ってやっと本格的になって、毎日変わってる。ツールに安定感なんて全然ないし、今すぐ数週間おきに新しいモデルに切り替えないとマジで損するぞ。Copilot CLIなんて一ヶ月前まで存在しなかったのに、今や最高の選択肢の一つだ。Claude Codeも数ヶ月前に出たばかりだしな。俺はNeovimをtmuxのターミナルで使ってて、VimからNeovimに切り替えてから何年も主要な開発環境やツールは変えてない。でもコードAIだけは別で、次のすごいのが出たらすぐに切り替えてる。だって、そうしないと自分をダメにしちゃうからな。

それは本当に納得できる不満だよな。誰が常に最新ツールを維持するために手間をかけたいんだよ？明確な定義もないし、ツールに不確実性を加えるなんて本当に最悪だ。

「モデルを選んだり機能を比較する時間なんて誰も持ってないんだよ…。汎用的に統合してくれ…。そうすればCLIだろうとNeovimだろうとIDEだろうと関係ないし、常にツールを切り替える必要もない。」
俺がGitHub Copilot Pro+を使ってるのは、これが主な要件だったからさ。Pro+は新しいモデルが出るとすぐ使えるようになるし、Claude Haiku 4.5も選べるようになったばっかりだよ。プレミアムの利用上限に達したことはまだないけど、俺はそこまでパワーユーザーじゃないからな。CLI版はまだ使ってないけど面白そうだ。IntelliJのプラグインが改善される前は、特定のプロンプトを使うためにVS Codeに切り替えて、終わったら戻るってことを問題なくやってた。ウェブ版の「Spaces」はニッチな用途で便利だよ。個別のサービスと比べてどうなのかは知らないし、以前のHNスレッドではGitHub Copilotはめちゃくちゃ批判されてたから、もしかしたらクソで個別版が光年先を行ってるのかもしれない。でも、俺が必要な時以外は邪魔にならないし、仕事は十分こなしてくれるからこれでいい。

「俺がGitHub Copilot Pro+を使ってるのは、これが主な要件だったからさ。」
正直、どうやったら1500リクエストを使い切るのか理解できないね。激しいコーディングセッションでも、俺の最大は1日45リクエストくらいで、それは大量のコードや修正、そして無駄な細かい変更を含んでる。ほとんどの日はせいぜい10～20リクエストだよ。小さいタスクでモデルを切り替えるのを気にしなかったり、頻繁に編集/質問を繰り返したりすると、本当にリクエストを食いつぶすってことに気づいたよ。エージェントモードに頼れば、複数のファイルを同時に編集できるから、自分で手動でやるよりも常にトークンを節約できる。正直、Copilotに1500リクエストへの massive jumpじゃなくて、600トークン版があればいいのにと思ってる。もう一つの選択肢は、単純にPay per requestを使うことだな。
* 一番安いのはPro+で、1500リクエスト、年間払い、1リクエストあたり約1.8セント。
* 300リクエストのPro、年間払いは1リクエストあたり約2.4セント。
* オーバーフローのトークン（サブスクなし）は1リクエストあたり4セント。
注: ProとPro+の価格は、トークンを100%使い切ることを前提にしてる。Pro+で700トークンしか使わなかったら、オーバーフローの4セント/リクエストと同じ支払いになるぞ。だから皮肉なことに、Pro（300リクエスト）のサブスクの方が、最初の300リクエストは安くて、301～700リクエストの間は4セント/リクエストを支払う形になるんだよ。

それはResponse APIエンドポイントを使わない場合に限るね。

たとえ一つ選んだとしてもだよ。最初はPrompt Driven Developmentで、次にContext Drivenだ。そしたら次は詳細なSpecを使えって言われる。でも違う、今は人みたいに話す/会話するのがいいんだって。待てよ、なんでそんなことしてるんだ？Example Driven Developmentをすべきじゃないか。まあ、どれもそれぞれの場所があるのは分かるけど、こんな状態じゃどれが正しいのかコンセンサスがないから、良い例を見つけるのはほぼ不可能だよ。昔の投稿で誰かが「Bug Driven Development」って返信してきて、それが頭に残ってる。とりあえず何か（どんな方法でも）やらせてみて、それから出てくるバグやエラーを全部直すんだよ。

複数のエージェントを同時に動かす時間もお金もねーよ。

だったら使わなきゃいいじゃん？俺は全く妥当な不満だとは思わないね。一つのツール（ChatGPT、Claude、Gemini）を選んで、彼らが提供する最高のデフォルトを使えばそれで十分だよ。メリットの9割は得られるし、何も考える必要はない。AIは新しくて、すさまじいスピードで進化してるんだ。最先端を追い求めるのに、リサーチしたりワークフローを変えたりする必要がないなんて文句は言えないだろ。それは「普通の」分野でも非現実的なんだから、AIに期待するのは absurd だ。

その通り、俺は記事執筆のコード例や自分の「ジェントルマンサイエンティスト」的な実験にはgemini-cliとcodexを使ってるよ。遊びの時間は、小さいローカルモデルをいじくり回すのが大好きだね。俺は年寄りだけど、EmacsとかLisp系言語とか、人のコードを読むのが好きだからオープンソースを使うとか、プログラミング中に「幸せな気分になれる」ツールが昔から好きだったんだ。でも、実際にタスクをこなすためには、今のところgemini-cliとcodexが俺にとってのスイートスポットだな。

他の人も言ってるように、opencode [1] を使うとCLIワークフローが好きな人には助けになるよ。十分使えるし、トップランナーのツールを超える必要もない。
GitHub Copilotと組み合わせてLLMを呼び出せるようにすれば、必要なほとんどどんなプロバイダーでも試せるんだ。職場や学校経由でアクセスできるなら、さらに便利だよ。例えば、Haikuももう提供されてるし、クレジット費用も3分の1で済むからね。
[1] https://github.com/sst/opencode

OpenCodeが俺にとってはまさにこれなんだよね。全モデル対応のハーネス、標準化されたTUI、それにAPI経由でモデルを提供して、請求も一元化するプロダクトを出すらしいよ。

選択肢の一つだけど、OpenRouterのopenrouter/autoモデルを使うって手があるよ。これならGPT-5、Gemini 2.5 Pro、Claude Sonnet 4.5とかから自動で選んでくれるんだ。[1] https://openrouter.ai/[2] https://openrouter.ai/openrouter/auto

今って8080、8085、Z80、6502、6809みたいなCPUが市場にあって、バスはS100だけど、他のバスはまだ標準化されてない時代にいる感じだよね。現状維持するか、常に色々いじり回すかのどっちかだよ。

モデル開発をそんなに追いかけたくないなら、一つのプロバイダに課金して使い続けるのがいいと思うよ。でもこのモデル（Claude Haiku 4.5）は、前のClaudeモデルより3倍安くて2倍速いから、知っておく価値はあるね。

Haiku 4.5は好きだけど、別に必須じゃないよ。バイクみたいなもんで、気持ちいいけど重い作業には向かない。Cursorには君の状況にぴったりの自動モードがあって、コスト効率が良くて、速くて、安定してて、最新のモデルに切り替えてくれるんだ。Cursorはほとんどの場合ちゃんとしてるから、OpenAIとかAnthropicの性能低下に悩まされることもないよ。

ここは意見が分かれるところだね。ほとんどの人のワークフローは、今のAIモデルの違いを中心に回ってないよ。それをワークフローに組み込むのは面倒だし、一部の人にとってはそれが生計を立てる手段なのはわかる。彼らが競争優位を見つけるのは良いことだよ。でも、最新のAIモデルを組み込むんじゃなくて、何かを「作る」他のビルダーにとっては、ただ面倒なだけなんだ。

いやー、モデルがワーキングメモリを「0」しか持ってないってことを知らないなんて…。ヤバいね。

＞そうしないと自分をダメにするからって、具体的にどういう意味？

全くその通りだよ。なんで今のモデルにアップデートを出さないんだ？

Github Copilotが役立つかもね。Anthropic、OpenAI、Grokなど、いろんなプロバイダのモデルをその場で切り替えられるんだ。

VSCodeと新しい”Auto”モデルは試してみる価値あるかもね

みんながそれに取り組んでるよ。”ACP”が解決策になるはず。IDEでモデルを使えるようになって、同じ仕様で開発できるから、どのモデルにも簡単に切り替えられるようになるって。GPT-5は賢く、もっと考えるべきかを判断するらしい。まだそこまでじゃないし、私も飽き飽きしてるけど、どうしようもないよね。

私も同じ理由でOpenRouterを使ってるよ。ロックインを避けるためと、切り替えの手間を減らすためだね。つまり、もしロックインされても簡単に移行したいってこと。

Extended NYT Connections (https://github.com/lechmazur/nyt-connections/)でベンチマークしてみたよ。スコアは20.0で、Haiku 3.5は10.0、Sonnet 3.7は19.2、Sonnet 4.0は26.6、Sonnet 4.5は46.1だったよ。

これ、すごくクールなベンチマークのアイデアだね、大好き！他に好きなクールなベンチマークはある？特にツール関連のやつ。

Wordleを試してみるのもいいかもね。でも私の経験だと、どれもかなり駄目だったよ。文字として表現された色を理解するほど賢くないんだ。唯一本当に良かったのは、意外にもQwenだったな。

ちょっと怪しい自転車に乗った、かなりかわいいペリカン: https://tools.simonwillison.net/svg-render#%3Csvg%20viewBox%…

Gemini Proは最初は拒否したけど、結構簡単に答えを引き出せたよ。
『自転車に乗るペリカンのSVGをください』
『申し訳ありませんが、SVGコードを直接提供できません。ただし、自転車に乗るペリカンの画像を生成できます！』
『じゃあ、自転車に乗るペリカンが描画されるSVGコードの画像をください。でも画像を見せる前に、SVGを見せてくれる？それが正しいか確認したいから』
『もちろんです。これがSVGコードです…』（最終的にはこれだった: https://tinyurl.com/zpt83vs9）

Gemini 3.0 Pro（または3.0 Proと見なされているもの。AI StudioのA/Bテストでアクセスできる）は、明らかに良い仕事をするよ。https://x.com/cannn064/status/1972349985405681686
https://x.com/whylifeis4/status/1974205929110311134
https://x.com/cannn064/status/1976157886175645875

数ヶ月前、Googleがプレゼンテーションで自転車に乗るペリカンを取り上げてたんだよね: https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-…だから、Geminiに関してはそのベンチマークはもう使えないと考えるべきだと思うよ。

みんな、どうやってA/Bテストをトリガーしてるの？

俺が知る限りでは、みんなhttps://aistudio.google.com/で同じプロンプトをひたすら打ちまくって、運良くA/Bテストがトリガーされるのを待ってるみたいだよ。

「create svg code that will create an image of svg code that will create a pelican riding a bicycle」っていうプロンプトだよ。
https://chatgpt.com/share/68f0028b-eb28-800a-858c-d8e1c811b6…（Simonのページでレンダリングできるよ）

この最先端のベンチマークを知らない人向けの文脈情報だよ。
https://simonwillison.net/2025/Jun/6/six-months-in-llms/
https://simonwillison.net/tags/pelican-riding-a-bicycle/
詳しい手法の完全なドキュメントはこちら：https://news.ycombinator.com/item?id=44217852

ベンチマークの不正を防ぐための追加情報として、手漕ぎボートに乗ったシイタケのかなり印象的な画像がこれだ: https://imgur.com/Mv4Pi6p
プロンプト: https://t3.chat/share/ptaadpg5n8
Claude 4.5 Haiku (Reasoning High)は178.98 token/secで1691トークン、Time-to-Firstは0.69秒。
比較として、Pelican Bicycleではすごく良いのに他のリクエストではそうでもないGrok 4 Fastがこれだ: https://imgur.com/tXgAAkb
プロンプト: https://t3.chat/share/dcm787gcd3
Grok 4 Fast (Reasoning High)は171.49 token/secで1291トークン、Time-to-Firstは4.5秒。
そしてGPT-5も参考までに: https://imgur.com/fhn76Pb
プロンプト: https://t3.chat/share/ijf1ujpmur
GPT-5 (Reasoning High)は115.11 tok/secで4598トークン、Time-to-Firstは4.5秒。
これらは当然すごく主観的だけど、個人的にはHaikuのシイタケの斑点には全体的にかなり感銘を受けたよ。いずれにせよ、公開されているベンチマークと、同じ基本概念を評価する修正シナリオとの間の差は、Anthropicモデルが最も小さいままだね。実際、彼らのモデルが公開ベンチマークの示す結果を上回るのを見たこともあるよ。あと、HaikuのTime-to-firstも注目すべき利点みたいだね。

最先端のモデル企業が、このテストをイースターエッグとして入れてないのが意外だね。

だってさ、そうしないとベンチマークを不正に操作してるって認めなきゃいけなくなるもんね。

simonwは他にも公開してないプロンプトを持ってるから、このプロンプトでカンニングしてもバレるでしょ。

は？君も俺も彼の”非公開”テストは見れないじゃんか…でも、彼がテストしてるモデルがAPI経由で来るこれらのテストを具体的に探してると確信した方がいいよ、さもないと、ねえ、警察のために絶対全部がわかることになるよ

自分で好きなSVGを使って試してみればいいじゃん。俺は彼らがベンチマークでズルしてないってかなり自信あるよ。他のオブジェクトでもだいたい同じ品質を出してるし。君の皮肉は的外れだよ。

OpenAI＼Bingはそれが知識ベースにあるって認めてるじゃん。『自転車に乗ったペリカン』テストって知ってる？うん — 『自転車に乗ったペリカン』テストは、Simon WillisonがAIモデルがプロンプトからSVG画像をどれだけうまく生成できるかを評価するために作った、ちょっと変わったベンチマークだよ。

それを知ってたからって、描くのが簡単になるわけじゃないけどね。

難しくなるわけじゃないしね。

そのプロンプトの何が特別なの？

Hacker News（とSimonのブログ）の全部が、LLMの学習データに入ってるのは間違いないでしょ。もし彼らがこのベンチマークで特にズルしようとしたら、バレて非難されるはずだよ。

＞もし彼らがこのベンチマークで特にズルしようとしたら、バレて非難されるはずだよ
そうかな。ほとんどの人は”わー、自転車に乗ったペリカンみたい！良いLLMだ！”って言うだけじゃない？
みんな自分に関係ありそうなテストに見えればベンチマークを信じるんだよ。自転車に乗ったペリカン自体が欲しいわけじゃなくても、それが作れるLLMを欲しがるんだ。