Gemini 2.5 Flashと2.5 Proが正式リリース！ Gemini 2.5 Flash-Liteを発表！

ここ一年くらい、人気のコーディングモデル全部かなり集中的に使ってるけど、Gemini 2.5 Proは最初に動くコードを出してくれる点、アーキテクチャに関する指示に従う点、タスクから脱線しない点でめちゃくちゃ成功してるよ。Aiderを使ってて、主にPython、JS、シェルスクリプトを書いてる。Claude APIには何百ドルも使ったけど、ほぼ全部Geminiに切り替えたんだ。API自体もずっと信頼性が高いし。
2.5 Proの唯一の不満は、コードに変なコメント（// Deleted varName here とか）残すことくらいかな。

私も同じ経験だよ。簡潔に答えるようにって、すごく凝ったプロンプトでGemを作ったのに、相変わらず長々しい返答だし、頻繁にプロンプトの範囲を大きく超えて話を発展させちゃうんだ。

Pro 2.5、ここ数ヶ月でかなり弱体化したよ。今年の初めは、Gemini 2.5 Proと本当に洞察力のある会話ができたんだ。今はほとんどフラストレーションが溜まるだけ。
個人的な陰謀論だけど、Google Geminiアプリで2.5 Proを一定の量以上使うと、性能を落としたバージョンを提供し始めるんじゃないかって。もちろん証拠はないけど、そんな気がするんだ。

これって、今のAIの常套手段みたいになってるよね。最初はすごく強くて高性能なモデル（推論コストが高い）をローンチして、ユーザーにSOTAだって思わせる。そして、コストを安くするために性能を落とすんだ。ほとんどのユーザーは気づかないし。
GPT-3.5でも同じことが起きた。最初はすごく良かったのに、OpenAIがコストカットを始めるにつれて悪くなった。OpenrouterでGPT-4.1がOptimusとして隠されてた時は本当に良かったけど、正式ローンチされたらこれも悪くなった気がするよ。

AIの静的指示方法（例えば .github/copilot-instructions.md とか）を使って、あの使えないコメントを残さないように指示すれば、その問題は解決するみたいだよ。

その値段ならこれ買えるじゃん？ https://www.amazon.com/Cell2jack-Cellphone-Adapter-Receive-l…

プレビュー版に戻すべきだよ。あの頃の方がずっと落ち着いてて、ちゃんとしたフィードバックもできたのに、このリリース版はまるでステロイド入りのチアリーダーみたいだよ。

LLMの劣化は従来のソフトと違うと思うんだ。ソフトはUI変更とかでわかるけど、LLMは最初に最高のを出して、後でコッソリ性能落とす方が得なんだよ。ユーザーは簡単に乗り換えられるから、バレないようにする方が得ってこと。

俺も似た経験あるよ。最初は複雑な問題を解くのがすごく上手いと思ったんだけど、簡単なことが上手く操縦できなくて。それにすごく長話なんだよね。全体的にはUXが一番気になるところで、今はClaude CodeのUXが一番いいな。

zen MCP serverをチェックしてみてよ。これを使えばClaude CodeでGeminiとかOpenAIモデル使えるようになるよ。https://github.com/BeehiveInnovations/zen-mcp-server

昔はclineでGemini Proが無料で使えたのに、今はAPI制限が低すぎてすぐウォレットにチャージしろってメッセージが出るし、APIクエリも通らないんだ。今はclineで無料のDeepSeek R1に戻ったけど、それも数時間で止まって次の日まで待たないといけない。コーディング用にローカルLLMをセットアップすることも考え始めたよ。となると真剣にPCをアップグレードする時だな。（まあ、もう10年くらい経ってるし、そろそろ時期だったんだけどね）

新しいバージョンやプレビュー版は、RLでコーディング性能向上に注力しすぎたせいで、他の分野の性能が劣化したのかもしれないね。

コメントは気にしないよ、削除しながら読んでるから。出力の調整とか変数名変更とか、少しリファクタリングが必要なのは普通。すごいのは、出力コードが実際に動く（ほぼ）ってこと！一番難しい問題じゃないけど、簡単でもなかったよ。

でも同じモデル、バージョンだって言ってるんじゃないの？

＞通常のソフトウェアの品質低下はUI変更とかで気づくけど
例えばGoogle Mapsがどれだけ劣化（enshittified）したか、ほとんどの人は気づかないんだ。企業は意図的にゆっくり劣化させるからね。段階的な変化に気づくのは難しい（地球温暖化みたい）。評価セットがあれば舞台裏の変化もわかるけど。

ある有料モデルの結果が別のモデルよりずっと良かったら、後者には低評価つけて、競合に負けたってコメントで指摘するかな。悪くないでしょ。

stupid commentsを残さないように指示する設定ファイルを使った場合と使わない場合でテストしてみるつもり—どうにかしてモデルに価値を提供してるか、例えばマルチターンの編集でね、興味あるんだ。

分からないけど、同じとは思えないな。Gemini 2.5 pro（プレビューとGA版）をしばらく使ってるけど、トーンの違いがはっきりわかる。プレビューは遅かったけどGAは速いから、量子化かも。たぶん偉い人が遅すぎ/高すぎ/つまらないと思って、良いものをダメにしたんじゃないかな。

最初にコメントをなくすよう指示するより、役に立たないコメントを削除するようコードレビューさせる方が楽だよ。大きな作業の後にクリーンアップする戦略が一番うまくいくみたい。

やり取り全部でBuzzFeedの記事みたいに話すようにさせた。最悪だ。

コーディングでGemini使ったら最悪だったよ。コードブロックを渡して変更点を伝えたんだけど、不要なコードと endlessなコメントを大量に追加されたんだ。引き締まったコードがPapyrusみたいになっちゃったよ。ChatGPTはもっと良いけど、同意しすぎる傾向があるから、バカなこと言っても否定してくれないから自分で墓穴掘ることになるんだよね。Claudeが一番良いバランスみたい。これは僕の二束三文の意見だけどね。

LLMの中に小さな脳みそがあって安定してるって感覚は間違いだよ。これらのモデルはすぐに崩壊するんだ。コンテキスト限界か、問題を解釈できないせいでね。LLMはエンジニアリングのトリック、主にNLPで illusionを作り出した統計的回帰にすぎないよ。役に立たないってわけじゃないけどね。進化し続けるこれらのモデルを比べるのは、NYCとLAのエスコートスタッフを比べるみたいに、結論出すのが難しいよ。僕らは騙されてるんだ。価格上昇については、Googleは aggressivelyに adoptionを狙ってたみたいだし、Geminiは short rangeで最も value for moneyだったからね。Adoptionが急増して、scalingが必要になったコストは astronomicalでGoogleに billionsかかってるんだろう。価格調整は発表前に予想できたかもね。

僕はGeminiにすごく impressedで、OpenAIは使うのをやめたんだ。たまにOpenRouterで three major models全部 pingすることもあるけど、今は90%がGeminiだよ。去年の90%ChatGPTと比べるとね。

Googleのことhateしたいんだけど、yeah、彼らのモデルはreally良いんだよね。larger context windowはhugeだよ。

僕も同じ。For now僕はclaude subscriptionをcancelしたよ。Geminiがcatching upしてきてる。

Also me。Still pay for OpenAI。僕はgpt4をexcel workに使っててsuper fastだし、よくあるprojectで出てくるfilesをcombineするみたいなmore excel related workもable to doなんだ。

thinking timeは好きじゃないけど、coding、journaling、and other stuffでGemini Pro 2.5にはoften impressedさせられてるよ。Possibly、openai／anthropicをwantするdirectionにnudgeするmuch more prompt fine-tuningはできるんだろうけど、同じpromptsだとGeminiの方がoften gives me answers／structure／toneをmuch better likeなんだ。Example：Claude 3.7でembedding images and captions along with responsesをgeneratingしてたんだ。Same promptをGeminiに入れたらmuch more varied and flavorful picturesをgave me。

Love to see it。これはFlash Liteをcode writingの“don’t bother” territoryからpotentially usefulなレベルに引き上げるね。（Besides being inexpensive、Flash Liteはfast――almost always sub-second、to as low as 200ms。Median around 400ms IME。）Brokk（https：／／brokk.ai／）はcurrently Flash 2.0（non-Lite）をQuick Editsに使ってるんだけど、僕らは今から2.5 Liteをevaluateする予定だよ。thinking modelがFlash 2.5よりdumberな場合のuse caseは僕にはないな。thinkingはsmall modelsのbig speed advantageをnegatesするからね。他の人がwhat other people use that forかCurious。

コーディング以外でGemini使ってる人いる？
何に使ってて、なんでGeminiにしたか知りたいな。
他のGenAIと簡単に切り替えられるようにアプリ作ってる？
他のプロバイダーも使って負荷分散とかコスト削減してる？
LLMのスポット市場とかできたらどうなるんだろ？

Gemini 2.5 Proは翻訳とか要約みたいに、コーディング以外でもマジで使えるよ。特に巨大なコンテキストウィンドウと利用制限は助かる。
深いリサーチレポート作るのも、ChatGPTより断然いいと思う。Googleのウェブ検索の強みが出てるのか、色々なソースから正確なレポートが作れる。
書き方も好きだし、Google Docsにエクスポートできるのも便利。
ただ、UIはイマイチかな。カスタム指示とか一時チャットとか、他のサービスにある機能がなかったり、全然ダメなんだよね。

山積みのNDAsを投げたら、数秒で関連する情報を綺麗に取り出してくれた。
巨大なコンテキストウィンドウと、書類の山から特定の情報を見つける（Needle In A Haystack）性能が、こういうタスクには最高だね。

書類の山から特定情報を見つける（NIAH）性能って、ユーザーが本当に求めてる長文処理の性能とはちょっと違うんだよね。
簡単なテストにはいいけど、Googleが使った長期コンテキスト評価（MRCR）も限定的。長距離の依存関係とかトピックモデリングは評価できてない。
大量のテキストをそのまま投げ込むだけじゃダメなんだよ。特に慣れてないトークンとか。
Googleが評価結果が悪かったのを隠さなかったのはすごいけど、RULERとかHELMETとか使わないのは、たぶん32k以降の性能がひどいからだと思う。
追記：でも、Gemini 2.5 Proはなんだかんだ色々なタスクで使ってるよ。
長文タスクの時は、カスタムエージェントにコンテキストをガンガン圧縮させてるけどね。

もしヘビーユーザーなら、普通のGeminiじゃなくてAI Studio経由で使うのがいいかもね。
システム指示とか温度とか、細かい設定ができるから。
NotebookLMもあるし、GoogleはGeminiベースで色々なプロジェクト試してるっぽいよね。普通のWebチャットはその中の一つって感じ。

AI Studioの不満は、有料APIでもGoogleにデータが残って、学習に使われる可能性があること—。
だから、データのことが気にならない時にしか使わないんだよね。

それは無料版だけだよ。
有料版のAI Studioユーザーは、しっかりプライバシー保護されてるから大丈夫。

https://lexikon.ai で結構使ってるよ。
特に大量の画像を処理する部分でね。
GoogleのVision APIの料金が、OpenAIとかAnthropicみたいな他の大手と比べてめちゃくちゃ安いんだ。

Gemini Flash 2.0は、マジでコスパ最高の使えるモデルだよ。
一番賢いモデルと比べたらそりゃ違うけど、安くて、めっちゃ速くて、しっかり構造化された出力をしてくれるから、開発するのが超気持ちいいんだ。
次は2.5 Liteを試してみようかな。

MRCRって評価は multi-needle retrievalとは全然違うよ。だからコンテキスト長が長くなると性能が落ちるんだ。すごく単純なタスク（岩に関する i番目の論文を再現とか）だけど、まだ全然解決されてない。 contextarena.aiとか、オリジナルの論文 https://arxiv.org/abs/2409.12640を見てみて。
あと、 fiction.live/stories/Fiction-liveBench-Feb-21-2025/o…みたいな評価とも合ってるみたい。君が言ってる他の評価は、この比較的シンプルな MRCRより必ずしも難しくないんだよね。

翻訳する時、長いテキストだと output limitの 65Kにやっぱり制限されるんじゃないの？どう思う？

もし秘密じゃないなら、君がどんな use caseで使ってるのか知りたいな。

確かに、 MRCRが解決済みなんて言ってないつもりだよ。ただ、 Longprocみたいに長距離の依存関係を解くよりは、 raw retrievalのテストに近いって言いたかっただけ。 retrievalがすごく良くても、 downstream taskでモデルがダメになっちゃったら、 benchmarkは全体像を教えてくれないからね。元のコメントで言いたかったのは、最先端のモデルでも、巷で聞くほど長文タスクが得意じゃないってことだよ。
＞ The other evals you mention are not necessarily harder than this relatively simple one.
MRCRと例えば Longprocを比べるなら、 Longprocの方がずっと難しいと思うな。少なくとも、時間が経つにつれて contextが溜まる long-horizon taskの分野には、 Longprocの方がずっと適用できる。というか、 Longprocの方がより全体的で詳細な evalだって言う方が正確かもね。タスクでは、 input context全体とか、前に生成した output segmentに散らばってる情報を synthesisしたり reasonしたりする必要があるし、必要な outputも長い（ 8K tokenまで）上に、特定の決まった formatに従わなきゃいけない。 scoringも MRCRより柔軟だよ。 tableなら row-level F1 score、 codeなら execution based checks、 formatされた traceなら Exact Matchとか使える。
NIAHと同じで、 MRCRを wholesaleで捨てるべきだとは思わない。ただ、もっと現実的な long context performanceの評価に使うのは無理があると思うんだ。
EDIT：あと、両方のタイプの evalを一緒に使うのは、 researchや training＼finetuningにすごく役に立つってことも付け加えたい。 Longprocがダメで、 NIAHや MRCRの contextがないと、どんな capabilityがダメになってるのか分かりにくいからね。だから、 hybrid eval approachとして両方使うのは、 certain contextでは価値がある。 end userが今の inference time performanceを知りたいだけなら、 RULERとか Longprocみたいな evalの方がずっと価値が高いと思うよ。

＞ The performance is abysmal after ~32k.
へえ。 real worldで使っててそんな経験はないな。たくさんの docsを放り込んで、 template document（ reportとか proposalとか）とか、他の projectの exampleとかも入れて、それぞれの fileから関連する contextを全部集めて templateを作ってって指示するタスクで、 2.5 Proが驚くほど良いんだ。他のどの top tier modelでも、このレベルの qualityで再現できなかったよ。

医療 researchの summarizeや critiqueをする projectで試してみたけど、あんまり良い結果は出なかったよ。普段使ってる mainの LLMで一番うまくいく promptが、他の LLMに入れると intended formatが崩れちゃうんだよね。それぞれの LLM向けに promptを refineすることも考えてるけど、まだそこまで手が回ってない。
個人的に今 Geminiを使うのが一番好きなのは、 basically読書会として使うこと。もちろん、実際の読書会ほどじゃないけど、 realの読書会だと読みたい本を読んでもらえないことも多いし、 Geminiはいつでも私が読みたい時に一緒に deep diveできるんだ。本によっては、 realの読書会より深かったり、 tunnel visionになりにくいみたい。 LLMが出る前は、本の themeを探求するのが結構 tediousだったんだよね。誰か読んでる人を見つけるのに時間がかかったり。でも今は、読み終わってすぐに deep diveできるのが最高だよ。

私は Gemini 2.5 Flash（ non thinking）を thought partnerとして使ってるんだ。考えを整理したり、自分では思いつかなかった新しい inputをもらったりするのに役立つよ。あと、 self reflectionにも使うのが本当に好き。自分の考えとか maybe concernとかを just inputしてみて、それが has to sayを見てるんだ。

うちは G-suite shopだから、 2.5 Proを仕事で使うために tons of timeを費やしたよ。 entirely unhappyではないし、 highly capable modelなんだけど、 long contextの implosionが majorityの task domainで significantに limitになっちゃうんだよね。 Longprocを modeled afterした internal dataを使った long context evalがあって、それで見ると across the boardで performanceは pretty badだよ。 task wise for usは、 production dataを使ってるから、 about as real world as it gets。 summarization、 Q＆A、 coding、 reasoningとかね。
でも、これは in-distribution vs out-of-distributionの distinctionが本当に weightを持つところだと思うんだ。もしモデルが君の token sequenceの instanceを trainingで more instances見てて、 thus has more stable semantic representations of them in latent spaceなら、 on averageで perform betterするのも make senseだよね。
私の caseでは、 public evalが internal enterprise dataでの performanceと very closely alignしてる。 they both tank pretty hard。 Notably、これは certain context cliffの後では all modelに trueだよ。 flagship frontier modelは predictably the bestだ。

うん。今のところ output limitで問題ないよ。長いテキストは each sectionで iterativelyに翻訳してるからね。 Geminiで翻訳するのが一番好きなのは、 default performanceが already good enoughで、 context windowの 1 million tokens経由で improvedできること。 contextに私の private database（ idiomatic translationとか、 language pairと subject areaで separatedされてる）を loadするんだ。そうすると、 manually reviewing Gemini translationの needが greatly diminishedされるよ。すごく便利。