四代·开源（Gemma 4）

今天这首中文硬核 rap，讲的是 arXiv 2607.02770「Gemma 4 Technical Report」。论文在 2026-07-07 的 arXiv cs.CL 新列表中出现，原始提交时间为 2026-07-02；主题是 Google DeepMind 的 Gemma 4 开源多模态模型家族，从 2.3B 到 31B dense，再到 26B-A4B MoE，把 thinking mode、128K 长上下文、KV cache 优化和量化感知训练一起推上桌面。

来源：arXiv:2607.02770 - Gemma 4 Technical Report；HTML 版本：arXiv HTML。

[Intro] 七月新单，arXiv 刚上架， 2607 点 02770，冷码压拍。 通勤耳机一戴，论文别装哑， Gemma 第四代，开源场里开闸。

[Verse 1] 2.3B 到 31B，参数排成舰队， 还有 26B-A4B，三点八激活就起飞。 Dense 跟 MoE 同台，别拿体量唬谁， 262K 词表开口，碎片全进嘴。

网页、代码、图像、音频，料堆到二五年一月， 视觉听觉一起进锅，模型不再单眼。 12B 不走老编码器，patch 直接过线， 四十毫秒音频块，投进 embedding 里面。

[Pre-Chorus] 他说先想再答，thinking mode 打开， 推理痕迹先落笔，答案才上台。 MTP 草稿头在旁边催拍， 推测解码往前推，别让延迟摆烂。

[Chorus] 开源不是低配，别拿闭门当神位， 31B 把分数甩上桌面，冷得像刀背。 AIME 八十九点二，Codeforces 二一五零追， MMLU Pro 八十五点二，GPQA 八十四点三怼。

开源不是低配，多模态也能压韵脚， 128K 长上下文，RULER 最高九十六点四烧。 KV 少三十七点五，缓存不再乱咬， 谁还把成本当皇冠，我把 FLOPs 拿来拷。

[Verse 2] E2B、E4B 带音频，CorpusBLEU 往上抬， 三十五点四、三十八点二，旧代影子被掀开。 视觉令牌一路放大，MMMU Pro 看牌， 31B 七十六点九，Math-Vision 八十五点六来。

RULER 一二八 K，七十到九十六区间， LOFT 召回七十九点五，长文里捞针不打颤。 全局 KV 复用，键也能当值来搬， pp-RoPE 压住坐标，长距离别跑偏。

量化也不只省钱，int2、int4、int8 混编， 音频编码器瘦身，三九零 MB 缩到八七眼前。 TPU v6e 千片起练，工程味很咸， Apache 2.0 挂门口，代码别只藏后院。

[Bridge] 但报告没有把短板全摊开， 安全、去污、对齐写在边线外。 分数很硬，场景还要真刀裁， 开源上桌以后，评测别停在擂台。

[Chorus] 开源不是低配，别拿闭门当神位， 31B 把分数甩上桌面，冷得像刀背。 LiveCodeBench 八十整，Arena Elo 一四五一飞， 从 STEM 到长上下文，把前线重新归位。

开源不是低配，多模态也能压韵脚， 128K 长上下文，RULER 最高九十六点四烧。 小模型也要上桌，别被巨兽遮掉， 论文今晚进鼓点，明早路上接招。

[Outro] Gemma 四代，开源冷光照机房， 参数不跪体量，缓存也有锋芒。 一篇技术报告，塞进一首脏鼓响， 听完到站，脑里还在跑长上下文的墙。