iPhone断网跑35B多模态！国产开源新模型，只占3G内存
面壁智能与 OpenBMB 开源 MiniCPM-V 4.7：35B-A3B 的 MoE 只用约 3G 内存就能在 iPhone 上断网运行，解码速度超过每秒 13 个 token。
本文转载自微信公众号「量子位」2026 年 10 月 13 日推送，作者：金磊（发自 凹非寺 量子位 | 公众号 QbitAI）。原文：《iPhone 断网跑 35B 多模态！国产开源新模型，只占 3G 内存》
什么？35B 的 MoE，在手机上也能跑得很丝滑？
10 月 12 日，面壁智能和 OpenBMB 开源了新一代端侧多模态模型 MiniCPM-V 4.7，一共两个规格：35B-A3B 和 1B1。
35B-A3B 是 MiniCPM-V 系列的第一个 MoE 模型，大约 3G 内存就能在 iOS 和安卓设备上流畅运行2。
量子位直接在断网的 iPhone 17 Pro Max 上试了试：上传一张拿破仑远征俄国的行军路线图，问图里记录的最低气温是多少摄氏度、出现在哪一天。
不到一分钟，手机上的模型就从温度线上找到了零下 30 度的标注，判断出日期是 1812 年 12 月 6 日，再按 1 列氏度等于 1.25 摄氏度换算，给出零下 37.5 摄氏度2。
断网手机上的 35B
同一张路边停车标志的照片、同一个停车时间的问题，优化前后差别很直观。
没做优化时，速度每秒大约 2 个 token；优化之后到了每秒 8～12 个 token2。
据原文，这个 35B 模型在 iPhone 17 Pro Max 上、只占 3G 内存的情况下，解码速度能做到每秒 13 个 token 以上。
MiniCPM-V 4.7 的两个规格各有侧重。
35B-A3B：总参数 35B，每次推理只激活 3B，约 3G 内存就能跑在 iOS、安卓设备上。
1B：实际参数 1.3B，主打极小体积，OCR、数学和视频理解都排在同尺寸模型的第一梯队。
端侧模型里排到哪一档
先看纸面成绩。
通用视觉上，35B-A3B 的 MMBench 拿到 91.72，MMStar 是 80.67；理科题方面，MMMU 和 MathVista 分别是 80.22 和 88.002。
视频理解的 Video-MME 和 LongVideoBench 拿到 76.40 和 68.90；在 OmniDocBench v1.6 上，它拿到 94.24 分，另外四个模型都在 80 分上下，领先 12 分以上。
对照的是 Qwen3.6 35B-A3B、Qwen3.6 27B、Qwen3.8 27B 和 Gemma-4 31B，评测模式为 Instruct1。
再看省算力的代价。
把视觉压缩开到 16 倍之后，MMBench 只从 91.72 降到 90.87，OCRBench 从 91.20 降到 90.40，省下来的算力几乎没有拿精度去换2。
纯文本能力上，中文知识 CMMLU 拿到 90.21，工具调用的 τ²-Bench 拿到 84.65，同样是表里最高。
原文的说法是，MiniCPM-V 4.7 是首个能在端侧流畅运行、同时不牺牲性能的开源 MoE 模型2。
3G 内存怎么装下 35B
一个 35B 的模型，凭什么能在 12GB 内存的手机上跑起来，还跑得不慢？
关键在于 MoE 的稀疏激活：35B-A3B 虽然总共有 35B 参数，但生成每个 token 时真正参与计算的只有 3B 左右2。
麻烦在于，每一层该叫哪几位专家，要等上一层算完才知道；手机内存又装不下全部专家，大部分只能放在闪存里，用到了再读进来。
过去的办法有两种：用到哪个专家就读哪个，能跑但慢到没法实时对话；或者给整段对话提前固定一小组专家，读盘少了，模型能挑的专家也跟着变少。
MiniCPM-V 4.7 用的是前瞻专家调度（LES）3。
它利用了一个特点：模型相邻两层的输入特征往往高度相似。当前层还在计算时，就把路由输入特征送进下一层的路由器，提前预测下一层可能用到的专家，再由后台线程把权重从闪存读进内存2。
团队测试中，这种方法能提前备好超过 80% 的所需专家，而且无需额外训练。
权重这一侧也在省：逐层混合精度量化把专家权重压得更小，连续存储布局减少零散读取，让闪存更高效地顺序读数。
几项叠加的结果是，在 16GB 内存的 iPad Pro M4 上，LES 综合提升了 5 倍解码速度；配合 DSpark 草稿模型和 llama.cpp，16GB 内存的 M5 Mac 上解码速度平均再提升 17%2。
视觉这一侧沿用了 LLaVA-UHD v4 的 ViT 内早期压缩技术，在视觉编码器内部就提前合并视觉 token，开发者可以在 4 倍和 16 倍压缩之间切换。
面向开发者，面壁还开源了自回放微调（Self-Replay Fine-Tuning）4。
它先让模型回答一批覆盖原有能力的问题，筛选出高质量回答，再把这些回答混进新任务的训练数据，减少微调对通用能力的遗忘。
断网也能办的事
先看一道贴近生活的题。
输入的是一张家庭用电调查表：空调、冰箱、电热水壶、电视、洗衣机和待机设备的功率与使用时长，再附上这个月 420 度电、126 元的账单2。
问题有三个：估算每样电器一个月的用电量并排序；算算它们能解释账单的百分之多少；在三个省电方案里挑出最省的那个。
35B-A3B 先把瓦换算成千瓦，再按功率乘使用时长逐项计算。空调每月 144 度排第一，冰箱按年耗电 280 度折算成每月约 23.33 度。
六样电器加起来约 213.63 度，折合 64.09 元，只能解释账单的 50.9%，还差 206.37 度；三个方案里空调每天少开 1 小时最划算，一个月省 24 度，合 7.2 元2。
1B 这边的任务是把一页论文转成 Markdown。不到半分钟，标题层级、段落和表格都被还原出来，公式写成了 LaTeX。
同样的拿破仑题，在 iPad M4 上跑了一遍，答案依旧是 1812 年 12 月 6 日、零下 37.5 摄氏度。
用 API 还试了两道：一张 6 样商品、实付 78.40 元的超市小票，被整理成中文记账表并核对无误；一道停车规则题，五个问题全部答对。
大模型不再挑手机
2026 年，端侧 AI 正在走向大规模装机。
IDC 预计，今年中国新一代 AI 手机出货量将达到 1.47 亿台，同比增长 31.6%，渗透率首次突破 53%——每卖出两台新手机，就有一台带着端侧 AI5。
对手机厂商来说，另一个现实问题是成本：内存一直在涨价，12GB 已经成了 AI 手机的及格线，旗舰普遍标配 16GB，部分机型开始往 24GB 上探2。
用更少的内存跑更大的模型，因此变得有吸引力。iPhone 17 Pro Max 的内存是 12GB，而 35B-A3B 大约 3G 内存就能流畅运行，剩下的空间还能留给其他应用。
生态方面，MiniCPM-V 4.7 支持 iOS、安卓和鸿蒙，发布当天就完成了瑞芯微、后摩、Intel、AMD 和 Arm 等芯片平台的适配1。
推理框架支持 SGLang、vLLM、llama.cpp 和 Ollama，微调可用 SWIFT 和 LLaMA-Factory，量化版本给了 GGUF、AWQ、GPTQ、FP8 等好几种。
这条路线背后，是面壁和清华提出的密度定律：大模型的能力密度大约每 3.5 个月翻一番，同样的能力需要的参数越来越少。
截至 2026 年 9 月，MiniCPM 系列的累计下载量已经突破 5000 万次2。
原文里的话
丝滑，着实是有点丝滑。
一个 35B 的模型，凭什么能在 12GB 内存的手机上跑起来，还跑得不慢？
总而言之，把好用的大模型丝滑揣兜里，现在已经不是难事了。
References
- 1MiniCPM-V 仓库
github.com
- 2量子位原文
mp.weixin.qq.com
- 3llama.cpp-omni（LES）
github.com
- 4自回放微调说明
openbmb.cn
- 5机构预测：2026 年中国新一代 AI 手机出货量将同比增长 31.6%
finance.sina.com.cn
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.