
八组实测各自多花了一样东西——多四张卡、多 21GiB 内存、多四张输入视图、多一个 275MB 的权重——本期把多花的那一份和换回来的那一栏并排摆在读者面前,包括换回负数的那两组。
| 材料 | 多花的那一份 | 换回来的那一栏 |
|---|---|---|
| 六张 3090 跑 125B 1 | 四张卡,加一层自建修复 | 常驻 262K 上下文从 5 个到 7.33 个;预填 2111 → 6574 token/秒 |
| 单张 3090 加 32GB 内存 2 | 21GiB 内存常驻,加绑核 | 预填 +18%、解码 +26%,每轮读盘 60GB → 0 |
| 8GB 显卡跑 125B 的电费 3 | CPU 顶满的那 90 瓦 | 显卡只出两成力;每天 8 小时月电费 19.6 元 |
| 混元 3D 四种输入 4 | 从 4 视图加到 8 视图 | 腋下各多一只手 |
| Veda 稀疏注意力 5 | 一个 275MB 的预测器 | 端到端 2.63–3.12 倍,视频越长越赚 |
| EXL3 量化基座训练 6 | 大约一倍的训练时间 | eval loss 低 0.018,峰值显存低 1.2GiB |
| Open-AutoGLM 手机智能体 7 | 24GB 显存,加一个 ADB 输入法 | 说一句话,手机自己动 |
| RDNA3.5 内核分支 8 | 十个 commit | 预填 +21–54%,生成端不动、短上下文低 2–3% |
| 项目 | llama.cpp-multigpu | 本分支 vLLM(int8 KV) |
|---|---|---|
| 预填,单会话 250k | 2111 | 6574 |
| 首个 token,250k 提示 | 约 118 秒 | 37.8 秒 |
| 解码,单会话 250k | 33.7 | 57.6 |
| 解码,5 会话各自/合计 | 约 30/约 150(200k) | 37.9/190 |
| 解码,7 会话各自/合计 | 装不下(5 个格位) | 29.4/206 |
| 常驻显存 KV 的 262K 上下文 | 5 个 | 7.33 个 |
| 服务器空载时的可用内存 | 154 GiB | 141 GiB |
--resident-cpu-experts --resident-budget-gib 21,配合 memlock unlimited),一个约 11,700 token 的提示上,预填从 555.6 到 656.1、解码从 48.4 到 61.1,每轮 NVMe 读从 60GB 归零。--prefill auto 改成 auto:16384,121,566 token 的提示上从 1014 到 1325,代价是两个缓存槽。--aux-cpus 在这颗 CPU 上三轮各一次,不带 60.1、带 59.6,他猜这个开关在 Threadripper 或双卡上才有用。把 --vram-reserve-mib 压到 500 会不停警告请求可能卡住,819 才安静下来,引擎文档里那次从中位掉到 13.7 token/秒的记录就发生在这类临近零余量的状态下。| 阶段 | 显卡 | CPU 封装 | 合计 |
|---|---|---|---|
| 桌面待机 | 12W | 约 55W | 约 68W |
| 加载 68GB 模型 | 44W | 66W | 约 110W |
| 答题(512 字) | 46W | 90W(顶满) | 约 136W |
| 参考:算力拉满 | 219W | 61–69W | 约 285W |

| 输入 | 结果 | 背面 |
|---|---|---|
| 1 张正面图 | 排队 8 个任务、约 190 秒后开工,生成约 3 分钟,正面完整 | 整块发灰 |
| 8 视图 | 后脑勺变土黄,两条胳膊下各多出一只手 | 棕色错色 |
| 4 视图 | 几何最干净、比例正确,正面挑不出毛病 | 大片暗红 |
| 2 视图 | 约 82 秒出结果,整个结构压扁躺平 | 无法站立 |

| RTX 5070 12GB 上的运行方式 | 单步注意力 | 8 步端到端 |
|---|---|---|
| ComfyUI 原生 | 40.7 秒 | 342 秒 |
| 开 SageAttention | 24.8 秒 | 231 秒 |
| 挂 Veda Sparse INT8 | 14.0 秒 | 130 秒 |

| Qwen3.5-4B 的量化 | eval loss | 峰值显存 |
|---|---|---|
| EXL3 6.0bpw | 2.128 | 12.7 GiB |
| EXL3 4.0bpw | 2.152 | 11.9 GiB |
| EXL3 3.0bpw | 2.165 | 11.5 GiB |
| bnb NF4(axolotl) | 2.183 | 12.8 GiB |
Tap、Type、Swipe、Launch、Wait,遇到必须本人处理的页面则输出转人工接管的 Take_over,框架再把动作翻成 ADB 或 HDC 命令发回手机。Android 7.0 以上走 ADB,覆盖 50 多个应用;HarmonyOS NEXT 走 HDC,覆盖 60 多个;iOS 的实验性支持写在仓库的 docs/ios_setup 里。--max-model-len 25480,参数改错容易输出乱码。Android 的中文输入必须先装 ADB Keyboard 并启用,否则打字会失败。confirmation_callback 让支付这类操作先问一句再执行,takeover_callback 让登录、验证码这类页面主动交还控制权。支付与银行类页面的截图往往直接是黑屏,属系统级限制,也会自然触发接管。
phone_agent/ 与 docs/ios_setup 分开摆放,正对应框架与模型、Android 与 iOS 两套支持各走各的路。7| 预填 tok/s | 深度 | Vulkan | stock ROCm | rdna35-perf |
|---|---|---|---|---|
| Qwen3.6 35B-A3B(MoE) | 0k | 2625 | 2935 | 4045 |
| 同上 | 128k | 786 | 568 | 1068 |
| Qwen3.8 27B(稠密) | 128k | 250 | 114 | 312 |
| Qwen3.5 2B(稠密) | 128k | 2160 | 1547 | 2886 |
--layer-split、打开 --trim-stage-weights、固定预填预算与 --pool-workers 11,跳掉 46 种切分探索,第二张卡的可用显存多出 2.23GB;他用 ELYZA 10 题加英语难题 3 题做检验,帖子里记的总数是 26 次,全部跑完,IQ2_XS 的权重加载 33 秒、比 IQ3_S 少约 20 秒 14。preserve_thinking: true 把旧推理喂回了每一轮提示,关掉就消失 16。--batch 8 之后 8 并发墙上总吞吐到 375 token/秒,旧版纯串行排队是 136;四张 24GB 卡把 47GB 的 IQ3_XXS 专家池全常驻显存后,单流从双卡的 139 提到 180;8 个并发槽的锁页 KV 在启动时一次划走 75.3GB 内存,运行中保持平稳 19。reddit.com
mp.weixin.qq.com
mp.weixin.qq.com
mp.weixin.qq.com
mp.weixin.qq.com
xiaohongshu.com
xiaohongshu.com
reddit.com
reddit.com
reddit.com
xiaohongshu.com
mp.weixin.qq.com
xiaohongshu.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.