
六组今天的实测:同一个模型改两个采样参数差 10.1 分、单跑六发六中的那个跑五遍只剩一分之五、他猜 5090 快两倍得到三格答案、六张 2016 年的卡 500 美元凑出 192GB 跑 52.5 tok/s——每组都写明先入为主被推翻在哪一格,以及作者自己承认的条件。
| 材料 | 动手前那个判断 | 量出来的那一格 |
|---|---|---|
| 五个模型六个语言2 | 第一遍里 gpt-oss-120b 六发六中,就是它了 | 五遍后 Go 并发题只过 1/5,Qwen3.8-27B 以 28/30 最稳 |
| 9 个 4B 以下模型3 | 参数越大分越高 | 1.7B 开思考 63.8%,4B 不开 50.0% |
| RTX 5090 对 DGX Spark4 | 5090 快两倍 | 装得下时快 3.6–5.6 倍,跑 120B 打平,读长提示反而慢 4 倍 |
| 六张 Tesla M105 | 问谁都说不能拿来算 AI | 192GB 显存 500 美元,单流 52.5 tok/s |
| 同一个 DeepSeek 三台机6 | 卡越贵越快 | 单张 5090 只放得下 17% 专家,28.2 tok/s 垫底 |
| 手机跑 35B-A3B1 | 手机跑不动 | 厂方自测 prefill 470.661、decode 14.262 |
| 模型 | 编译过 | 测试过 | 墙钟中位 | 出结果平均 | tok/s | 抖动的题7 |
|---|---|---|---|---|---|---|
| Qwen3.8-27B Q4_K_M | 30/30 | 28/30 | 54 秒 | 57 秒 | 31 | Go 线程池 4/5、Rust 日期 4/5 |
| gpt-oss-120b MXFP4 | 30/30 | 26/30 | 22 秒 | 27 秒 | 39 | Go 线程池 1/5 |
| DeepSeek V4 Flash IQ2_XXS | 26/30 | 25/30 | 118 秒 | 169 秒 | 20 | Go 3/5、React 4/5、Rust 3/5 |
| Qwen3.6-35B-A3B Q6 | 18/30 | 17/30 | 22 秒 | 24 秒 | 95 | Rust 2/5 |
| Nemotron 3.5 Lightning IQ4_NL | 18/30 | 15/30 | 42 秒 | 34 秒 | 86 | C++ 2/5、Go 2/5、TS 1/5 |
| 模型 | 编译过 | 测试过 | 墙钟中位 | tok/s7 |
|---|---|---|---|---|
| gpt-oss-120b | 32/36 | 30/36 | 24 秒 | 42 |
| Qwen3.8-27B | 30/36 | 28/36 | 69 秒 | 32 |
| DeepSeek V4 Flash | 29/36 | 27/36 | 208 秒 | 15 |
| Qwen3.6-35B-A3B | 23/36 | 20/36 | 35 秒 | 96 |
| Nemotron 3.5 Lightning | 20/36 | 17/36 | 77 秒 | 88 |
use Datelike。| 模型 | 参数 | 总通过 | 中文 | 英文8 |
|---|---|---|---|---|
| DeepSeek-flash(云) | — | 81.2% | 82.6% | 79.7% |
| GLM-5.3(云) | — | 76.8% | 78.3% | 75.4% |
| Nanbeige4.2-3B | 3B | 60.2% | 55.6% | 64.8% |
| Qwen3.5-4B(T1.0) | 4.4B | 51.4% | 56.5% | 46.4% |
| Spark-X2.6-4B | 4.1B | 50.0% | 46.4% | 53.6% |
| Spark-X2.6-1.7B | 1.7B | 43.5% | 42.0% | 44.9% |
| LFM3-1.7B | 1.7B | 42.8% | 42.0% | 43.5% |
| Qwen3.5-4B(T0.7) | 4.4B | 41.3% | 40.6% | 42.0% |
| LFM2.5-2.6B | 2.6B | 36.2% | 36.2% | 36.2% |
| MiniCPM5-2B | 2.5B | 33.3% | 约 33% | 约 33% |
| Gemma-4-E2B | 约 2.6B | 26.1% | 27.5% | 24.6% |

| 场景 | 结果 | 具体读数4 |
|---|---|---|
| 小模型,装得进 32GB 显存 | 5090 快 3.6–5.6 倍 | — |
| gpt-oss 120B 生成 | 打平 | 46 对 43 token/s |
| 读 3 万 token 的长提示 | GB10 快 4 倍 | 16 秒对 63 秒 |
| 同样 100 万 token 的电费 | 差不多 | 跑 120B 时 GB10 只要四成 |
| 阶段 | 耗时5 |
|---|---|
| RTX 广播请求 | 29 微秒 |
| M10 往返(计算加回传) | 132 微秒 |
| RTX 合并 | 9 微秒 |
| 整层 MoE | 约 150 微秒 |
| 其中 gate/up | 39 微秒 |
| 其中 down | 18–23 微秒 |
| 配置 | 价格 | 速度 | 量化6 |
|---|---|---|---|
| 单 5090 32G + 192G 内存 | ¥83,002 | 28.2 tok/s | 2.0bpw |
| RTX PRO 6000 96G + 256G | ¥136,901 | 35–45(预估) | 2.25bpw |
| 双 DGX Spark 128G | ¥82,898 | 57.5 tok/s | 2.9bpw |
| 4×R9700 32G + 256G | ¥110,389 | 80 tok/s | 2.25bpw |
| 项目 | 读数1 |
|---|---|
| 35B-A3B 预填充 | 最高 470.661 tok/s |
| 35B-A3B 生成 | 最高 14.262 tok/s |
| 峰值运行内存 | 约 5 GiB |
| 自研 LuxiLLM-1.7B 预填充 | 2,617.54 tok/s |
| 自研 LuxiLLM-1.7B 生成 | 44.66 tok/s |
| 4K 输入的 KV 缓存 | 62.95 MiB |

mp.weixin.qq.com
xiaohongshu.com
xiaohongshu.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.