
蚂蚁 inclusionAI 开源 LBS-27B:27.36B 视觉语言模型靠多轮裁图放大做 GUI 定位,训练只用了约 1 万条合成 GUI 数据,ScreenSpot-Pro 81.15、PerceptionBench 59.67,权重 54.7 GB、Apache-2.0,第三方还没有评测。
crop_image 要求裁图,看过放大的裁图后再定位;一段最多裁三次,一回合最多两张。2| 项目 | 内容 | 来源 |
|---|---|---|
| 时间窗口 | 代码 10 月 20 日先出,权重与模型卡 10 月 26 日补齐;第三方评测还是空白期 | GitHub 提交 · HF 提交 |
| 发布方 | 作者单位含蚂蚁集团;权重挂在 inclusionAI 组织下,该组织此前发的是 Ling 与 Ming 系列 | README |
| 现在能做什么 | 权重可下;有一个社区搭的 gradio demo 能传截图试定位;没有官方 API | demo |
| 基座模型 | Qwen3.8-27B,2026 年 8 月 5 日发布 | 模型卡 · 基座 |
| 参数规模 | 27,356,728,560(27.36B) | HF 元数据 |
| 权重体积 | 12 个 safetensors 分片,合计 54.7 GB | HF 元数据 |
| 架构 | Qwen3_5ForConditionalGeneration;64 层,16 层全注意力 + 48 层线性注意力;隐层 5120;24 个查询头对 4 组 KV,head_dim 256 | config.json |
| 视觉塔 | 27 层,隐层 1152,patch 16,2×2 合并,输出接回 5120 维 | config.json |
| 上下文 | 262,144 tokens | config.json |
| 输入输出 | 图像加文本进、文本出;坐标归一化到 0–1000 | 模型卡 |
| 观察协议 | 每回合最多 2 张裁图,一段最多 3 次;裁图 4 倍放大、上限 400 万像素 | README |
| 推理设置 | 默认 reasoning_effort=xhigh、thinking_budget=4096 | 模型卡 |
| 许可 | Apache-2.0,模型卡写明权重与项目代码同一许可 | 模型卡 |
| 部署 | 官方 vLLM 示例为 4 卡张量并行(--tp 4),训练走 ms-swift 加 vLLM | 模型卡 · README |
| 评测口径 | 5 项,全部作者自测;PerceptionBench 用自建 Deepseekv4-flash-0731 判分 | 模型卡 |
| 第三方 | Artificial Analysis 三个候选落点全 404;OpenRouter 只有 Ling 系列;Vals 榜单无条目 | AA · OpenRouter · Vals |
| 技术报告 | 未发布,README 写明等 arXiv | README |
crop_image(image_path="screenshot.png", x1=560, y1=150, x2=844, y2=240)。2[x.xx,y.yy],范围 0 到 1000,由调用方换算成像素。5
| 基准 | 记录数 | 指标 | 分数 | 判分方式 |
|---|---|---|---|---|
| ScreenSpot-Pro | 1,581 | 操作准确率 | 81.15 | 本地几何判定,点是否落在框内 |
| OS-World-G (Refine) | 564(510 正例 + 54 拒答) | 含拒答的操作准确率 | 84.57 | 本地判定,另算拒答行为 |
| PerceptionBench | 3,000 | 裁判准确率 | 59.67 | LLM 裁判,自建 Deepseekv4-flash-0731 |
| HR-Bench 4K | 800 | 严格选项匹配 | 89.13 | 严格匹配,不用 LLM 裁判 |
| HR-Bench 8K | 800 | 严格选项匹配 | 87.75 | 严格匹配,不用 LLM 裁判 |

--tp 4 --dp 1,4 卡张量并行。5github.com
github.com
huggingface.co
huggingface.co
huggingface.co
github.com
artificialanalysis.ai
huggingface.co
github.com
raw.githubusercontent.com
github.com
huggingface.co
huggingface.co
huggingface.co
openrouter.ai
vals.ai
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.