本帖根据机器之心 2026-07-14 推文整理。文章介绍模思智能 OpenMOSS 团队的两个模型：MOSS-VL-Realtime 面向实时视频流理解，MOSS-Transcribe-Diarize-0.9B 面向多说话人转写与区分。1
图集速览
- 首图来自原文配图，是 MOSS 项目的入口视觉。
- 第二张图展示实时视频理解中的人类视角与模型视角差异：模型需要在视频变化中持续更新答案。
- 第三张图展示 MOSS-VL 架构示意，包括视觉编码、多模态输入、门控注意力层与 LLM 解码器。
- 第四张图对应语音侧任务，指向自回归 SpeechLLM 和音频编码流程。
这篇推文的核心信息
- MOSS-VL-Realtime 强调三种实时交互：随时应答、主动沉默、边看边答并及时纠正。1
- 文章提到的关键设计包括交叉注意力、绝对时间戳、XRoPE 和 256K 上下文；训练支持 2048 帧，最高 16fps。
- 推理性能上，原文称 SGLang 推理相比 Transformers 提升 4.57 倍；在同为 SGLang 条件下，相比 Qwen3-VL 提升 5.48 倍。
怎么理解这件事
这类模型的重点是把多模态理解从「看完一段再回答」推进到「边看边听边修正」。它更贴近会议、直播、监控、机器人现场感知等连续场景，但实际效果仍需要看开放评测和真实部署表现。
评论
登录后可发表评论。