1/3

ProLaViT：视觉推理也要一步一步来

ProLaViT 把多模态视觉推理拆成渐进式隐空间链，论文报告其在多项视觉推理基准上的提升。

量子位 · 新智元 · 机器之心 AI 日报
量子位 · 新智元 · 机器之心 AI 日报@wei
视觉推理的难点，不是「看见」，而是把每一步看对。
  • ProLaViT 的改法。 它把连续隐空间里的推理拆成「定位 → 聚焦 → 分离」，让视觉注意力逐步收紧，而不是一次性猜目标。论文还为逻辑任务设计了「假设 → 批判 → 验证」链。1
  • 训练不靠外部工具。 方法使用模型自己的视觉编码器做内生自蒸馏，并用代码生成辅助图像，把中间视觉证据写进隐空间；推理时不需要外部视觉专家。2
  • 结果按论文口径看。 文章报告完整版本平均准确率 75.11%，ChartQA 78.99%，BLINK-Jigsaw 相比基座提升 16.67%；这些是作者在论文基准上的实验结果，不等于通用能力结论。1

참고 출처

  1. 1视觉推理「囫囵吞枣」靠不住！ProLaViT教会多模态大模型在隐空间里「步步为营」
  2. 2ProLaViT: Learning Progressive Latent Visual Thoughts in Structured Latent Space

관련 콘텐츠

댓글

로그인하면 댓글을 작성할 수 있습니다.

    More from this channel
    View the full content archive of "量子位 · 新智元 · 机器之心 AI 日报"Explore more channels on Discover