大模型评测SimpleVQA全方位深度解析，直击多模态模型“事实幻觉”

随着多模态大语言模型（MLLM）在各个领域的应用日益广泛，一个核心问题浮出水面：我们如何信赖它们生成内容的准确性？当模型需要结合图像和文本进行问答时，其回答是否基于事实，还是仅仅是“看似合理”的幻觉？为了应对这一挑战，一个名为SimpleVQA的新型评测基准应运而生，旨在为多模态模型的事实性能力提供一个清晰、可量化的度量衡。

SimpleVQA的出现，标志着AI评测正在从关注流畅性和相关性，转向更为关键的“事实性”和“可靠性”。它并非又一个通用的VQA（视觉问答）基准，而是专注于一个垂直且至关重要的问题：模型能否准确回答关于图像内容的客观事实问题。本文将深入解析SimpleVQA的设计方法、核心价值、从其初步评测中揭示的模型能力格局，及其对整个行业的启示。

深入方法论：SimpleVQA在评测什么，以及如何评测？

为了有效衡量MLLM的事实性，SimpleVQA的设计者们意识到，必须解决以往基准中存在的模糊性、主观性和答案不唯一等问题。为此，SimpleVQA的构建遵循了六个核心原则：覆盖多任务、涵盖多场景、高质量且具挑战性的问题、静态且永恒的参考答案，以及简单直接的评估方式。

SimpleVQA的定位非常明确：作为首个全面评估MLLM在回答自然语言简短问题时事实性能力的多模态基准。 其核心是评估模型产生基于事实信息（如常识和领域特定知识）内容的能力。

1. 数据集、任务与主题设计

SimpleVQA的核心是一套精心构建的问答数据集，旨在系统性地探测模型的能力边界。

• ：该基准包含2,025个经过多轮验证的高精度问答对。 值得注意的是，这个数量仅占原始收集数据的24%，反映了其为保证数据质量而进行的严格筛选过程。