MMBench

尽管 MMBench 在社交媒体和知乎上被多次提及，但现有讨论以介绍性文章和热点转发为主，实际用户场景下的评测反馈较为有限。不过，官方账号（如 OpenMMLab）发布的详细评测教程（例如 CircularEval 原理）提供了扎实的方法依据，显示其已作为多模态领域的重要基准被采用。 MMBench 精心设计了一套包含数千道选择题的数据集，覆盖感知、推理等 20 余项细粒度能力。它独创 CircularEval 策略，联合 ChatGPT 将模型的自由文本输出转换为预设选项，大大提高了对开源模型无法直接输出选项时的评估准确性。这使得不同模型间的能力对比更加稳健和可复现。 数据集与评测代码已公开在 GitHub 上，可免费获取（基于官方仓库信息，推断完全免费，无 API 费用）。使用者需具备基础 Python 编程能力，将模型生成结果接入评测流程。该基准本身不提供模型托管或计算资源，运行成本取决于自行部署推理环境。 适合多模态模型的研究者、开发者和实验室；不适合仅需体验 AI 应用的普通用户。根据现有社媒反馈，官方教程（如 OpenMMLab 文章）因其专业度受到认可；知乎相关文章点赞较多，但多为信息搬运，缺乏真实模型对比评测。需注意：MMBench 不是多模态模型，也不是类似 ChatGPT 的对话工具，而是用于评估模型能力的‘试卷’和‘评分标准’，更准确类比是 NLP 中的 GLUE/SuperGLUE 但面向视觉语言任务。