MMBench

SNSや知乎で頻繁に言及されていますが、既存の議論は紹介記事や拡散が中心で、実際のユーザーによる評価フィードバックは限られています。しかし、OpenMMLabなどの公式チュートリアル（CircularEval戦略の説明）が手法の裏付けを提供しており、マルチモーダル分野の重要なベンチマークとして採用されていることを示しています。 MMBenchは、知覚や推論などの細分化された能力を測定する数千の選択問題データセットを構築し、ChatGPTを活用したCircularEval戦略でモデルの自由形式出力を選択肢に変換します。これにより、命令追従が不十分なオープンソースモデルでも安定した評価が可能となり、モデル間の比較の堅牢性と再現性が向上します。 データセットと評価コードはGitHubで公開されており（公式情報に基づく）、無料で利用でき、API料金は発生しません。利用にはPythonの基礎知識が必要ですが、ベンチマーク自体は計算資源を提供しないため、推論環境のコストは自己負担となります。 マルチモーダルモデルの研究者や開発者に適しており、一般ユーザー向けのAIアプリケーションではありません。ソーシャルメディアでは公式チュートリアルが専門家から評価され、知乎の記事は高評価ですが、実際のモデル比較例は乏しいです。注意：MMBenchはマルチモーダルモデルやチャットボットではなく、モデルの性能を測る「ものさし」であり、NLPにおけるGLUE/SuperGLUEの視覚言語版に例えるのが適切です。