【新智元导读】在私域数据、感知才能、简练指令、定量核算方面比拼多模态大语言模型。

多模态大语言模型（Multimodal Large Language Model，MLLM）依赖于LLM丰富的常识储备以及强大的推理和泛化才能来处理多模态问题，现在现已出现出一些令人惊叹的才能，比方看图写作和看图写代码。

但仅依据这些样例很难充分反映MLLM的功能，现在依然缺少对MLLM的全面评测。

为此，腾讯优图实验室联合厦门大学在新建的评测基准MM上首次对现有12种开源MLLM模型进行了全面定量评测并公布了16个排行榜，包含感知和认知两个总榜以及14个子榜单：

BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」

论文链接：arxiv.org/pdf/2306.13…

项目链接：github.com/BradyFU/Awe…

现有MLLM的定量评测办法首要分为三类，但都存在必定的局限导致难以全面反映其功能。

第一类办法在传统的揭露数据集上进行评测，例如图画描绘（Image Caption）和视觉问答（VQA）数据集。

但一方面这些传统数据集可能难以反映MLLM出现的新才能，另一方面由于大模型时代的练习集都不再统一，因此难以确保这些评测数据集没有被其他MLLM练习过。

第二种方式是收集新的数据进行开放式评测，但这些数据要么未揭露[1]，要么数量太少（仅有50张）[2]。

第三种方式聚焦于MLLM的某个特定方面，比方物体错觉（Object Hallucination）[3]或许对抗鲁棒性[4]，无法做全面评测。

现在亟需一个全面的评测基准来匹配MLLM的快速开展。研究人员认为一个通用的全面评测基准应该具有以下特点：

（1）应该掩盖尽可能多的规模，包含感知和认知才能。前者指的是辨认物体，包含其存在性、数量、方位和色彩等。后者指的是归纳感知信息以及LLM中的常识来进行更复杂的推理。其中前者是后者的根底。

（2）数据或许标示应该尽可能防止采用已有的揭露数据集，以减少数据走漏的危险。

（3）指令应该尽可能简练而且契合人类的认知习惯。不同的指令规划可能会极大影响模型的输出，但一切的模型都在统一的简练指令下进行评测能够确保公平性。一个好的MLLM模型应该具有泛化到这种简练指令上的才能，防止堕入Prompt Engineering。

（4）MLLM在该简练指令下的输出应该是直观的而且便于定量核算。MLLM开放式的答复给量化核算提出了很大应战。现有办法倾向于运用GPT或许人工打分，但可能面临着不精确和主观性的问题。

BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」

图1. MME评测基准示例。每张图片对应两个问题，答案别离为Yes[Y]和No[N]。问题加上「Please answer yes or no」一起构成指令。

根据以上原因，一个新的MLLM评测基准MME被构建出来，它一起具有以上四个特点：

  1. MME一起评测感知和认知才能。除了OCR外，感知才能还包含粗粒度和细粒度方针辨认。前者辨认物体的存在性、数量、方位和色彩。后者辨认电影海报、名人、场景、地标和艺术品。认知才能包含常识推理、数值核算、文本翻译和代码推理。总的子使命数达到14种，如图1所示。

  2. MME中一切的指令-答案对都是人工构建的。关于少数运用到的揭露数据集，仅运用其图画而没有依赖其原始标示。一起，研究人员也极力通过人工拍摄和图画生成的方式来采集数据。

  3. MME的指令被规划得尽量简练以防止Prompt Engineering对模型输出的影响。研究人员再次申明一个好的MLLM应该泛化到这种简练且运用频繁的指令，这对一切模型都是公平的。图1中显现了每个子使命的指令。

  4. 得益于指令规划「Please answer yes or no」，能够方便地依据模型输出的「Yes」或「No」进行定量核算，这种方式能够一起确保精确性和客观性。值得注意的是，研究人员也尝试过规划选择题的指令，但发现当时的MLLM还难以跟随这类较为复杂的指令。

研究人员总共评测了12种先进的MLLM模型，包含BLIP-2 [5]、LLaVA [6]、MiniGPT-4 [7]、 mPLUG-Owl [2]、LLaMA-Adapter-v2 [8]、Otter [9]、Multimodal-GPT [10]、InstructBLIP [11]、 VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] 和 LaVIN [15]。

其中，核算指标有三种，包含Accuracy，Accuracy+和Score。其中关于每个使命，Accuracy是根据问题核算而来，Accuracy+是根据图片核算而来（图片对应的两个问题都需求答复正确），Score是Accuracy和Accuracy+的和。

感知的总分为10种感知类子使命Score的总和，认知的总分是4种认知类使命Score的总和。具体详见项目链接。

12种模型在14种子使命上的测试比较如图2所示：

BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」

图2. 12种模型在14种子使命上的比较。每种子使命的满分为200分。

总共16个榜单，包含感知类和认知类的总榜单以及14个子使命的榜单也已发布。两个总榜单别离如图3和图4所示，值得注意的是BLIP-2和InstructBLIP在这两个榜单中都保持在前三。

BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」

图3.感知类使命总榜单

BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」

图4.认知类使命总榜单

BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」

图5.一切榜单

别的研究人员也总结了MLLM模型在实验中露出的一些通用问题，如图6所示，希望能够为后续的模型优化供给辅导。

BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」

图6. MLLM露出的通用问题。[Y]/[N]表明真实的答案是Yes/No。[R]是MLLM生成的答案。

第一个问题是不跟随指令。

虽然现已采用了十分简练的指令规划，但依然有MLLM自在答复问题而不是跟随指令。

如图6中的第一行所示，指令现已申明「Please answer yes or no」，但MLLM仅给出了一个陈述性答复。如果在答复的开头没有出现「Yes」或许「No」，都判定该答复过错。一个好的MLLM，尤其是经过指令微调后，应该能够泛化到这种简单的指令上。

第二个问题是缺少感知才能。

如图6中的第二行所示，MLLM过错地辨认了第一张图片中香蕉的数量和第二张图片中的数字，导致答复过错。研究人员也注意到感知的功能很容易遭到指令改变的影响，由于同一张图的两个指令只相差一个单词，但导致了完全不同的感知成果。

第三个问题是缺少推理才能。

如图6中的第三行所示，从红色的文字能够看出MLLM现已知道了第一张图片不是一个工作场所，但依然给出了一个过错的答复「Yes」。

相似地，在第二张图片中，MLLM现已核算得到了正确的算数成果，但终究也给出了过错的答案。增加思想链Prompt，例如「Let’s think step by step」也许能带来更好的作用。期待这方面有更深化的研究。

第四个问题跟随指令的物体幻视。如图6中的第四行所示，当指令中含有图片中不存在的物体时，MLLM将会梦想该物体存在并终究给出一个「Yes」的答复。

这种总是答复「Yes」的方式导致了Accuracy接近于50%，Accuracy+接近于0。这表明按捺方针幻视的重要性，而且也需求进一步考虑MLLM生成的答案的可靠性。

参考资料：

[1] Zijia Zhao, Longteng Guo, Tongtian Yue, Sihan Chen, Shuai Shao, Xinxin Zhu, Zehuan Yuan, and Jing Liu. Chatbridge: Bridging modalities with large language model as a language catalyst. arXiv preprint:2305.16103, 2023.

[2] Qinghao Ye, Haiyang Xu, Guohai Xu, Jiabo Ye, Ming Yan, Yiyang Zhou, Junyang Wang, Anwen Hu, Pengcheng Shi, Yaya Shi, et al. mplug-owl: Modularization empowers large language models with multimodality. arXiv preprint:2304.14178, 2023.

[3] Yifan Li, Yifan Du, Kun Zhou, Jinpeng Wang, Wayne Xin Zhao, and Ji-Rong Wen. Evaluating object hallucination in large vision-language models. arXiv preprint:2305.10355, 2023.

[4] Yunqing Zhao, Tianyu Pang, Chao Du, Xiao Yang, Chongxuan Li, Ngai-Man Cheung, and Min Lin. On evaluating adversarial robustness of large vision-language models. arXiv preprint:2305.16934, 2023.

[5] Junnan Li, DongxuLi, Silvio Savarese, and Steven Hoi. Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models. arXiv preprint:2301.12597, 2023.

[6] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. arXiv preprint:2304.08485, 2023.

[7] Deyao Zhu, Jun Chen, Xiaoqian Shen, Xiang Li, and Mohamed Elhoseiny. Minigpt-4: Enhancing vision-language understanding with advanced large language models. arXiv preprint:2304.10592, 2023.

[8] Peng Gao, Jiaming Han, Renrui Zhang, Ziyi Lin, Shijie Geng, Aojun Zhou, Wei Zhang, Pan Lu, Con- ghui He, Xiangyu Yue, et al. Llama-adapter v2: Parameter-efficient visual instruction model. arXiv preprint:2304.15010, 2023.

[9] Bo Li,Yuanhan Zhang, Liangyu Chen, Jinghao Wang, Jingkang Yang,and ZiweiLiu. Otter: Amulti-modal model with in-context instruction tuning. arXiv preprint:2305.03726, 2023.

[10] Tao Gong, Chengqi Lyu, Shilong Zhang, Yudong Wang,Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, and Kai Chen. Multimodal-gpt: A vision and language model for dialogue with humans. arXiv preprint:2305.04790, 2023.

[11] Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, and Steven Hoi. Instructblip: Towards general-purpose vision-language models with instruction tuning. arXiv preprint:2305.06500, 2023.

[12] Visualglm-6b. github.com/THUDM/Visua…, 2023.

[13] Yixuan Su, Tian Lan, Huayang Li, Jialu Xu, Yan Wang, and Deng Cai. Pandagpt: One model to instruction-follow them all. arXiv preprint:2305.16355, 2023.

[14] Imagebind-llm. github.com/OpenGVLab/L…, 2023.

[15] Gen Luo, Yiyi Zhou, Tianhe Ren, Shengxin Chen, Xiaoshuai Sun, and Rongrong Ji. Cheap and quick: Efficient vision-language instruction tuning for large language models. arXiv preprint:2305.15023, 2023.