2B多模态新SOTA：华科、华南理工发布Mini-Monkey：专治“切分增大分辨率”后遗症
针对图像切分带来的锯齿效应，Mini-Monkey 轻量级多模态大模型采用多尺度自适应策略与压缩机制，显著提升高分辨率文档理解性能。
近来，提升多模态大模型对高分辨率图像的处理能力成为该领域的热点。
多数方法采用图像切分再融合的策略以增强模型对图像细节的感知。
然而，切分操作不可避免会割裂目标和连通区域，导致多模态大模型对微小或不规则形状目标的识别困难。在文档理解中，因文字片段被切断，该现象尤为突出。
为此，华中科技大学与华南理工大学联合推出了轻量化多模态大模型 Mini-Monkey，其核心是可插拔的多尺度自适应策略（MSAC）。
Mini-Monkey 自适应生成多尺度表示，使模型能够从不同尺度中挑选未被分割的对象，性能达到 2B 参数级多模态大模型的新 SOTA。
为降低 MSAC 带来的计算开销，研究团队提出了一种尺度压缩机制（SCM），有效压缩图像令牌。
Mini-Monkey 不仅在文档智能的多项任务上取得领先，在通用多模态理解任务中也保持一致提升，达成 2B 级 SOTA 性能。
在 OCRBench 上，Mini-Monkey 获得 802 分，优于 GLM-4v-9B 等参数量更大的模型。
图3 方法框图：H-Attn代表高注意力权；L-Attn代表低注意权重；注意权重较低的令牌将被过滤；共享LLM层表示在SCM中使用LLM的块层
01 研究背景
多模态大型语言模型（MLLM）近年引发广泛关注。研究者正积极探索将视觉编码器与 LLM 有效集成的方法。
Flamingo、BLIP-2、MiniGPT4、Qwen-VL 和 LLaVA 等方法虽取得一定成就，但因处理分辨率有限，早期多模态大语言模型难以实现精细场景理解。
图1 切分在通用物体上引起的锯齿效应：(a)输入图像；(b)切分扩大分辨率策略；(c)有重叠的切分扩大分辨率策略；(d)多尺度适应性切分策略
研究者开始通过扩大图像输入分辨率来解决问题。切分策略是常用手段之一，例如 Monkey、LLaVA 1.6、InternVL 1.5 和 LLama3-V 等。
尽管多模态大型语言模型取得了显著进展，但由于切分策略，精细场景理解依然面临挑战。
对图像的切分操作不可避免会分割物体和连接区域，削弱 MLLM 对小物体或不规则形状物体的识别能力，尤其在文档理解背景下。
这种策略会引入两类语义不连贯现象：
1. 如果一个对象或字符被分割，可能无法被识别。例如切分后的鼻子看起来像猴子，如图1(b)所示；
2. 如果对一个词或句子进行分词，会造成语义损害。如单词「Classrooms」可能被分为「Class」和「rooms」，导致含义误解。
为简化说明，作者将这一问题称为锯齿效应。一个直观的解决思路是采用重叠切分策略，如图1(c)所示。
然而，作者发现重叠切分会引入某些幻觉，反而导致性能下降。
02 方法思路
作者提出 Mini-Monkey，一种轻量级多模态大型语言模型，旨在缓解切分策略引起的锯齿效应。方法框图如图2所示。
图2 裁切在文字图像上引起的锯齿效应。
与直接切分输入图像的现有方法不同，Mini-Monkey 采用即插即用的多尺度自适应切分策略（MSAC）。
MSAC 能够在不同尺度特征之间实现有效互补，如图1(d)所示。
多尺度自适应切分策略(MSAC)
MSAC 先对网格进行分层操作，依据纵横比将其分为三组。作者为每个图层选择一个宽高比，不同分层向模型提供不同信息。
详细层负责提供细节信息。它限制最大图像分辨率和最小图像分辨率，使图像尽可能大、物体更清晰。但该层因切分策略可能产生语义不一致。
因此，作者利用自适应层与细节层协同，使模型能够从不同尺度中选择未被分割的对象。自适应层根据细节层自适应生成纵横比，确保切分线不重叠，从而避免同一物体在不同层上被重复切分。这一过程保证了细节层和自适应层提供不同的语义信息和视觉特征。
尺度压缩机制
MSAC 可能引入额外计算开销，为此作者提出尺度压缩机制（SCM），适用于计算开销受限的场景。SCM 是一种无需训练、无参数的机制，用于降低计算负担。
作者选择自适应层的视觉 Tokens、全局层的视觉 Tokens 和文本 Tokens 来关注细节层的视觉标记，生成注意力图，然后提取注意力图 Top K 的视觉特征。
一个训练好的 LLM 能根据输入问题有效选择必要视觉特征。因此，SCM 利用 LLM 的第一层和第二层来选择视觉 Tokens，无需生成额外参数。
Mini-Monkey最强2B多模态大模型
作者在通用多模态理解和文档理解上测试了方法。实验结果表明，Mini-Monkey 在 2B 参数量下，同时在这两个领域取得了最优性能。
表1 通用多模态理解上的结果
表2 文档理解上的结果
作者将 MSAC 与现有方法对比：第一行为动态切分，第二行为固定分辨率切分，第三行为重叠切分，第四行为多尺度策略 S2。
表3 与不同的切分策略进行对比
MSAC可以应用到不同的多模态架构上，稳定提点
同时作者将 MSAC 应用到其他方法上，对比显示其在通用多模态理解和文档理解任务上都有一致提升。
表4 将MSAC应用到不同的框架上
03 有效缓解由切分增大分辨率导致的「后遗症」
作者还提供了定性分析，如图4所示。他们对切分位置进行提问，如被切分的「classrooms」和「school」。
Mini-Monkey 通过 MSAC 能有效缓解切分增大分辨率带来的「后遗症」。
图4 定性结果：(a)输入图像和Ground Truth；(b)采用重叠切分策略的结果，OSC表示重叠切分策略；(c)internv2-2b和internv2-26b的结果；(d)Mini-Monkey的结果
04 可视化对比
Mini-Monkey 能准确提取模糊古籍中的文字内容，而 MiniCPM-V 2.6 和 InternVL2-2B 均遗漏较多文字，GPT-4O 拒绝回答：
(a)输入图片
(b)Mimi-Monkey：准确识别出所有文字
(c)MiniCPM-V 2.6：漏掉了很多文字。
(d)InternVL2-2B：漏掉了一整句比较模糊的文字
(e)GPT-4o：拒绝回答
05 总结
使用切分扩大分辨率的方法常会分割对象和连接区域，限制了对小或不规则形状对象及文本的识别，这一问题在轻量级 MLLM 中尤为突出。
本研究提出了达到 SOTA 性能的 2B 多模态大模型 Mini-Monkey，旨在解决现有切分策略的局限，提升 MLLM 处理高分辨率图像的能力。
Mini-Monkey 采用多尺度自适应切分策略（MSAC），生成多尺度表示，使模型能在不同尺度上选择未分割的对象，从而缓解锯齿效应。
该研究验证了多尺度自适应切分策略在不同多模态架构上的推广性，为解决切分增大分辨率引起的后遗症提供了简洁高效的途径，推动轻量级大模型发展。
参考资料：
[1] Chen Z, Wang W, Tian H, et al. How far are we to gpt-4v? closing the gap to commercial multimodal models with open-source suites[J]. arXiv preprint arXiv:2404.16821, 2024.
[2] Li J, Li D, Savarese S, et al. Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models[C]//International conference on machine learning. PMLR, 2023: 19730-19742.
[3] Liu Y, Yang B, Liu Q, et al. Textmonkey: An ocr-free large multimodal model for understanding document[J]. arXiv preprint arXiv:2403.04473, 2024.
[4] Bai J, Bai S, Yang S, et al. Qwen-vl: A frontier large vision-language model with versatile abilities[J]. arXiv preprint arXiv:2308.12966, 2023.
[5] Dubey A, Jauhri A, Pandey A, et al. The Llama 3 Herd of Models[J]. arXiv preprint arXiv:2407.21783, 2024.