Mini-Monkey – 华科联合华南理工推出的多模态AI模型

Mini-Monkey是什么

Mini-Monkey是华中科技大学和华南理工大学联合推出的轻量级多模态AI模型。采用多尺度自适应切分策略（MSAC）和尺度压缩机制（SCM），有效解决了传统图像切分带来的锯齿效应，提升了在高分辨率图像和文档理解任务中的表现。Mini-Monkey在多项基准测试中取得优异成绩，在多模态理解和文档智能领域的拥有强大潜力。

Mini-Monkey的功能特色

• 多尺度自适应切分策略（MSAC）：通过在不同尺度上生成表示，允许模型选择未被分割的对象，从而提高对小物体或不规则形状物体的识别能力。
• 尺度压缩机制（SCM）：一种无需训练且无参数的机制，用于减少计算开销，通过关注细节层的视觉标记来提取关键视觉特征。
• 高分辨率图像处理：优化了对高分辨率图像的处理能力，减少了因图像切分导致的语义不连贯问题。
• 文档理解任务：在文档理解方面表现出色，在处理文档中的小文字和不规则形状时，有效避免了传统切分策略带来的问题。

Mini-Monkey的技术原理

• 多尺度自适应切分策略（MSAC）：策略通过将图像分割成不同尺度的网格，并根据网格的纵横比进行分层，提供不同尺度的特征。细节层提供高分辨率的图像细节，自适应层则根据细节层生成的纵横比来避免在同一物体上重复切割，确保了不同层之间的语义一致性。
• 尺度压缩机制（SCM）：SCM用于减少MSAC带来的计算开销，通过生成注意力图来识别和提取关键的视觉特征。用训练好的大型语言模型（LLM）的前几层来选择视觉Tokens，无需额外的训练或参数。
• 注意力权重分配：在SCM中，通过分配高注意力权重和低注意力权重来区分不同重要性的视觉Tokens。注意力权重较低的Tokens将被过滤，重要的Tokens则被保留用于进一步处理。
• 共享LLM层：SCM中使用LLM的块层来共享处理不同视觉Tokens的计算，有助于提高模型的效率和性能。

Mini-Monkey的项目地址

Mini-Monkey的应用场景

• 文档理解：在处理文档图像时，能够准确识别和理解文档中的文字内容，包括古籍、手写笔记等复杂文档。
• 图像识别：在需要识别图像中小物体或不规则形状物体的场景中，如医学图像分析、卫星图像解读等，Mini-Monkey能够提供更准确的识别结果。
• 多模态信息处理：结合图像和文本信息进行综合分析的场景，例如社交媒体内容分析、广告图像与文案的匹配度评估等。
• 内容生成：在需要根据图像内容生成描述或故事的应用中，Mini-Monkey可以提供更加丰富和准确的文本内容。
• 辅助决策系统：在需要快速处理和分析大量视觉数据的决策支持系统中，如安全监控、交通管理等。