MiniCPM-V 2.0是一款强大的多模态大语言模型，设计用于高效的终端部署。此模型基于SigLip-400M与MiniCPM-2.4B构建，并通过感知器重采样器连接。它在7B参数以下的模型中，提供了顶尖的性能，支持英文和中文双语模态能力，适用于多种设备，包括移动电话。
架构与技术细节
- 基础架构：MiniCPM-V 2.0是在SigLip-400M和MiniCPM-2.4B的基础上，通过一个感知器重采样器进行连接的改进版模型。
- 图像处理能力：该模型支持处理高达1.8百万像素的图像（例如1344x1344分辨率），可以处理任何宽高比的图像。
- 多模态交互：通过最新的多模态增强技术，MiniCPM-V 2.0能够理解并生成关于高分辨率图像和复杂问题的内容。
- 部署效率：模型设计考虑到了内存成本和推理速度，能够在大多数GPU卡和个人电脑上高效运行，甚至可以部署在移动设备上。
开源与使用情况
- 代码与许可：MiniCPM-V 2.0的代码采用Apache-2.0许可证开源。模型参数完全开放给学术研究使用，对于商业用途，需要联系cpm@modelbest.cn获取书面授权。
- 技术依赖：推理使用时依赖于Huggingface transformers, PyTorch等库，具体的版本要求包括Python 3.10, Pillow 10.1.0, Timm 0.9.10等。
评测结果
MiniCPM-V 2.0在多个基准测试中展现出卓越的性能：
- OCR能力：在OCRBench等场景文本理解测试中达到行业领先水平。
- 多模态评估：在OpenCompass综合评估中，超越了多个大型模型，如Qwen-VL-Chat 9.6B、CogVLM-Chat 17.4B及Yi-VL 34B。
- 可靠性：首个通过多模态RLHF对齐的端侧LMM，有效防止生成假象内容，与GPT-4V在防止生成误导性内容方面表现匹配。
特色功能
- 高分辨率图像处理：能够处理任何宽高比的高分辨率图像，优化对小物体和光学字符的感知。
- 双语支持：支持英文和中文，提升模型在不同语言间的通用性和应用广度。
- 端侧部署：模型能够部署在安卓及Harmony OS操作系统的移动设备上，用户可以通过链接尝试演示版本。
结论
MiniCPM-V 2.0通过其创新的架构和强大的多模态功能，为各种应用场景提供了一个高效、可靠的解决方案。无论是在学术研究还是商业应用中，MiniCPM-V 2.0都能提供顶尖的性能表现和广泛的适应性，是当前7B参数以下模型中的佼佼者。
