参考文档：Open-Qwen2VL 速查表

Open-Qwen2VL 论文核心概念、数据、配置与性能快速参考

关键数字

模型规模：2B 参数
预训练图文对：29M（最终使用 28.4M）
Packed 多模态 token：5B
相对 Qwen2-VL 训练量：0.36%
预训练 GPU 小时：220 A100-40G h
SFT GPU 小时：48 A100-40G h
GPU 资源：8×A100-40G
预训练 visual tokens：144；SFT：729
上下文长度：4096

术语表

MLLM

Multimodal Large Language Model — 多模态大语言模型，通常由视觉编码器、投影层、语言模型骨干组成。

SigLIP

使用 Sigmoid Loss 的 CLIP 改进版视觉-语言模型，Open-Qwen2VL 选用 SigLIP-SO-400M。

Projector

连接视觉编码器与 LLM 的对齐层，Open-Qwen2VL 使用 Adaptive Average-Pooling + 两层 MLP。

Adaptive Average-Pooling

自适应平均池化，可将任意空间尺寸的特征图压缩到指定尺寸，实现动态 visual token 数。

Continual Pre-training

持续预训练 — 在已训练好的 LLM 基础上继续训练，使其获得新能力（如视觉理解）。

DFN

Data Filtering Network — 基于 CLIP 的大规模数据过滤器，DataComp 排行榜 top 方法。

MLM-Filter

使用轻量 MLLM 作为数据裁判，从 ITM/ODF/CTQ/SU 四个维度评估图文质量。

Semantic Understanding — MLM-Filter 中语义理解度指标，Open-Qwen2VL 采用阈值 85/100。

Sequence Packing

序列打包 — 把多个短样本拼接成接近最大上下文长度的序列，减少 padding 浪费。

FSDP

Fully Sharded Data Parallel — PyTorch 原生模型分片并行，Open-Qwen2VL 报告比 DeepSpeed ZeRO3 快 17%。

MMBench / SEEDBench / MMStar / MathVista

常见多模态评测基准，分别测综合能力、图像理解、世界知识推理、视觉数学推理。

模型架构组件

组件	预训练阶段	SFT 阶段
Vision Encoder	SigLIP-so400m-384px（冻结）	SigLIP-so400m-384px（冻结/可训练）
Projector	Adaptive Avg-Pooling + 2-layer MLP	MLP（pool 目标为 27×27）
LLM Backbone	Qwen2.5-1.5B-Instruct	Qwen2.5-1.5B-Instruct
Visual Tokens / 图	144	729
Context Length	4096	4096

预训练数据混合

数据集	过滤方法	规模	作用
CCS-CLIP	CLIPScore	8.5M	高质量基础标题数据
DataComp-DFN	DFN top-15%	15M	大规模 CLIP 过滤数据
LAION-CLIP	CLIPScore 0.3 阈值	15M	对照组，与 DataComp-DFN 分布相似
DataComp-MLM-Filter & DFN	DFN + SU≥85	19.9M	引入 MLLM 视角的高质量数据，提升多样性

最终采用组合：1 + 4 = CCS-CLIP + DataComp-MLM-Filter & DFN，共 28.4M 图文对。

训练配置

配置项	预训练	SFT
Precision	BF16	BF16
Global Batch Size	256	128
Training Epochs	1	1
Peak LR	5e-5	2e-5
Warmup Steps	3%	3%
LR Scheduler	linear-warmup + cosine-decay	linear-warmup + cosine-decay
Weight Decay	0.01	0.1
Sequence Packing	Yes（FFD 算法）	No

主要性能对比

模型	预训练 Token	MMBench	SEEDBench	MMStar	MathVista
Qwen2-VL-2B-Instruct	1.4T	68.8	72.0	46.3	48.0
InternVL2.5-2B-MPO	277B	72.5	73.2	54.3	55.3
DeepSeekVL-2-Tiny	8.1T	68.3	72.5	49.9	54.5
Open-Qwen2VL	5B	80.9	72.5	49.7	53.1

核心公式与伪代码

视觉 token 压缩比：729 → 144，压缩比为 5.06×

相对训练量：5B / 1.4T ≈ 0.36%

序列打包目标：把多个样本拼接至接近 context length 4096

# Projector 伪代码
nn.Sequential(
    nn.AdaptiveAvgPool2d((12, 12)),
    nn.Flatten(start_dim=2),
    nn.Linear(vision_dim, llm_dim),
    nn.GELU(),
    nn.Linear(llm_dim, llm_dim)
)

经验法则

预训练阶段降低视觉 token 数，是 MLLM 训练效率的最大杠杆之一。
数据多样性 > 数据总量：小量高质量、不同分布的数据比大量同质数据更有价值。
Sequence Packing 同时提升效率和多图 in-context learning 能力。
冻结视觉编码器在学术算力下是合理默认，SFT 阶段是否解冻需权衡。
OCR-heavy 任务需要专门的预训练数据，仅靠通用 caption 数据不够。

🔗 相关课程：课程 1：Open-Qwen2VL 高效预训练

📄 论文：arXiv:2504.00595

💻 代码：GitHub - Open-Qwen2VL