超分技术路线速查表

速查参考 · 配套第一课使用 · 打印友好

四条路线对比

路线代表模型优化目标强项弱项速度档位
CNNSRCNN, EDSR, RCAN逐像素误差 (L1/L2)快、保真、部署成熟纹理平滑偏糊0.01–0.05 s/帧
GANSRGAN, ESRGAN, Real-ESRGAN对抗感知质量真实纹理,速度/质量平衡可能幻觉伪影0.03–0.10 s/帧
TransformerSwinIR, HAT逐像素误差 + 全局建模PSNR 上限最高算力大,O(N²) 注意力较慢
扩散StableSR, FlashVSR, RCOD, TurboVSR生成先验真实感天花板多步极慢;单步蒸馏追赶中多步秒级 / 单步 0.03–0.28 s/帧

fidelity vs realism 权衡

Perception-Distortion Tradeoff(Blau & Michaeli, CVPR 2018):重建失真度逼近最优时,感知真实感必然下降。保真与真实感不可兼得。
业务要什么指标选哪边
准(取证、监控、医疗)PSNR / SSIMCNN / Transformer
真(老片修复、画质增强)LPIPS / 人眼观感GAN / 扩散

关键速度数据(A100)

模型类型基准数据
RealBasicVSRCNN128→5120.011 s/帧
Real-ESRGANGAN128→5120.034 s/帧(16.7M 参数)
RCOD单步扩散0.09–0.28 s/帧(8–10M 参数)
FlashVSR单步扩散768×1408 视频~17 FPS(比此前单步扩散快 12×)
StableSR多步扩散128→5123.194 s/帧(50 步,1.5B 参数)

480p→4K 推算(像素量 ×20)

方案推算速度结论
Real-ESRGAN≈ 1 s/帧30fps 视频 1 分钟 ≈ 32 分钟处理
FlashVSR≈ 2 FPS最快的扩散方案也远未实时
优化版 Real-ESRGAN + TensorRT~28 FPS(低分辨率基准)当前最现实的批处理选择
一句话结论
480p→4K 在 A100 上目前为亚秒到数秒每帧,未达实时;要实时必须叠加蒸馏、稀疏化、量化、TensorRT 等加速技术。

术语表

术语含义
PSNR / SSIM保真度指标:与原图的逐像素/结构相似度,越高越"准"
LPIPS感知质量指标:人眼观感相似度,越低越"真"
幻觉 (hallucination)生成式模型造出的、原图中不存在的纹理细节
蒸馏 (distillation)用大模型(教师)训练小模型(学生),如多步扩散→单步
Real-ISR真实世界图像超分:处理真实退化(模糊、噪声、压缩)而非理想下采样
VSR / SISR视频超分 / 单图像超分
NTIRECVPR 旗下图像复原权威挑战赛,Efficient SR 赛道为行业速度基准