083、多帧降噪(MFR)与VST算法:低照度场景下的信噪比提升与鬼影抑制

083、多帧降噪(MFR)与VST算法:低照度场景下的信噪比提升与鬼影抑制

一、从一次夜拍翻车说起

去年帮某车载项目调低照度场景,客户反馈夜间停车场画面“糊成一团”,但噪点却少得诡异。我一看log,ISP工程师把降噪强度拉到顶,结果运动车辆拖出半米长的鬼影,车牌完全不可读。更糟的是,静态区域的纹理被磨成了塑料质感——典型的“降噪过度综合征”。

这个案例让我意识到:多帧降噪不是简单的“多拍几张求平均”,它是在信噪比、动态鬼影、纹理保留三者之间走钢丝。今天这篇笔记,就聊聊我在MFR和VST算法上踩过的坑,以及如何用工程手段把低照度场景的SNR从15dB拉到30dB以上,同时把鬼影抑制到人眼不可见。

二、MFR的底层逻辑:为什么单帧降噪救不了夜景

单帧降噪(比如BM3D、NLM)在暗光下有个死穴:当信号本身低于噪声本底时,算法分不清“细节”和“噪点”。你强行降噪,要么磨皮,要么保留一堆彩色噪点。

多帧降噪的核心思想很简单:利用帧间噪声的随机性,通过多帧叠加让噪声趋向零均值。但这里有个前提——帧间必须对齐。一旦有运动物体,不对齐直接叠加,鬼影就来了。

我踩过的坑:早期做手机夜景模式,直接对8帧RAW做均值叠加,结果手抖造成的亚像素偏移让边缘出现重影。后来才意识到,MFR的第一步不是降噪,是运动补偿。

三、VST算法:把噪声从“有色”变“白”的关键一步

VST(Variance Stabilizing Transform)这个名字听起来唬