嵌入式视频稳定算法：从块匹配到IIR滤波的软硬件协同实现

1. 项目概述与核心挑战

在嵌入式设备上实现高质量的视频稳定，本质上是一场与有限计算资源和实时性要求的博弈。我们追求的不是实验室里离线处理的完美效果，而是在一个功耗、内存和算力都受限的“小盒子”里，让每一帧画面都尽可能平稳。你手里的手机、运动相机，或者街角的监控摄像头，都在默默运行着类似的算法。其核心目标很明确：分离。把拍摄者有意为之的“运镜”（如平滑的摇摄、推拉）与无意的“抖动”分离开，然后只补偿后者，让观众看到稳定流畅的画面。

输入资料为我们展示了一套非常经典的工程化解决方案，特别是德州仪器（TI）在其DM355芯片上实现的平移运动稳定方案。这套方案没有采用学术界那些计算复杂的全局运动模型或光流法，而是基于块匹配（Block Matching）和投影信号（Boundary Signal）这种轻量级方法，其聪明之处在于将计算密集型任务（如边界信号计算、SAD计算）卸载给专用硬件加速器（BSC, iMX），让主控CPU（ARM9EJ）专注于更灵活的控制逻辑和滤波算法。这恰恰是嵌入式开发的精髓：软硬协同，各司其职。

整个流程可以概括为三个核心阶段：运动估计（Motion Estimation） -> 运动平滑（Motion Smoothing） -> 运动补偿（Motion Compensation）。资料重点剖析了后两个阶段，尤其是帧运动向量（FMV）平滑器和基于IIR滤波器组的非期望运动估计（UME）。这两个模块是决定稳定效果“手感”和鲁棒性的关键。FMV平滑器负责处理运动估计模块可能产生的“坏点”（无效或异常的FMV），确保输入到滤波器的信号是连续可靠的；而IIR滤波器组则像一个可调谐的“减震器”，根据当前的运动模式（是静止手持的微颤，还是快速追拍）动态调整滤波强度，在消除抖动和跟随有意运动之间取得最佳平衡。

2. 核心算法深度解析：从原理到参数

2.1 FMV平滑器：运动估计的“守门员”

运动估计模块（BME+FME）输出的FMV并非总是可靠的。场景突变、光照剧烈变化、大面积同质区域（如一面白墙）都可能导致运动估计失败，产生无效（Invalid）或明显错误的FMV。如果直接将这样的异常值喂给后续的平滑滤波器，会导致输出画面发生突兀的“跳跃”或“卡顿”。FMV平滑器的角色，就是处理这些异常情况，为后续阶段提供干净、连续的运动信号。

其核心逻辑围绕一个关键变量展开：fmv_diff[n] = |fmv[n] - fmv[n-1]|，即当前帧与上一帧FMV的绝对差值。这个差值反映了运动估计的瞬时变化率。

2.1.1 动态阈值：区分正常运动与异常跳变

直接用一个固定阈值来判断FMV是否异常太武断了。快速摇摄时，合理的FMV变化可能很大；而静止场景下，微小的变化都可能是噪声。因此，算法引入了动态阈值（Dynamic Threshold），其计算方式在资料公式(12)中给出：

fmv_DynamicThr = max( SF_DynamicThr * |fmv[n-1]|, SF_range * max(|bmv_diff[n-m]|) )

其中m = 1,2,3,...,5。

我们来拆解这个公式的工程智慧：

• SF_DynamicThr * |fmv[n-1]|：这部分让阈值与上一帧的运动幅度成正比。如果上一帧已经在快速运动（|fmv[n-1]|大），那么允许当前帧有较大的变化，避免将快速的、连续的有意运动误判为异常。SF_DynamicThr是一个缩放因子，资料中设为0.9，这意味着阈值大约是上一帧运动量的90%，给予了10%的波动容忍空间。
• SF_range * max(|bmv_diff[n-m]|)：这部分考察历史。它回顾过去最多5帧的块运动向量（BMV）变化情况，取其中最大的变化值。BMV是更底层的、局部的运动信息，能反映场景内部的运动活跃度。如果过去几帧内局部运动变化很大（比如场景中有快速运动的物体），那么全局FMV的合理变化范围也可能更大。SF_range是另一个缩放因子，设为1.5，放大了这个历史最大变化的影响，为阈值提供了一个基于场景动态的“基线”。

最终，动态阈值取这两者的最大值。这是一种非常保守且鲁棒的设计：阈值总是基于（上一帧的全局运动趋势）和（近期场景的动态程度）中更大的那个来设定。这确保了在大多数情况下，只有真正离谱的跳变才会被判定为异常。

2.1.2 无效FMV的衰减与恢复机制

当算法判定当前FMV为无效（或异常）时，它不会简单地用0替代，也不会粗暴地沿用上一帧的有效值。这样做都会引起画面突变。资料中描述的策略是渐进衰减（Gradual Attenuation）：

1. 衰减阶段：如果当前FMV无效，则取上一个有效FMV，并对其施加一个逐步减小的衰减因子（1, 0.75, 0.5, 0.25, 0）。每连续出现一帧无效FMV，衰减因子就降低一档，直到衰减为0。这个过程模拟了运动逐渐停止的物理过程，避免了因FMV突然归零导致的画面“急刹”。
2. 恢复阶段：当衰减正在进行中（即FMV还未衰减到0），新的有效FMV出现了。此时，算法会比较新FMV与上一帧（衰减后的）FMV的差值fmv_diff与动态阈值。
   • 如果fmv_diff大于阈值，说明这个新FMV可能与之前衰减中的运动趋势不连续，可能仍是不可信的。算法会忽略这个新FMV，继续之前的衰减过程。
   • 如果fmv_diff小于等于阈值，说明新FMV是合理的延续。此时，算法会逐步移除衰减（将衰减因子向1.0恢复），并将衰减因子应用于这个新的有效FMV，将其作为当前帧的输出。这个过程保证了从“估计失效”状态平滑过渡到“正常估计”状态，避免了画面“猛冲”。

实操心得：这个衰减/恢复机制是保证体验连贯性的关键。在实际调试中，衰减因子的序列（1, 0.75, 0.5, 0.25, 0）和步长需要根据视频帧率来调整。对于30fps的视频，这个序列能在约0.17秒内将运动衰减至0，这个时间既不会让用户感到“拖影”，又能有效消除突变。如果帧率更高（如60fps），可能需要更精细的衰减步数。

2.1.3 饱和与钳位：控制输出范围

经过动态阈值处理和衰减逻辑后，得到的FMV值还需要经过最后一道关卡：饱和与钳位（Saturation & Clamp）。资料公式(13)定义了上下限：

• Thr_max = round(0.8 * 2 * FMV_max)
• Thr_min = round(0.4 * 2 * FMV_max)

这里的FMV_max是理论上的最大帧运动向量，通常由搜索窗口大小决定。Thr_max和Thr_min共同定义了一个合理的输出范围。任何超出此范围的FMV都会被钳位到边界上。

为什么需要这个操作？这是工程上的安全网。即使前面的逻辑都正常工作，理论上仍可能存在极端情况或未建模的噪声导致输出值异常大。钳位操作确保了输入到后续IIR滤波器的信号始终在一个可控的、物理意义合理的范围内，防止滤波器状态爆炸或产生无法补偿的过大运动，从而保护了整个系统的稳定性。

2.2 IIR滤波器组：可自适应调谐的“电子减震器”

经过FMV平滑器“净化”后的运动信号，仍然包含我们希望保留的低频有意运动（如摇摄）和需要滤除的高频抖动。IIR（无限脉冲响应）滤波器，特别是二阶IIR（又称双二阶滤波器，Biquad），因其能用较少的计算量实现尖锐的滤波特性，成为嵌入式实时处理的首选。

2.2.1 滤波器组设计：应对多样化的运动场景

资料中给出了一个由6个二阶IIR滤波器组成的滤波器组（IIR1 ~ IIR6）。它们的系数不同，对应着不同的截止频率。这些截止频率被归一化到半采样频率（Nyquist频率），分别为：[0.5/30, 1/30, 2/30, 4/30, 8/30, 15/30]。

假设视频为30fps，那么对应的实际截止频率大约为：

• IIR1: ~0.0083 Hz （极低频，只允许非常缓慢的变化通过）
• IIR6: ~0.25 Hz （相对较高的频率，允许较快的运动通过）

设计意图解读：

• IIR1 & IIR2：截止频率极低，适用于静态或近乎静态的场景。它们能滤除几乎所有的手部生理性颤动（通常集中在1-3Hz），输出极其平滑，但会引入较大的相位延迟（即滞后），如果相机突然开始运动，画面会像“粘住”一样反应迟钝。
• IIR3 & IIR4：中等截止频率，适用于缓慢的平移或跟随拍摄。能在一定程度上滤除抖动，同时又能较好地跟随有意运动，是大多数日常拍摄的折中选择。
• IIR5 & IIR6：较高截止频率，适用于快速摇摄或运动激烈的场景。它们几乎不滤除低频运动，主要作用是平滑一些高频的突变和噪声，保证在快速运动时画面跟手，不产生明显的“果冻效应”或滞后感。

所有滤波器都采用切比雪夫II型（Chebyshev Type II）设计，在阻带（Stopband）提供了35dB的衰减。这意味着在截止频率之外的不需要的频率成分（抖动）会被强力抑制，而通带（Passband）内的响应则相对平坦，保证了有意运动不被扭曲。

2.2.2 滤波器切换逻辑：动态适应运动状态

固定使用一个滤波器是无法应对复杂拍摄场景的。因此，算法包含一套动态滤波器切换逻辑。其核心决策依据是削波（Clipping）。

什么是削波？在视频稳定中，我们通过裁剪（Cropping）原始画面的一小部分区域进行显示来实现运动补偿。这个可裁剪的区域是有限的（由预留的边界像素决定，即BMV_max）。如果算法计算出的需要补偿的运动量（即“非期望运动”）超过了这个最大可补偿范围，就会发生“削波”——我们无法补偿全部抖动，部分抖动会“泄漏”到输出画面中，表现为瞬间的晃动。

切换规则：

1. 何时切换到更“宽松”的滤波器（如IIR3 -> IIR4）？

   • 当前滤波器已处于稳定状态（settled）。
   • 并且在滤波器从瞬态到稳定的过渡期间，发生了削波。
   • 解读：这说明当前滤波器太“紧”了，其过度的平滑（或滞后）导致累积的补偿误差过大，超出了裁剪边界。需要切换到截止频率更高的滤波器，减少滞后，更快地响应运动，从而降低补偿误差，避免持续削波。资料特别提到，如果当前是IIR1或IIR2时发生削波，且已超过IIR3的稳定时间，会直接跳到IIR4，以避免因滤波器响应过慢而导致长时间的严重削波。

2. 何时切换到更“严格”的滤波器（如IIR4 -> IIR3）？

   • 当前滤波器已处于稳定状态。
   • 并且在过渡期间没有发生削波。
   • 解读：这说明当前场景比较平稳，我们可以承受更严格的滤波来获得更好的防抖效果。切换到截止频率更低的滤波器，能滤除更多的高频抖动。

切换时的状态保持：为了避免在切换滤波器时引起输出的不连续（导致画面跳跃），算法在切换时会保留上一个滤波器的内部状态作为新滤波器的初始状态。这使得滤波器的输出能够平滑过渡，用户感知不到切换的发生。

注意事项：滤波器切换不能太频繁，否则会引入自己特有的“噪声”。通常需要设置一个最小稳定时间或基于滞回的比较，防止在切换阈值附近来回振荡。资料中提到的“稳定状态”判断，通常是通过检查滤波器输出在一定时间内的变化率是否低于某个阈值来实现的。

2.3 低频偏置与削波偏置：补偿系统误差

即使有了自适应的IIR滤波器，两个固有的问题依然存在：相位滞后和边界削波。低频偏置（Low Frequency Bias, LFB）和削波偏置（Clip Bias）就是用来解决这两个问题的“补偿器”。

2.3.1 低频偏置：追赶“迟到”的滤波器

IIR滤波器在平滑信号的同时，不可避免地会引入相位延迟（滞后）。这意味着滤波后的运动轨迹（AbsoluteFilterMotion）总是“落后于”真实的原始运动轨迹（AbsoluteMotion，即FMV的累加和）。在相机进行持续、单向的摇摄时，这种滞后会导致补偿坐标逐渐“漂移”，最终可能触达裁剪边界，导致削波，或者使画面中心偏离构图中心。

LFB的计算逻辑：

1. 分别计算原始FMV的累积和（AbsoluteMotion）与IIR滤波器输出的累积和（AbsoluteFilterMotion）。
2. 为防止累加溢出，定期从两者中减去一个公共的最小值（公式17）。
3. 计算两者的差值Diff = AbsoluteMotion - AbsoluteFilterMotion。这个差值序列就代表了IIR滤波器造成的滞后误差。
4. 对这个差值序列应用一个动态阶数的滑动平均滤波器。平均的阶数（order）不是固定的，而是根据运动补偿是否接近饱和（削波）来动态调整：
   • 如果补偿向量持续较大（超过BMV_max/16）且方向相同，说明滞后可能正在导致问题，则逐步减小平均阶数（最低到4），让LFB响应更快，更快地抵消滞后。
   • 如果补偿向量较小，则逐步增加平均阶数（最高到32），让LFB更平滑，避免引入噪声。
5. 最终的LFB值是当前滑动平均结果与上一帧LFB值的加权平均（公式19），这进一步平滑了LFB的输出。

LFB的作用：将计算出的滞后偏差（Diff）反馈到最终的补偿坐标计算中。相当于给IIR滤波器的输出加上了一个“提前量”，让它能更快地跟上真实的运动趋势，从而减少因滞后导致的累积误差和边界削波。

2.3.2 削波偏置：软化“硬”边界

当计算出的补偿坐标非常接近甚至超过最大可补偿边界（例如，超过90%的BMV_max）时，就发生了削波。简单的硬性钳位会导致画面突然卡住，体验生硬。

削波偏置的引入，就是为了软化这个硬边界。它的工作原理像一个逐渐增大的“推力”：

• 触发条件：当补偿误差（Err）的绝对值超过最大补偿范围的90%时，认为发生削波。
• 偏置生成：一旦触发，算法会在与补偿误差相反的方向上，生成一个小的偏置值（ClipBias）。例如，如果需要向上的补偿太大（正削波），就施加一个向下的偏置。
• 动态增长：如果削波连续发生在同一方向，这个偏置值会线性增加（公式20），每次增加一个最小单位（2 x BMV_max / 48），但总有一个上限（2 x BMV_max / 12）。
• 作用：这个偏置会被加到最终的补偿计算中（公式21）。它的效果是，在画面即将触达物理边界前，算法就“主动地”、“温和地”将画面向反方向拉回一点，从而避免剧烈的硬性碰撞，使得边界处的过渡更加平滑自然。用户感知到的可能是画面非常缓慢地向构图中心回正，而不是突然的跳动。

3. 嵌入式系统实现：软硬件协同设计

纸上谈兵终觉浅，绝知此事要躬行。再精妙的算法，也需要在具体的硬件平台上高效运行。输入资料以TI DM355 SoC为例，清晰地展示了如何通过软硬件分区（Hardware-Software Partition）将算法映射到嵌入式系统，这是工程落地的核心。

3.1 计算负载分析与硬件加速

资料中的性能分析数据极具参考价值：在纯ARM9EJ软件实现中，边界信号计算（BSC）占了69%的负载，绝对差和计算（SAD）占了25%，而真正的运动估计与滤波逻辑（BME+FME）只占6%。对于QVGA@30fps和VGA@30fps的视频，总计算需求分别高达51MHz和200MHz。

这个数据直接指明了优化方向：必须将BSC和SAD这两个规则、计算密集、高度并行的任务交给硬件加速器。DM355的解决方案非常典型：

1. 边界信号计算器（BSC）：一个专用的硬件模块，用于高效计算水平和垂直方向的投影信号（即每行/每列的像素和）。它直接接收Y（亮度）像素流，完成累加，大大减轻了CPU负担。
2. 可编程图像处理引擎（iMX）：一个SIMD（单指令多数据）协处理器，非常适合进行SAD这种需要对大量数据块进行相同操作的并行计算。
3. 可编程序列器（SEQ）与增强型DMA（EDMA）：SEQ负责调度iMX的执行和DMA数据传输，EDMA负责在内存与加速器之间高效搬运数据。这两者将CPU从繁琐的流程控制和数据搬运中解放出来。

3.2 系统数据流与并发执行

资料中的图25和26清晰地描绘了视频稳定器在DM355上的完整数据流和时序，这是一个经典的生产者-消费者流水线模型，充分体现了并发执行以隐藏延迟的思想。

一帧数据的处理流程如下：

1. BSC阶段（硬件加速）：视频捕获的Y分量数据流持续输入BSC硬件，BSC实时计算边界信号并存入其内部存储器。在帧尾，BSC产生中断，触发EDMA将边界信号批量搬运到系统主存（DDR）中。
2. SAD计算阶段（协处理器+智能DMA）：
   • ARM9收到EDMA完成中断后，启动SEQ。
   • SEQ指挥一场精妙的“三重缓冲芭蕾”： a.EDMA通道1：将下一组待计算的边界信号数据从DDR预取到iMX的输入缓冲区B。 b.iMX核心：正在处理输入缓冲区A中的数据，执行SAD及一阶、二阶导数计算。 c.EDMA通道2：将输出缓冲区C中上一轮的计算结果写回DDR。
   • iMX计算完成，SEQ切换缓冲区角色（A->C, B->A， 并为B启动新的预取），并开始下一轮计算。如此循环，直至本帧所有SAD向量计算完毕。
   • 关键点：数据预取（DMA）、计算（iMX）、结果回写（DMA）三者并行发生，最大化利用了总线带宽和计算单元，几乎消除了空闲等待时间。
3. 运动估计与补偿阶段（ARM9 CPU）：当SEQ完成所有SAD计算并中断ARM9后，ARM9才开始工作。它读取DDR中的SAD结果，执行块运动估计（BME）、帧运动估计（FME），然后调用我们前面详细分析的FMV平滑和UME（IIR滤波、LFB、Clip Bias）算法，最终计算出本帧的稳定坐标（即裁剪窗口的左上角位置）。这个阶段是控制密集型，适合CPU处理。
4. 输出阶段：计算出的稳定坐标被传递给视频编码器或显示控制器，用于对原始帧进行裁剪，生成稳定的输出画面。

在整个过程中，ARM9只在流程的起点（初始化、触发BSC）和终点（处理SAD结果、运行核心算法）进行短暂的干预。大部分时间，硬件加速器和DMA在自主高效地工作，ARM9可以腾出时间片来处理其他应用程序任务（如音频编码、文件系统操作等），实现了真正的低功耗、高性能的嵌入式视频处理。

3.3 资源与性能权衡

这种架构也揭示了嵌入式开发的经典权衡。为了将处理能力固定在可接受的频率（资料中DM355的ARM9仅需~5MHz），对于高于设计分辨率（如640x480）的视频，算法采用了空间下采样（Spatial Down-sampling）后再计算边界信号。这意味着用降低输入数据精度（分辨率）的代价，换取了处理速度的恒定。这可能会对微小抖动的检测精度产生轻微影响，但在整体系统功耗和实时性约束下，这是一个合理的工程折衷。

4. 调试、优化与常见问题排查

将这样一个算法在真实的嵌入式平台上跑起来，只是第一步。让它跑得“好”、跑得“稳”，才是工程师价值的体现。以下是我在实际项目中积累的一些调试心得和常见问题排查思路。

4.1 参数调优：没有银弹，只有场景

算法中充满了参数：FMV平滑器的动态阈值缩放因子（SF_DynamicThr,SF_range）、衰减序列、IIR滤波器切换的削波阈值（如90%）、LFB的阶数变化规则、ClipBias的增量与上限等等。这些参数没有一组放之四海而皆准的“最优值”。

调优流程建议：

1. 建立测试集：收集能代表你产品典型使用场景的视频序列。至少包括：纯手持静止拍摄、缓慢平移、快速摇摄、行走/跑动跟拍、场景内有大量运动物体、低光照、高对比度边缘场景等。
2. 定义量化指标：除了主观观看，定义客观指标。资料中给出了稳定化误差和稳定化比率（公式22, 23）：
   • 稳定化误差：平均每一帧，算法补偿后的残留抖动。理想为0。
   • 稳定化比率：在所有帧中，未能被有效稳定的帧所占百分比。理想为0%。 你还可以增加裁剪边界利用率（平均使用了多少预留像素）、主观质量评分（MOS）等。
3. 分模块调试：
   • 先调FMV平滑器：用一段包含快速场景切换（如从室内转向窗外）的视频，观察无效FMV的检测与衰减是否平滑，是否会引入跳跃。调整动态阈值的缩放因子。
   • 再调IIR滤波器与切换：用一段从静止突然转为快速摇摄的视频，观察滤波器切换是否及时，切换瞬间画面是否平滑。调整削波触发阈值和稳定状态判断条件。
   • 最后调LFB和ClipBias：用一段长时间的匀速摇摄视频，观察画面中心是否逐渐漂移并导致后期削波。调整LFB的阶数变化速率和ClipBias的增量。
4. 权衡的艺术：更严格的滤波（低截止频率）带来更平滑的静态画面，但会导致快速运动时滞后更严重（“果冻效应”）。更激进的LFB能更快纠正滞后，但可能引入低频晃动。调参就是在“静态稳定性”、“运动跟随性”和“边界安全性”之间找到一个符合产品定位的最佳平衡点。

4.2 常见问题与排查表

4.3 定点数实现要点

在ARM9这类没有硬件浮点单元的处理器上，必须使用定点数（Fixed-Point）运算。这是嵌入式DSP算法实现的基石。

1. Q格式选择：为每个变量和常数选择合适的Q格式（如Q15, Q1.14, Q1.30）。原则是：在保证不溢出的前提下，尽可能保留小数精度。IIR滤波器的系数、LFB的计算都需要仔细确定Q格式。
2. 运算顺序：乘法和加法的顺序会影响精度和溢出风险。例如，计算(a * b) / c，如果a*b可能溢出，应先进行约简或使用更高精度的中间变量。
3. 舍入与饱和：每次乘法和右移（相当于除法）后，应考虑进行舍入（如加0.5后截断）以减少累积误差。对于可能溢出的加法，必须使用饱和加法指令。
4. 调试工具：在PC上先用浮点数仿真实现算法，并生成测试向量。在嵌入式端实现定点版本后，将两者的中间结果（如FMV、滤波器状态、LFB值）导出对比，是定位定点化错误的最有效方法。

实现一个嵌入式视频稳定系统，是算法理论、硬件架构、软件优化和大量实验调试的紧密结合。它没有一步到位的完美方案，只有针对特定场景和硬件约束的持续优化。理解每个模块背后的设计意图，掌握软硬件协同的流水线设计，并建立起科学的调试和参数调优方法论，才能最终让产品在用户手中呈现出稳定、顺滑的视觉体验。