计算机视觉中的天气分类：风格特征与多任务学习实践

1. 项目概述与核心挑战

在计算机视觉的天气分类任务中，我们面临着几个关键挑战：首先是严重的类别不平衡问题——比如"挡风玻璃上的水/雪"这类样本在数据集中可能只占1%，而"晴天"样本占比超过60%。其次是实时性要求，特别是在嵌入式设备（如车载系统）上运行时，模型需要在30fps的帧率下稳定工作。最后是多任务学习的复杂性，当同时预测12种天气属性（如天气类型、能见度、地面状况等）时，不同任务间的特征耦合会导致模型优化困难。

针对这些问题，我们设计了一套完整的解决方案。核心思路是将风格特征（Style Features）作为桥梁，建立图像外观与天气条件之间的关联。就像人类通过观察云层纹理、光线散射等视觉特征判断天气一样，我们的模型通过Gram矩阵捕捉这些风格特征，再结合注意力机制动态聚焦关键区域。这种方法的优势在于：

  • 风格特征对内容变化相对鲁棒，更适合跨场景泛化
  • 局部Gram矩阵能保留空间结构信息，避免全局平均带来的细节丢失
  • 模块化设计允许灵活增减任务头，适应不同硬件资源限制

2. 类别不平衡的优化策略

2.1 损失函数选型与调参

在处理类别不平衡时，我们对比了两种主流方案：

加权交叉熵(Weighted CrossEntropy)

class WeightedCE(nn.Module): def __init__(self, weights): super().__init__() self.weights = torch.tensor(weights) def forward(self, logits, targets): ce = F.cross_entropy(logits, targets, reduction='none') weights = self.weights[targets].to(logits.device) return (ce * weights).mean()

权重计算采用逆类别频率的平方根进行平滑，避免极端权重值： $$ w_c = \frac{1}{\sqrt{N_c + \epsilon}} $$

Focal Loss

class FocalLoss(nn.Module): def __init__(self, gamma=2.0): super().__init__() self.gamma = gamma def forward(self, logits, targets): ce = F.cross_entropy(logits, targets, reduction='none') pt = torch.exp(-ce) return ((1 - pt)**self.gamma * ce).mean()

2.2 进化搜索优化超参数

我们设计了一个混合搜索空间来联合优化模型结构和损失参数：

search_space = { 'backbone_truncate': ['layer2', 'layer3', 'layer4'], # ResNet截断位置 'patch_size': [8, 16, 32], # PatchGAN粒度 'gram_width': [32, 64], # 局部Gram矩阵宽度 'loss_type': ['weighted_ce', 'focal'], 'gamma': (0.5, 3.0), # Focal Loss参数范围 'head_depth': [1, 2, 3] # 任务头深度 }

进化算法相比网格搜索的优势在于：

  1. 支持离散/连续/布尔型混合参数
  2. 通过变异、交叉操作探索非凸空间
  3. 可引入领域知识约束（如GPU内存限制）

实际测试发现：对于极端不平衡任务（如Road Spray），Focal Loss（γ=1.8）比加权交叉熵提升约3%的F1；而对于相对平衡的任务（如天气类型），两者性能相当。

3. 模型架构设计

3.1 双路径风格特征提取

ResNet路径(RTM)

  • 使用MoCo-v3预训练的ResNet-50（截断到layer3）
  • 中间特征图尺寸：56×56×512
  • 全局Gram矩阵计算： $$ G_{ij} = \frac{1}{HWC}\sum_{h,w} F_{hwi}F_{hwj} $$

PatchGAN路径(PMG)

  • 局部感受野16×16
  • 局部Gram矩阵在8×8网格上计算
  • 加入空间注意力：
    class LocalAttention(nn.Module): def __init__(self, in_channels): super().__init__() self.query = nn.Conv2d(in_channels, in_channels//8, 1) self.key = nn.Conv2d(in_channels, in_channels//8, 1) self.value = nn.Conv2d(in_channels, in_channels, 1) def forward(self, x): B, C, H, W = x.shape q = self.query(x).view(B, -1, H*W) k = self.key(x).view(B, -1, H*W) v = self.value(x).view(B, -1, H*W) attn = torch.softmax(q.transpose(1,2) @ k / math.sqrt(C), dim=-1) return (attn @ v.transpose(1,2)).transpose(1,2).view(B,C,H,W)

3.2 多任务头设计

每个任务包含：

  1. 独立的注意力模块（计算该任务相关区域）
  2. 2层MLP分类器
  3. 动态权重（根据验证集性能自动调整）

训练时采用交替更新策略：

  • 奇数迭代：更新共享编码器
  • 偶数迭代：更新任务特定头

4. 嵌入式部署优化

4.1 树莓派5性能分析

硬件配置：

  • Broadcom BCM2712 CPU (4×Cortex-A76 @2.4GHz)
  • VideoCore VII GPU
  • LPDDR4X-4267内存

优化手段：

# 启用NEON指令集 export ARM_NEON_ENABLE=1 # 设置GPU频率 sudo echo "gpu_freq=600" >> /boot/config.txt # 调整CPU调度策略 sudo cpufreq-set -g performance

4.2 实时推理流水线

class InferencePipeline: def __init__(self, model): self.queue = Queue(maxsize=3) self.model = model self.preprocess = Compose([ Resize(960, 540), Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) def capture_thread(self): while True: frame = camera.read() self.queue.put(self.preprocess(frame)) def infer_thread(self): while True: inputs = self.queue.get() with torch.no_grad(): outputs = self.model(inputs) visualize(outputs)

实测性能（720p输入）：

模型参数量FPS内存占用
PMG2.4M25.1380MB
RTM(全任务)24M18.41.2GB
RTM(4任务)24M24.7620MB

5. 实验分析与实战技巧

5.1 数据增强策略

针对天气数据特有的挑战，我们采用：

  • 物理模拟增强：
    • 使用[albumentations]库模拟雨雪效果
    def add_rain(image): transform = A.Compose([ A.RandomRain( slant_lower=-10, slant_upper=10, drop_length=20, blur_value=3, p=1.0 ) ]) return transform(image=image)['image']
  • 风格迁移增强：
    • 用AdaIN将晴天图像转换为雾天风格
  • 时序一致性：
    • 对视频连续帧应用相同的变换

5.2 模型解释性分析

通过Grad-CAM可视化发现：

  • 注意力机制有效聚焦于语义相关区域（如"天空状况"任务集中在云层区域）
  • 局部Gram路径对细小结构（如雨滴）更敏感
  • 截断ResNet路径对全局光照变化更鲁棒

不同模型在"能见度"任务上的注意力分布对比

5.3 部署常见问题排查

问题1：推理速度不达标

  • 检查是否启用GPU加速：vcgencmd get_config arm_freq
  • 降低输入分辨率到960×540可获得40%速度提升
  • 禁用不必要任务头：每个头增加约0.8ms延迟

问题2：内存溢出

  • 使用dmesg | grep oom确认OOM事件
  • 解决方案：
    torch.backends.quantized.engine = 'qnnpack' # 启用动态量化 model = torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtype=torch.qint8 )

问题3：类别预测偏移

  • 校准温度缩放：
    T = 1.5 # 在验证集上优化得到 logits = logits / T

6. 扩展应用与未来方向

当前框架可轻松扩展到以下场景：

  • 道路状况监测：通过添加"路面湿滑程度"任务头
  • 能见度估计：回归任务与分类任务联合训练
  • 极端天气预警：在PMG路径上增加异常检测模块

未来优化方向：

  1. 自监督风格特征学习：减少对人工标注的依赖
  2. 神经架构搜索：自动寻找最优的模块组合
  3. 多模态融合：结合毫米波雷达等传感器数据

在实际部署中发现：对于清晨逆光场景，添加"眩光检测"辅助任务可使天气分类准确率提升12%。这印证了多任务学习在复杂环境下的优势。

所有代码和预训练模型已在GitHub开源，包含详细的部署教程和Demo视频。对于想快速上手的开发者，我们提供了Docker镜像，可在树莓派上通过一条命令启动演示：

docker run -it --privileged weather-classifier:latest