前几天组会A同学把强化学习训练好的信号灯控制策略直接搬到隔壁一个看起来差不多大小的路口做在线验证结果平均排队时长从源环境的31秒变成一个让全场安静的47秒——比写死的固定配时方案还差9秒。那一刻没人顾得上术语大家的第一反应都是同一个词模型是不是坏了其实模型没坏是我们把”看起来相似“错当成了”数学上相近“。这篇文章想把这类交通场景下的”失灵“从头到尾拆开先说明为什么两个路口在人类眼里相似在强化学习眼里的马尔可夫决策过程MDP里却可能差到十万八千里再拆出四个反复出现的根因按我的经验80%的”迁移崩溃“都能落到这四类里然后给一套先定位再动手的诊断流程尽量少走弯路最后聊几条我见过并被验证过确实能改善泛化的研究路线。无论你是在做信号灯控制、车辆调度、路径规划还是任何一个带sim-to-sim或sim-to-real迁移的强化学习项目这篇文章都值得花十几分钟看完。1. “换个路口就崩”到底伤在哪一个假相似陷阱的完整写照1.1 人的直觉和马尔可夫决策过程之间的距离先说个底层问题。一个强化学习问题在数学上通常被建模成MDP核心就五样东西状态空间、动作空间、状态转移概率、奖励函数、折扣因子。这五样里只要有一项变了严格来说就是一个全新的问题而不是”同一个问题的另一个版本“。两个路口在卫星地图上都是”四岔路口“但在MDP空间里可能相距极远。东进口能不能直接左转、一个信号周期有四个相位还是六个相位、车流是稳定到达还是随机爆发、停车线前能排多少辆车——这些细微差异会全部编码进状态分布和转移概率。策略网络本质上是在拟合”从状态到动作“的映射这个映射是带着环境烙印的。你把在A路口学会的映射直接用到B路口等于让一个习惯了键盘的人去摸一台没有反馈力度的触摸屏虽然不是从零学起但指望零成本无缝切换基本不现实。这个判断说起来简单却是很多项目翻车的起点。因为人眼对”相似“的判断是语义级的而强化学习看到的是数值分布级的。语义相似不叫相似分布相近才叫相似。1.2 交通场景里最容易被低估的三个变化源根据我接触过的项目交通控制里至少有三个变化源几乎每次都会造成”假相似“流量到达模式。这是最隐蔽的一个。很多路口在模拟里用泊松过程生成车流但参数一变车流的聚集性和波动性就完全不同。一个在600辆/小时下训练好的策略放到900辆/小时的场景里它的状态空间中很多区域根本没被访问过策略只能在分布外瞎猜。拓扑与相位结构。车道数、转向车道功能、是否有专用左转相位、绿灯最小间隔这些改动会直接改变状态维度或动作效果。状态里多一个维度、动作空间里多一个可执行相位旧策略根本不知道该怎么处理这些”没见过的开关“。控制目标的权重。同样是”少排队“有的路口更看重最大排队长度不要爆掉有的更看重平均延误有的还要求行人不等待太久。奖励函数里各项的权重一变最优策略就会整体漂移旧策略自然失效。这三个变化源单独出现一个迁移通常还能凑合一旦两个同时出现性能大概率呈断崖式下跌。1.3 模拟项目X的血泪记录一组“看似同构”路口的迁移结果作为示例我简化一份当时的模拟项目X配置。源路口和目标路口在纸上长得几乎一样都是十字路口只是规模略有差异。我把关键参数拉了一张表参数源路口目标路口进口道结构3进3出4进4出平均到达率600辆/小时/进口道900辆/小时/进口道左转比例15%30%信号相位4相位6相位信号周期范围60~120秒80~160秒单车道最大排队容量40辆60辆训练只发生在源路口收敛后直接把同一套策略参数放到目标路口上跑在线评估结果如下指标源策略在源路口直接迁移到目标路口目标路口固定配时基线平均排队时长31.2秒47.8秒38.5秒平均停车次数0.9次/辆1.6次/辆1.3次/辆通行量4850辆/小时4380辆/小时4550辆/小时同一策略、同一组随机种子重复五次结果都在这个范围内抖动。结论很明确这不是随机波动而是系统性退化。训练好的模型到了目标路口连写死的固定配时都不如。这就是标题里那句”连相似的交通问题都失灵“的具体模样。2. 别急着换算法先拆解失灵的四个根因按我观察到的项目复盘绝大多数“相似场景失灵”都能归到下面四个根因里。它们经常一起出现但我们会一个一个拆开看。2.1 状态表征丢掉了“语义对齐”第一个根因是状态特征本身没有做好跨场景对齐。很多交通RL项目直接用车道排队长度、占有率、平均速度这些绝对量作为状态。源路口只有3条进口道目标路口有4条模型输入维度如果硬性对齐就会把完全不同的物理量放在同一个语义位置上——比如源路口的”东进口左转车道排队“和目标路口的”东进口直行车道排队“仅仅因为它们在特征向量里排在同一维就被模型当成了同一回事。更麻烦的是绝对值问题。源路口车少排队20辆车已经算拥堵目标路口容量更大排队20辆车完全正常。同一个数值在不同路口代表的拥堵程度完全不一样模型直接迁移时就会误判。解决方向也明确特征尽量做成相对量、归一化量。比如排队长度除以该车道的最大容量信号灯绿灯时长占比流量除以饱和流率。让特征在数值尺度上可比较语义对齐才有基础。2.2 奖励函数里藏着一个流量模板第二个根因是奖励函数设计得太“贴地”不小心把特定流量数据下的最优行为当成了通用最优行为。举个例子。如果奖励是”负的平均排队长度减去一个停车次数的惩罚项“那么源路口的最优策略是尽量压低排队。这没问题。但到了目标路口因为流量高、容量大无论如何都不可能把排队压到源路口水平。此时模型为了在目标状态下获取它记忆里的”高奖励“会做出很多奇怪的动作比如频繁切换相位、无故延长红灯这些动作在源状态里可能是最优的在目标状态里却是灾难。奖励函数本质上编码了任务目标但它也间接编码了训练环境的统计特征。很多研究者花大量时间调奖励函数的系数实际上是在把策略过拟合到某一条具体流量曲线。迁移失败后最容易被忽略的检查项就是奖励函数里每一项对流量统计量的敏感程度。2.3 训练分布太窄策略记住了“某个随机种子”第三个根因更常见也更扎心训练时只在单一环境、单一流量矩阵下跑策略网络实际上记住的是训练场景里的那几个典型状态区域而不是一套抽象的控制规律。说得直接一点如果你的agent从未在左转比例30%、到达率900辆/小时的状态区域里长期出现过它的Q网络对这些区域的估计就是外推出来的往往还伴随着高估。真正部署时一旦进入这些区域模型会自信地选择动作但历史训练数据根本不支持这种自信。这和深度学习里的分布外检测问题一模一样只是很多人做RL时下意识忽略了它。这种情况下的表现特征是训练曲线很漂亮源场景指标很好但稍微偏离一点训练分布性能就开始剧烈抖动。多随机种子实验往往还能发现方差巨大——有些种子收敛到比较好的局部最优有些则记住了完全错误的模板。2.4 优化目标里根本没有“迁移”这个词最后一个根因最容易被当成哲学问题但它其实很实际传统强化学习优化的目标是最大化当前MDP下的期望回报这个目标函数里从头到尾没有”跨环境表现“这一项。也就是说如果你的训练流程是”在路口A上跑200万帧然后直接部署到路口B并期望它表现好“那么从数学上这个期望就没有任何依据。你不是在训练一个通用的控制策略你是在训练一个专门针对路口A的控制策略。迁移失灵不是模型出bug而是优化目标函数的自然结果。这一点想清楚之后很多人的心态会好很多。你如果希望策略跨场景可用就必须在训练目标、训练数据或训练流程里显式地加入跨场景成分。这是后面所有解决方案的共同出发点。3. 一套“先定位再动手”的失灵诊断流程遇到失灵我的习惯是不要急着改模型结构或换算法先把失败原因定位清楚。一套有效的诊断流程大概分四步每一步都能排除一批可能。3.1 量化“相似”给状态与奖励做一次分布体检很多人说“这两个场景看起来差不多”但具体差多少没人量化过。我的做法是在两个场景里各采集一批状态样本和奖励样本逐特征计算分布距离。常用的工具是Wasserstein距离推土机距离和KL散度。KL散度对分布重叠区域敏感Wasserstein距离对几何偏移更直观。如果状态特征维度过高可以先降维再算。代码很简单import numpy as np from scipy.stats import wasserstein_distance # state_a: 源路口采样的状态矩阵, shape (N, D) # state_b: 目标路口采样的状态矩阵, shape (M, D) distances [ wasserstein_distance(state_a[:, i], state_b[:, i]) for i in range(state_a.shape[1]) ] print(np.sort(distances)[::-1])跑完之后你会得到一个“哪些特征分布差异最大”的排序。这个排序本身就是诊断线索如果发现差异最大的几个特征是排队长度、占有率那就说明流量统计量变了策略当然会失灵如果差异不大但迁移还是崩了问题大概率出在奖励函数或动作语义上。3.2 用“训练-迁移评估”把泛化差距钉在纸面上分布体检描述的是环境差异下一步要评估模型在这个差异面前的实际表现。固定一个协议训练场景A训练RL策略直到收敛。迁移场景A同拓扑但流量参数、相位参数做幅度较大的扰动。迁移场景B不同拓扑比如把四岔路口换成五岔或者加一个专用左转相位。记录三个场景下的评估指标定义泛化差距g 源场景指标 − 目标场景指标。差距越大说明策略对源场景越“死记硬背”。这一步的价值是让问题变成可度量的。没有这个度量你会被各种主观感受带偏一会儿怀疑是状态问题一会儿怀疑是奖励问题。有了度量之后后面每做一个改进都能看到明确的数字变化。评估建议用至少5个随机种子取中位数和四分位距避免被单次运气左右。3.3 消融实验定位拖后腿的模块有了泛化差距接下来要做消融。按我的经验消融比直接调参有用得多。核心做法是对照实验固定其他模块不变只替换其中一个看迁移差距是否变化。实验设置泛化差距g结论方向原始策略直接迁移16.6秒基准换成相对量状态特征8.2秒表征问题确实存在使用原始特征但简化奖励中的停车惩罚项11.4秒奖励也拖后腿原始特征 原始奖励但用更多随机化流量训练6.9秒训练分布是最主要瓶颈上面是我虚构的一组示意结果但规律是通用的。如果只改表征就大幅缩小差距说明状态对齐是主因如果只改奖励就有改善说明奖励过拟合是主因如果都不够说明训练分布和目标函数才是核心矛盾。消融实验做完你的下一步行动方案基本就定了。3.4 观察训练信号区分“不会泛化”和“根本没学会”还有一类情况表面上是迁移失灵实际是源场景上都没真正学好。要区分这两种情况直接看训练过程的三个信号策略熵。如果策略熵早早掉到很低说明探索阶段结束得很突然策略被锁死在早期发现的一个局部区域里这种策略天然没有泛化能力。时序差分误差TD error。如果训练末期TD error依然震荡剧烈说明价值函数本身还没收敛这时候谈不上迁移。价值估计与真实回报的偏差。如果学到的价值函数对源场景估计正常但换到目标场景时严重高估说明价值网络已经开始对训练分布外状态做外推式自信预测了。这三个信号能帮你做出一个重要判断是继续在源场景上把训练做扎实还是直接把精力投到分布扩展上。很多人犯的错误是模型还没学会就急着做迁移实验结果把训练问题误判成泛化问题白白浪费几周时间。4. 绕开失灵的四条路从保守修补到范式切换定位清楚之后真正能改善迁移性能的方案可以分成四个方向。它们不是互斥的按项目条件选一两个组合使用即可。4.1 域随机化撑开训练分布域随机化是目前工程上最直接有效的方案。思路极其朴素你不是不会泛化吗那我训练时就让你见过足够多的变化。在训练过程中随机化到达率、左转比例、信号相位时长范围、车道数等参数让策略没有单一的“模板”可以记忆。随机范围需要仔细设定。太小了覆盖不了部署场景等于白做太大了策略会陷入一种“和稀泥”的状态——因为环境变化过于剧烈它学到的动作趋于保守任何场景下都不会太好但也不会太差。比较合理的做法是先做3.1的分布体检让训练随机范围覆盖迁移场景分布的主体区间而不是盲目扩大。工程上还有一个细节域随机化期间要记录每个回合对应的环境参数方便后续分析策略的适应行为也方便判断是否存在“参数偷懒”的情况。4.2 元强化学习把目标从“拟合路口”改成“快速适应路口”域随机化让策略见过很多场景但本质上还在学“平均行为的策略”。元强化学习更进一步它想学的是“如何快速适应一个新场景”。做法上把每个路口当成一个task每个task内部做正常的policy update但元层的更新目标是从这个task的经验中学会初始化参数或上下文编码器。测试时给模型少量目标路口的交互数据或上下文它就能在几步更新或一次前向推理内快速调整策略。适用条件有三个第一你要有一个task族——哪怕就是同一路口的不同流量参数也算第二训练时允许跨task做采样这会增加训练开销第三部署时允许小样本适应至少要能给模型十几分钟到几小时的目标路口气象数据。如果你只想“零样本一把梭”元强化学习不是为你准备的。4.3 离线强化学习与世界模型用历史数据兜住分布偏移很多交通项目其实积累了大量历史数据固定配时方案下的运行记录、人工调整信号时的日志、甚至过去的RL策略在线运行留下的轨迹。这些数据不用白不用。离线强化学习offline RL的路线就是只从这些历史轨迹里学策略。因为数据分布有限CQL这类算法会自动对分布外动作做保守处理天然比在线RL更“胆小”也就更不容易在迁移时胡来。缺点是策略天花板受限于历史数据质量如果历史里全是固定配时方案策略最后大概率也只能逼近固定配时。另一个思路是世界模型。用历史数据学一个环境动力学模型然后在模型内滚动推演不同策略的后果。迁移到新路口时不直接给动作而是先在新路口上采集一小段数据快速校准世界模型再在模型里评估动作。这套玩法更灵活但也更重适合有一定工程能力的团队。4.4 迁移微调与行为克隆预热先别嫌弃朴素方案最后这条路线朴素得让人容易忽略但在我见过的项目里它反而是成功率最高的把源策略作为新策略的初始化权重。在目标路口上先用固定配时或人工控制数据做一小段行为克隆behavior cloning预热。然后再用PPO等在线算法做低学习率微调。行为克隆这一步很容易被跳过但它极其关键。它的作用不是学会最优策略而是告诉策略网络目标路口里的状态分布长什么样、哪些动作至少是“合理”的、哪些区域不要随便踩。预热之后再上强化学习微调崩溃的概率会小很多。整个过程需要的目标路口交互数据远少于从头训练哪怕只有几万帧都能有明显改善。我给这种方案的比喻是你不是把一个外省司机直接丢到新城市让他自己摸索而是先让他跟着本地出租车跑一天再自己上手。多花半天时间但后面少交很多学费。5. 写在最后我在交通RL项目里反复踩过的坑5.1 第一天就要建评测场景集很多项目都是先在一个重点路口上反复调模型等指标好看了才想起来“要不要试试其他路口”。这个顺序几乎必然导致迁移失灵。正确做法是项目第一天就定义好一组评测场景集至少包含一个同构路口、一个参数偏移较大的路口、一个拓扑不同的路口。从现在起每天训练完都在评测集上跑一遍从一开始就盯着泛化差距而不是最后一次性面对崩溃。5.2 遇到失灵先查分布再查奖励最后才轮到算法我的教训是遇到失灵先做分布体检和消融别一上来就换算法。PPO换SAC、SAC换TD3只是在同一个错误目标函数上换了一辆车目的地不会变。至少我见过的失灵案例里一大半是状态表征和训练分布的问题真正的算法级问题占比并没有想象中高。5.3 永远留一个固定配时基线不管你的强化学习策略看起来多聪明项目里始终保留一个写死的固定配时方案作为基线。它不仅是性能下限的兜底更是诊断工具。如果某个改进策略连固定配时都打不过就不要谈部署了。这个基线帮我们避开过至少两次“训练曲线漂亮但实际不可用”的假象。5.4 关键时候笨办法也能救命当新方向探索不顺时不妨试几招不上台面的工程办法维护多个随机种子训出来的模型部署时做模型集成投票给策略更新加一个KL散度约束防止微调时偏离源策略太远或者准备一个“回退版本”一旦新策略在线指标跌破阈值就自动切回旧策略。这些办法不能让你发漂亮的论文但能保证项目活着走到终点。如果你现在正被某个“相似场景迁移失败”折磨别急着删代码重写奖励函数。先把你定义的“相似”量化成分布距离、泛化差距这些具体数字顺着诊断流程走一遍多半能找到答案。
