数据结构关键路径别交给 AI：把预测放在控制面

2026/8/12 20:46:06

数据结构关键路径别交给 AI：把预测放在控制面

缓存的查找、插入和淘汰都位于请求主路径时，首要目标通常是确定性和低延迟。把模型推理塞进每次Get或Set会增加依赖、抖动和故障面，除非有明确的收益证据，否则不值得这样做。

1. 数据面和控制面应分开

数据面负责哈希查找、链表调整、计数和持久化，应该使用可预测的实现。控制面负责容量估算、预热候选和阈值配置，可以基于历史指标使用统计模型或机器学习模型。控制面失效时，数据面仍要以保守配置继续工作。

flowchart LR A[请求读写] --> B[确定性缓存数据面] C[命中率与容量指标] --> D[异步控制面] D --> E[建议容量或预热名单] E --> B

2. 不要在关键路径调用预测器

模型调用可能排队、超时或返回无效结果；即使预测准确，也不应改变哈希表寻址、锁保护或 LRU 链表的基本语义。缓存淘汰策略可以尝试 TinyLFU、ARC 等确定性或近似算法，但要基于业务访问分布比较命中率、内存和尾延迟。

3. 控制面示例

下面的例子把容量建议放在后台任务中。真实系统还需要配置上限、平滑调整和回滚开关。

func (c *Controller) Run(ctx context.Context) { ticker := time.NewTicker(c.Interval) defer ticker.Stop() for { select { case <-ctx.Done(): return case <-ticker.C: if next, ok := c.PredictCapacity(c.ReadMetrics()); ok { c.Cache.SetCapacity(clamp(next, c.Min, c.Max)) } } } }

PredictCapacity失败时应保持当前容量，而不是把缓存设为零或阻塞请求。