取算存——模型带宽指标整理

在AI模型的生命周期中，“取、算、存”是三个核心阶段，每个阶段都有其关键的带宽指标，这些指标直接决定了模型的训练和推理效率。

阶段核心操作关键带宽指标定义与影响典型瓶颈与优化
取 (Fetch/IO)数据加载、权重读取存储I/O带宽、网络带宽、PCIe带宽指数据从存储介质（硬盘、内存、其他节点）传输到计算单元（如GPU）的速率。低带宽会导致计算单元空闲，形成“IO墙”。瓶颈：低速硬盘、网络延迟、PCIe通道数不足。
优化：使用高速NVMe SSD、RDMA高速网络、优化数据加载流水线。
算 (Compute)矩阵运算、注意力机制等计算单元峰值算力 (TFLOPS)、片上缓存带宽算力是理论计算速度，而片上缓存带宽决定了数据从GPU显存到流处理器（SM）核心的供给速度。高算力需匹配高数据供给带宽，否则会“饿死”算力。瓶颈：“内存墙”（Memory Wall），即计算速度远快于数据读取速度。
优化：使用高带宽内存（HBM）、优化算子与内核以减少数据搬运。
存 (Store)中间结果保存、权重/梯度回写显存带宽、NVLink/PCIe回写带宽显存带宽是GPU内部存储（显存）的读写速度，直接影响训练中前向传播的激活值和反向传播的梯度存储与访问速度。回写带宽影响多卡训练时梯度的同步速度。瓶颈：显存带宽不足，导致大量时间花在等待数据读写上。
优化：采用混合精度训练（减少数据量）、梯度累积、使用NVLink进行高速多卡互连。

核心关系与监控示例：

整个AI工作流可被视为一个“数据管道”，算力是处理器的处理速度，而各级带宽（存储I/O、PCIe、显存）是管道的粗细。任何一个环节的带宽不足，都会成为瓶颈，限制整体吞吐量。例如，即使拥有强大的算力，如果数据无法从硬盘快速“取”到GPU，或者在GPU内部无法从显存快速“存/取”到计算核心，算力就会被闲置。

GPU显存带宽监控代码示例：
使用nvidia-smi工具可以实时监控“算”和“存”阶段的关键带宽。

# 监控指定GPU（如GPU 0）的显存利用率和显存带宽使用情况 nvidia-smi -i 0 --query-gpu=timestamp,utilization.gpu,utilization.memory,memory.used,memory.total --format=csv -l 1

此命令每秒刷新一次，utilization.memory项大致反映了显存带宽的利用率，memory.used显示了当前“存”了多少数据在显存中。更详细的带宽数据（如fb带宽）可使用nvidia-smi dmon命令获取。

参考来源

  • 人工智能核心概念及发展阶段全解析
  • 大模型背后的算力需求：你的模型究竟需要多少算力支撑？
  • “存算”协同，让存储发挥极致性能
  • AI大模型边缘算力调度解决方案 2024
  • Sora爆火，多模态大模型背后的存算思考