Not All Prefills Are Equal:PPD Disaggregation for Multi-turn LLM Serving并非所有预填充都相同：面向多轮LLM服务的PPD分离架构
《Not All Prefills Are Equal: PPD Disaggregation for Multi-turn LLM Serving》聚焦于大语言模型（LLM）推理系统中，预填充-解码（PD）分离架构在多轮对话场景下的效率问题，并提出了一种新的动态路由解决方案——PPD（Prefill-capable Decode）分离架构。
以下是全文的核心研究内容总结：
1. 研究背景与问题
PD分离架构是当前LLM推理的标准架构，将计算密集的“预填充”和内存密集的“解码”分到不同GPU池，以避免相互干扰。
问题发现：在多轮对话（如聊天机器人、代理系统）中，该架构存在两个严重低效：
每轮都需重新计算全部历史KV缓存（即使上一轮响应已在解码节点），导致预填充成本极高（可占99%）。
重复的KV传输（从预填充节点到解码节点）会饱和网络带宽，造成高延迟和服务降级。
2. 核心洞察
并非所有预填充都一样：
全预填充（Full Prefill）：无缓存，从零计算，对解码干扰大（TPOT减速达48%）。
追加预填充（Append-Prefill）：仅处理新令牌，复用缓存KV，对解码干扰极小（TPOT减速仅2%）。
因此，解码节点完全可以安全地本地处理后续轮次的追加预填充，从而避免重计算和KV传输。
3. 现有方案的不足
静态路由策略（如总是走预填充节点
x=0，或总是本地处理x=1）无法在所有服务等级目标（SLO）上同时最优。通过系统性扫描3060种配置（17种部署 × 18种工作负载 × 10个QPS级别），发现没有单一固定策略能同时优化TTFT、TPOT和吞吐量。
4. 提出的解决方案：PPD（Prefill-capable Decode）
核心思想：动态、按请求决策——将第2轮及以后的追加预填充操作，根据当前工作负载、用户SLO权重和节点配置，灵活路由到预填充节点或解码节点。
实现方式：
离线阶段：构建查找表，预先测量在极端情况（
x=0和x=1）下的TTFT和TPOT，并计算决策分数。在线阶段：每个请求根据其特征（上下文长度、输入输出比、当前QPS）快速查表，在<1ms内返回路由决策。
关键优势：
通过单旋钮权重（wtft/wtpot）控制TTFT-TPOT权衡，可平滑插值从
x=0到x=1的行为。与现有PD部署无缝兼容，可恢复传统PD作为特例。
5. 实验验证与主要结果
数据集：合成工作负载 + 真实对话数据集（ShareGPT, WildChat）。
主要发现：
TTFT大幅降低：第2轮及以后TTFT平均降低约68%（高负载下可达73%）。
稳定性提升：PD基线在多配置下成功率<95%（因KV传输饱和），而PPD在所有测试中保持100%成功率。
网络鲁棒性：在网络变慢（如从NVLink到100GbE）时，PPD优势反而扩大（TTFT降低从64%增至70%）。
权重可调性：通过调整权重，PPD可平滑地在TTFT优化和TPOT优化之间切换，满足不同SLO需求。
优于静态最强基线
x=1：PPD在TPOT上胜于x=0，在TTFT上胜于x=1，同时保持同样高的成功率。
6. 与现有工作的关系
与同期工作AMPD互补：AMPD侧重实时队列估计，PPD提供原则性的离线优化框架，两者可组合。
与分布式KV缓存层（如Mooncake）兼容：存储层管理缓存位置，PPD管理调度决策，避免相互干扰。
7. 贡献总结
揭示多轮对话下PD分离的根本低效性。
首次量化全预填充与追加预填充的干扰差距（一个数量级）。
形式化多轮推理服务为优化问题，证明无静态策略最优。
提出PPD动态路由系统，实现TTFT显著降低、稳定性增强，并提供灵活的SLO调节能力。
文章通过区分“全预填充”和“追加预填充”的不同干扰程度，提出了一种动态路由策略PPD，使得LLM在多轮对话场景下能大幅降低首令牌延迟、消除网络拥塞，并灵活满足不同服务等级目标。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：
摘要
预填充-解码（PD）分离已成为现代LLM推理引擎的标准架构，它缓解了两种不同工作负载之间的干扰。随着聊天机器人和代理系统中多轮交互需求的增长，我们在此场景下重新审视了PD，并发现了两个基本低效问题：(1) 每一轮都需要为新的提示词和上一轮的响应重新进行预填充；(2) 预填充节点和解码节点之间重复的KV传输会饱和带宽，导致高延迟甚至服务降级。我们的关键洞察是，并非所有预填充操作都具有同等的破坏性：追加预填充（append-prefill）仅处理新的输入令牌，同时重用缓存的KV状态，其造成的解码减速比全预填充（full prefill）小一个数量级。这促使我们将追加预填充本地路由到解码节点。然而，通过全面分析，我们表明没有单一固定的路由策略能够同时满足所有服务等级目标（SLO）。基于此洞察，我们提出了预填充能力解码（PPD）分离架构，这是一个动态路由系统，它决定何时使用缓存的KV状态在解码节点上本地处理第2轮及以后的请求。PPD通过可配置的权重适应不同的SLO，并能无缝集成到传统的PD部署中。通过广泛的评估，我们表明PPD将第2轮及以后的首令牌时间（TTFT）减少了约68%，同时保持了具有竞争力的每输出令牌时间（TPOT），有效缓解了高负载下的KV传输拥塞。PPD为多轮LLM服务提供了一种灵活高效的范式。
1. 引言
预填充-解码（PD）分离已成为LLM推理的标准架构 (Zhong et al., 2024; Patel et al., 2024; DeepSeek-AI et al., 2025; Sun et al., 2024)，它将计算密集型的提示词处理（预填充）和内存受限的令牌生成（解码）分别放置在专用的GPU池中。尽管这种架构对于独立的单轮查询很有效，但在多轮对话（聊天机器人和代理系统中的主导使用模式 (Duan et al., 2023)）下，PD表现出严重的低效性。当一个典型的PD系统处理一个新轮次的查询时，它会将提示词连同上一轮的响应字符串一起路由到预填充节点。经典PD设计的一个微妙但重要的特性是，KV传输严格遵循 P→D 的方向：P节点作为生产者，D节点作为消费者，没有反向路径。尽管上一轮响应的令牌KV已存在于D节点上，但P节点无法访问；因此，预填充节点必须为整个对话历史（之前的响应加上新的提示词）重新计算KV缓存，然后才能将其传输回D节点。最近对真实聊天工作负载的测量发现，这种重计算占了多轮预填充成本的99% (Gao et al., 2024)。我们在多轮对话普遍存在的场景下重新审视了PD，并发现标准的PD策略导致即使输入更短，第2轮及以后的TTFT仍然很高，并且这些重复的KV传输会饱和网络带宽（第6节）。
我们的关键洞察是，第一轮和后续轮次的预填充操作行为存在显著差异，这启发了一种专门的策略。在图2中，我们展示了并非所有预填充操作对解码的干扰都是同等的：全预填充（没有缓存上下文的新提示词）造成的解码减速比追加预填充（仅处理新的输入令牌，重用缓存的KV）大一个数量级。这个数量级的差距表明，在解码节点上本地运行追加预填充（AP）可以高效地处理第2轮及以后的提示词，且干扰极小。虽然同期工作 (He et al., 2026) 也持有将增量预填充路由到解码节点的高级直觉，但我们的工作独特地将此方法建立在严格的微架构干扰分析基础上，并将路由决策形式化为一个优化问题。
一方面，将AP操作路由到预填充节点可以维持高TPOT；另一方面，路由到解码节点可以提高整体吞吐量。因此，核心问题是：我们应该将AP操作路由到预填充节点还是解码节点？我们用一个通用框架来形式化这个问题，在该框架中，PD是一种总是将AP路由到预填充节点的特殊情况。为了理解其中的权衡（见第4节），我们对每种策略将不同固定百分比的AP路由到解码节点，并发现在固定策略下没有一种能满足所有服务等级目标（SLO）（见表2）。
为此，我们引入了预填充能力解码（PPD）分离架构（第5节），它提出基于当前工作负载估计、用户指定的SLO和初始节点分配，动态地将AP操作路由到解码节点。PPD使用预计算的离线统计数据和一种简单而有效的算法来优化分离式服务目标，并且可以在需要时始终恢复到默认的PD配置。在极端情况下，PPD可以将所有AP操作路由到解码节点，在那里本地缓存的KV状态可以被完全重用，无需额外的重计算或KV传输。
在合成数据集和真实数据集上，我们评估了我们提出的PPD框架的有效性，并表明与固定路由或默认PD相比，PPD实现了最佳的帕累托前沿（见图1）。我们还进行了详细的消融研究，以证明我们的设计选择的合理性，并分析了具有不同需求的复杂服务场景。我们总结主要贡献如下：
(i) 我们识别了多轮对话中PD的低效性（第4.1节）：在预填充节点上运行AP会导致额外的重计算，并通过频繁的KV缓存传输使网络带宽饱和。
(ii) 我们发现全预填充和追加预填充在解码干扰上相差一个数量级（批量大小为200时，TPOT减速分别为48% 对比 2%），这启发我们选择性地将AP路由到D节点。
(iii) 我们将多轮推理服务形式化为一个优化问题，其中传统PD是特殊情况 x≡0，并表明没有单一的固定策略能占据主导地位（第4.4节）。
(iv) 我们提出了PPD，一个动态路由系统，它根据当前工作负载、操作员权重和初始节点分配为每个请求选择 x。
(v) 详细的评估（第6节）表明，PPD在合成扫描上优于标准PD和固定策略，将第2轮及以后的TTFT降低了48-73%，同时保持了具有竞争力的TPOT。
2. 背景
2.1. LLM推理与扩展
LLM推理分两个阶段进行。预填充阶段并行处理输入提示词，产生第一个输出令牌并填充KV缓存；它是计算密集型的，对于 n 个令牌，注意力复杂度为 O(n2) (Liu et al., 2025a; Shi et al., 2024)，尽管FlashAttention (Dao et al., 2022; Shah et al., 2024) 将内存复杂度从二次降低到线性。解码阶段随后自回归生成令牌，为每个令牌加载完整的模型权重；它是内存带宽受限的 (Yu et al., 2022; Kwon et al., 2023)。分组查询注意力 (GQA) (Ainslie et al., 2023) 在保持模型质量的同时减少了KV缓存的内存占用。KV缓存（来自先前令牌的键值状态）随上下文线性增长，并与模型权重一起主导GPU内存。
扩展LLM服务最直接的方法是复制：在多个GPU上部署相同的模型实例，每个实例独立处理请求。然而，将预填充和解码放在同一GPU上会导致预填充-解码干扰 (Zhong et al., 2024)：长时间运行的预填充计算会阻塞解码迭代，导致正在进行的生成出现不可预测的延迟峰值。分块预填充技术 (Agrawal et al., 2024) 通过将预填充分割成较小的块，与解码交错执行来缓解这一问题；DeepSpeed-FastGen (Holmes et al., 2024) 进一步引入了Dynamic SplitFuse以实现高效的令牌组合。然而，当预填充工作负载繁重时，这些技术无法完全消除干扰（我们在第4.1节量化了这一差距）。
2.2. 预填充-解码分离
预填充-解码（PD）分离通过将预填充和解码物理上分离到不同的GPU池来缓解干扰 (Zhong et al., 2024; Patel et al., 2024)。预填充节点（P）处理传入的提示词，并将生成的KV缓存通过网络传输给解码节点（D）；然后D节点执行自回归生成而不中断。这种架构消除了干扰，实现了P和D资源的独立扩展，并允许硬件异构性 (Patel et al., 2024)。
PD分离已迅速成为行业标准。所有主要服务框架（vLLM (Kwon et al., 2023), SGLang (Zheng et al., 2024), TensorRT-LLM, LMDeploy (Contributors, 2023), 和 NVIDIA Dynamo (NVIDIA, 2025)）都支持它，并由DeepSeek (DeepSeek-AI et al., 2025) 和Gemini (Team et al., 2025) 等提供商在生产规模上部署。然而，分离引入了一个基本成本：每个请求都需要通过网络传输完整的KV缓存。对于Llama-3.1-8B模型和2K令牌的上下文，每次传输约为256 MB。最近的工作探索了替代的分离策略：DuetServe (Gao et al., 2025) 通过自适应SM分区在单个GPU内实现了分离级别的隔离；Nexus (Shi et al., 2025) 主动在阶段之间重新分配GPU资源；TaiChi (Wang et al., 2025) 统一了聚合和分离，表明最优策略取决于SLO约束。
单向KV传输协议。PD分离的一个定义性架构特性是其KV传输协议的方向性：P节点充当KV生产者，D节点充当消费者，没有从D回到P的反向通道。这种生产者/消费者契约在所有主要生产引擎中都得到保留 (Zhong et al., 2024; Kwon et al., 2023; Zheng et al., 2024)。在多轮服务中的一个直接后果是，在D节点上计算的任何KV状态，包括所有解码出的响应，都无法从P节点访问，因此每一轮新请求都必须重新走一遍完整的 P→D 管道（第1节）。外部KV缓存层 (Qin et al., 2025; Hu et al., 2024a; Gao et al., 2024) 通过在分离拓扑之外添加一个独立的存储层来解决这个问题，而不是改变生产者/消费者契约本身。
2.3. 多轮服务与KV缓存重用
现实世界的LLM部署以多轮对话为主：聊天机器人和代理系统通常每个会话涉及多轮交互 (Jeong & Ahn, 2026)。在PD分离架构下，每个新轮次都被发送到P节点，该节点重新计算整个对话的KV缓存（包括之前的输出），然后将其传输到解码节点进行自回归生成。在后续轮次中，历史令牌主导输入长度 (Gao et al., 2024)，这使得这种重计算成为多轮工作负载中主要的预填充成本。
现有方法。越来越多的研究通过外部KV缓存存储来解决这个问题：CachedAttention (Gao et al., 2024) 使用分层缓存；Mooncake (Qin et al., 2025) 提供集群范围的分布式KV存储；MemServe (Hu et al., 2024a) 统一了上下文缓存与分离；LMCache (Liu et al., 2025b) 提供了一个模块化的KV缓存层。SGLang (Zheng et al., 2024) 和vLLM (Kwon et al., 2023) 中的前缀缓存使得重复前缀的KV重用成为可能。补充方法包括选择性重计算 (Yao et al., 2025)、CPU卸载 (Chen et al., 2024; Sun et al., 2025)、KV压缩 (Li et al., 2024; Liu & Zhang, 2025)、流式传输 (Liu et al., 2024)、前缀感知注意力 (Ye et al., 2024) 和压缩内存 (Munkhdalai et al., 2024)。
这些方法都有一个共同的策略：将KV缓存存储在外部，或者要求请求返回到同一个实例。我们采取了一种互补的方法：调整路由，使后续轮次直接在已经持有KV缓存的解码GPU上执行。一项同期工作AMPD (He et al., 2026) 也探索了基于路由的方法来缓解多轮低效，但使用的是实时队列状态，而不是我们的离线优化框架。我们在第7节讨论了与分布式KV存储和并发路由系统的关系。
3. 将追加预填充操作的动态路由形式化为优化问题
4. 干扰分析与全面权衡
在本节中，我们首先建立一个关键的经验结果，它支撑了将AP路由到D节点的好处：追加预填充造成的干扰比全预填充小一个数量级，使得解码节点能够本地处理第2轮及以后的请求。然后，我们进行了一项涵盖3,060种配置的全面基准测试，以评估全AP到D配置（x=1）的有效性并刻画其权衡。在本节中，我们分析的是静态部署，其中 x=1 的解码节点总是本地处理第2轮及以后的请求；第5节将此扩展到PPD，即我们的动态每请求路由系统。
4.1. 量化预填充干扰
PD分离背后的核心假设是，所有预填充操作都会严重干扰解码，因此需要物理隔离。最近的工作 (Gao et al., 2025; Shi et al., 2025) 已经开始通过探索自适应隔离策略来挑战这一假设。我们通过区分两种类型的预填充来进一步推进这一方向。
全预填充 vs. 追加预填充。全预填充处理没有任何缓存上下文的新提示词，这是标准的第1轮场景，对于 nn 个输入令牌，注意力复杂度为 O(n2)。追加预填充在重用先前轮次缓存的KV的同时，仅处理新的令牌。对于第2轮及以后，假设有 mm 个新令牌追加到 n 个缓存令牌的上下文中，追加预填充仅计算这 m 个新令牌的注意力（每个令牌需要关注 n+m 个键），复杂度为 O(m(n+m))。当 m≪n（后续轮次的典型情况）时，追加预填充比处理相同总序列长度的全预填充大约便宜 n/m 倍。
图2. 预填充-解码干扰。将一个全预填充操作与一个追加预填充操作（均处理1,024个令牌）共同放置时的解码TPOT退化。全预填充导致显著减速；追加预填充则接近基线。关于4个并发预填充实验的结果见图7，显示趋势一致。
干扰测量。我们在单张H100 GPU上使用Llama3.1-8B模型进行受控微基准测试，以隔离干扰效应，遵循既定的天花板分析方法论 (Yuan et al., 2024)。我们测量了与全预填充或追加预填充共同放置时解码TPOT的退化（图2）。在批量大小为200时，全预填充导致约48%的减速；追加预填充仅导致约2%的减速，相差一个数量级。在4个并发预填充的情况下（见图7），全预填充的干扰达到+57%，而追加预填充为+21%，因此在高并发下差距依然存在。
这种差距在不同上下文长度下都持续存在：在32K令牌时，全预填充干扰增长到3-4倍，而即使在64K令牌时，追加预填充干扰仍低于25%（附录图8）。这些结果证实了解码节点可以安全地本地处理第2轮及以后的请求。
4.2. 配置空间与方法论
在本小节中，我们描述了系统地评估不同P/D分配和路由参数如何影响多轮服务性能的配置空间和方法论。
实验设置。所有实验均在内部集群节点上运行，配备4块通过NVLink连接的NVIDIA H100 80GB HBM3 GPU。我们通过第6.4节的带宽模拟来评估较慢的节点间互连的影响。我们使用Llama-3.1-8B作为主要模型，并在Qwen2.5-14B和Qwen3-30B-A3B上进行验证实验。每种配置在10个QPS（每秒查询数）水平（0.5, 1, 2, 4, 6, 8, 10, 12, 16, 20）下进行评估，产生 17×18×10=3,060 个数据点。对于每个测试点，我们运行固定的10秒时长，对话按照目标QPS的泊松过程到达（例如，QPS=4 产生约40个两轮对话）。我们测量第1轮TTFT、第2轮TTFT、平均TPOT、吞吐量（令牌/秒）和成功率。
4.3. 全AP到D的优势：消除KV传输开销
现在，我们量化 x=1 配置（全AP到D）相较于传统PD分离架构（x=0）的优势。核心发现是：从 x=0 切换到 x=1 通过消除后续轮次的KV传输，将第2轮TTFT降低了48-73%。表1比较了匹配的配置：x=1 在第2轮TTFT上始终优于 x=0，其中1P_3D实现了高达73.3%的改进，即使是3P_1D也显示了24.9-44.3%的提升。
表1. 从 x=0 切换到 x=1 时第2轮TTFT的改进。负值表示改进。x=1 的优势在P资源稀缺的配置（1P, 2P）中随负载增加而增加，但在P资源充足时（3P）减弱。
一个显著的规律是：x=1 的优势随负载增加而增加，因为随着QPS上升，传输排队加剧，D节点本地缓存访问的价值越来越大。表格还揭示，当P资源稀缺时，x=1 的优势最大化：1P配置显示高达73.3%的改进，而3P配置显示递减的回报。换句话说，可用的预填充节点越少，本地处理对D节点的好处就越大，因为P节点成为瓶颈，而 x=1 完全绕过了它。
当P节点稀缺时，它们成为瓶颈。在 x=0 模式下，第2轮及以后的请求必须经过这个瓶颈（P→D），而 x=1 完全绕过了P节点。这使得 x=1 配置更具弹性：在高QPS下，它们的失败率更低（见附录表5），因为只有第1轮请求竞争P节点容量。当P节点充足时，预填充容量不再是瓶颈，本地AP开销变得相对更重要。
验证：轮次与模型扩展。x=1 的优势不仅限于2轮对话和主要的8B模型。扩展实验（见附录图10）显示，在2-16轮和三种模型大小（8B, 14B, 30B）上，第2轮及以后的TTFT稳定提升约70%，证实了这种优势源于架构特性而非模型特定特征。
4.4. 没有普适的最佳方案：依赖目标的优化
前一节确立了 x=1 在第2轮TTFT方面的明显优势。然而，生产环境中的LLM服务必须平衡多个目标：延迟（TTFT）、生成流畅度（TPOT）和系统效率（吞吐量）。当我们将分析扩展到这些维度时，一个更微妙的图景出现了。
核心发现。92.2% 的工作负载-QPS组合在优化第2轮TTFT与平均TPOT时具有不同的最优配置。这种基本矛盾意味着没有单一配置能在所有目标上占据主导地位。最优选择取决于正在优化的指标。
表2通过显示每种配置类别在三个目标上的获胜百分比来量化这种权衡。三个规律凸显出来：
表2. 三个优化目标（最小化第2轮TTFT、最小化TPOT、最大化吞吐量）下的胜者分布。每个单元格显示该配置类别在该目标上取得最佳结果的（工作负载，QPS）组合的百分比。列之和不为100%，因为混合配置（很少获胜）被排除。全AP到D（x=1）配置展示了最均衡的竞争力，在所有目标上实现了最高的平均胜率。
5. PPD：动态AP路由系统
第4.4节的权衡分析揭示，没有单一的静态 x 能在所有目标上占据主导。因此，我们设计了PPD，一个动态路由系统，它根据工作负载特征和操作员权重为每个请求选择 x，遵循工作负载感知调度原则 (Fu et al., 2024; Jain et al., 2025)。
PPD分两个阶段运行（算法1）。离线阶段，它通过直接在两个极端 x=0 和 x=1 下测量每个格子中工作负载的TTFT和TPOT，在一个粗粒度的工作负载网格上构建查找表，然后存储分数符号的决策结果。在线阶段，每个第2轮及以后的请求沿三个轴（累积上下文长度、输入/输出比率、系统QPS）映射到最近的格子，并在 <1 毫秒内返回预计算的决策；第1轮总是返回 x=0，因为尚无缓存的上下文。离散化阈值和请求特征模式见第B.1节。
将配置规模确定与第2轮及以后的SLO调整解耦。PPD将多轮服务控制问题分解为两个独立的旋钮。在传统PD中，P:D比例同时决定了第1轮预填充容量和第2轮及以后的延迟权衡，迫使操作员在一个耦合的多目标参数上取得平衡。PPD将其解耦：P:D比例管理第1轮吞吐量，而操作员权重 ww 选择帕累托前沿上的第2轮及以后的操作点。经验上，PPD在我们评估的所有三种P:D比例下都保持稳定（图4），而静态 x=0 基线在P稀缺时会崩溃。
我们的原型构建在vLLM的分离式服务基础设施之上，重用了其KV传输协议和前缀缓存。实现细节，包括会话管理和路由协议，见第B节。
6. 真实世界验证
合成工作负载为系统地探索配置空间和隔离个别因素提供了良好控制的条件。为了验证这些发现能推广到真实流量中存在的异构分布，我们进一步在真实世界的多轮对话数据集上评估PPD。
6.1. 数据集与设置
我们使用了两个公开的多轮对话数据集：ShareGPT (Chiang et al., 2023)，包含用户分享的ChatGPT对话，主题和交互风格多样；以及WildChat (Zhao et al., 2024)，包含野外的用户对话，具有不同的预填充-解码比率。
我们从两个数据集中筛选多轮对话，并在QPS水平1到20下，评估三种代表性的PD配置（1P_3D, 2P_2D, 3P_1D）启用和不启用动态PPD时的性能。动态PPD模式使用均衡权重（wtff=wpot=1.0）。我们测量第2轮及以后的TTFT、平均查询延迟、吞吐量和成功率（定义为 ≥95%≥95% 的请求在无超时情况下完成）。
6.2. PPD提升稳定性与降低延迟
我们的真实世界实验（图4）揭示了两个关键发现：（1）在两个数据集上，PPD实现的平均查询延迟始终低于基线（x=0）；（2）PPD解决了导致 x=0 模式在多轮工作负载下性能下降的KV传输瓶颈问题。包含 x=1 静态基线的完整三方比较见第C.5节。
发现1：更低的延迟。如图4所示，在两个模式都成功的所有配置和QPS水平下，PPD曲线（实线）始终位于基线曲线（虚线）下方。对于ShareGPT上稳定的1P_3D配置，PPD在QPS范围内将平均查询延迟降低了15-25%。这种改进源于PPD消除了第2轮及以后请求的冗余KV传输：后续请求不再每轮都经过 P→D 网络路径，而是使用缓存的前缀在解码节点上本地执行。
发现2：解决服务不稳定性。除了延迟改进，PPD将先前不可用的配置转变为稳定部署。基线（0x=0）配置表现出服务降级（定义为成功率 <95%，主要由KV传输饱和下的请求排队和超时引起，而非内存耗尽或硬件故障）：在两个数据集的大多数QPS水平下，2P_2D和3P_1D的 x=0 基线均出现降级，只有1P_3D保持稳定（因为其拥有足够的D节点容量来吸收KV负载）。
相比之下，启用PPD的配置在所有QPS水平和两个数据集上都实现了100%的成功率。图4中的 × 标记直观地展示了这种差距：基线曲线是碎片化的，带有许多失败点，而PPD曲线则是完整且连续的。
基线降级的根本原因。根本原因是KV传输饱和：在 x=0 模式（传统PD）下，解码节点每轮都接收KV传输，而PPD动态地将第2轮及以后的请求路由到具有更高 x 值的路径，在观察到的平均每会话3.1轮的情况下，KV传输负载减少了约75%。在平均每会话3.1轮的情况下，这造成了约3倍的网络负载差异，解释了为什么PD配置会降级而PPD保持稳定。
6.3. 与最强静态基线 (x=1) 的比较
6.4. 跨网络速度的鲁棒性
我们的实验使用节点内的NVLink，但生产中的多节点部署依赖于InfiniBand或融合以太网（RoCE）上的RDMA，通常慢2-8倍 (Patel et al., 2024; Qin et al., 2025)。由于PPD绕过第2轮及以后请求的P→D通道，其优势应随着网络变慢而增长。为了在没有多节点硬件的情况下验证这一点，我们遵循TetriInfer (Hu et al., 2024b) 的带宽仿真方法，在每个PD路由的请求上注入一个校准的额外延迟，而PPD的本地路径保持不变。确切的延迟模型和每令牌KV占用空间见第B.6节。
图5扫描了从NVLink到100GbE的四种互连。随着有效带宽下降一个数量级，PD基线的第2轮+ TTFT上升了约19%，而PPD保持在大约51毫秒；相对TTFT缩减从64%扩大到70%，TPOT和端到端延迟跟踪相同的趋势。因此，基于NVLink的评估是PPD在真实多节点部署中优势的保守下限。
6.5. 案例研究：基于权重的TTFT-TPOT权衡
7. 讨论
与同期工作的关系及局限性。同期进行的AMPD (He et al., 2026) 也识别了PD分离中的多轮低效问题，并提出了通过实时队列状态估计结合离线硬件规划来协调预填充工作负载。我们的工作在范围上是互补的：PPD贡献了 (i) 一个微架构层面的解释，说明为什么本地追加预填充是可行的，即数量级的干扰差距（第4.1节）；(ii) 一个清晰的优化公式，其中传统PD是特殊情况 x≡0；以及 (iii) 一个单旋钮的TTFT-TPOT控制曲面（公式(1)），操作员可以离线调整。PPD的主要局限性在于其查找表是离线构建的，当硬件或工作负载分布严重偏离校准集时，它会优雅地但次优地退化；AMPD的在线队列状态估计是弥合这一差距的自然机制，我们将PPD的原则性基础与AMPD的自适应循环视为可组合而非竞争的关系。其他自然扩展包括与更高级别的SLO控制器集成（该控制器根据观察到的P99指标驱动 w）、在异构GPU集群 (Tong et al., 2025) 或长上下文弹性并行 (Wu et al., 2024) 上的部署，以及与分布式KV缓存层的联合使用（见下文）。
与分布式KV缓存的关系。分布式KV缓存层（例如，Mooncake (Qin et al., 2025)，MemServe (Hu et al., 2024a)）在不同于PPD的层面运作：它们决定前缀状态在整个集群中的存储位置，而PPD决定如何调度命中缓存和未命中缓存的请求以避免相互干扰。两者是完全兼容的。分布式存储最大化前缀重用，而PPD确保缓存命中的请求不会被缓存未命中的请求延迟；我们预计联合部署将在大规模服务中放大两者的效果。
8. 结论
多轮对话暴露了单轮工作负载未曾揭示的PD分离的根本局限性。全预填充和追加预填充之间数量级的干扰差距开辟了一个新的设计维度：解码节点可以安全地本地处理第2轮及以后的请求。然而，我们对3,060种配置的系统性探索证实，静态路由无法普遍优化TTFT、TPOT和吞吐量。PPD通过一个离线调优的单旋钮控制曲面（公式(1)）实现了一种工作负载感知的替代方案，在真实世界工作负载上平均将第2轮及以后的TTFT降低了约68%，同时保持了具有竞争力的TPOT，且每请求开销小于1毫秒。
