引言知识蒸馏Knowledge Distillation是当前大模型轻量化部署的核心技术之一。它的核心思想是用一个参数量巨大的教师模型Teacher把隐含在输出分布中的暗知识Dark Knowledge迁移给小得多的学生模型Student从而在可接受的性能损失下大幅降低推理成本。本文围绕蒸馏的两条主线展开——白盒蒸馏直接提取 Logits 概率分布与黑盒蒸馏仅采样教师输出文本并系统梳理学生模型选型、训练流程、调参技巧与评估指标。下面用一张流程图对比白盒蒸馏与黑盒蒸馏的核心流程与数据流向白盒蒸馏可访问模型内部黑盒蒸馏仅可调用输出教师模型Teacher蒸馏路线选择训练时实时获取教师 Logits用 temperature 软化生成软标签学生模型前向得到 Logits计算 KD Loss 与 CE Loss反向传播更新学生参数设计覆盖广、有梯度的蒸馏提示教师模型采样生成回答文本数据质量过滤与去重构建蒸馏数据集作为 SFT 数据微调学生模型1. 白盒蒸馏Logits 提取白盒蒸馏的核心是提取教师模型的Logits未归一化的概率分布。这需要在训练过程中实时获取不能离线完成。关键参数参数推荐取值说明temperature2.0~5.0温度越高软标签越软暗知识越丰富推荐从 2.0 开始alpha0.5~0.7蒸馏损失权重。教师信号质量高时增大 alpha有高质量标注时降低kl_div的reductionbatchmean使损失值与 batch_size 无关显存优化技巧技巧效果教师模型 4bit 量化推理显存降低约 70%学生模型开启gradient_checkpointing以时间换显存降低 batch_size白盒蒸馏显存约为普通微调的 1.5~2 倍教师模型卸载到 CPU速度极慢约慢 10 倍但可在单 GPU 上跑通2. 黑盒蒸馏输出采样黑盒蒸馏只需教师生成的文本实现上更接近普通 SFT。数据生成分三步走准备输入提示 → 用教师生成回答 → 数据质量过滤。蒸馏提示的设计原则覆盖面要广提示应覆盖目标场景的各种任务类型难度要有梯度50% 中等 30% 简单 20% 困难长度要有变化短指令10 字以内和长指令100 字以上都要有避免重复去重很重要重复提示会让学生在相同模式上过拟合蒸馏提示来源选择数据源规模特点适用场景UltraChat1.5M 条多样性高通用蒸馏数据量最大Alpaca52K 条质量高通用蒸馏质量较好Open-Orca4.2M 条多样性高大规模蒸馏领域模板 Self-Instruct自定义领域定制领域蒸馏推荐黑盒蒸馏数据量建议蒸馏类型建议数据量通用能力蒸馏50K~500K 条特定领域蒸馏10K~100K 条推理能力蒸馏5K~50K 条含思维链对话风格蒸馏1K~10K 条案例参考DeepSeek-R1 蒸馏 Qwen-1.5B 的成功案例使用了 80 万条推理链数据说明高质量的大规模蒸馏数据可以显著提升小模型能力。3. 学生模型选择Qwen2.5 系列学生模型对比模型FP16 显存4bit 显存推理速度适用场景0.5B~1.2GB~0.4GB~200 tokens/s手机/嵌入式1.5B~3GB~1GB~120 tokens/s端侧/低成本部署3B~6GB~2GB~80 tokens/s消费级 GPU7B ★最常用~14GB~4GB~40 tokens/s服务器/云端重要原则学生模型一定要用预训练权重初始化不要从零开始训练。蒸馏是在已有能力基础上增强不是从零建造。4. 蒸馏训练流程4.1 黑盒蒸馏训练最简单黑盒蒸馏的训练流程与普通微调完全一致——区别只在于训练数据来自教师模型而非人工标注。配置和 SFT 一样只需把dataset换成教师生成的蒸馏数据# 黑盒蒸馏就是用教师数据做 SFTCUDA_VISIBLE_DEVICES0 llamafactory-cli train qwen2.5_blackbox_distill.yaml4.2 白盒蒸馏训练需自定义训练循环白盒蒸馏需要同时运行教师和学生模型LLaMA-Factory 目前不直接支持 Logits 级别训练需自定义脚本。核心步骤如下加载教师模型4bit 量化eval 模式不计算梯度和学生模型LoRA 微调数据加载 tokenize label maskingprompt 部分设为 -100不计入损失训练循环教师前向no_grad→ 学生前向 → KD Loss CE Loss → 梯度累积更新注意Qwen 系列已有pad_token不要用eos_token覆盖global_step按梯度更新计数下面是基于 PyTorch 和 Transformers 的核心训练循环示例教师模型采用 4bit 量化学生模型使用 LoRAimporttorchimporttorch.nn.functionalasFfromtransformersimport(AutoModelForCausalLM,AutoTokenizer,BitsAndBytesConfig,)frompeftimportLoraConfig,get_peft_model# ---------- 蒸馏超参数 ----------temperature3.0# 推荐从 2.0~3.0 开始调alpha0.5# KD 与 CE 各占一半gradient_accumulation_steps8global_step0# ---------- 1. 加载 4bit 量化教师模型 ----------quant_configBitsAndBytesConfig(load_in_4bitTrue,bnb_4bit_compute_dtypetorch.bfloat16,bnb_4bit_use_double_quantTrue,bnb_4bit_quant_typenf4,)teacherAutoModelForCausalLM.from_pretrained(Qwen/Qwen2.5-7B-Instruct,quantization_configquant_config,device_mapcuda,torch_dtypetorch.bfloat16,)teacher.eval()# 教师只做推理不更新参数forparaminteacher.parameters():param.requires_gradFalse# ---------- 2. 加载学生模型并配置 LoRA ----------tokenizerAutoTokenizer.from_pretrained(Qwen/Qwen2.5-1.5B)# Qwen 系列通常已有 pad_token仅在缺失时才回退到 eos_tokeniftokenizer.pad_tokenisNone:tokenizer.pad_tokentokenizer.eos_token studentAutoModelForCausalLM.from_pretrained(Qwen/Qwen2.5-1.5B,torch_dtypetorch.bfloat16,device_mapcuda,)student.enable_input_require_grads()# 配合 gradient checkpointing 使用student.gradient_checkpointing_enable()lora_configLoraConfig(r16,lora_alpha32,target_modules[q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj,],lora_dropout0.05,biasnone,task_typeCAUSAL_LM,)studentget_peft_model(student,lora_config)student.print_trainable_parameters()optimizertorch.optim.AdamW(student.parameters(),lr3e-5)student.train()# ---------- 3. 核心训练循环 ----------forstep,batchinenumerate(train_dataloader):input_idsbatch[input_ids].to(cuda)attention_maskbatch[attention_mask].to(cuda)labelsbatch[labels].to(cuda)# prompt 部分已置为 -100# 教师前向不计算梯度只获取 Logitswithtorch.no_grad():teacher_logitsteacher(input_idsinput_ids,attention_maskattention_mask,).logits# 学生前向logits 用于 KDlabels 用于 CE Lossstudent_outputsstudent(input_idsinput_ids,attention_maskattention_mask,labelslabels,)student_logitsstudent_outputs.logits ce_lossstudent_outputs.loss# 只在有效标注位置计算 KD避免 prompt 区域淹没蒸馏信号masklabels!-100teacher_softF.log_softmax(teacher_logits/temperature,dim-1)[mask]student_softF.log_softmax(student_logits/temperature,dim-1)[mask]kd_lossF.kl_div(student_soft,teacher_soft,reductionbatchmean,# 使损失值与 batch_size 无关log_targetTrue,)*(temperature**2)# 温度缩放补偿# 总损失alpha 控制教师软标签的权重lossalpha*kd_loss(1-alpha)*ce_loss lossloss/gradient_accumulation_steps# 梯度累积时按步数缩放loss.backward()if(step1)%gradient_accumulation_steps0:optimizer.step()optimizer.zero_grad()global_step1# 按实际参数更新次数计数4.3 白盒蒸馏调参指南温度参数Temperatureτ 值效果建议τ1尖锐分布暗知识不足不推荐τ2适度软化★推荐起点大多数场景效果好τ3~5明显软化教师远大于学生时适用如 72B→1.5Bτ5过度软化信号被稀释不推荐Alpha蒸馏损失权重α 值效果建议α0.3偏向硬标签有高质量标注数据时α0.5蒸馏和硬标签各半★推荐起点α0.7偏向蒸馏标注数据少或质量低时α0.9几乎全靠蒸馏纯蒸馏无标注数据Epoch 选择师生差距建议 Epoch差距小14B→7B1~2 epoch差距中72B→7B2~3 epoch差距大72B→0.5B3~5 epoch完整调参实验记录72B→7B10K 条数据配置C-Eval 得分基线直接 SFT68τ2, α0.5, lr5e-5, 2ep71τ3, α0.5, lr5e-5, 2ep72温度提升有效τ4, α0.5, lr5e-5, 2ep71温度过高信号稀释★最优 τ3, α0.5, lr3e-5, 3ep73降低 lr 增加 epoch结论温度 2→3 有提升3→4 反而下降降低学习率 增加 epoch 比增大 alpha 更有效。4.4 特征蒸馏完整脚本在响应蒸馏基础上额外对齐教师和学生的中间层隐藏状态。核心改动三点教师和学生模型均需开启output_hidden_statesTrue创建可学习的对齐矩阵nn.Linear: student_dim → teacher_dim将学生特征映射到教师空间损失函数增加特征对齐项L_total α·L_KD β·L_feature (1-α-β)·L_CE层映射配置72B→7B 为例教师 80 层学生 28 层均匀映射 每隔 4 层对齐一次推荐权重α0.4KD β0.3Feature 0.3CE5. 效果对比与调参指南5.1 蒸馏评估指标体系指标定义衡量目标能力保留率学生/教师在基准测试上的得分比衡量学到了多少蒸馏增益蒸馏后-蒸馏前/教师-蒸馏前衡量蒸馏带来的提升占理论最大提升的比例输出相似度学生和教师输出文本的语义相似度BLEU/ROUGE/BERTScore衡量输出一致性分布对齐度学生和教师 Logits 分布的 KL 散度越小说明学生越像教师5.2 正向 KL vs 反向 KL原理与调参LLM 生成任务推荐反向 KL。方案原理特点正向 KL标准 KD学生尝试覆盖教师的所有模式倾向模式覆盖学生可能过度估计低概率区域生成不连贯文本反向 KLMiniLLM 方案学生聚焦于教师分布的主要模式倾向模式寻求生成质量更高但可能遗漏教师的某些能力微软 MiniLLMICLR 2024系统性地验证了这一点。反向 KL 需要特殊训练技巧梯度方差大建议先从正向 KL 开始熟悉后再尝试反向 KL。
