简介面向语音技术开发者和科研入门者的声纹识别系统源码包基于百度飞桨深度学习框架开发整合了EcapaTdnn、ResNetSE、ERes2Net、CAM等主流模型同时提供MelSpectrogram、Spectrogram、MFCC、Fbank多种预处理方式以及加性角度间隔损失、附加角度余量损失等多种损失函数可用于说话人验证、声纹比对与语者分离等任务。资源包共76个文件其中以52个Python源代码文件、7个WAV示例音频、7个YAML配置文件为主并附带Markdown说明文档和JPG、PNG示意图压缩包整体仅4.2MB结构清晰便于按功能模块阅读。使用环境涵盖Anaconda 3、Python 3.11、PaddlePaddle 2.5.1兼容Windows 10与Ubuntu 18.04部署门槛不高。目前已有44人浏览学习适合快速上手。压缩包内提供完整训练与推理代码、图形化识别工具、特征提取与评估脚本、数据增强配置及示例音频能够直接复现实验并支持二次开发是一份兼顾算法讲解与工程实现的实用学习资料。1. 声纹识别项目先把任务拆到能落地的程度一套声纹识别系统模型只占一半。把 EcapaTdnn、ResNetSE、ERes2Net、CAM 这些 backbone 分别换一遍等错误率可能在 3.8% 和 1.6% 之间摆动也可能只降 0.1%差别大多不在模型本身而在输入特征、损失函数、后端打分和注册库维护。这个项目标题对应的工程就是用 Python 把这些流行模型串成一条能训练、能验证、能部署的流水线同时把源代码和文档整理成可复现的状态。对于正在做说话人验证、声纹门禁、短语音认证的开发者最值得投入的部分是搞清每个模型对输入输出的约束以及换模型之后 Embedding 向量的分布变化。这里按一条实际能跑的通路来讲先定特征再选骨架然后训练和推理最后讨论落地时最容易翻车的参数。2. 声纹特征提取从一句话到 80 维 Fbank2.1 为什么声纹识别用 Fbank而不是 MFCC早期说话人识别系统常用 MFCC因为 GMM-UBM 时代需要对角协方差来简化建模DCT 去相关是必要的。到了深度学习时代这个前提变了。CNN 和 TDNN 能从相邻频带直接学习局部模式MFCC 的 DCT 反而破坏了这种局部结构。所以现在的主流声纹基线包括 VoxCeleb 上的大部分开源方案都默认使用 Fbank也就是梅尔滤波器组能量。另一个原因是 Fbank 的计算路径更短便于在训练和推理时保持完全一致。MFCC 需要额外做 DCT、倒谱提升、均值归一化每一步都会引入一点实现差异。Fbank 则只依赖 STFT、梅尔滤波器组和对数压缩。用 torchaudio 的 Kaldi 兼容接口提取训练和推理用同一段代码几乎不会出现特征不匹配的问题。2.2 用 torchaudio 提取 Fbank 的最小代码以下是训练和推理共用的特征提取函数import torchaudio import torch def extract_fbank(path, num_mel_bins80, sample_rate16000): waveform, sr torchaudio.load(path) if sr ! sample_rate: waveform torchaudio.functional.resample(waveform, sr, sample_rate) fbank torchaudio.compliance.kaldi.fbank( waveform, num_mel_binsnum_mel_bins, sample_frequencysample_rate, frame_length25, frame_shift10, dither1.0, snip_edgesFalse ) return fbank # shape: (frames, num_mel_bins)这段代码里frame_length25表示每帧 25 毫秒frame_shift10表示帧移 10 毫秒这是说话人识别里最常用的设置。dither1.0给信号加一点抖动避免静音段出现全零帧对数值稳定性有帮助。snip_edgesFalse会让边界处的帧数和 Kaldi 默认行为一致如果你后面要和 Kaldi 的 trial 文件对齐这个参数必须保持相同。Fbank 提取完成后一般还要做归一化。最省事的是按句做 CMVN即对每一句的特征计算均值和方差然后减均值除标准差。这个操作能显著降低信道和录音设备带来的偏移尤其是同一个说话人在不同麦克风上的录音。2.3 VAD 和数据增强影响比换模型更大声纹识别里最容易被低估的是 VAD也就是语音活动检测。等错误率翻倍的情况往往不是模型不行而是注册语音里混了大段静音和空调噪声。常见做法是先用 VAD 切掉非语音帧再提 Fbank。开源的 silero-vad 在短语音和噪声场景下表现稳定也可以用一个简单的能量门限做第一版import torch def simple_vad(fbank, energy_thresh-40.0): log_energy torch.log(torch.clamp(fbank.sum(dim1), min1e-6)) return fbank[log_energy energy_thresh]这个函数按帧计算对数能量把低于阈值的帧直接丢弃。注意阈值是相对的不同录音增益下可能要重新调。工程上建议先用完整 VAD 跑一遍对比一下有 VAD 和无 VAD 的 EER你会看到明显差距。数据增强方面最常用的三种是速度扰动、音量扰动和噪声混入。速度扰动把语速乘以 0.9 到 1.1对模型鲁棒性的提升最直接。音量扰动随机调整增益模拟远场和近场录音差异。噪声混入则用 MUSAN 这类噪声库按 0 到 15dB 的信噪比混入。增强只加在训练侧测试侧保持原始语音。2.4 提前敲定的特征参数表下面的参数建议在项目一开始就写进文档不要训练中途再改参数推荐值说明采样率16000 Hz声纹识别事实标准低于 16k 会损失高频信息帧长 / 帧移25 ms / 10 ms短语音场景可改 32 ms 窗获得更平滑的频谱梅尔滤波器个数80低于 64 会损失频率分辨率高于 128 收益很小特征归一化按句 CMVN比全局 CMVN 更抗信道变化VADsilero-vad 或能量门限静音帧占比超过 30% 时建议强制启用增强速度 0.9/1.1、音量、加噪训练集小于 1000 小时时增强效果显著这些参数定了之后特征部分就稳定了。接下来才进入模型选型。3. EcapaTdnn、ResNetSE、ERes2Net、CAM 的架构差异与选型3.1 四个模型的公共骨架Backbone Pooling Loss不管 EcapaTdnn 还是 CAM声纹模型的结构都可以抽象成三段帧级特征提取器、句级池化层、分类头。前端的 Backbone 对每一帧 Fbank 做变换输出带上下文信息的帧级表示池化层把可变长度的帧级表示压缩成一个固定维度的句级向量通常用均值和标准差拼接训练阶段接一个 AAMSoftmax 分类头验证阶段则丢掉分类头直接用句级向量作为 Embedding。写代码时可以给四个模型套同一个接口这样训练、验证、导出都不用改class SpeakerEncoder(nn.Module): def __init__(self, backbone: nn.Module, embedding_dim: int): super().__init__() self.backbone backbone # 帧级特征提取 self.pooling StatsPool() # 均值 标准差池化 self.fc nn.Linear(self.pooling.output_dim, embedding_dim) def forward(self, x): frame_feats self.backbone(x) # (B, T, C) utt_feats self.pooling(frame_feats) # (B, C * 2) return self.fc(utt_feats) # (B, embedding_dim)这里StatsPool是声纹模型的核心差异点之一。EcapaTdnn 用的是注意力统计池化即让网络自己学习每一帧的权重ResNetSE 系列则常用简单统计池化。实现上都要注意对时间维做mask否则样本长度不同时标准差会被填充帧带偏。3.2 EcapaTdnn 与 ResNetSE短语音和长语音的取舍EcapaTdnn 是目前最稳的基线它的核心是 SE-Res2Block。这个模块把输入分成多个子通道每个子通道经过不同尺度的卷积再用 SE 模块做通道注意力。整个结构对短语音很友好因为 2D 卷积的局部感受野加上时间维的上下文机制能在 1 到 3 秒的语音上稳定提取说话人特征。缺点是模型参数量偏大并且推理时对帧数敏感帧数太短时统计池化的方差项会不稳定。ResNetSE 是把图像识别里的 ResNet SE 迁移到频谱图上的做法。卷积核在时间和频率两个方向滑动通常时间方向的步长会设置得比频率方向大。这个结构在长语音上表现更稳比如 10 秒以上的注册和验证ResNetSE 的时间上下文能力更强。缺点是短语音上注意力机制不如 EcapaTdnn 精细EER 会偏高。我的经验是验证语音平均时长在 3 秒以下优先选 EcapaTdnn5 秒以上可以试 ResNetSE。3.3 ERes2Net 与 CAM增强性能与收敛速度ERes2Net 可以理解为 ResNetSE 的增强版它在 Res2Net 的基础上加了 SE 模块和特征融合。Res2Net 的核心思想是把通道拆成多个组每组做不同尺度的卷积最后拼接。这样做的好处是让同一层的卷积同时看到不同粒度的时频模式对说话人个性特征的捕捉更细。ERes2Net 在 VoxCeleb 评测集上的表现通常优于原版 ResNetSE但训练时显存占用更高。CAM 走的是另一条路。它把密集连接思想引入说话人特征提取每一层都接收前面所有层的输出特征复用程度高参数增长比 ResNet 更慢收敛速度也更快。在 8GB 显存左右的环境里CAM 是性价比最高的选择。如果你的项目文档里明确要求对比多种模型用 CAM 做快速迭代版本用 EcapaTdnn 做最终精度版本是比较省时间的组合。3.4 选型表的几个可量化指标模型参数量级适配语音长度显存占用典型定位EcapaTdnn20M 级别1s 以上中通用基线最稳ResNetSE30M 级别3s 以上较高长语音、远场场景ERes2Net35M 级别2s 以上高精度优先的项目CAM10M 级别1s 以上低轻量部署与快速迭代注意这里的参数量是量级不是精确值不同实现差别能到 20% 左右。真正选型时拿同一条验证集跑一遍比较 EER 和推理耗时比看论文表格更有意义。训练日志里建议同时记录每个模型的 Embedding 维度和归一化方式因为后面做分数融合时会用到。4. 训练、Embedding 抽取与注册库打分4.1 损失函数AAMSoftmax 的 margin 与 scale 怎么设声纹识别现在的标准损失是 AAMSoftmax也就是加性角度间隔 Softmax。相比普通 Softmax它在角度空间给正确类别加上一个 margin强制类间距离更大、类内距离更小。两个关键参数是 margin 和 scale。margin 常见取值 0.2scale 常见取值 30。import math import torch.nn.functional as F def aam_softmax(cosine, target, num_classes, margin0.2, scale30): one_hot F.one_hot(target, num_classes) theta torch.acos(torch.clamp(cosine, min-1 1e-6, max1 - 1e-6)) theta_m theta margin logits torch.cos(theta_m) logits torch.where(one_hot.bool(), logits, cosine) return logits * scalemargin太大超过 0.4会出现梯度不稳定训练初期 Loss 不下降scale太小小于 10则分类边界太松Embedding 区分度不够。实测中 margin0.2、scale30 在小数据集上最稳如果你有 1 万以上的说话人可以把 scale 提到 32。注意这里要把 cosine 相似度夹在 [-1, 1] 范围内否则acos会出现 NaN。训练完成后的分类头一般直接丢掉只保留 Backbone 和 Embedding 层。验证时输出的是归一化后的句级向量不再经过分类头。4.2 训练循环与数据组织方式训练数据需要组织成说话人分类任务每个说话人是独立类别。文件列表建议用两列说话人 ID 和音频路径。目录结构如下所示train_list.txt spk001 /data/audio/spk001_01.wav spk001 /data/audio/spk001_02.wav spk002 /data/audio/spk002_01.wav训练时每个 batch 采样多个说话人每个说话人采样若干条语音。采样逻辑直接决定训练难度最简单的是均匀采样每批次固定 N 个说话人、每个说话人 M 条语音batch size N * M。def train_epoch(model, loader, optimizer, margin0.2, scale30): model.train() total_loss 0.0 for batch in loader: wavs, labels batch # (B, T), (B,) embeds model(wavs) # (B, embedding_dim) embeds F.normalize(embeds, dim1) # 全连接分类头只在训练时存在 cosine classifier(embeds) # (B, num_classes) logits aam_softmax(cosine, labels, num_classesclassifier.out_features, marginmargin, scalescale) loss F.cross_entropy(logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader)这里的classifier是一个不带偏置的线性层权重按列归一化这样它计算出的点积就是余弦相似度。学习率建议从1e-3开始每一轮验证 EER 不再下降后按 0.7 倍衰减。Batch size 在 128 到 256 之间表现比较稳定低于 64 时 AAMSoftmax 的效果会明显变差。4.3 注册库构建与 1:1 打分验证阶段的核心是注册库和打分逻辑。注册库用 3 到 5 段录音分别提取 Embedding然后做向量平均。平均后的向量代表这个说话人的稳定特征比单段录音的 Embedding 方差小得多。def enroll_speaker(model, audio_paths): embeddings [] model.eval() with torch.no_grad(): for path in audio_paths: fbank extract_fbank(path) if fbank.shape[0] 50: # 过滤过短语音 continue emb model(fbank.unsqueeze(0)) embeddings.append(F.normalize(emb, dim1)) if not embeddings: raise ValueError(fno valid utterance: {audio_paths}) return torch.stack(embeddings).mean(dim0) # (1, embedding_dim) def verify(model, enroll_emb, test_path, threshold0.5): fbank extract_fbank(test_path) test_emb F.normalize(model(fbank.unsqueeze(0)), dim1) score (enroll_emb test_emb.T).item() return score, score threshold打分时一定要先对 Embedding 做 L2 归一化再算点积否则余弦相似度会被向量模长干扰。阈值 0.5 只是起步值真实的阈值要基于验证集上的 EER 来定。注册库更新时不要重算全部说话人的 Embedding只增量计算新说话人但要注意如果模型版本升级所有旧 Embedding 都要重新抽取。4.4 项目文档里必须记录的训练配置写文档时把以下信息固定下来否则三个月后你自己也复现不了数据集的训练/验证划分方式、VAD 开关、特征参数、模型输入输出维度、损失函数 margin/scale、学习率调度、注册库的语音条数。每跑一个实验把 EER、DCF、阈值、模型路径写进一张 CSV 表。这个习惯比多调一个参数更值钱。5. 验证与落地EER 计算、短语音补偿与多模型融合5.1 用 EER 判断一个模型好不好EER 是等错误率也就是假接受率等于假拒绝率时的错误率。计算时需要一组注册与测试对的分数以及对应的标签。分数越高表示越可能是同一人标签 1 表示同一人0 表示不同人。def compute_eer(scores, labels): scores torch.tensor(scores, dtypetorch.float32) labels torch.tensor(labels, dtypetorch.int32) thresholds torch.linspace(scores.min(), scores.max(), 2000) best (1e9, 0, 0) for th in thresholds: pred scores th fpr ((pred 1) (labels 0)).sum() / (labels 0).sum() fnr ((pred 0) (labels 1)).sum() / (labels 1).sum() diff abs(fpr - fnr) if diff best[0]: best (diff, th, (fpr fnr) / 2) return best[2], best[1]注意这里用abs(fpr - fnr)最小化来近似 EER 交点。阈值遍历 2000 个点对单次验证已经足够再多也不会显著提升精度。如果验证集里同一说话人的样本数不平衡EER 有可能虚低建议同时看 minDCF它能反映实际业务里误拒成本更高的场景。5.2 短语音与 VAD 翻车点短语音是最常见的翻车点。1 秒的测试语音通常只有 80 到 100 帧统计池化里的标准差项本身就带噪声。补偿手段有三个第一注册时至少用 3 段语音做 Embedding 平均第二测试端把整段语音按 0.5 秒窗滑窗提取多个 Embedding再做均值第三把帧移从 10ms 改成 8ms增加帧数。前两个效果最明显。VAD 的问题则体现为漏检和误检。漏检会让静音帧混入特征拉偏均值误检会切掉语音开头的爆破音比如 b、p 这种塞音。建议在验证阶段分别跑一遍带 VAD 和不带 VAD 的 EER如果带 VAD 反而更差优先检查是不是 VAD 把语音开头切掉了。5.3 多模型分数融合的简单落地不同模型提取的 Embedding 分布差异很大直接平均分数没有意义。先把每个模型的验证分数做 z-score 标准化再按权重融合。融合权重用验证集做一次网格搜索即可通常取两个模型中性能更好的那个权重高一些。def fuse_scores(score_list, weights): norm_scores [] for s in score_list: s (s - s.mean()) / s.std() norm_scores.append(s) fused sum(w * s for w, s in zip(weights, norm_scores)) return fused融合后的阈值会变化需要重新计算 EER 并更新阈值。一般情况下EcapaTdnn 与 CAM 的融合效果最好因为一个偏精度一个偏轻量错误模式互补。最后一步是把固定好的特征参数、VAD 开关、Embedding 平均策略、融合权重和阈值写入配置文档让整套系统只靠一份配置复现出相同结果。本文还有配套的精品资源点击获取
