如果你搜索过“语音识别 ASR”这个词迟早会撞上Kaldi。我第一次接触它的时候其实是抱着“都什么年代了还学这个”的心态去的因为周围的同学都在看端到端、Transformer、大模型仿佛Kaldi已经是博物馆里的展品。但真的蹲下来把它跑通一遍之后我才发现这种急躁的想法本身才是最大的坑。Kaldi本质上不是一个开箱即用的识别服务而是一套由C工具构成的研究框架。它把语音识别里的各个环节——波形读取、特征提取、GMM-HMM训练、DNN训练、WFST构图、解码——全部打散成独立的命令行工具再用Shell脚本串成一条条流水线。这种设计在今天看来确实有点粗暴但好处是每个环节都是透明的你在每一步都能看到输入输出知道系统在哪一步做了什么。如果说现在的WeNet、ESPnet是一个打包好的“餐厅套餐”端到端模型训好就能上线那Kaldi就是那个把每道菜的原材料、火候、调味都摊开放在砧板上的后厨。对于只想尽快做出一个语音转文字产品的人来说端到端工具显然更省心但对于想理解ASR到底怎么工作、想调试某个具体识别错误、想修改声学模型内部结构的人来说Kaldi依然是绕不开的“底层教材”。传统GMM-HMM模型在深度学习浪潮中看起来落后但工业界实际用于电话信道、低资源语言、部分嵌入式场景的系统里还有大量基于Kaldi训练后迁移的模型在跑。很多论文的基线系统依然是Kaldi。更关键的是Kaldi里沉淀的那套数据准备、对齐、构图流程换到任何ASR框架里都需要同样的文本处理思路学会它你学别的工具会快得多。所以这篇学习笔记我不会去复述Kaldi官方文档而是按照我自己从零开始学习Kaldi的真实路径来写环境怎么搭、配方长什么样、特征怎么来、模型怎么训、图怎么解每一段都是踩过坑之后整理出来的说法。适合正在入门ASR的学生、做语音产品但只用过云API的工程师以及想从源码层面折腾识别系统的研究者。1. 为什么2024年还要折腾Kaldi目标与心态1.1 我先明确一下概念边界ASR到底解决什么问题ASR全称是Automatic Speech Recognition自动语音识别本质是把一段音频信号变成对应的文字序列。它和自然语言处理不同输入是波形输出是文本中间要跨过“声学信号”和“语言学符号”两个完全不同的领域。在Kaldi语境里语音识别被拆成了这样几块前端特征提取把音频变成声学特征、声学模型特征到音素/状态的映射、语言模型字符或词的先验概率、词典词到音素的发音映射、以及最后用WFST图把所有东西组合起来的解码器。不管后面换什么模型结构这五块的分工基本都不会变。清楚了这一点再看Kaldi的目录就很容易对号入座。你会在egs下面看到一大堆数据集配方在src下面看到特征、GMM、解码等各种可执行程序在tools下面看到OpenFst这些第三方库。每个配方里的脚本名字看起来五花八门但走的都是“准备数据 - 提取特征 - 训练模型 - 构图 - 解码评分”这条流水线。1.2 为什么不是直接跑一个现成的识别API可能会有人说我现在做项目都是直接调云服务商的语音识别API或者接入讯飞、百度、Whisper为什么还要自己训Kaldi这个问题很现实。如果需求是中文普通话、常见领域、标准麦克风采集那现成的API确实是更优解。可一旦你遇到冷门方言、专用词汇、录音条件很差的场景API的识别效果就会明显下滑这时候你需要自己掌握模型训练、数据增广、微调的能力而Kaldi恰好能让你把整条链路握在手里。再从另一个角度说了解Kaldi的训练逻辑能帮助你更好地理解为什么某些API对女声的识别率有时低于男声。这个问题看起来玄学其实和训练数据里性别分布不均、特征分布差异都有关系。传统Kaldi用fMLLR做过说话人自适应后来深度学习模型也继承了这套思想只是把归一化做成了网络结构的一部分。你不搞清楚底层光靠换API参数很难对症下药。所以我对Kaldi的态度是它不是一个过去式工具而是一张完整的地图。嘴上说着过时的人往往恰好是没把它读懂的人。2. 环境搭建实测版本选择、编译问题和验证方案先别急着下载代码Kaldi的编译流程虽然已经比早年友好太多但第一次装的时候大概率还是会卡住。这一节我记录了自己在Ubuntu 22.04上从零装Kaldi的真实流程以及我换过两三次环境后总结出的避坑点。2.1 版本怎么选为什么我建议直接跟master而不是老releaseKaldi官方GitHub仓库在主分支上持续滚动更新没有像很多项目那样维护多个稳定发布版。很多老教程会告诉你clone之后切换到某个commit或者某个tag但实际去看那些tag已经很老了编译最新Ubuntu上反而更容易出问题。我的建议是直接clone master然后固定到你clone那天的commit至少在跑通之前别来回切分支。Kaldi社区有个默认约定tools和src是配套的不要单独升级其中一个否则你会遇到OpenFst版本和Kaldi源码不匹配这种很隐蔽的坑。依赖库方面tools目录下提供了install.sh一键脚本它会自动下载OpenFst、OpenBLAS等。不过这里有一个常见坑网络环境不好时MKL或OpenBLAS下载经常失败。如果卡住可以先看tools/extras/check_dependencies.sh的输出把缺少的系统包用apt装好再单独下载依赖压缩包放进tools目录重新执行。提示不要跳过依赖检查脚本直接make。Kaldi的tools编译失败八成是系统依赖没装全重跑检查脚本比肉眼排查快得多。2.2 编译步骤从tools到src每一步在做什么Kaldi安装分两个阶段先编译tools再编译src。tools是第三方依赖比如OpenFst这个用于有限状态转换器的库src才是Kaldi本身包括特征提取、GMM训练、解码等。我当时的命令顺序是git clone https://github.com/kaldi-asr/kaldi.git cd kaldi/tools extras/check_dependencies.sh # 检查系统依赖 make -j 8 # 编译 tools cd ../src ./configure --shared --use-cudano make depend -j 8 make -j 8推荐用 --shared 编译共享库这样后面跑脚本时不会频繁因为静态链接的问题重编。CPU环境直接 --use-cudano省掉一堆CUDA版本匹配的麻烦。如果你的机器有GPU且想用TDNN训练再回头单独编译带CUDA的版本注意CUDA版本和显卡驱动必须匹配这个坑比Kaldi本身还容易让人崩溃。2.3 我在编译阶段遇到的两个报错第一个是GCC版本太新导致的OpenFst编译失败。Ubuntu 22.04自带的GCC 11对某些旧代码检查更严格OpenFst可能在编译时报一些“未使用的变量”或“模板实例化失败”之类的错。当时我查了一圈最简单的方式不是去改源码而是装一个GCC-10并用export CXXg-10指定编译器再重新编译。第二个是make时提示找不到libfst之类的东西。这通常是因为tools里的OpenFst编译没有完全成功或者路径没对上。解决办法是把tools目录下的日志打开确认所有make都顺利结束再回src目录重新./configure。Kaldi不像很多新项目那样有漂亮的CMake输出它更接近老派Unix工程的风格日志多但很实在出问题一定要第一时间去看日志。2.4 快速验证安装能不能跑通yesno环境搭好后不要急着去跑中文数据集先用Kaldi自带的yesno例子验证这个数据集非常小一共就几十个wav每条音频只有yes/no两个词。在egs/yesno/s5目录下直接执行./run.sh如果能跑完并在最后看到类似%WER 0.00的输出说明整条链路没问题。这一步的意义不是训练一个有用的模型而是验证你的编译是否完整、脚本是否依赖了缺失的工具。我之前在一次编译过程中漏了某些工具yesno跑到一半就报错回头查日志才发现是tools目录下的一个二进制没编出来。小数据集就像软件里的冒烟测试中招成本最低千万别跳过。2.5 如果实在不想折腾编译Docker和预编译镜像Kaldi官方在Docker Hub上有kaldiasr/kaldi镜像里面已经把GPU和CPU版本的依赖都打好了。如果你只是想先看脚本逻辑省掉编译时间直接拉镜像进容器会舒服很多。我自己后来在另一台机器上就是用这个镜像直接把仓库挂载进去跑。不过要注意Docker镜像里的Kaldi可能和你本地仓库的版本不完全一致跑egs时可能存在局部不兼容。建议还是把本地源码目录挂载进容器用容器里的编译产物去跑你自己clone的配方这样路径和行为都更可控。3. 配方是什么数据长什么样从wav.scp到MFCC特征Kaldi里有一个高频词叫“recipe”中文一般译作配方。它其实是一组Shell脚本约定好了一整套数据处理和训练的步骤。学习Kaldi最关键的一步就是看懂一个配方的数据准备部分。很多人卡在Kaldi门口不是编译不过去而是被这些脚本整懵了为什么有这么多目录、这么多文件不就是一个语音识别吗3.1 一个配方的基本目录结构以常见的egs/aishell/s5为例目录下的local放着数据准备脚本steps和utils是Kaldi社区共享的工具脚本conf是特征提取和解码配置run.sh是整个流程的主控脚本。配方里没有魔法所有步骤最终都落到Kaldi的可执行程序上脚本只是帮我们把参数组织好。第一次接触时我建议先不要从头读脚本而是跑通run.sh然后回头看data目录下生成了哪些文件再逆推这些文件是怎么来的。这个方法比顺着脚本读有效得多因为脚本里有大量分支判断和路径变量顺着读很容易在大脑里产生栈溢出。3.2 必须要看懂的数据文件不管哪个配方数据目录里都会出现这几个文件它们是Kaldi整条流水线的“输入协议”。wav.scp每行是录音ID 音频路径路径可以是文件也可以是一个管道命令。这个设计很值得夸因为Kaldi并不强制要求你预先转好格式而是直接读取原始音频路径特征提取时再按需读。text每行是录音ID 标注文本。注意文本一般是经过规范化的比如数字转汉字、英文转大写或小写取决于数据集和语言模型要求。utt2spk每行是录音ID 说话人ID表示这一段音频是谁说的。spk2utt则是它的逆映射描述了每个说话人包含哪些录音。这两个文件用于后续的说话人自适应和VAD分段。这些文件不是人为规定出来的而是数据去重的通用表示。可以用一句话总结Kaldi把“音频录音”和“说话人”解耦为ID所有后续步骤全靠这些ID关联而不是直接操作文件名。理解了这个设计你就理解了Kaldi数据准备八成的内容。文件每行格式作用wav.scp录音ID 音频路径告诉Kaldi去哪读音频text录音ID 标注文本提供训练和评测的参考文本utt2spk录音ID 说话人ID建立录音到说话人的映射spk2utt说话人ID 录音ID列表建立说话人到录音的逆映射feats.scp录音ID 特征ark索引特征提取后生成的索引文件3.3 特征提取MFCC到底在做什么数据准备好之后配方的第一步通常是steps/make_mfcc.sh把波形转成声学特征。MFCC全称是梅尔频率倒谱系数它为什么能成为传统ASR里的主流特征因为它的提取过程模拟了人耳对不同频率声音的非线性感知。我把这个过程拆成五步预加重高频段的语音能量通常比低频弱用一个一阶高通滤波器把高频抬起来让频谱更平稳。分帧加窗语音是一种短时平稳信号所以把信号切成25毫秒一帧、帧移10毫秒的短片段每帧用汉明窗压一下两端减少频谱泄漏。FFT对每一帧做快速傅里叶变换得到频域能量分布。Mel滤波器组把频域刻度映射到梅尔刻度实际上是用一组三角滤波器做加权求和模拟人耳对低频更敏感、对高频不敏感的特性。对数与DCT取对数压缩动态范围再做离散余弦变换得到倒谱系数最终通常会取前13维。在Kaldi里conf/mfcc.conf中的参数包括窗长、帧移、滤波器组数量等默认配置基本能满足大多数场景。实际应用中如果发现识别效果差可以先检查是不是采样率与配置不匹配。比如16kHz的语音在8kHz的电话场景里直接提特征高频信息缺失会比较严重这也是为什么有些ASR系统对电话音频单独训练的原因。3.4 特征怎么存ark和scp的配合Kaldi的特征文件分为两套feats.scp是文本格式的索引ark是二进制数据文件。scp中每行类似utt_id /path/to/feature.ark:123冒号后面的数字是偏移量。训练时Kaldi通过scp找到ark里的二进制特征块避免一次把所有特征全装载到内存。实操中当你自己收集的数据量很大时建议按说话人或按批次把特征写到不同的ark里再合并scp这样方便后续分布式中断恢复。Kaldi脚本里普遍支持--nj参数意思是并行任务数内部会为每个任务分配一段特征范围如果并行数设置得太高小文件很多时反而会被磁盘IO拖慢这一步需要根据机器核数和磁盘性能权衡。3.5 特征和时间对齐为什么帧是一个绕不开的概念处理好特征之后你会面对一个基础概念帧frame。25毫秒一帧10毫秒步进一分钟音频大约有6000帧。传统GMM-HMM声学模型做的就是“帧级别”的建模——把每一帧特征分类成某个上下文相关的音素状态。这句话听起来简单但它决定了后面训练脚本的很多默认参数比如为什么需要先做强制对齐、为什么需要多次迭代。你可以把帧理解为语音的“照片采样”。摄像头拍视频也是一样每秒拍几十张照片拼起来才是动态画面语音识别则需要从这些帧里猜出说的是哪句话。帧率越高时间分辨率越细但计算量也越大Kaldi默认的25ms/10ms是经过大量实验验证的一个折中实际使用时除非特殊场景不建议随便改动。4. 训练流程详解单音素、三音素和序列训练配方在特征提取之后会进入一系列steps/train_*.sh脚本。很多新手第一次看到train_mono.sh、train_deltas.sh、train_lda_mllt.sh、train_sat.sh只觉得是一堆命令不明白为什么要按这个顺序训练也不知道训练出来的模型到底长什么样。这一章我按Kaldi最经典的混合系统讲解。4.1 GMM-HMM模型的总体思路Kaldi传统声学模型的核心是GMM-HMM。HMM隐马尔可夫模型负责建模时序状态转移GMM高斯混合模型负责在给定状态后估计当前特征的概率。语音识别里的“状态”一般对应音素或者更细的子音素状态。一个词由多个音素组成一个音素由多个状态组成一句话就是状态序列在时间上展开。早期想直接训练一个能用的GMM-HMM很难因为模型训练需要知道每一帧对应哪个状态但这个对齐关系恰恰也依赖模型。这是一个典型的“鸡生蛋、蛋生鸡”问题。Kaldi的做法是先训一个粗略模型用它对数据做强制对齐再用新的对齐结果训练更精细的模型这就是整个训练步骤逐渐递进的根本原因。4.2 单音素模型一切从这个粗糙的开始steps/train_mono.sh训练的是单音素模型它只考虑音素本身不考虑相邻音素的影响建模粒度很粗。但这个步骤解决了初始化的问题它通过均匀切分或者很粗的初始对齐得到一个能用的GMM模型然后再用这个模型逐步改进对齐。一个常见的参数是--boost-silence 1.25它表示在训练时给静音状态的概率乘以一个系数提高静音在模型中的权重防止模型把所有低能量帧都标成语音。这个小参数很值得玩味它体现了传统语音识别里那种“调一调更好用”的经验主义思路。训练完成后exp/mono/里会出现final.mdl最终模型、tree决策树文件、ali.*.gz对齐文件等。final.mdl就是一个GMM-HMM模型文件前面那个ali就是强制对齐结果——每一帧对应状态ID。你可以在后续步骤里反复看到这个对齐文件被使用。4.3 强制对齐到底在做什么强制对齐forced alignment是Kaldi里极为重要的一步。它做的事情是给一段音频和它的文本标注然后在已知文本的前提下找出一帧帧特征上最可能的音素/状态路径。每个音素可能持续多少帧都不是固定的所以对齐本质上是在做动态规划搜索。为什么需要对齐因为后面训练三音素模型或深度神经网络时模型的训练目标是“特征帧 - 状态标签”而这个标签就来自对齐。比如你用align_si.sh对单音素模型的结果做一次对齐生成新的ali文件再用这些标签去训练三音素模型。整个过程像在一个团队里先让实习生画草图再由资深工程师逐步修正。4.4 三音素模型与决策树状态绑定单音素模型解决了“有没有一个能用的模型”的问题但真实语音里同一个音素在不同上下文里的发音差别很大。比如“ba”里的“a”和“an”里的“a”共振峰会不同。为了让模型能捕捉这种上下文相关变化Kaldi引入三音素模型triphone建模一个音素连同它前后的音素用三音子来区分。三音子数量爆炸是个基础问题。假设有100个音素理论上三音子就有100的三次方一百万种实际数据里根本不可能每种都有足够样本。Kaldi的解决办法是用决策树做状态绑定state tying把声学上相似的三音子状态聚类到同一个senone捆绑状态上。决策树的每个叶子节点就是一个senone训练时GMM的每个分量就建模在这个senone级别上。实操中你会看到train_deltas.sh和train_lda_mllt.sh。前者是在原始特征上加delta和delta-delta一阶、二阶差分把“瞬时变化率”也作为特征后者先做LDA降维再做MLLT线性变换让不同维度的特征相关性更小。这一整套在DNN时代被端到端模型替代了很多但它能帮助你理解特征变换到底在解决什么问题。4.5 说话人自适应fMLLR和女声识别率问题train_sat.sh这层做的是说话人自适应训练SAT核心思想是fMLLR。由于不同人的声道长度、说话习惯不同特征分布有差异fMLLR通过学习一个线性变换把某个说话人的特征空间“归一化”到标准说话人空间里。训练时迭代执行“估计变换 - 更新模型”的循环解码时则先用初始模型估计变换再用变换后的特征重新解码。这正好可以解答开头那个热词问题为什么有些ASR系统对女声的识别率比男声更低本质上是因为训练数据里不同性别的语料分布不均衡导致模型在某一类特征上的拟合不足。fMLLR能缓解一部分说话人差异但如果数据集本身性别严重失衡光靠变换也不够还得在数据层面做平衡或增广。这也解释了为什么新版开源工具里会加入说话人扰动、速度扰动这类数据增强策略。4.6 序列判别训练从帧错误率到句子错误率传统GMM训练阶段结束后Kaldi脚本通常还会跑几步判别性训练比如MMI、BMMI、MPE等。这类训练不再只优化每帧的分类正确率而是优化整句的期望损失。简单说第一代训练是在“一帧帧地分辨声音”判别性训练则会引入语言模型约束让整句路径的得分更容易区分。按我的经验判别训练通常能把词错误率再压下去几个百分点但训练时间也会成倍增加。如果只是学习用途可以先跳过这段把前面GMM流程跑通但在做正式实验时这步不该省因为后续DNN初始化也往往会用到这一步的对齐结果。5. 解码和图Graph从HCLG.fst到WER计算模型训练完了可用户看到的是文字不是状态序列。如何把声学模型、词典、语言模型组合成一个可搜索的空间是Kaldi里最抽象、也最值得理解的部分。很多教程把这一部分直接略过导致很多人跑通recipe却完全不懂解码时发生了什么。5.1 WFST把一切都看成“状态转换”WFST加权有限状态转换器是一种由状态和带权重转移边组成的图输入一个符号序列输出另一个符号序列边上带有代价权重。语音识别里的多个知识源——音素到状态、词到音素、词序列到语言模型概率——都可以用WFST来表达。Kaldi的厉害之处在于它用一套组合算法把这几个WFST合成为一个更大的转换器使得从输入特征帧可以直接搜出最终的词序列。这本质上和导航软件把地图、路况、红绿灯等多层信息合成为一条可达路径是类似的。5.2 HCLG.fst到底代表什么Kaldi里你经常会看到HCLG.fst这个文件它就是把四层信息组合起来的结果HHMM结构表示声学状态之间的转移。C上下文相关到上下文无关的转换处理三音素与单音素状态之间的映射。L词典表示词序列到音素序列的转换。G语言模型表示词序列到词序列的加权转换体现语法或n-gram概率。组合之后解码器只需要拿着声学模型打分在这个图里做剪枝搜索就能输出带权的词序列。mkgraph.sh脚本就是完成这个组合过程的。你可以把最终HCLG.fst理解为一个巨大的搜索空间解码问题从“逐词匹配”变成了“在图中找一条最优路径”。5.3 解码命令和常见输出训练完成后配方会用类似下面的命令解码steps/decode.sh --nj 4 --cmd $decode_cmd \ exp/mono/graph data/mfcc/test exp/mono/decode_test其中exp/mono/graph是上面生成的HCLG.fst目录data/mfcc/test是测试特征exp/mono/decode_test是解码输出目录。输出目录里会有lat.*.gz格形文件、log日志以及后续评分生成的wer_*文件。解码结果不是直接返回唯一的一串文字而是一个包含多条可能路径的格形lattice。后续可以在这个格形上重新评分比如换一个更大的语言模型权重或者做置信度估计而不需要重新对齐。这一点在构造实际产品时非常有用。5.4 怎么算WER会看评分结果才算入门词错误率WER是ASR最核心的指标计算方式是编辑距离除以参考词数。Kaldi脚本会在解码后用compute-wer命令对解码输出和参考文本做对齐统计。查看decode_test/wer_*文件可以看到类似%WER 12.34 [ 50 / 405, 3 ins, 21 del, 26 sub ]其中ins、del、sub分别表示插入、删除、替换错误。实际分析识别结果时不要只看总WER要看错误分布。比如删除偏多可能系统静音模型过强或语言模型权重不对替换偏多可能是词典发音或声学模型训练不充分插入偏多可能是静音检测不合理。这种诊断思路在Kaldi里被用得特别多是传统系统调优的精髓。5.5 RTF实时率到底怎么算部署ASR系统时另一个关键指标是RTF实时率定义是解码耗时除以音频时长。RTF小于1表示比实时快大于1表示比实时慢。Kaldi解码时影响RTF的关键参数有beam、max-active、lattice-beam等。beam越大搜索路径越宽准确率可能越高但速度越慢max-active限制了最多保留的活跃状态数能有效防止解码路径爆炸。我在实际调优时常常是先用一个较窄的beam快速跑出基线再逐渐加宽找到准确率和速度的平衡点。这也是为什么社区里会有“先窄后宽、线下宽线上窄”的调参习惯。5.6 解码常见问题词典外词、乱码和静音截断解码阶段最常见的现象之一是词典外词OOV也就是文本里出现的词在词典和语言模型里都没有。处理OOV的手段一般包括加入“unk”词表、在词典里补充发音、以及做subword级语言模型。传统Kaldi里把这部分主要放在词典和L.fst构建时处理如果你用的是自建数据最开始就要把词典表做好。另一个常见问题是中文解码输出乱码或空格位置不对。中文ASR里词表可以用字或词但Kaldi的L.fst是按词构建的中文如果不做分词语言模型会退化成字级模型效果通常不佳。我做中文实验时通常会先用分词工具对文本做预处理而不是直接拿原始文本丢进去。这是多次踩坑后的血泪经验。顺带说一句如果你关注过“llamacpp 部署ASR”这类热词会发现有不少人在尝试把ASR模型也跑进本地推理框架里但无论最终落到什么推理引擎Kaldi里关于词典和语言模型组合的思路依然适用——因为本地部署更需要控制词表和搜索空间。6. 踩过的坑和学习顺序建议最后这部分我不打算做理论总结只记录我真正踩过的坑以及按我的经验调整过的学习顺序。这些内容在官方文档里没有但在实际操作中非常关键。6.1 五个让新手崩溃的坑第一个坑直接改run.sh里的路径而不理解变量。Kaldi脚本大量使用$KALDI_ROOT、$train_cmd、$decode_cmd这类变量一上来就改路径会导致后面所有步骤目录错乱。正确做法是先完整跑通一次再逐步改动并且在改动每一步之后立刻用tree或ls看输出是否符合预期。第二个坑数据集规模太小还强行用GPU训练。Kaldi里很多DNN脚本在小数据集上很容易过拟合跑出来的WER反而不如传统GMM。学习阶段可以从yesno、thchs30这种规模适中的数据集入手不要在几十条音频的私人数据上追求SOTA。第三个坑音频采样率不匹配。Kaldi提特征时如果音频是8kHz电话数据但配置里写的是16kHz出来的特征就会完全不对而且不会直接报错只会让识别率一落千丈。定制数据时务必先用feat-to-len检查特征帧数或者用sox统一转码。第四个坑词典和音素集不匹配。训练用的lang目录必须和声学模型的音素集合严格一致。如果自己改词典顺手加了一个训练数据里没出现过的音素后面构图的L.fst和声学模型就对不上了解码会直接报“整数键没有对应符号”之类的错误。第五个坑轻视日志。Kaldi每个步骤的log都写在对应输出目录的log/下。出错时第一反应应该是去翻log而不是重跑整个脚本。很多重跑问题其实都是日志里已经写了原因只是大家懒得看。6.2 给初学者的学习顺序建议如果让我重新学一遍Kaldi我会这么安排先跑通yesno感受全流程再跑thchs30或aishell看中文数据是怎么准备的然后用自己录制的几十条音频做一个极小的自建数据集手动写这些映射文件彻底搞懂wav.scp、text这些文件的关系之后再去读不同配方的run.sh对比它们之间的差异。这个过程大概需要两到四周看个人背景。有语音信号基础的人会快一些完全零基础的人则需要先补一点数字信号处理概念尤其是分帧、FFT这些。别着急一口气把源码读完先让脚本跑起来再逐步深入这是我带过多个同学后觉得最有效的路径。6.3 一点个人体会我现在的体感是Kaldi的学习曲线陡峭但它给了一个很扎实的地基。当你跑去用新一代工具时遇到过拟合、对齐漂移、词表问题脑海里自然而然地会浮现出Kaldi里那个环节的解决方案。最后分享一个小技巧运行Kaldi时顺手开一个终端定期watch查看训练目录里的日志和模型文件大小变化观察训练进度的节奏。这种方式虽然原始但比盯着进度条更能让你理解每一步脚本到底在执行什么。到这里这篇学习笔记就写得差不多了。希望这些踩坑经验能帮你少走一些弯路也欢迎你在实践后回来分享自己的理解。
