简介这份资源是面向计算机相关专业学生与项目实战学习者的卷积神经网络人脸表情识别完整方案可作为毕业设计、课程设计或期末大作业使用。项目经导师指导并获评审99分代码完整可运行对新手友好。压缩包共36个文件约446.05MB包含14个py脚本、5个ipynb笔记本、5个docx与1个doc论文资料、1个pptx答辩演示、1个mp4示例视频以及xml人脸检测器、pkl预训练模型和多个zip子项目包覆盖数据预处理、模型训练、测试评估与可视化全流程。资源提供CNN、VGG、ResNet多模型对比实现附预训练权重与Fer2013等数据集并配有论文、答辩PPT与使用手册便于快速复现实验、撰写文档与准备答辩。目前已有69人学习下载适合需要完整项目参考与实战练习的读者。1. 从一张模糊自拍说起为什么表情识别总在“微笑”上翻车你拿手机对着自己拍了张照嘴角上扬系统却识别成“中性”换一张皱眉的它又说是“厌恶”。这不是模型太笨而是人脸表情识别Facial Expression RecognitionFER这件事本身就卡在数据标注、光照变化和个体差异三座大山之间。基于卷积神经网络的人脸表情识别系统核心要解决的就是给一张人脸图判断它属于哪类基本表情生气、厌恶、恐惧、开心、悲伤、惊讶、中性。它适合谁做毕设的学生、想入门计算机视觉的开发者、需要快速搭一个可演示原型的工程师。整套方案通常包含三块数据集如 FER2013 或 CK、CNN 模型代码、预训练权重。下面我从数据到推理把这条链路拆开讲清楚顺带把那些“玄学”调参的坑一并填了。2. 数据集选型与预处理别急着喂给 CNN2.1 FER2013 和 CK 的差别决定你后面怎么调常见的人脸表情数据集有两个主流选择FER2013 和 CK。FER2013 是 48×48 灰度图约 3.5 万张标注噪声大但胜在量大、场景杂适合训练鲁棒性强的模型。CK 是实验室环境下的序列数据分辨率高、标注干净但只有几百个序列直接训练容易过拟合。我一般会这样组合用 FER2013 做预训练再用 CK 做微调或者把 CK 的峰值帧抽出来扩充到训练集里。如果你拿到的数据集已经分好 train/test先别急着跑用下面这段代码看一眼类别分布。import os import matplotlib.pyplot as plt # 假设数据集按类别存放在 train/ 下的子目录中 data_dir dataset/train classes sorted(os.listdir(data_dir)) counts [len(os.listdir(os.path.join(data_dir, c))) for c in classes] plt.bar(classes, counts) plt.title(Class Distribution) plt.show() for c, n in zip(classes, counts): print(f{c}: {n})逻辑说明这段代码统计每个表情类别的样本数。参数说明data_dir指向你的训练集根目录子目录名即类别名。如果发现“开心”类是“厌恶”类的三倍后面训练时就要加类别权重否则模型会偏向多数类。2.2 人脸对齐与归一化两个必须做的预处理很多人直接把原图缩放到 48×48 就扔进网络结果准确率卡在 60% 上不去。问题出在人脸没有对齐。常见做法是先用 MTCNN 或 dlib 检测人脸关键点做仿射变换把眼睛和嘴巴对齐到标准位置再裁剪。归一化方面FER2013 是灰度图像素值除以 255 即可如果是 RGB 图按通道减均值除标准差。下面是一个对齐加归一化的最小示例。import cv2 import numpy as np def align_face(img, landmarks): # landmarks: 左右眼中心坐标 left_eye, right_eye landmarks angle np.degrees(np.arctan2(right_eye[1] - left_eye[1], right_eye[0] - left_eye[0])) center tuple(np.mean([left_eye, right_eye], axis0).astype(int)) M cv2.getRotationMatrix2D(center, angle, 1.0) aligned cv2.warpAffine(img, M, (img.shape[1], img.shape[0])) return aligned def preprocess(img): img cv2.resize(img, (48, 48)) img img.astype(float32) / 255.0 img np.expand_dims(img, axis-1) # 增加通道维 return img逻辑说明align_face根据双眼连线角度旋转图像使眼睛水平。preprocess完成缩放和归一化。参数说明angle为旋转角度center为旋转中心。注意如果关键点检测失败直接跳过对齐不要强行旋转否则会引入更差的样本。3. 搭一个能跑的 CNN从 4 层基线到残差结构3.1 基线模型4 层卷积够不够对于 48×48 的输入一个 4 层卷积加 2 层全连接的基线模型就能跑到 65% 左右的准确率。结构是Conv(32)-BN-ReLU-MaxPool重复四次通道数翻倍最后全局平均池化接全连接。别小看这个基线它训练快适合先验证数据管道通不通。下面给出 Keras 实现。from tensorflow.keras import layers, models def build_baseline(input_shape(48, 48, 1), num_classes7): model models.Sequential([ layers.Conv2D(32, (3, 3), paddingsame, input_shapeinput_shape), layers.BatchNormalization(), layers.Activation(relu), layers.MaxPooling2D((2, 2)), layers.Conv2D(64, (3, 3), paddingsame), layers.BatchNormalization(), layers.Activation(relu), layers.MaxPooling2D((2, 2)), layers.Conv2D(128, (3, 3), paddingsame), layers.BatchNormalization(), layers.Activation(relu), layers.MaxPooling2D((2, 2)), layers.Conv2D(256, (3, 3), paddingsame), layers.BatchNormalization(), layers.Activation(relu), layers.GlobalAveragePooling2D(), layers.Dense(128, activationrelu), layers.Dropout(0.5), layers.Dense(num_classes, activationsoftmax) ]) return model model build_baseline() model.compile(optimizeradam, losscategorical_crossentropy, metrics[accuracy]) model.summary()逻辑说明每个卷积块后接 BN 和 ReLU池化降维。最后用全局平均池化代替 Flatten减少参数量。参数说明input_shape根据数据集通道数调整灰度图是(48,48,1)RGB 是(48,48,3)。Dropout(0.5)用于抑制过拟合。训练时如果验证集准确率远低于训练集先把 Dropout 调到 0.3 试试。3.2 换残差结构小数据上的稳定提升基线模型在 FER2013 上容易震荡换成残差块后收敛更稳。一个残差块包含两个 3×3 卷积捷径连接把输入直接加到输出上。注意如果输入输出通道数不一致捷径上要加 1×1 卷积调整。下面是一个残差块的实现。def residual_block(x, filters, stride1): shortcut x x layers.Conv2D(filters, (3, 3), stridesstride, paddingsame)(x) x layers.BatchNormalization()(x) x layers.Activation(relu)(x) x layers.Conv2D(filters, (3, 3), paddingsame)(x) x layers.BatchNormalization()(x) if stride ! 1 or shortcut.shape[-1] ! filters: shortcut layers.Conv2D(filters, (1, 1), stridesstride, paddingsame)(shortcut) shortcut layers.BatchNormalization()(shortcut) x layers.Add()([x, shortcut]) x layers.Activation(relu)(x) return x逻辑说明shortcut保存输入经过两个卷积后与原始输入相加。参数说明stride控制下采样filters是输出通道数。当stride2或通道数变化时捷径用 1×1 卷积对齐维度。这个结构在 48×48 输入上堆 8 个残差块准确率能比基线高 3 到 5 个百分点。4. 训练策略与调参学习率、批大小、早停4.1 学习率用余弦退火别用固定值固定学习率在训练后期容易在局部最小值附近震荡。我一般用余弦退火从 1e-3 降到 1e-6配合 warmup。Keras 里可以用CosineDecayRestarts或自定义回调。下面是一个简单的余弦退火回调。import tensorflow as tf def cosine_schedule(epoch, lr): initial_lr 1e-3 min_lr 1e-6 total_epochs 80 return min_lr 0.5 * (initial_lr - min_lr) * (1 tf.cos(tf.constant(epoch / total_epochs * 3.14159))) callback tf.keras.callbacks.LearningRateScheduler(cosine_schedule)逻辑说明每个 epoch 按余弦曲线调整学习率。参数说明initial_lr是初始学习率total_epochs是总训练轮数。注意如果训练集小总轮数设 50 到 80 即可太多会过拟合。4.2 批大小与早停别等 loss 降到 0批大小一般设 64 或 128。太小导致梯度噪声大太大泛化差。早停的 patience 设 10 到 15监控验证集准确率。下面是一个完整的训练配置。early_stop tf.keras.callbacks.EarlyStopping( monitorval_accuracy, patience12, restore_best_weightsTrue ) history model.fit( train_generator, epochs80, validation_dataval_generator, callbacks[callback, early_stop] )逻辑说明EarlyStopping在验证准确率 12 轮不提升时停止并恢复最佳权重。参数说明patience根据数据集大小调整小数据集设 8 到 10大数据集设 15。注意如果验证集准确率一直不升先检查数据增强是否过猛。5. 避坑与排查那些让你白跑一晚上的问题5.1 现象训练准确率 99%验证准确率 40%原因严重过拟合。数据集太小模型参数量太大。解决加数据增强随机旋转、水平翻转、亮度调整减小模型宽度增加 Dropout。我一般会先加水平翻转和 ±10 度旋转如果还不行把全连接层从 128 降到 64。5.2 现象loss 变成 NaN原因学习率太大或者数据里有脏样本像素值超出 0-1 范围。解决把学习率降到 1e-4检查预处理代码确保归一化正确。另外BN 层在 batch size 太小时也会导致 NaN把 batch size 调到 32 以上。5.3 现象某些类别永远预测不对原因类别不平衡或者标注噪声。解决计算类别权重传给class_weight参数。如果某个类别的样本标注明显错误考虑剔除或重新标注。FER2013 里“厌恶”类噪声最多我一般会把它和“生气”合并或者直接降采样。5.4 现象推理时单张图预测结果和训练时不一致原因推理时没有做同样的预处理比如忘了归一化或对齐。解决把预处理封装成一个函数训练和推理共用。下面是一个推理示例。def predict_expression(model, img_path): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) img preprocess(img) # 复用训练时的预处理 img np.expand_dims(img, axis0) preds model.predict(img) return np.argmax(preds)逻辑说明preprocess必须和训练时完全一致。参数说明img_path是输入图片路径。注意如果训练时用了人脸对齐推理时也要对齐否则准确率会掉 10 个点以上。6. 进阶技巧用预训练权重和模型集成把准确率推到 70%如果你拿到的资源里已经有预训练好的模型别从头训。直接加载权重冻结卷积层只训练全连接层然后再解冻微调。下面是一个加载预训练权重的示例。base_model build_baseline() base_model.load_weights(pretrained_weights.h5) # 冻结前 8 层 for layer in base_model.layers[:8]: layer.trainable False # 替换最后的分类层 x base_model.layers[-2].output output layers.Dense(7, activationsoftmax)(x) model models.Model(inputsbase_model.input, outputsoutput) model.compile(optimizertf.keras.optimizers.Adam(1e-4), losscategorical_crossentropy, metrics[accuracy])逻辑说明加载权重后冻结底层只训练顶层。参数说明1e-4是微调学习率比从头训练小一个数量级。微调 10 到 20 个 epoch 即可。另一个技巧是模型集成。训练 3 到 5 个不同初始化的模型推理时取平均概率。下面是一个简单的集成推理。def ensemble_predict(models, img): preds [model.predict(img) for model in models] avg_preds np.mean(preds, axis0) return np.argmax(avg_preds)逻辑说明多个模型的预测概率取平均降低方差。参数说明models是模型列表img是预处理后的输入。集成通常能提升 2 到 3 个百分点但推理时间线性增加。最后说一个我踩过的坑别在验证集上反复调参。我见过有人把验证集准确率从 65% 调到 72%结果测试集只有 63%。正确做法是划出独立的测试集调参只看验证集最后跑一次测试集。希望帮到你。本文还有配套的精品资源点击获取
