简介这份资源是CVND计算机视觉纳米学位的第一个实战项目——面部关键点检测的完整代码与数据集面向具备Python与深度学习基础、希望掌握CNN回归任务与经典人脸检测流程的学习者。项目围绕眼睛、鼻子、嘴部关键点展开可应用于面部跟踪、姿态识别、滤镜与情感识别等场景。压缩包共约2000个文件、330.12MB主体为5774张jpg人脸图像及配套标注另有9个ipynb笔记本、8张png示意图、4个xml级联分类器、2个csv关键点坐标表、2个py脚本与若干说明文档覆盖数据加载可视化、CNN网络定义与训练、Haar级联结合CNN的完整检测管线以及趣味滤镜四个阶段。已有200人学习下载。借助这些素材读者可完整复现从数据预处理、模型搭建到端到端人脸关键点预测的全流程理解回归损失与检测管线的衔接方式并在此基础上迁移到自定义数据集或扩展滤镜类应用。1. 零基础也能上手人脸关键点检测到底在做什么你可能遇到过这种情况手机相册自动把照片里每个人的脸都圈出来还能给表情加个猫耳朵或者贴纸位置刚好卡在眼睛和嘴巴上。这背后其实就一件事——先找到脸上那些关键位置比如眼角、鼻尖、嘴角。这个“找位置”的过程在计算机视觉里叫人脸关键点检测。而 P1_Facial_Keypoints 就是带你做这件事的第一个项目。它不要求你懂深度学习框架的底层原理也不要求你数学多好。你只需要会一点 Python能在 Jupyter Notebook 里跑代码就能跟着一步步把模型搭出来、训起来、最后在照片上画出关键点。说白了这是计算机视觉方向最经典的入门练手项目之一适合刚学完 Python 基础、想找个能看见结果的小项目来建立信心的人。你不需要先成为算法专家只需要愿意打开 Notebook一行一行往下走。2. 为什么值得从它开始先搞懂关键点检测能干嘛2.1 关键点检测不是“识别脸”而是“定位五官”很多人第一次听到“人脸关键点”会以为是在做身份识别其实不是。识别脸是判断“这是谁”关键点检测是判断“眼睛在哪儿、鼻子在哪儿”。它输出的是一组坐标比如左眼中心在图片的第 120 行、第 85 列。通常一张脸会取 68 个点分布在眉毛、眼睛、鼻子、嘴巴和下巴轮廓上。你可以把它想象成给脸画一张“简笔画骨架”。有了这 68 个点就能做很多事自动美颜时精准定位嘴唇位置、换脸时对齐两张脸、表情分析时看嘴角上扬还是下垂。这些应用的基础都是关键点检测。所以这个项目虽然叫“P1”但它练的是计算机视觉里非常核心的一种思维把图像问题转化成坐标回归问题。2.2 为什么新手适合从 Jupyter Notebook 开始Jupyter Notebook 最大的好处是“边写边看”。你不用写完一整个脚本再运行而是可以一个格子一个格子地执行。比如先加载一张图片下面立刻显示出来再写几行代码画出关键点下面立刻看到点有没有落在正确位置。这种即时反馈对新手特别重要因为你能马上知道自己哪一步做错了。另外Notebook 里可以混着写代码、文字说明和图片非常适合跟着教程一步步做。P1_Facial_Keypoints 这个项目本身就是以 Notebook 形式组织的你打开之后不需要配置复杂的工程结构直接从上往下运行就行。入门的话建议先熟悉几个快捷键ShiftEnter 运行当前格子Esc 进入命令模式A 在上面插入新格子B 在下面插入新格子。这几个够你跑完整个项目了。2.3 第一个能跑的例子加载一张图并画出关键点下面这段代码假设你已经拿到了项目文件并且图片和关键点数据都在对应文件夹里。你可以在 Notebook 里新建一个格子把代码贴进去运行。# 导入必要的库 import numpy as np import matplotlib.pyplot as plt import cv2 import glob # 读取一张人脸图片路径根据你实际存放位置调整 image_path data/training/face_01.jpg image cv2.imread(image_path) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # OpenCV 默认是 BGR转成 RGB 才能正常显示 # 读取对应的关键点数据假设是 68 个点的坐标 keypoints np.load(data/training/face_01.npy) # 形状通常是 (68, 2) # 在图片上画出关键点 plt.figure(figsize(8, 8)) plt.imshow(image) plt.scatter(keypoints[:, 0], keypoints[:, 1], s10, cr, marker.) # 横坐标和纵坐标分别取出来 plt.axis(off) plt.show()这段代码做了三件事把图片读进来、把关键点数据读进来、把点画在图片上。keypoints[:, 0]取的是所有点的横坐标keypoints[:, 1]取的是纵坐标。s10控制点的大小cr表示红色。运行之后你应该能看到一张人脸上面有 68 个红点分布在五官周围。如果点全部挤在左上角或者完全看不见多半是图片尺寸和关键点坐标没有对应上这时候需要检查数据加载部分有没有做归一化或者缩放。提示第一次跑的时候建议先用项目里自带的一张示例图不要急着换自己的照片。等确认流程能跑通再换成自己的数据。3. 从零跑通第一个训练流程数据、模型、训练各走一步3.1 先看懂数据长什么样在动手写模型之前你得先知道喂给模型的数据是什么格式。P1_Facial_Keypoints 通常用的是一种很直接的组织方式一张图片对应一个关键点文件。图片是 JPG 或 PNG关键点文件是 CSV 或 NPY。CSV 里一般有四列图片名、点的序号、横坐标、纵坐标。NPY 则直接存成一个 68×2 的数组。你可以用下面这几行快速看一眼数据import pandas as pd # 假设关键点存在 CSV 里 df pd.read_csv(data/training/keypoints.csv) print(df.head()) # 看前几行长什么样 print(df.shape) # 看一共有多少行 print(df[image_name].nunique()) # 看涉及多少张不同的图片如果df.head()显示出来的列名是image_name, point_index, x, y那就说明数据格式没问题。nunique()告诉你一共有多少张脸这个数字决定了你后面训练集和验证集怎么分。入门阶段不需要自己从头整理数据项目里一般已经分好了训练集和测试集你只需要知道怎么读、怎么检查有没有缺值就行。3.2 搭一个最简模型卷积层加全连接层关键点检测的模型结构可以很简单几层卷积负责从图片里提取特征最后接一个全连接层输出 136 个数字68 个点 × 2 个坐标。下面是一个能跑通的最小示例用的是 PyTorch。import torch import torch.nn as nn class SimpleKeypointNet(nn.Module): def __init__(self): super(SimpleKeypointNet, self).__init__() # 卷积部分逐步把图片变成特征图 self.conv nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), # 输入 3 通道 RGB输出 32 通道 nn.ReLU(), nn.MaxPool2d(2), # 宽高各减半 nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2) ) # 全连接部分把特征图拉平后回归出 136 个坐标值 self.fc nn.Sequential( nn.Linear(128 * 16 * 16, 512), # 假设输入图片是 128×128经过三次池化后是 16×16 nn.ReLU(), nn.Linear(512, 136) # 68 个点每个点两个坐标 ) def forward(self, x): x self.conv(x) x x.view(x.size(0), -1) # 拉平 x self.fc(x) return x model SimpleKeypointNet() print(model)这个模型不复杂但已经包含了关键点检测的基本套路卷积提特征、池化降尺寸、全连接出坐标。128 * 16 * 16这个数字取决于你输入图片的大小如果你把图片缩放到 128×128经过三次 MaxPool2d(2) 之后特征图就是 16×16。如果输入尺寸变了这个数字也要跟着改。入门的时候建议先用 128×128跑通了再尝试更大的尺寸。3.3 训练循环让模型一步步学会看脸有了模型和数据接下来就是训练。训练的过程就是反复给模型看图片、算损失、更新参数。下面是一个最简训练循环import torch.optim as optim # 假设你已经有了 train_loader每次吐出一批图片和对应的关键点 criterion nn.MSELoss() # 回归问题用均方误差 optimizer optim.Adam(model.parameters(), lr0.001) for epoch in range(10): # 先跑 10 轮看看效果 running_loss 0.0 for images, keypoints in train_loader: optimizer.zero_grad() # 清空上一轮梯度 outputs model(images) # 前向传播 loss criterion(outputs, keypoints) # 算损失 loss.backward() # 反向传播 optimizer.step() # 更新参数 running_loss loss.item() print(fEpoch {epoch1}, Loss: {running_loss/len(train_loader):.4f})MSELoss衡量的是模型预测的坐标和真实坐标之间的平均平方差。Adam是常用的优化器lr0.001是学习率控制每次更新的步子有多大。跑完 10 轮之后如果损失在下降说明模型在学。如果损失不动或者变成 NaN多半是学习率太大或者数据没有归一化。入门阶段先把损失降下去不用急着追求多高的精度。注意训练之前记得把图片和关键点都转成 Tensor并且把关键点坐标归一化到 0 到 1 之间。不然损失会非常大模型很难收敛。4. 避坑指南新手最容易翻车的五个地方4.1 图片显示颜色不对人脸变成蓝色或红色现象用plt.imshow()显示图片时人脸颜色很奇怪偏蓝或者偏红。原因OpenCV 读取图片默认是 BGR 顺序而 Matplotlib 显示时按 RGB 解释。解决在读图之后加一行image cv2.cvtColor(image, cv2.COLOR_BGR2RGB)把通道顺序换过来。4.2 关键点全部挤在左上角现象画出来的红点没有分布在脸上而是集中在图片左上角一小块。原因关键点坐标没有根据图片实际尺寸做缩放或者图片被 resize 了但关键点没跟着缩放。解决检查图片尺寸和关键点坐标的范围。如果图片是 256×256关键点坐标也应该在 0 到 256 之间。如果图片被缩放到 128×128关键点坐标也要等比例缩小。4.3 训练损失一直不下降现象跑了很多轮Loss 几乎不变或者上下波动很大。原因常见的有三种——学习率太大、数据没有归一化、模型输出和标签形状不匹配。解决先把学习率调到 0.0001 试试再把关键点坐标除以图片宽度和高度归一化到 0 到 1最后打印一下outputs.shape和keypoints.shape确认都是(batch_size, 136)。4.4 Notebook 里变量太多忘了之前定义过什么现象跑着跑着报错说某个变量未定义或者用了同名的变量导致结果不对。原因Notebook 的格子可以乱序执行很容易出现“前面定义过后面又覆盖了”的情况。解决养成习惯每次重新跑的时候从第一个格子开始按顺序执行。如果乱了点菜单里的 Restart Kernel 清空所有变量再从头跑一遍。4.5 显存不够跑一半报 CUDA out of memory现象训练到一半突然报错说显存不足。原因批次大小设得太大或者图片尺寸太大。解决先把batch_size降到 16 甚至 8再把图片缩到 128×128。如果还是不够就在 Notebook 里加torch.cuda.empty_cache()清一下缓存。入门阶段用 CPU 跑小图也完全可以只是慢一点。5. 下一步学什么从跑通到跑好的三条路跑通第一个训练循环之后你可能会发现模型预测的点还不够准或者训练速度太慢。这时候不用急着换更复杂的模型先把下面三件事做一遍效果往往比直接上大模型更明显。第一件事是数据增强。关键点检测对图片的旋转、缩放、平移很敏感。你可以在训练时随机把图片旋转一个小角度同时把关键点坐标也做同样的旋转。这样模型见到的变化更多泛化能力会更好。在 PyTorch 里可以用torchvision.transforms配合自定义的关键点变换来实现入门的话先手动写一个简单的旋转函数就行。第二件事是换一个更强的骨干网络。你现在用的三层卷积很简单可以换成 ResNet 的前几层。不用自己从头写torchvision.models.resnet18(pretrainedTrue)直接拿来用把最后的全连接层改成输出 136 个值就行。预训练权重能帮你省很多训练时间精度也会明显提升。第三件事是学会看验证集。训练损失下降不代表模型变好了有可能只是记住了训练数据。你需要把一部分数据划出来做验证每跑几轮就在验证集上算一次损失。如果训练损失降但验证损失升说明过拟合了这时候要加 Dropout 或者减少模型参数。下面这张表可以帮你判断下一步该往哪个方向走你遇到的情况优先尝试的方向具体做法训练损失降不下去检查数据和学习率归一化坐标学习率调到 0.0001训练损失降但验证损失升加正则化在全连接层后加 Dropout(0.5)预测的点整体偏移检查数据对齐确认图片 resize 后关键点也同步缩放训练太慢减小输入尺寸把图片缩到 64×64 先跑通流程我第一次做这个项目的时候花了整整一个下午在调图片和关键点的对齐问题最后发现是 resize 的时候只改了图片没改坐标。从那以后我每次加载数据都强制先打印一张带点的图看一眼确认没问题再往下跑。这个习惯帮我省了很多后悔药。希望帮到你。本文还有配套的精品资源点击获取
