基于YOLOv11的水果识别检测系统开发实践

1. 项目概述

这个基于YOLOv11的水果识别检测系统是我最近完成的一个计算机视觉项目，它能够准确识别6种常见水果：苹果、香蕉、葡萄、橙子、菠萝和西瓜。作为一个经常需要处理农产品检测需求的开发者，我发现市面上的开源解决方案要么精度不足，要么太过复杂。于是决定自己开发一个兼顾准确性和易用性的系统。

系统核心采用最新的YOLOv11目标检测算法，搭配精心标注的数据集（包含8479张图片），实现了高达96.7%的mAP（mean Average Precision）。为了让非技术人员也能方便使用，我特别设计了直观的UI界面，支持图片、视频和实时摄像头三种检测模式。用户可以通过简单的滑块调整检测灵敏度，所有结果都会实时显示并可以保存。

提示：如果你刚接触目标检测，YOLO(You Only Look Once)是目前最流行的实时目标检测算法系列，而YOLOv11是2023年发布的最新版本，在速度和精度上都有显著提升。

2. 技术架构解析

2.1 为什么选择YOLOv11

在算法选型阶段，我对比了YOLOv5、YOLOv8和YOLOv11三个版本。测试发现，在相同硬件条件下：

模型推理速度(FPS)mAP@0.5模型大小(MB)
YOLOv5s12094.214.4
YOLOv8n14595.112.1
YOLOv11s15896.710.8

YOLOv11的优势主要体现在：

  1. 更高效的网络结构：采用GELAN（Generalized Efficient Layer Aggregation Network）架构
  2. 更小的模型体积：比v5s小了25%
  3. 更高的推理速度：在RTX 3060上可达158FPS
  4. 更简单的部署：支持ONNX、TensorRT等多种格式

2.2 系统工作流程

整个系统的处理流程可以分为以下几个关键步骤：

  1. 输入预处理：对输入图像进行自动缩放、归一化（0-1范围）和通道转换（BGR→RGB）
  2. 模型推理：将预处理后的图像输入YOLOv11网络，获取预测结果
  3. 后处理：包括非极大值抑制(NMS)、置信度过滤和边界框修正
  4. 结果可视化：在原图上绘制检测框并生成检测报告
  5. 输出保存：可选保存检测结果到本地
# 典型的推理代码示例 def detect_image(model, img_path, conf_thres=0.5, iou_thres=0.45): # 1. 读取并预处理图像 img = cv2.imread(img_path) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 2. 模型推理 results = model(img, conf=conf_thres, iou=iou_thres) # 3. 结果解析 detections = [] for box in results[0].boxes: class_id = int(box.cls) confidence = float(box.conf) bbox = box.xyxy[0].tolist() # 获取边界框坐标 detections.append({ 'class': model.names[class_id], 'confidence': confidence, 'bbox': bbox }) # 4. 可视化 annotated_img = results[0].plot() return annotated_img, detections

3. 数据集构建与训练

3.1 数据集准备

一个高质量的数据集是模型性能的基础。我收集了超过8000张水果图像，涵盖不同：

  • 光照条件（强光、弱光、逆光等）
  • 拍摄角度（正面、侧面、俯视等）
  • 背景复杂度（纯色背景、复杂场景等）
  • 水果状态（单个、多个、部分遮挡等）

数据集按照7:1:2的比例划分为：

  • 训练集：7108张
  • 验证集：914张
  • 测试集：457张

所有图像都采用YOLO格式标注，标注文件示例：

0 0.483984 0.512681 0.216797 0.425926 # class x_center y_center width height

3.2 数据增强策略

为了提高模型泛化能力，训练时采用了多种数据增强技术：

  1. 基础增强：

    • 随机翻转（水平50%概率）
    • 随机旋转（-10°到+10°）
    • 色彩抖动（亮度、对比度、饱和度各±20%）

  2. 高级增强：

    • Mosaic增强：4图拼接
    • MixUp：两图混合
    • CutOut：随机区域遮挡
# data.yaml 配置文件示例 train: ../dataset/train/images val: ../dataset/valid/images nc: 6 names: ['Apple', 'Banana', 'Grape', 'Orange', 'Pineapple', 'Watermelon'] # 增强参数 augmentations: hsv_h: 0.015 # 色调变化幅度 hsv_s: 0.7 # 饱和度变化幅度 hsv_v: 0.4 # 明度变化幅度 degrees: 10 # 旋转角度范围 translate: 0.1 # 平移比例 scale: 0.5 # 缩放比例 shear: 0.0 # 剪切幅度

3.3 模型训练细节

训练使用预训练的yolov11s.pt权重，关键参数配置：

model.train( data='data.yaml', epochs=100, batch=8, # 根据GPU显存调整 imgsz=640, device='0', # 使用GPU 0 workers=4, # 数据加载线程数 optimizer='AdamW', lr0=0.001, # 初始学习率 lrf=0.01, # 最终学习率 weight_decay=0.05, warmup_epochs=3, box=7.5, # box loss增益 cls=0.5, # class loss增益 dfl=1.5 # dfl loss增益 )

训练过程中观察到：

  • 前20个epoch快速收敛，mAP从0.3提升到0.85
  • 50个epoch后进入平稳期，mAP缓慢提升到0.95+
  • 最佳模型出现在第88个epoch，验证集mAP@0.5达到0.967

注意：训练时建议使用wandb或TensorBoard监控训练过程，可以实时查看各项指标变化。

4. 系统实现与优化

4.1 界面设计

使用PyQt5开发了美观实用的GUI界面，主要特点包括：

  1. 多检测模式：

    • 图片检测（支持jpg/png/bmp）
    • 视频检测（支持mp4/avi/mov）
    • 实时摄像头检测

  2. 双画面显示：

    • 左侧原始画面
    • 右侧检测结果
    • 下方检测结果表格

  3. 参数控制：

    • 置信度阈值滑块（0-1.0）
    • IoU阈值滑块（0-1.0）
    • 模型选择下拉菜单
# UI主窗口关键代码 class MainWindow(QMainWindow): def __init__(self): super().__init__() # 初始化UI self.setWindowTitle("水果识别检测系统") self.setGeometry(100, 100, 1200, 800) # 创建中央部件 central_widget = QWidget() self.setCentralWidget(central_widget) # 主布局 main_layout = QHBoxLayout() central_widget.setLayout(main_layout) # 左侧原始图像 self.original_label = QLabel() self.original_label.setAlignment(Qt.AlignCenter) main_layout.addWidget(self.original_label) # 右侧检测结果 self.result_label = QLabel() self.result_label.setAlignment(Qt.AlignCenter) main_layout.addWidget(self.result_label) # 底部控制面板 control_panel = QVBoxLayout() # 模式选择按钮 self.image_btn = QPushButton("图片检测") self.video_btn = QPushButton("视频检测") self.camera_btn = QPushButton("摄像头检测") # 参数控制 self.conf_slider = QSlider(Qt.Horizontal) self.conf_slider.setRange(0, 100) self.conf_slider.setValue(50) # 结果表格 self.result_table = QTableWidget() self.result_table.setColumnCount(4) self.result_table.setHorizontalHeaderLabels(["类别", "置信度", "X", "Y"])

4.2 性能优化技巧

在实际开发中，我遇到了几个性能瓶颈并找到了解决方案：

  1. 多线程处理：
    • UI线程和检测线程分离
    • 使用QThread和信号槽机制通信
    • 避免界面卡顿
class DetectionThread(QThread): frame_received = pyqtSignal(np.ndarray, np.ndarray, list) def __init__(self, model, source, conf, iou): super().__init__() self.model = model self.source = source self.conf = conf self.iou = iou self.running = True def run(self): cap = cv2.VideoCapture(self.source) if isinstance(self.source, str) else self.source while self.running: ret, frame = cap.read() if not ret: break # 推理 results = self.model(frame, conf=self.conf, iou=self.iou) annotated = results[0].plot() # 提取结果 detections = [] for box in results[0].boxes: detections.append([ self.model.names[int(box.cls)], float(box.conf), *box.xywh[0].tolist() ]) # 发送信号 self.frame_received.emit( cv2.cvtColor(frame, cv2.COLOR_BGR2RGB), cv2.cvtColor(annotated, cv2.COLOR_BGR2RGB), detections )
  1. 模型加速：
    • 使用半精度(FP16)推理
    • 启用TensorRT加速
    • 批处理优化
# 启用FP16推理 model = YOLO('yolov11s.pt') model.fuse() # 融合模型 model.half() # 半精度 # TensorRT导出 model.export(format='engine', half=True, workspace=4)
  1. 内存管理：
    • 及时释放不再使用的变量
    • 使用生成器处理大型视频文件
    • 限制同时处理的帧数

5. 部署与应用

5.1 环境配置

系统依赖的主要Python库：

torch>=2.0.0 torchvision>=0.15.0 ultralytics>=8.0.0 opencv-python>=4.7.0 PyQt5>=5.15.0 numpy>=1.24.0

推荐使用conda创建虚拟环境：

conda create -n fruit_detection python=3.9 conda activate fruit_detection pip install -r requirements.txt

5.2 常见问题解决

在实际部署中可能会遇到以下问题：

  1. CUDA内存不足：

    • 减小batch size
    • 使用更小的模型(yolov11n)
    • 启用--half参数使用FP16

  2. 检测框漂移：

    • 调整IoU阈值(建议0.4-0.6)
    • 检查标注是否准确
    • 增加训练epoch

  3. 类别混淆：

    • 增加困难样本
    • 调整class weight
    • 使用Focal Loss

5.3 实际应用场景

这个系统已经在多个场景中得到应用：

  1. 超市智能结算：

    • 自动识别水果类型
    • 统计数量
    • 与称重系统联动

  2. 果园产量预估：

    • 无人机拍摄果园画面
    • 统计水果数量和分布
    • 预估产量

  3. 分拣流水线：

    • 实时检测传送带上水果
    • 按品质分级
    • 控制机械臂分拣

6. 未来改进方向

虽然当前系统已经表现不错，但仍有改进空间：

  1. 模型层面：

    • 尝试知识蒸馏，减小模型体积
    • 加入注意力机制提升小目标检测
    • 优化损失函数解决类别不平衡

  2. 系统层面：

    • 增加多摄像头支持
    • 开发移动端APP
    • 加入云端部署方案

  3. 功能扩展：

    • 水果成熟度检测
    • 缺陷检测（碰伤、腐烂等）
    • 重量预估

这个项目从构思到实现用了约3个月时间，期间遇到了不少挑战，但最终的成果让我非常满意。如果你对完整代码感兴趣，可以在GitHub上找到开源版本。在实际部署时，建议根据具体场景调整参数，特别是置信度阈值和IoU阈值，这会对检测效果产生很大影响。