UI自动化测试 - OCR识别

用例写多了，总会遇到一些页面源无法定位的，或者偶发无法定位的，解决方法之一可以利用OCR识别文本进行定位操作

OCR技术概述

• OCR在UI自动化测试中的核心价值
• 传统图像识别与OCR文本识别的差异
• 适用场景：动态元素、多语言支持、非标准控件

技术实现方案

macOS原生Vision框架集成

• 架构设计：Python + Swift桥接方案
• 核心流程分解：截图捕获 → OCR识别 → 文本规则校验
• 环境限制说明：仅支持macOS，依赖原生Vision框架

核心功能封装方法

• 函数定义与参数解析：ocr_text_check
  • file_path：参考图路径
  • text_and_check/text_or_check：锚点文本校验逻辑
  • text_xy：文本坐标提取
  • percentage：相似度阈值控制
• 分层职责设计
  • 截图保留失败状态
  • OCR识别与文本提取
  • 业务逻辑校验（文本匹配、坐标反推）

关键技术细节

macOS原生OCR调用

• Swift桥接实现原理：subprocess调用Swift脚本
• Vision框架核心类：VNRecognizeTextRequest
• 数据流转：图片→CGImage→JSON结果回传

校验策略设计

• 文本精确匹配：单字符串或列表逻辑（AND/OR）
• 参考图相似度校验：基于OCR结果的文本相似度对比
• 坐标反推：通过OCR结果计算文本中心位置

优势与局限性

• 部署优势：无需第三方OCR库（如paddleocr、tesseract）
• 性能考量：原生框架识别效率与准确率
• 跨平台限制：Windows/Linux替代方案探讨

实践案例

• 示例1：动态弹窗文本校验
• 示例2：多语言界面元素定位
• 示例3：非标准控件坐标获取

扩展方向

• 多平台适配方案探索（Windows/Linux兼容性）
• 与AI模型结合的混合校验策略
• 性能优化：缓存机制、并行处理

具体代码

待补充

总结

• OCR在UI自动化中的不可替代性
• 技术选型建议：根据团队环境权衡部署成本
• 未来技术演进趋势

注：代码块部分需按实际内容补充完整实现，如Swift桥接脚本示例、Python校验逻辑等。