甲骨文识别实战：从图像处理到机器学习建模全流程解析

1. 从甲骨文到数字矩阵：一次数学建模竞赛的实战复盘

去年带队参加Mathorcup，B题“甲骨文识别”让不少队伍直呼头大。这题妙就妙在，它把一个看似高深的计算机视觉问题，包装成了一个典型的、需要多学科交叉解决的数学建模问题。你不需要是CV专家，但你必须理解如何将图像问题转化为可计算的数学模型，并用编程语言将其实现。很多队伍卡壳的地方，往往不是算法本身，而是如何将“识别甲骨文”这个模糊的需求，拆解成“特征提取”、“图像分割”、“分类器设计”等一系列明确的、可建模、可编程的子问题。今天，我就结合当时的解题思路和后续的深入思考，把这道题的“里子”彻底拆开，聊聊从拿到一张模糊的甲骨拓片图像，到最终输出识别结果，这中间到底经历了哪些关键的数学与工程步骤。无论你是正在备赛的同学，还是对图像处理与数学建模结合感兴趣的朋友，这篇复盘都能给你提供一个完整的、可复现的思考框架和实操指引。

2. 破题第一步：理解甲骨文图像识别的核心挑战与建模本质

在动手写任何代码之前，我们必须先想清楚：我们要用数学和程序解决一个什么样的问题？甲骨文识别不是简单的MNIST手写数字识别，它有一系列独特的难点，这些难点直接决定了我们后续方法的选择。

2.1 甲骨文图像的独特性分析

首先，我们面对的“数据”很特别。通常我们获得的可能是甲骨拓片或照片的扫描图像，其特点鲜明：

  • 背景复杂且不均匀：龟甲或兽骨本身的纹理、裂纹、污渍、非文字刻痕（如卜兆）与文字交织在一起，背景并非纯净的白色或黑色。
  • 目标（文字）形态不规则：甲骨文是古老的象形文字，笔画粗细不均，结构多样，同一个字在不同拓片上形态可能有差异。
  • 低对比度与模糊：由于年代久远和拓印技术限制，文字与背景的灰度差异可能很小，边缘模糊不清。
  • 粘连与断裂：笔画之间可能存在粘连，或者由于甲骨破损导致文字笔画断裂。
  • 数据量稀缺：公开的、已标注的甲骨文单字图像数据集规模远小于现代字符数据集，这限制了深度学习方法的直接应用。

这些特点意味着，直接套用现成的OCR（光学字符识别）库，如Tesseract，效果大概率会非常差。因为通用OCR引擎是针对印刷体或清晰手写体优化的，其内置的二值化、分割和识别模块无法处理甲骨文如此复杂的背景和低质量图像。

2.2 将视觉问题转化为建模问题

数学建模的核心是抽象。我们需要将上述视觉挑战，转化为一系列可以用数学语言描述和计算的问题：

  1. 图像分割问题：如何从背景（龟甲纹理、噪声）中，准确地分离出前景（文字区域）？这是一个典型的二分类问题，但背景和前景的区分并非简单的灰度阈值能解决。我们需要建立一个模型，该模型能根据像素及其周围邻域的某些“特征”，判断该像素属于文字还是背景。
  2. 特征提取问题：对于分割出来的单个文字图像，我们用什么“尺子”去度量它，才能区分出不同的字？这些“尺子”就是特征。可能是几何特征（如宽高比、笔画密度）、矩特征（Hu矩）、纹理特征（LBP、HOG），或者是通过神经网络自动学习到的深层特征。特征提取的本质是降维和表征，将一张像素很多的图片，转化为一个能代表其核心信息的、维度低得多的特征向量。
  3. 分类识别问题：有了特征向量后，如何根据特征判断它对应哪个甲骨文字？这是一个多分类问题。我们需要一个分类器模型，它学习从特征向量到文字类别的映射关系。在数据量有限的情况下，传统的机器学习分类器（如SVM、随机森林）可能比复杂的深度神经网络更具优势。

因此，整个任务的Pipeline可以清晰地建模为：输入图像 -> 预处理 -> 图像分割（得到文字区域）-> 单字切割 -> 特征提取 -> 分类识别 -> 输出文字。竞赛题目通常会提供一部分已标注的训练数据（一些甲骨文图片及其对应的文字），我们的任务就是基于此构建并优化这个Pipeline。

3. 核心战场一：图像分割——如何从混沌中剥离文字

图像分割是后续所有步骤的基础，分割质量直接决定识别的上限。在资源有限的竞赛环境中，我们无法训练一个庞大的分割网络，因此，基于传统数字图像处理技术的分割方案是更务实、更可解释的选择。我们的目标是找到一个鲁棒的阈值或区域判定方法。

3.1 预处理：为分割铺平道路

在分割之前，预处理旨在增强文字与背景的对比度，抑制噪声。

  • 灰度化：将彩色图像转为灰度图，减少计算量。I_gray = 0.299*R + 0.587*G + 0.114*B。
  • 滤波去噪：甲骨图像常见的噪声是高斯噪声和椒盐噪声（类似斑点）。
    • 中值滤波：对去除椒盐噪声特别有效，且能较好保持边缘。选择一个合适大小的窗口（如3x3, 5x5），用窗口内像素的中值代替中心像素值。OpenCV中：cv2.medianBlur(img, ksize=3)。
    • 高斯滤波：一种线性平滑滤波器，对高斯噪声效果好，但会使边缘模糊。使用时需谨慎，核不宜太大。cv2.GaussianBlur(img, (5,5), 0)。
  • 对比度增强：这是关键一步。可以采用对比度受限的自适应直方图均衡化（CLAHE）。与全局直方图均衡化不同，CLAHE将图像分成小块，对每个块进行直方图均衡化，并用双线性插值消除块间边界，从而在增强局部对比度的同时，避免放大噪声。OpenCV实现：
    import cv2 clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8)) img_clahe = clahe.apply(img_gray)

3.2 经典阈值分割方法及其在甲骨文上的适应性分析

预处理后，我们尝试用阈值将图像二值化（文字为白255，背景为黑0）。

  • 全局阈值法（如Otsu大津法）：适用于前景和背景灰度直方图呈双峰分布的图像。Otsu算法会自动计算一个最佳全局阈值T，使得前景和背景的类间方差最大。但对于背景不均匀的甲骨文图像，全局阈值往往效果不佳，要么把部分背景当成了文字，要么丢失了笔画较淡的文字部分。

    ret, img_binary_global = cv2.threshold(img_clahe, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)

    注意：直接对原图使用Otsu通常不是最优解。务必先进行CLAHE等对比度增强，再尝试Otsu，效果会有提升。

  • 局部自适应阈值法：这是处理不均匀光照和背景的利器。它为图像中每个像素点根据其邻域块的像素值分布，独立计算阈值。常用方法有自适应高斯阈值和自适应均值阈值。

    # 自适应高斯阈值。参数：邻域大小（必须为奇数，如11, 21），常数C（从均值或加权均值中减去的值，用于微调） img_binary_adaptive = cv2.adaptiveThreshold(img_clahe, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 21, 10)

    关键参数经验：

    • blockSize：邻域大小。值越大，考虑的范围越广，对大片背景不均匀区域适应更好，但可能模糊细节。对于甲骨文，建议从15到25之间的奇数开始尝试。
    • C：常数。这是一个非常重要的调优参数！它相当于一个“灵敏度”调节。增大C值，会使阈值变高，从而让更多像素被判定为背景（黑色），文字区域可能变得更“瘦”或断裂；减小C值，阈值降低，更多像素被判定为文字（白色），可能导致笔画粘连或背景噪声被误认为文字。需要根据图像质量反复调试。

3.3 后处理：修补分割结果

即使用自适应阈值，得到的分割结果（二值图像）也可能存在噪声点、小孔洞（笔画内的黑点）、笔画断裂或粘连。

  • 形态学操作：利用结构元素（核）对图像进行腐蚀、膨胀、开运算、闭运算。
    • 闭运算（先膨胀后腐蚀）：用于填充小的孔洞和连接断裂的笔画。这对于修复因阈值过高或笔画模糊导致的断裂非常有效。
    kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3,3)) # 3x3矩形核 img_closed = cv2.morphologyEx(img_binary_adaptive, cv2.MORPH_CLOSE, kernel)
    • 开运算（先腐蚀后膨胀）：用于消除小的白色噪声点和分离细微的粘连。但如果核太大，可能会腐蚀掉细小的笔画。
    img_opened = cv2.morphologyEx(img_binary_adaptive, cv2.MORPH_OPEN, kernel)
    • 经验之谈：对于甲骨文，通常先尝试闭运算修复断裂，如果发现背景噪声点较多，再考虑使用较小的核做一次开运算。核的大小（如(2,2), (3,3)）需要根据图像分辨率谨慎选择，宁小勿大。
  • 连通区域分析：这是分割出独立文字块的关键。使用cv2.connectedComponentsWithStats可以获取所有连通域（白色像素团块）的标签、面积、外接矩形等信息。
    num_labels, labels, stats, centroids = cv2.connectedComponentsWithStats(img_processed, connectivity=8)
    通过分析stats中的面积（cv2.CC_STAT_AREA），我们可以过滤掉面积过小（可能是噪声）或过大（可能是未去除干净的大块背景）的连通域，只保留可能是文字的连通域。

4. 核心战场二：特征工程——为甲骨文制作“数字身份证”

分割出单个文字图像后，我们需要从中提取一组能够区分不同文字的特征。特征工程是传统机器学习方法的灵魂，好的特征应具有区分性（不同类别的特征值差异大）、鲁棒性（对微小形变、光照变化不敏感）和独立性（特征之间相关性低）。

4.1 常用手工特征提取方法

  1. 几何特征：简单有效，计算快。

    • 宽高比：aspect_ratio = width / height。不同文字的结构可能导致其外接矩形比例不同。
    • 面积与周长比：area_perimeter_ratio = area / perimeter。反映文字的“紧凑度”。
    • 笔画密度：stroke_density = (white_pixel_count) / area。文字部分白色像素占总外接矩形面积的比例。
    • Hu矩：一组7个由中心矩推导出的不变矩，对图像的平移、旋转、缩放具有不变性。非常适合用于形状识别。
    import cv2 # 计算图像的矩 moments = cv2.moments(img_binary_roi) # 计算Hu矩 hu_moments = cv2.HuMoments(moments) # Hu矩的值动态范围很大，通常取对数进行压缩 for i in range(7): hu_moments[i] = -1 * np.sign(hu_moments[i]) * np.log10(np.abs(hu_moments[i]))

  2. 纹理特征：描述图像内部的灰度分布模式。

    • 局部二值模式（LBP）：将每个像素与其邻域比较，生成一个二进制码，再统计该区域的LBP直方图作为特征。它对光照变化有一定鲁棒性。
    • 方向梯度直方图（HOG）：计算图像局部区域的梯度方向直方图。它能很好地捕捉物体的轮廓和形状信息，在行人检测中经典，对于笔画轮廓清晰的文字也有效。

  3. 投影特征：统计水平方向和垂直方向上的像素分布。

    • 水平投影：将图像每一行的白色像素累加，形成一个一维向量。可以反映文字在垂直方向上的笔画分布。
    • 垂直投影：将图像每一列的白色像素累加。反映水平方向的笔画分布。
    • 这些投影直方图本身可以作为特征，也可以从中再提取统计量（如波峰数量、波峰位置、方差等）。

4.2 基于深度学习的特征提取（在数据允许的情况下）

如果竞赛提供了足够多的标注数据（例如每个字有数十个甚至上百个样本），可以考虑使用卷积神经网络（CNN）进行迁移学习或训练一个简单的特征提取器。

  • 轻量级CNN特征提取器：可以设计一个几层的CNN（如2-3个卷积池化层，后接全连接层），将最后一个全连接层之前的激活值（例如一个128维或256维的向量）作为该文字的特征表示。这种方法能自动学习到比手工特征更高级、更具判别性的特征，但对数据量和计算资源要求更高。
  • 实战考量：在数学建模竞赛有限的时间内，如果数据量不是特别充足，建议以稳健的手工特征为主，深度学习特征为辅或作为进阶尝试。可以将Hu矩、几何特征、投影特征统计量等拼接成一个长特征向量。

4.3 特征选择与降维

提取了大量特征后，并非所有特征都有用。有些特征可能冗余，有些可能与类别无关。我们需要进行特征选择或降维。

  • 主成分分析（PCA）：最常用的线性降维方法。它将原始特征空间变换到新的坐标系（主成分），使得第一个主成分方差最大，第二个次之，以此类推。我们可以保留前k个主成分（例如累计贡献率达到95%），在保留大部分信息的同时大幅降低特征维度。
    from sklearn.decomposition import PCA # 假设 feature_matrix 是 n_samples x n_features 的特征矩阵 pca = PCA(n_components=0.95) # 保留95%方差的主成分 features_reduced = pca.fit_transform(feature_matrix)
  • 线性判别分析（LDA）：另一种降维方法，其目标是使得降维后的数据，同类样本尽可能接近，不同类样本尽可能远离。它是一种有监督的降维方法，在分类任务中有时比PCA效果更好。

5. 核心战场三：分类器设计与模型训练——让机器学会辨认

特征准备就绪后，我们进入分类器建模阶段。在这个阶段，我们拥有一个数据集：每个样本是一个特征向量（X），对应一个甲骨文字标签（y）。

5.1 数据准备与划分

首先，需要将分割并提取好特征的数据集划分为训练集和测试集（如果竞赛未单独提供测试集，则需从训练数据中划分）。绝对禁止用训练集数据评估模型性能，那会导致过于乐观的估计（过拟合）。

from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(features, labels, test_size=0.2, random_state=42, stratify=labels)

参数stratify=labels非常重要，它确保训练集和测试集中各个类别的比例与原数据集一致，避免某些字在测试集中没有出现。

5.2 传统机器学习分类器选型与实战

在中小规模数据集上，传统机器学习分类器往往能取得快速且不错的效果。

  1. 支持向量机（SVM）：非常强大的分类器，尤其适用于小样本、高维特征的情况。其核心是寻找一个最优超平面来分隔不同类别的样本。

    • 关键参数：
      • kernel：核函数。线性核（linear）适用于近似线性可分的情况；径向基函数核（rbf）可以处理非线性问题，是默认且常用的选择。
      • C：惩罚系数。C越大，对误分类的惩罚越重，模型越复杂，容易过拟合；C越小，容错性越高，模型越简单，可能欠拟合。
      • gamma（仅对rbf核）：影响单个样本的影响范围。gamma值越大，支持向量影响范围越小，模型越复杂。
    from sklearn.svm import SVC svm_model = SVC(kernel='rbf', C=10, gamma='scale', probability=True) # probability=True 便于后续输出概率 svm_model.fit(X_train, y_train) accuracy = svm_model.score(X_test, y_test)

  2. 随机森林（Random Forest）：集成学习算法，通过构建多棵决策树并综合其投票结果来进行预测。它通常能取得很好的性能，且对特征缩放不敏感，能给出特征重要性排序。

    • 关键参数：
      • n_estimators：森林中树的数量。越多越好，但计算成本增加。通常从100开始尝试。
      • max_depth：树的最大深度。控制模型的复杂度，防止过拟合。
    from sklearn.ensemble import RandomForestClassifier rf_model = RandomForestClassifier(n_estimators=200, max_depth=10, random_state=42) rf_model.fit(X_train, y_train) accuracy = rf_model.score(X_test, y_test) # 查看特征重要性 importances = rf_model.feature_importances_

  3. K近邻（KNN）：简单直观，无需训练过程。预测时，找一个样本在特征空间中最近的K个邻居，根据邻居的类别进行投票。

    • 关键参数：n_neighbors(K值)。K太小容易受噪声影响，K太大可能包含太多其他类别的点。需要通过交叉验证选择。
    • 重要提示：使用KNN前，必须对特征进行标准化（如Z-score标准化），因为其基于距离度量，不同特征量纲差异会主导距离计算。
    from sklearn.preprocessing import StandardScaler from sklearn.neighbors import KNeighborsClassifier scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # 注意：用训练集的均值和方差来转换测试集 knn_model = KNeighborsClassifier(n_neighbors=5) knn_model.fit(X_train_scaled, y_train)

5.3 模型评估与调优

不能只看准确率（Accuracy），尤其是当各类别样本数量不均衡时。

  • 混淆矩阵：直观展示每个类别被正确和错误分类的情况。
  • 精确率（Precision）、召回率（Recall）、F1-score：对于每个类别单独计算，能更细致地评估模型性能。classification_report函数可以一键生成。
    from sklearn.metrics import classification_report, confusion_matrix y_pred = svm_model.predict(X_test) print(classification_report(y_test, y_pred)) print(confusion_matrix(y_test, y_pred))
  • 交叉验证与网格搜索：为了找到最优的模型参数，可以使用GridSearchCV在训练集上进行交叉验证搜索。
    from sklearn.model_selection import GridSearchCV param_grid = {'C': [0.1, 1, 10, 100], 'gamma': [1, 0.1, 0.01, 0.001], 'kernel': ['rbf']} grid = GridSearchCV(SVC(), param_grid, refit=True, cv=5, scoring='f1_macro') # 使用5折交叉验证，以宏平均F1为评分标准 grid.fit(X_train_scaled, y_train) print(grid.best_params_) best_model = grid.best_estimator_

6. 全流程集成与竞赛策略思考

将上述所有模块串联起来，形成一个完整的、可运行的Pipeline，是竞赛提交前的最后一步，也是最考验工程能力的一步。

6.1 构建可复现的Pipeline

你的代码应该模块化，至少包含以下几个函数或类：

  1. preprocess_image(img): 输入原始图像，输出预处理后的灰度图。
  2. segment_text(img_processed): 输入预处理图，输出二值分割图，并返回连通域信息。
  3. extract_features(binary_roi_list): 输入一系列分割出的单字ROI图像列表，输出一个特征矩阵（每行一个样本的特征向量）。
  4. train_classifier(X_train, y_train): 输入训练特征和标签，输出训练好的分类器模型和可能用到的标准化器。
  5. pipeline_predict(img_path, model, scaler): 主预测函数，完成从读图到输出预测结果的完整流程。

确保你的代码有清晰的注释，关键步骤有输出（如显示中间分割结果），并且设置随机种子（如np.random.seed(42)，random_state=42）以保证结果可复现，这在竞赛中非常重要。

6.2 针对竞赛的特别策略与报告撰写要点

数学建模竞赛不仅看结果，更看重解决问题的思路、模型的建立过程和论证的严谨性。

  • 多模型对比与融合：不要只提交一个模型的结果。可以在报告中展示SVM、随机森林、KNN等不同分类器在相同特征集上的性能对比（用表格呈现准确率、F1-score等）。甚至可以尝试简单的模型融合，如投票法，看看是否能提升最终效果。
  • 可视化至关重要：报告中必须包含丰富的可视化图表。
    • 预处理和分割效果对比图：原图、灰度图、CLAHE增强图、自适应阈值结果图、形态学处理后图。用子图并列展示，一目了然。
    • 特征可视化：例如，用t-SNE或PCA将高维特征降到2维或3维进行散点图绘制，用不同颜色表示不同文字类别，观察其是否具有可分性。
    • 混淆矩阵热力图：直观显示模型在哪些字上容易混淆。
  • 误差分析与模型改进讨论：这是体现你思考深度的部分。分析识别错误的样本，看看是分割阶段就失败了（如文字断裂严重未被检出），还是特征不足以区分（如两个字形近的字），或者是分类器边界问题。针对这些分析，提出可能的改进方向，例如：尝试更复杂的分割算法（如基于边缘检测的分水岭算法）、引入更强大的特征（如基于预训练CNN的深度特征）、针对易混淆字对设计专门的二分类器等。
  • 代码与模型的泛化能力：在报告中讨论你的方法对于新的、未见过的甲骨拓片图像的潜在适应能力。可以提及方法的局限性（如对极端模糊或破损的图像可能失效）以及在实际应用中可能需要调整的参数。

整个项目做下来，我的体会是，数学建模竞赛中的图像识别问题，更像是一个系统工程问题。它要求你在有限的资源和时间内，合理地组合和调整已有的经典方法（图像处理、特征工程、机器学习），形成一个稳定、可解释的解决方案。深度学习方法虽然强大，但在数据有限、时间紧迫的竞赛环境下，一套扎实的传统方法Pipeline往往能提供一个更稳健的基线，并且其每一步都清晰可控，便于在论文中阐述和论证。最终，评委看重的不是你用了多么炫酷的算法，而是你如何定义问题、拆解问题、选择并论证方法、分析结果以及思考改进的全过程逻辑。