三分类SVM实战：从源码到调优的完整指南

简介：这份资源面向机器学习初学者与需要完成分类实验的工程人员，聚焦支持向量机从二分类扩展到三分类的完整实现，帮助读者理解一对一策略下多个二分类器的构建与投票预测逻辑。压缩包共6个文件，以5个m脚本和1个data数据文件为主，脚本分别承担训练、核函数、分类器与可视化等环节，数据文件提供iris样本，整体约4KB，体量轻便、便于直接运行与修改。目前已有6351人学习下载，说明其在SVM多分类入门实践中具有一定参考价值。读者可据此掌握MATLAB中fitcsvm与predict的调用方式，理解核函数选择、正则化参数C对决策边界的影响，并通过可视化脚本观察三分类结果，为特征标准化、参数调优等后续实验打下基础。

1. 三分类 SVM 落地：从一份源码看数据分类的完整实现

拿到一份「SVM 实现数据三分类」的源码，很多人第一反应是打开文件找sklearn.svm.SVC，看到一行SVC(kernel='rbf')就以为读完了。真跑起来才发现，三分类和两分类之间隔着一整套工程细节：标签怎么组织、决策边界怎么画、多分类策略选ovr还是ovo、核函数参数怎么调、结果怎么验证。这份资源解决的正是这条链路——它把支持向量机从公式落到可运行的三分类任务上，包含数据生成、模型训练、边界可视化和精度评估。适合两类人：刚学完 SVM 理论想找一份能跑通的代码对照理解的新手，以及需要把 SVM 塞进自己分类流程、想先看一个干净参考实现的开发者。下面按「能干什么 → 怎么跑 → 怎么改」拆开讲。

2. 项目结构与技术选型：三分类任务的骨架长什么样

2.1 目录组织与文件职责

这类 SVM 三分类项目通常不会太大，但文件划分能看出作者的工程习惯。一个合格的参考实现一般长这样：

svm-three-class/ ├── data/ │ └── generate.py # 合成三分类数据，控制样本分布 ├── src/ │ ├── model.py # SVM 封装，训练与预测 │ ├── visualize.py # 决策边界与散点图 │ └── evaluate.py # 混淆矩阵、精度、召回 ├── config.py # 核函数、C、gamma 等超参集中管理 ├── main.py # 串起数据→训练→评估→绘图 └── requirements.txt

config.py单独抽出来是关键设计。SVM 的超参（C、gamma、kernel）对结果影响极大，散落在各个文件里改起来就是血泪经验。集中管理后，调参只动一个地方，复现实验也方便。data/generate.py用make_blobs或make_classification造三分类数据，好处是不依赖外部数据集，clone 下来就能跑，这对一份教学型源码很重要——读者不需要先去找数据。

src/model.py负责封装，visualize.py负责把二维特征下的决策边界画出来，evaluate.py出指标。main.py是入口，按顺序调用。这种分层不是过度设计，而是让「换数据」「换模型」「换评估」三件事互不干扰。

2.2 技术栈与依赖版本

核心依赖就三个：numpy做数组运算，scikit-learn提供SVC和数据集工具，matplotlib画图。没有深度学习框架，没有 GPU 要求，纯 CPU 跑，这对想快速验证 SVM 行为的人很友好。

# requirements.txt 常见内容 numpy>=1.21 scikit-learn>=1.0 matplotlib>=3.4

版本上不用卡太死，scikit-learn1.0 之后SVC接口稳定，make_blobs的centers参数也一直是三分类造数据的常用入口。如果环境里已有较新版本，直接装即可。注意matplotlib在无显示环境（比如服务器）下需要设Agg后端，否则plt.show()会报错，这是后面避坑章节要展开的点。

2.3 三分类与两分类的本质差异

两分类 SVM 只找一个超平面，三分类必须处理「多个类怎么拆」。scikit-learn的SVC默认用 one-vs-one（OvO），三个类会训练C(3,2)=3个二分类器，预测时投票。另一种是 one-vs-rest（OvR），每个类对其余类训练一个分类器，共 3 个。两者在样本量小的时候差异不大，但 OvO 在类别多时训练成本增长更快。这份源码如果显式设置了decision_function_shape，就是在控制输出维度：'ovr'返回 3 列决策值，'ovo'返回成对结果。理解这一点，后面调参和解释结果才不会懵。

3. 核心代码拆解：数据、训练、评估三段链路

3.1 合成三分类数据：让分布可控

数据生成是整个流程的起点。用make_blobs造三个簇，通过cluster_std控制重叠程度，直接决定分类难度。

# data/generate.py import numpy as np from sklearn.datasets import make_blobs def build_dataset(n_samples=300, n_features=2, centers=3, cluster_std=1.2, random_state=42): """ n_samples: 总样本数，三分类下每类约 n_samples/3 n_features: 特征维度，设为 2 是为了后面画决策边界 centers: 类别数，固定 3 cluster_std: 簇的标准差，越大类间重叠越多，分类越难 random_state: 固定随机种子，保证每次生成一致 """ X, y = make_blobs( n_samples=n_samples, n_features=n_features, centers=centers, cluster_std=cluster_std, random_state=random_state ) return X, y

这段代码的逻辑很直白：make_blobs在二维平面上撒三个高斯簇，返回特征矩阵X（shape 为(300, 2)）和标签y（取值 0、1、2）。cluster_std是最值得调的参数——设成 0.5 时三类分得很开，SVM 轻松到接近 100%；设成 2.0 时簇互相咬合，精度会掉下来，正好用来观察核函数和C的作用。random_state固定后，每次运行数据一样，调参对比才有意义。如果换成真实数据，把这段替换成load_xxx或pd.read_csv，保持X二维、y一维整数标签即可，后续代码不用动。

3.2 SVM 训练封装：核函数与超参的落点

模型封装的重点不是调库，而是把「选什么核、参数怎么传、训练完怎么拿支持向量」讲清楚。

# src/model.py from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline def build_model(kernel='rbf', C=1.0, gamma='scale'): """ kernel: 'rbf' 处理非线性边界，'linear' 处理近似线性可分 C: 惩罚系数，越大越不容忍误分类，容易过拟合 gamma: rbf 核的宽度参数，'scale' 随特征方差自适应 """ return Pipeline([ ('scaler', StandardScaler()), # SVM 对特征尺度敏感，先标准化 ('svm', SVC(kernel=kernel, C=C, gamma=gamma, decision_function_shape='ovr')) ]) def train(model, X_train, y_train): model.fit(X_train, y_train) return model

这里有两个设计点值得说。第一，Pipeline里先放StandardScaler。SVM 基于距离和间隔，特征量纲不一致时，数值大的特征会主导核函数计算，精度莫名其妙地差——这是新手最常翻车的地方之一。标准化后再训练，结果稳定得多。第二，decision_function_shape='ovr'让decision_function输出三列，每列对应一个类的得分，画决策区域时直接取argmax就能得到预测类别，比处理 OvO 的成对结果省事。gamma='scale'是scikit-learn的默认自适应策略，等于1/(n_features * X.var())，一般不用手调；真要调，从0.01、0.1、1这几个量级试。

训练完可以顺手看支持向量数量：model.named_steps['svm'].support_vectors_.shape。支持向量越少，说明模型越「精简」，但也要结合精度看，不能单看数量下结论。

3.3 决策边界可视化：把三分类结果画出来

二维特征的最大好处是能画图。三分类的决策边界不是一条线，而是三块区域的分界，用contourf填色最直观。

# src/visualize.py import numpy as np import matplotlib.pyplot as plt def plot_decision_boundary(model, X, y): x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1 y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1 xx, yy = np.meshgrid( np.arange(x_min, x_max, 0.02), np.arange(y_min, y_max, 0.02) ) grid = np.c_[xx.ravel(), yy.ravel()] Z = model.predict(grid).reshape(xx.shape) # 每个网格点预测类别 plt.contourf(xx, yy, Z, alpha=0.3, cmap='viridis') plt.scatter(X[:, 0], X[:, 1], c=y, cmap='viridis', edgecolors='k') plt.xlabel('Feature 1') plt.ylabel('Feature 2') plt.title('SVM Three-Class Decision Boundary') plt.show()

逻辑分三步：先用meshgrid在特征空间铺一张网格，步长0.02决定边界平滑度，越小越细但计算越慢；再把网格点拉平成(N, 2)送进predict，得到每个点的类别；最后reshape回网格形状，用contourf填色。散点用真实标签y上色，和背景色对比就能看出哪些点被分错。alpha=0.3让背景半透明，散点更清楚。如果换成三维特征，这套画法要改成投影或切片，二维是三分类可视化的甜点区。

3.4 评估：混淆矩阵比单一精度更有信息量

三分类只看 accuracy 容易掩盖问题——某一类全错、另两类全对，精度仍有 66%。混淆矩阵能看出具体错在哪。

# src/evaluate.py from sklearn.metrics import confusion_matrix, classification_report def report(model, X_test, y_test): y_pred = model.predict(X_test) cm = confusion_matrix(y_test, y_pred) # 3x3，行是真实，列是预测 print("Confusion Matrix:\n", cm) print(classification_report(y_test, y_pred, digits=3)) return cm

confusion_matrix返回 3×3 矩阵，对角线是分对的，非对角线是混淆。比如第 0 行第 2 列数值大，说明真实类 0 被大量判成类 2，这时候要回头看这两类的特征分布是否重叠严重。classification_report给出每类的 precision、recall、f1，digits=3控制小数位。三分类场景下，如果某一类 recall 明显低，优先考虑调C或换核函数，而不是盲目加数据。

4. 跑起来：环境、入口与参数调整

4.1 环境准备与依赖安装

从零开始，先建虚拟环境再装依赖，避免污染全局包。

python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install -r requirements.txt

装完验证一下：python -c "import sklearn; print(sklearn.__version__)"。如果版本低于 1.0，decision_function_shape行为可能有细微差异，建议升级。服务器或无图形界面环境，在visualize.py顶部加两行：

import matplotlib matplotlib.use('Agg') # 无显示环境下改用文件输出

然后把plt.show()换成plt.savefig('boundary.png', dpi=150)，图存到本地再看。

4.2 入口脚本与运行顺序

main.py把各模块串起来，顺序是：生成数据 → 划分训练测试集 → 建模型 → 训练 → 评估 → 画图。

# main.py from sklearn.model_selection import train_test_split from data.generate import build_dataset from src.model import build_model, train from src.evaluate import report from src.visualize import plot_decision_boundary X, y = build_dataset(n_samples=300, cluster_std=1.2) X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, random_state=42, stratify=y # stratify 保证三类比例一致 ) model = build_model(kernel='rbf', C=1.0, gamma='scale') train(model, X_train, y_train) report(model, X_test, y_test) plot_decision_boundary(model, X, y)

stratify=y是三分类划分时容易漏的参数。不设的话，随机划分可能让某一类在测试集里样本过少，评估结果波动大。设了之后，训练集和测试集的三类比例与原始数据一致，指标更可信。运行python main.py，终端输出混淆矩阵和分类报告，同时弹出（或保存）决策边界图。

4.3 关键参数怎么调

调参有优先级，别一上来就网格搜索。先看数据重叠程度，再动核函数，最后细调C和gamma。

实操建议：先把cluster_std设 0.5 跑一遍，确认流程通、精度高；再设 2.0 跑一遍，观察精度下降和边界变化；中间值用来体会参数影响。C从 1 开始，精度不够往 10、100 试，出现训练精度高但测试精度掉，就往回退。gamma一般保持scale，除非边界明显欠拟合。

5. 避坑与排查：三分类 SVM 常见的五个坑

5.1 精度异常低，检查特征是否标准化

现象：模型跑完精度只有 50% 左右，和随机猜差不多。原因：特征量纲差异大，SVM 的核函数计算被大数值特征主导，间隔优化失效。解决：确认Pipeline里StandardScaler在SVC之前，且训练和预测走同一个 pipeline 对象。如果手动标准化，测试集必须用训练集的均值和方差，不能各自标准化。

5.2 画图报错no display name，设 Agg 后端

现象：在服务器或容器里运行，plt.show()抛RuntimeError: Invalid DISPLAY variable。原因：matplotlib默认后端需要图形界面。解决：在导入pyplot之前执行matplotlib.use('Agg')，并把展示改成savefig。注意use必须在import matplotlib.pyplot之前调用，顺序错了不生效。

5.3 三分类标签不是 0/1/2，先做编码

现象：真实数据标签是字符串或跳号整数，SVC报错或结果混乱。原因：scikit-learn分类器要求标签为连续整数或可比较的类别，字符串需要编码。解决：用LabelEncoder把标签转成 0、1、2，记录映射关系，预测后再inverse_transform还原。混淆矩阵的类别顺序也要和编码后一致，否则解读会错位。

5.4 决策边界图空白或全一色，检查网格范围

现象：contourf画出来一片纯色，看不到分界。原因：网格范围没覆盖数据分布，或者predict输入形状不对。解决：确认x_min/x_max基于X[:, 0]计算并留了边距，grid是(N, 2)形状，Zreshape 回xx.shape。步长0.02在特征范围很大时会导致网格点过多、内存吃紧，可适当放大到0.05。

5.5 训练集精度高、测试集崩，警惕过拟合

现象：训练集 99%，测试集 70%。原因：C过大或gamma过大，模型把噪声也学了进去。解决：先降C（比如从 100 回到 1），再考虑降gamma。同时检查train_test_split是否设了stratify，类别不均衡时评估本身就有偏差。三分类样本量小时，可以加交叉验证cross_val_score看稳定性，别只信单次划分。

6. 二次开发：把这份三分类 Demo 改成自己的分类器

拿到这份代码后，最实际的改造路径是「换数据 → 换评估 → 换模型对比」。换数据时，把build_dataset替换成自己的读取逻辑，保证X是二维浮点数组、y是整数标签，特征维度超过 2 就把可视化改成 PCA 降维后再画，或者直接跳过画图只看指标。换评估时，在report里加cross_val_score(model, X, y, cv=5)，三分类下cv=5每折样本量要够，样本少于 150 时改cv=3。

一个具体技巧：把build_model的返回值做成可切换的字典，方便横向对比不同核函数。

# 快速对比 linear 与 rbf 在三分类上的表现 from sklearn.model_selection import cross_val_score candidates = { 'linear': build_model(kernel='linear', C=1.0), 'rbf_C1': build_model(kernel='rbf', C=1.0), 'rbf_C10': build_model(kernel='rbf', C=10.0), } for name, m in candidates.items(): scores = cross_val_score(m, X, y, cv=5, scoring='accuracy') print(f"{name}: mean={scores.mean():.3f}, std={scores.std():.3f}")

这段代码的价值在于用交叉验证均值加标准差代替单次划分，std大说明模型对数据划分敏感，这时候单次高分不可信。改造时还要注意：如果换成多分类且类别数大于 3，OvO 的训练器数量按C(n,2)增长，类别到 10 就是 45 个二分类器，训练时间会明显上升，这时候可以考虑LinearSVC配合 OvR，或者换用其他多分类方案。

我自己的习惯是，每次改完数据或参数，先跑一遍交叉验证看std，再决定要不要信那个精度数字——有一次单次划分 92%、五折均值只有 78%，差点把过拟合的配置当成最优解交出去。从那以后我每次调 SVM 都强制走一遍交叉验证再下结论。希望这份拆解帮到你，把三分类这条链路跑通、改顺。

本文还有配套的精品资源，点击获取