SVM sklearn 1.4.2 乳腺癌分类实战：4种核函数对比，准确率超95%

SVM sklearn 1.4.2 乳腺癌分类实战：4种核函数对比，准确率超95%

1. 项目背景与数据理解

威斯康星乳腺癌数据集是机器学习领域的经典二分类数据集，包含569个样本的30个特征测量值（10个特征的均值、标准差和最差值）。该数据集通过细针穿刺提取细胞核特征，用于区分恶性肿瘤（M）和良性肿瘤（B）。在sklearn 1.4.2版本中，该数据集已预置为标准化格式，可直接调用：

from sklearn.datasets import load_breast_cancer cancer = load_breast_cancer() X, y = cancer.data, cancer.target

关键特征说明：

• radius_mean：半径均值（细胞中心到边缘的平均距离）
• texture_mean：纹理均值（灰度值标准差）
• perimeter_mean：周长均值
• area_mean：面积均值
• compactness_mean：紧密度（周长²/面积 - 1.0）

数据分布特点：

2. 核心方法论：SVM核函数原理对比

支持向量机的核心在于通过核函数将数据映射到高维空间实现线性可分。sklearn提供的四种核函数各有特点：

2.1 线性核（linear）

SVC(kernel='linear', C=1.0)

• 数学形式：K(x, y) = xᵀy
• 适用场景：特征维度高（如文本分类）、数据近似线性可分
• 优势：计算效率高，参数少不易过拟合

2.2 多项式核（poly）

SVC(kernel='poly', degree=3, gamma='scale')

• 数学形式：K(x, y) = (γxᵀy + r)^d
• 关键参数：
  • degree：多项式阶数（默认3）
  • gamma：核系数（'scale'表示1/(n_features * X.var())）

2.3 高斯核（rbf）

SVC(kernel='rbf', gamma=0.1)

• 数学形式：K(x, y) = exp(-γ||x-y||²)
• 调参要点：
  • γ过大易过拟合，γ过小模型趋于线性
  • 默认gamma='scale'效果通常优于固定值

2.4 Sigmoid核

SVC(kernel='sigmoid', gamma='auto')

• 数学形式：K(x, y) = tanh(γxᵀy + r)
• 特殊限制：需要配合适当的coef0参数使用

3. 完整实现流程

3.1 数据预处理

from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 数据划分 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 特征标准化 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test)

3.2 多核函数模型训练

from sklearn.svm import SVC kernels = ['linear', 'poly', 'rbf', 'sigmoid'] models = {} for kernel in kernels: if kernel == 'poly': model = SVC(kernel=kernel, degree=3, gamma='scale', random_state=42) else: model = SVC(kernel=kernel, gamma='scale', random_state=42) model.fit(X_train_scaled, y_train) models[kernel] = model

3.3 交叉验证评估

from sklearn.model_selection import cross_val_score cv_results = {} for name, model in models.items(): scores = cross_val_score(model, X_train_scaled, y_train, cv=5) cv_results[name] = { 'mean_accuracy': scores.mean(), 'std': scores.std() }

4. 实验结果深度分析

4.1 性能对比表

4.2 决策边界可视化（PCA降维后）

import matplotlib.pyplot as plt from sklearn.decomposition import PCA pca = PCA(n_components=2) X_pca = pca.fit_transform(X_train_scaled) # 绘制不同核函数的决策边界 fig, axes = plt.subplots(2, 2, figsize=(12, 10)) for (name, model), ax in zip(models.items(), axes.ravel()): model.fit(X_pca, y_train) # 绘制决策边界代码... ax.set_title(f"{name} kernel (Acc: {cv_results[name]['mean_accuracy']:.1%})") plt.tight_layout()

4.3 关键参数影响

gamma参数对rbf核的影响：

gammas = np.logspace(-3, 2, 6) test_scores = [] for gamma in gammas: model = SVC(kernel='rbf', gamma=gamma).fit(X_train_scaled, y_train) test_scores.append(model.score(X_test_scaled, y_test)) plt.semilogx(gammas, test_scores) plt.xlabel('Gamma value') plt.ylabel('Test accuracy')

5. 工程实践建议

1. 特征选择优化：

   • 使用SelectKBest选择Top10特征：

   from sklearn.feature_selection import SelectKBest, f_classif selector = SelectKBest(f_classif, k=10) X_new = selector.fit_transform(X, y)

2. 类别不平衡处理：

   from sklearn.utils import class_weight weights = class_weight.compute_sample_weight('balanced', y_train) model = SVC(kernel='rbf', class_weight='balanced')

3. 超参数调优：

   from sklearn.model_selection import GridSearchCV param_grid = {'C': [0.1, 1, 10], 'gamma': [0.01, 0.1, 1]} grid = GridSearchCV(SVC(kernel='rbf'), param_grid, cv=5) grid.fit(X_train_scaled, y_train)

4. 生产环境部署：

   import joblib joblib.dump(model, 'breast_cancer_svm.pkl') # 加载模型 loaded_model = joblib.load('breast_cancer_svm.pkl')