Python 实战：5种距离度量在 Scikit-learn 与 NumPy 中的实现与性能对比

Python 实战：5种距离度量在 Scikit-learn 与 NumPy 中的实现与性能对比

当我们需要衡量数据点之间的相似性或差异性时，距离度量是机器学习中不可或缺的工具。无论是聚类算法如K-Means，还是分类算法如KNN，选择合适的距离计算方法直接影响模型效果。本文将带你深入实践欧氏距离、曼哈顿距离、余弦距离、马氏距离和汉明距离这五种常用度量，对比它们在Scikit-learn和NumPy中的实现差异，并通过性能测试帮你做出最佳选择。

1. 环境准备与数据生成

在开始之前，我们需要准备实验环境。假设你已经安装了Python 3.8+和常用的数据科学库。如果没有，可以通过以下命令安装：

pip install numpy scikit-learn scipy matplotlib

为了公平比较各种距离度量的性能，我们生成三类测试数据：

import numpy as np from sklearn.datasets import make_blobs # 生成低维数据（2维，10000个样本） low_dim_data = make_blobs(n_samples=10000, n_features=2, centers=3, random_state=42)[0] # 生成高维数据（100维，1000个样本） high_dim_data = make_blobs(n_samples=1000, n_features=100, centers=5, random_state=42)[0] # 生成二进制数据（用于汉明距离） binary_data = np.random.randint(0, 2, size=(1000, 64))

提示：在实际项目中，距离计算往往是算法中最耗时的部分之一。对于大规模数据，建议优先考虑向量化实现或使用优化库。

2. 五种距离度量的原理与实现对比

2.1 欧氏距离 (Euclidean Distance)

欧氏距离是最直观的距离度量，表示两点之间的直线距离。在n维空间中，两点x和y的欧氏距离公式为：

$$ d(x,y) = \sqrt{\sum_{i=1}^n (x_i - y_i)^2} $$

NumPy实现：

def euclidean_numpy(x, y): return np.sqrt(np.sum((x - y) ** 2))

Scikit-learn实现：

from sklearn.metrics.pairwise import euclidean_distances # 计算整个矩阵的距离 dist_matrix = euclidean_distances(low_dim_data[:100], low_dim_data[:100])

性能对比：

• NumPy版本适合单对向量计算
• Scikit-learn版本针对矩阵运算优化，支持并行计算

2.2 曼哈顿距离 (Manhattan Distance)

曼哈顿距离得名于网格状的城市街区布局，是各维度绝对差之和：

$$ d(x,y) = \sum_{i=1}^n |x_i - y_i| $$

NumPy实现：

def manhattan_numpy(x, y): return np.sum(np.abs(x - y))

Scikit-learn实现：

from sklearn.metrics.pairwise import manhattan_distances dist_matrix = manhattan_distances(low_dim_data[:100], low_dim_data[:100])

适用场景：

• 当数据有离群点时比欧氏距离更鲁棒
• 常用于路径规划、图像处理

2.3 余弦距离 (Cosine Distance)

余弦距离通过测量两个向量夹角的余弦值来衡量方向相似性：

$$ d(x,y) = 1 - \frac{x \cdot y}{||x|| \cdot ||y||} $$

NumPy实现：

def cosine_numpy(x, y): dot_product = np.dot(x, y) norm_x = np.linalg.norm(x) norm_y = np.linalg.norm(y) return 1 - dot_product / (norm_x * norm_y)

Scikit-learn实现：

from sklearn.metrics.pairwise import cosine_distances dist_matrix = cosine_distances(high_dim_data[:100], high_dim_data[:100])

典型应用：

• 文本相似度计算（TF-IDF向量）
• 推荐系统中的用户偏好比较

2.4 马氏距离 (Mahalanobis Distance)

马氏距离考虑了数据分布特性，通过协方差矩阵归一化距离：

$$ d(x,y) = \sqrt{(x-y)^T S^{-1} (x-y)} $$

其中S是协方差矩阵。

SciPy实现（NumPy没有直接支持）：

from scipy.spatial.distance import mahalanobis # 计算协方差矩阵的逆 inv_cov = np.linalg.inv(np.cov(low_dim_data.T)) point1 = low_dim_data[0] point2 = low_dim_data[1] distance = mahalanobis(point1, point2, inv_cov)

Scikit-learn实现：

from sklearn.covariance import EmpiricalCovariance cov = EmpiricalCovariance().fit(low_dim_data) distance = cov.mahalanobis(point1 - point2)

使用场景：

• 异常检测（考虑数据分布）
• 多变量统计分析

2.5 汉明距离 (Hamming Distance)

汉明距离衡量两个等长字符串在相同位置上不同字符的数量：

$$ d(x,y) = \sum_{i=1}^n \mathbb{I}(x_i \neq y_i) $$

NumPy实现：

def hamming_numpy(x, y): return np.sum(x != y) / len(x)

Scikit-learn实现：

from sklearn.metrics.pairwise import pairwise_distances dist_matrix = pairwise_distances(binary_data[:100], binary_data[:100], metric='hamming')

典型应用：

• 错误检测与纠正编码
• 基因序列比对

3. 性能基准测试

为了全面比较各种实现的效率，我们设计以下测试方案：

import time from functools import partial def benchmark(func, data, iterations=100): start = time.time() for _ in range(iterations): func(data[0], data[1]) return (time.time() - start) / iterations # 测试单点计算性能 metrics = { 'Euclidean (NumPy)': euclidean_numpy, 'Manhattan (NumPy)': manhattan_numpy, 'Cosine (NumPy)': cosine_numpy, 'Mahalanobis (SciPy)': partial(mahalanobis, VI=inv_cov), 'Hamming (NumPy)': hamming_numpy } results = {} for name, func in metrics.items(): if 'Hamming' in name: test_data = binary_data[:2] else: test_data = low_dim_data[:2] results[name] = benchmark(func, test_data) # 测试矩阵计算性能 matrix_metrics = { 'Euclidean (sklearn)': euclidean_distances, 'Manhattan (sklearn)': manhattan_distances, 'Cosine (sklearn)': cosine_distances, 'Hamming (sklearn)': partial(pairwise_distances, metric='hamming') } matrix_results = {} for name, func in matrix_metrics.items(): if 'Hamming' in name: test_data = binary_data[:100] else: test_data = low_dim_data[:100] matrix_results[name] = benchmark(func, test_data)

测试结果对比（单位：秒）：

关键发现：

1. 对于单点计算，NumPy实现普遍更快
2. Scikit-learn的矩阵运算在批量计算时效率更高
3. 马氏距离由于需要计算协方差逆矩阵，开销最大
4. 汉明距离计算最简单，性能最好

4. 实战应用建议

根据我们的测试结果和实际经验，给出以下建议：

选择距离度量的考虑因素：

1. 数据特性：

   • 低维连续数据：欧氏距离
   • 高维稀疏数据：余弦距离
   • 离散/二进制数据：汉明距离
   • 需要考虑数据分布：马氏距离

2. 性能考量：

   • 小规模单点计算：优先NumPy
   • 大规模矩阵运算：优先Scikit-learn
   • 实时系统：避免马氏距离

3. 算法需求：

   • KNN：通常欧氏距离
   • K-Means：根据数据特性选择
   • 异常检测：马氏距离效果更好

代码封装建议：

class DistanceCalculator: def __init__(self, metric='euclidean', precompute_inv_cov=False): self.metric = metric self.inv_cov = None if precompute_inv_cov: self.inv_cov = np.linalg.inv(np.cov(data.T)) def __call__(self, x, y): if self.metric == 'euclidean': return np.sqrt(np.sum((x - y) ** 2)) elif self.metric == 'manhattan': return np.sum(np.abs(x - y)) elif self.metric == 'cosine': return 1 - np.dot(x, y) / (np.linalg.norm(x) * np.linalg.norm(y)) elif self.metric == 'mahalanobis': if self.inv_cov is None: raise ValueError("Must precompute inverse covariance matrix") return mahalanobis(x, y, self.inv_cov) elif self.metric == 'hamming': return np.sum(x != y) / len(x) else: raise ValueError(f"Unsupported metric: {self.metric}") # 使用示例 calc = DistanceCalculator(metric='cosine') distance = calc(vector1, vector2)

常见问题解决方案：

1. 内存不足问题：

   • 对于大数据集，使用pairwise_distances_chunked
   • 考虑近似算法或降维

2. 数值稳定性：

   • 添加小常数防止除零错误
   • 对数据进行标准化

3. 自定义距离：

   • 实现函数后通过pairwise_distances的metric参数使用

def custom_metric(x, y): return np.sum(np.abs(x - y) / (np.abs(x) + np.abs(y) + 1e-8)) dist_matrix = pairwise_distances(data, metric=custom_metric)

在实际项目中，距离计算的选择需要结合业务场景和数据特性进行权衡。比如在推荐系统中，用户画像向量的相似度计算通常使用余弦距离；而在GPS轨迹分析中，欧氏距离可能更合适。