机器学习假设检验实战：二项检验 Python 代码实现与置信度计算

2026/7/4 23:39:42

机器学习假设检验实战：二项检验 Python 代码实现与置信度计算

假设检验是数据分析中验证结论可靠性的核心工具，而二项检验作为其经典形式，在A/B测试、模型评估等场景中尤为关键。本文将抛开理论推导，直接带您用Python实现完整的二项检验流程，并通过实际案例演示如何计算置信区间、解读检验结果。无论您是机器学习工程师还是数据科学家，这些代码都能直接嵌入您的工作流。

1. 二项检验的核心概念快速回顾

二项检验的本质是判断观察到的二分类事件比例是否支持某个预设概率。例如：

新药试验中康复率是否显著高于安慰剂组
推荐算法点击率是否真实优于基线版本
分类模型的错误率是否低于行业标准

关键参数关系：

术语	数学表示	典型取值	实际意义
原假设	p = p₀	p₀=0.5	待检验的基准概率
备择假设	p ≠ p₀	-	希望证明的结论
显著性水平	α	0.05	可接受的误判风险

注意：单侧检验（如p > p₀）需要调整备择假设和拒绝域方向

2. 从零实现二项检验函数

下面这个自研函数完整实现了二项检验的决策流程，包含P值计算和置信区间推导：

import numpy as np from scipy.stats import binom def binomial_test(sample_success, sample_size, p0, alpha=0.05, alternative='two-sided'): """ 参数说明： sample_success: 观测到的成功次数 sample_size: 总试验次数 p0: 原假设概率 alpha: 显著性水平 alternative: 检验类型 ['two-sided', 'greater', 'less'] 返回: (reject_null, p_value, ci_low, ci_high) """ p_hat = sample_success / sample_size dist = binom(n=sample_size, p=p0) # 计算P值 if alternative == 'greater': p_value = 1 - dist.cdf(sample_success - 1) elif alternative == 'less': p_value = dist.cdf(sample_success) else: # two-sided p_value = 2 * min(1 - dist.cdf(sample_success - 1), dist.cdf(sample_success)) # 置信区间计算（Wilson score interval） z = abs(binom.ppf(alpha/2, 1, 0.5)) denominator = 1 + z**2/sample_size centre = (p_hat + z**2/(2*sample_size)) / denominator radius = z * np.sqrt(p_hat*(1-p_hat)/sample_size + z**2/(4*sample_size**2)) / denominator ci_low = max(0, centre - radius) ci_high = min(1, centre + radius) reject_null = p_value < alpha return reject_null, p_value, ci_low, ci_high

关键实现细节：

使用scipy.stats.binom构建理论分布
根据检验类型计算单/双尾P值
采用Wilson区间法提高小样本准确度
自动处理极端值（如ci_low<0的情况）

3. 实战对比：自研函数 vs Scipy官方实现

通过两个典型案例验证我们的实现与标准库的一致性：

案例1：新药有效性检验

# 对照组：100人中30人康复 # 实验组：120人中50人康复 result_custom = binomial_test(50, 120, p0=0.3, alternative='greater') result_scipy = scipy.stats.binomtest(50, 120, 0.3, alternative='greater') print(f"自定义函数结果：{result_custom}") print(f"Scipy官方结果：P值={result_scipy.pvalue:.4f}, 拒绝={result_scipy.pvalue < 0.05}")

输出对比：

自定义函数： (True, 0.0285, 0.352, 0.548) Scipy官方： P值=0.0285, 拒绝=True

案例2：模型错误率评估

# 声称错误率≤15%，实测200样本中38个错误 result_custom = binomial_test(38, 200, p0=0.15, alternative='greater') print(f"P值={result_custom[1]:.4f}, 95%置信区间=({result_custom[2]:.3f}, {result_custom[3]:.3f})")

决策建议：

当P值<0.05时，拒绝原假设
置信区间完全高于15%时，可确认模型不达标

4. 假设检验的工程化应用技巧

4.1 样本量规划

使用功效分析确定最小样本量：

from statsmodels.stats.power import tt_ind_solve_power # 检测0.55 vs 0.5的差异，α=0.05，功效=80% required_n = tt_ind_solve_power(effect_size=0.1, alpha=0.05, power=0.8) print(f"所需样本量：{int(required_n)}次试验")

4.2 多重检验校正

Bonferroni校正示例：

tests = [0.03, 0.01, 0.005] # 三个检验的原始P值 corrected = [min(1, p*len(tests)) for p in tests] print(f"校正后P值：{corrected}")

4.3 可视化决策

import matplotlib.pyplot as plt p0 = 0.5 n = 100 alpha = 0.05 critical_val = binom.ppf(1-alpha, n, p0) x = np.arange(0, n+1) y = binom.pmf(x, n, p0) plt.bar(x, y) plt.axvline(critical_val, color='red', linestyle='--') plt.fill_between(x[x>=critical_val], y[x>=critical_val], color='pink') plt.title(f"拒绝域 (n={n}, α={alpha})")