文档机器学习教程【免费下载链接】sklearn-doc-zh:book: [译] scikit-learnsklearn 中文文档项目地址https://gitcode.com/gh_mirrors/sk/sklearn-doc-zh点击查看免费下载本文围绕 scikit-learn 用户指南「1.15 等渗回归Isotonic Regression」章节展开讲解该算法在 scikit-learn 中文文档中的定位、数学定义、底层求解思路、核心 API 参数以及可运行的实战示例。读完本文你将掌握sklearn.isotonic.IsotonicRegression的使用方法、单调约束回归的适用场景以及它与概率校准docs/master/17.md之间的内在联系。一、等渗回归是什么用户指南中的定位在本仓库sklearn-doc-zhscikit-learn 官方文档中文翻译版对应 0.21.3 版本的用户指南目录中「等渗回归」是监督学习章节的第 15 个子主题编号为 1.15见 docs/master/SUMMARY.md 与 README.md 的目录结构。中文译名在不同章节存在细微差别本章标题译为「等式回归」而概率校准章节docs/master/17.md中使用「保序回归」示例索引docs/examples/README.md中使用「序回归」。它们对应的英文术语均为 Isotonic Regression等渗回归、保序回归本文章统一采用「等渗回归」。等渗回归解决的问题本质上是在输出必须单调非降或非增的约束下找到与观测数据最接近的拟合值。它的核心思想是不假设数据服从某种参数化形式如直线、多项式而是直接输出一组满足单调性约束的最优估计值这些值在插值意义上构成一条分段线性函数。二、数学定义优化目标与约束条件IsotonicRegression类对数据进行非降函数拟合。它求解如下带约束的优化问题优化目标最小化加权平方误差$$\min \sum_i w_i \left( y_i - \hat{y}_i \right)^2$$约束条件单调非降$$\hat{y}_{min} \hat{y}_1 \le \hat{y}_2 \le \cdots \le \hat{y}n \hat{y}{max}$$其中每一个权重 $w_i$ 都是严格正数strictly positive每一个观测值 $y_i$ 都是任意实数可以是负值、零或正值不要求非负。从几何上看这个问题就是给定一组带权重的数据点 $(y_i, w_i)$在要求输出序列 $\hat{y}$ 单调不减的前提下使加权平方误差尽可能小。其最优解是一个由平方误差接近的不减元素组成的向量——也就是说$\hat{y}$ 既要尽量贴近原始数据 $y$最小化误差又要严格满足 $\hat{y}_1 \le \hat{y}_2 \le \cdots \le \hat{y}_n$ 的次序约束尊重单调性。三、为什么输出是分段线性函数算法直觉等渗回归的输出实际上形成一条分段线性函数。这源于求解该优化问题的经典算法——PAVAPool Adjacent Violators Algorithm池相邻违例算法从原始序列出发相邻数据点之间如果出现违例即 $\hat{y}i \hat{y}{i1}$违反非降约束则将该相邻两个点合并为一个块pool合并后的块用该块内数据的加权平均值作为共同估计值保序均值反复检查合并后新序列是否仍存在违例若有则继续合并相邻块直到整个序列满足单调约束为止。最终得到的估计值在每一个块内部取常数加权均值而块与块之间的估计值逐步上升因此在插值视角下相邻块之间的估计用线性连接整体呈现为一条单调不减的分段线性函数。这也是示例图中阶梯 折线形态的由来。四、核心 API 与参数详解以本仓库对应的 scikit-learn 0.21.3 官方文档为准sklearn.isotonic.IsotonicRegression的构造参数与主要方法如下参数 / 方法取值与默认值作用increasingbool或auto默认True决定拟合函数的单调方向True为单调递增非降False为单调递减非增auto时根据数据自动选择方向y_minfloat或None默认None预测值下限对分段线性函数施加下界截断y_maxfloat或None默认None预测值上限对分段线性函数施加上界截断out_of_bounds{nan, clip, raise}默认nan指定对超出训练数据范围的新样本如何进行外推nan返回缺失值、clip截断到边界值、raise抛出异常fit(X, y, sample_weightNone)——拟合模型sample_weight可传入每样本权重对应目标函数中的 $w_i$要求严格正数返回selfpredict(T)——对新数据T进行预测输出满足单调约束的分段线性取值transform(T)——与predict输出一致作为 Transformer 接口以配合Pipeline使用关键点目标函数中的权重 $w_i$ 在代码层面由fit的sample_weight参数传入且文档明确规定权重必须为严格正数——这与数学定义中每一个 $w_i$ 是 strictly 正数的假设完全对应是保证优化问题良定义避免除零与退化的前提。五、实战一个完整可运行的示例下面是一个最小化的完整示例对带噪声的单调递增数据拟合等渗回归并与原始数据对比。import numpy as np from sklearn.isotonic import IsotonicRegression # 1. 构造单调递增的含噪数据 rng np.random.RandomState(0) X np.arange(20) * 0.1 y X rng.normal(scale0.2, sizelen(X)) # 2. 创建等渗回归模型强制单调递增输出裁剪到观测范围 iso IsotonicRegression( increasingTrue, # 非降拟合 y_minNone, # 不设下界 y_maxNone, # 不设上界 out_of_boundsclip # 新样本越界时截断到边界 ) # 3. 拟合也可通过 sample_weight 传入严格正数的样本权重 iso.fit(X, y) # 4. 预测结果严格满足 y_hat[0] y_hat[1] ... y_hat[n-1] y_pred iso.predict(X) # 5. 对比拟合值与原始值的加权平方误差之和最小且序列单调不减 print(np.all(np.diff(y_pred) 0)) # True运行后可以验证y_pred序列严格单调不减同时与原始含噪数据保持最小加权平方误差——这正是等渗回归在单调性约束下最优逼近的核心特性。如果需要拟合单调递减关系只需设置increasingFalse若不确定数据方向可设置increasingauto让模型自动判断。在实际业务中若已知预测值必须落在某个物理区间例如概率、分数必须在 01 之间可配合y_min、y_max进行截断。六、典型应用场景1. 概率校准与 1.16 章节联动等渗回归在 scikit-learn 中最经典的应用之一是概率校准。在 docs/master/17.md1.16 概率校准中明确说明scikit-learn 提供两种概率校准方法——基于 Platt 的 Sigmoid 模型的参数化方法以及基于等渗回归保序回归的非参数方法sklearn.isotonic模块。使用时通过CalibratedClassifierCV(methodisotonic)指定from sklearn.calibration import CalibratedClassifierCV from sklearn.svm import SVC clf CalibratedClassifierCV(SVC(), methodisotonic, cv5) clf.fit(X_train, y_train)等渗回归在这里的作用是将分类器输出的原始分数通过一条单调非降的分段线性映射重新校准为更接近真实概率的输出且不引入参数化假设因此对分布形态更宽容。注意 17.md 同时提醒校准所用数据应与模型拟合数据不相交避免过拟合导致的校准偏差。2. 需要单调性约束的回归问题当领域知识明确要求输入越大输出不应越小或反之时——例如剂量-效应曲线、评分卡建模、价格与需求关系等——可以直接使用IsotonicRegression作为带单调约束的非参数回归器无需手工设计满足单调性的参数化函数。3. 与其他回归方法的差异线性回归 / 岭回归假设全局线性关系参数化、外推能力强但无法表达任意形状的单调关系等渗回归无参数化形式假设只施加单调约束拟合形状完全由数据驱动输出为分段线性函数代价是不适合强外推out_of_bounds参数决定了越界样本的处理方式。七、仓库中的示例与可视化资源本仓库在示例索引docs/examples/README.md中收录了对应的官方示例「序回归」plot_isotonic_regression其缩略图如下该示例与本文第二节、第三节描述的数学定义和分段线性输出形态直接对应生成含噪数据后用IsotonicRegression拟合出单调非降的分段线性曲线直观展示阶梯合并 折线连接的效果。文章开头的大图docs/master/img/87ae31ef4f2e7b4385b9a25aa8fed533.jpg正是用户指南 1.15 章节内嵌的同一示例输出图。八、小结等渗回归Isotonic Regression在满足单调非降或非增约束的前提下最小化加权平方误差输出由平方误差接近的不减元素组成的向量并形成分段线性函数权重 $w_i$ 严格为正观测值 $y_i$ 可为任意实数对应fit的sample_weight参数核心 API 包括increasing、y_min、y_max、out_of_bounds四个构造参数与fit/predict/transform方法最典型的应用是与CalibratedClassifierCV(methodisotonic)配合完成非参数概率校准详见 docs/master/17.md完整示例与可视化见示例索引 docs/examples/README.md 中的「序回归」条目。赞分享文档机器学习教程【免费下载链接】sklearn-doc-zh:book: [译] scikit-learnsklearn 中文文档项目地址https://gitcode.com/gh_mirrors/sk/sklearn-doc-zh点击查看免费下载相关推荐Umi-OCR离线OCR实战指南截图识别到批量转文字的4个步骤Umi OCR离线OCR实战指南截图识别到批量转文字的4个步骤 Umi OCR 是一款免费、开源的离线 OCR 软件不联网、解压即用适合需要整理文字资料的OCR桌面应用ML-For-Beginners 回归模块2-Regression以北美南瓜价格为案例的 Scikit-learn 回归建模实战ML For Beginners 回归模块2 Regression以北美南瓜价格为案例的 Scikit learn 回归建模实战 本篇基于 ML For教程机器学习人工智能逻辑斯蒂回归Logistic Regression核心原理与医疗数据实战案例详解逻辑斯蒂回归Logistic Regression核心原理与医疗数据实战案例详解 一、痛点直击二分类问题的有效工具 你是否在面对二分类问题时陷入选择困境上一篇ICE.js插件系统终极指南如何快速扩展框架功能下一篇神经风格迁移终极指南内容与风格权重的黄金平衡法则创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
