前言先说清楚一件事本文讲的代理池是分摊你自己有权发起的请求的工程手段不是「绕过封禁」的工具。这两者差别很大。当你在做自己授权的采集任务、对自己的应用做多地访问测试、或者只是不想让请求来源 IP 直接暴露在对端日志里时一个受管的出口 IP 池是有正当用途的但如果某个站点已经明确封了你返回 403、封 IP、上验证码那是它在表达「不欢迎你」此时换一个 IP 继续打本质上就是规避对方的技术措施正确做法是停下来、走官方 API 或联系站点申请许可。这条边界会贯穿全文。第二个误解是「代理池就是一堆免费代理 IP 的列表」。一个能用的池子和一份列表是两回事列表只是原料池子真正值钱的部分是校验、评分、淘汰这套持续运行的机制。没有这套机制你手里的地址会在几个小时内烂掉大半。第三代理池依赖第三方库requests之类和外部网络本机没有 Python 解释器、也没有装任何第三方库所以下面的代码无法在本机运行验证只能逐行人工推演示例里的代理地址全部是我自己编的本地占位数据不指向任何真实服务。NumPy 那类库需要pip installrequests同样如此本文正文只用标准库就能说明架构。本文讲三件事为什么需要多个出口 IP、池子的整体架构、以及采集校验评分淘汰四个模块各自干什么。一、为什么需要多个出口 IP——先把正当边界划清「多个出口 IP」本身是个中性需求常见的正当场景有三类第一类是分布式采集自己拥有权限的任务。比如你所在的公司有一批自建的边缘节点需要从各地探测服务可用性或者你从数据提供方拿到了 API 配额按官方文档允许的方式并发拉取但对方对单个源 IP 的连接数有上限于是需要多个出口来分摊。注意关键词是「自己有权发起」和「对方允许的并发」。第二类是隐私与来源隔离。你不想让每一次请求都携带同一个可以直接定位到你的源 IP这在公开数据的低频抓取里很常见。第三类是测试自己应用的地域表现。比如验证 CDN 在不同地区的解析、验证你自己后端对不同来源的限流策略是否生效。这时候代理池是测试基础设施被测对象是你自己的服务。反过来下面这些不是正当用途且不要写进任何工程方案站点已经封了你的 IP你换 IP 继续请求站点要求登录或付费你换 IP 去绕开限制用大量出口 IP 对同一个站点发起高并发把对方的限流策略「压」过去。所以池子的设计目标从一开始就要写清楚它是为了在授权范围内平滑地分摊请求而不是为了在被拒绝后继续请求。这个目标会直接决定后面「淘汰」模块的行为——地址失效了就淘汰而不是「换个地址再试一次那个被拒的目标」。二、代理池的整体架构一个典型的池子由四个模块串起来中间用一份共享的池状态内存里是一个字典落到磁盘可能是一张表或一个 JSON 文件连接模块输入输出频率失败时的后果采集collect你已经获得授权的地址来源候选地址低小时级候选变少池子补充不及校验validate候选池内地址可用标记、延迟高分钟级坏地址被当成好地址用评分score校验结果、使用结果每个地址的分数每次事件排序失真优先用到差地址淘汰evict分数、失败计数、时间移除或降权每次事件池子被垃圾地址占满用一句更直白的话概括采集负责「有货」校验负责「真货」评分负责「排好序」淘汰负责「清垃圾」。缺少任何一环池子都会在运行一段时间后退化成一份随机列表。这里要强调一个容易被忽略的设计原则调用方不应该直接看到池内的原始列表。正确的接口是「给我一个当前可用的出口」而不是「把整个池子给我我自己挑」。原因有二一是把选择逻辑评分、健康检查集中在池内调用方无脑取用即可二是避免调用方拿到一个坏地址后自己去重试把「淘汰」这层绕过。对外暴露两个方法就够了get()取一个report(proxy, ok)回传这次使用的结果。三、池的四个模块采集、校验、评分、淘汰采集本文不展开任何具体的采集来源和抓取手法——免费公开代理来源本身就不可信可能是蜜罐、会记录你的流量、甚至做中间人而「去哪抓代理」也不是一个合规的工程问题。工程上你应当只从你有权使用的来源获取自建代理、公司内部网关、你付费购买并签署了服务条款的代理服务、云厂商提供的中转 IP。这一层只需要一个函数collect() - list[Proxy]返回你合法得到的候选。校验核心是「用一个你确信稳定、且允许你探测的目标去验证代理是否真的可用并测量延迟」。校验要关注三件事——连通性能不能建连并及时返回、延迟决定后面排序、以及是否泄露真实来源有些劣质代理根本不做转发而是直接透传你的请求。校验必须是可失败的超时、返回码不对、耗时过长都算失败。评分不要用一个布尔值表示「可用不可用」那太脆。用一个连续的分数成功加分、失败减分分数随时间轻微衰减避免一个很久以前的好地址永远排在最前。分数的作用是排序调用方永远优先拿到分数最高的地址。淘汰当分数低于阈值、连续失败次数超过上限、或者距离上次成功太久就把地址从池里移除。淘汰是池子保持「新鲜」的唯一手段。把评分和淘汰分开写是为了让「降权」和「移除」成为两个独立决策一个偶尔抖动的地址应该降权但保留一个连续失败的地址才该被移除。四、一个最小骨架下面这段代码只演示数据结构与四个模块的骨架不涉及任何真实的网络请求代理地址是自造的占位数据192.0.2.0/24是 RFC 5737 专门留给文档示例的网段不会指向真实主机。# 适用于 Python 3.10X | None 这种联合类型注解从 3.10 起可用# 3.8 / 3.9 请改用 typing.Optional / typing.Dict / typing.Tupleimport timefrom dataclasses import dataclass, fielddataclassclass Proxy:host: strport: intscore: float 1.0 # 初始中性分ok_count: int 0fail_count: int 0consecutive_fail: int 0last_ok: float 0.0propertydef url(self) - str:return fhttp://{self.host}:{self.port}class ProxyPool:def __init__(self, min_score: float 0.2, max_consecutive_fail: int 3):self._items: dict[str, Proxy] {}self._min_score min_scoreself._max_consecutive_fail max_consecutive_faildef add(self, host: str, port: int) - None:采集模块的出口把合法来源得到的候选放进池子p Proxy(host, port)self._items[p.url] pdef get(self) - Proxy | None:对外接口返回当前分数最高的可用地址usable [p for p in self._items.values()if p.score self._min_score]if not usable:return Nonereturn max(usable, keylambda p: p.score)def report(self, proxy: Proxy, ok: bool, latency: float 0.0) - None:对外接口调用方回传本次使用结果驱动评分与淘汰now time.time()if ok:proxy.ok_count 1proxy.consecutive_fail 0proxy.last_ok nowproxy.score 0.1else:proxy.fail_count 1proxy.consecutive_fail 1proxy.score - 0.3self._evict()def _evict(self) - None:for url in [u for u, p in self._items.items()if p.consecutive_fail self._max_consecutive_failor p.score self._min_score]:del self._items[url]def __len__(self) - int:return len(self._items)get()里用的是max(..., key...)线性扫描池子规模在几百到几千时完全够用真正上量可以换成一个按分数排序的堆。report()把「用得好不好」的事实回灌进评分这是池子能自我修正的关键——没有调用方回传评分就是闭门造车。下面这段演示一个完整的「校验 → 评分 → 淘汰」循环长什么样。校验函数本身要真的去探测这里只留接口# 适用于 Python 3.10内置泛型 tuple[...] 从 3.9 起可用联合类型从 3.10 起可用import timedef validate(proxy, timeout: float 3.0) - tuple[bool, float]:探测代理是否可用并返回 (是否可用, 延迟秒数)。真实实现应使用你确信稳定的、允许探测的目标并对连接失败、超时、异常返回码统一判为不可用。raise NotImplementedError(请按你获得授权的探测目标实现)def refresh(pool, interval: float 60.0) - None:while True:for proxy in list(pool._items.values()):start time.time()try:ok, _ validate(proxy)except Exception:ok Falsepool.report(proxy, ok, time.time() - start)time.sleep(interval)refresh直接读了pool._items因为校验循环本身属于池的内部机制不属于「对外接口」——对外仍然只有get()和report()。注意refresh里对validate包了except Exception校验本身是会抛异常的连接被拒、DNS 失败、TLS 报错不接住就会让整个刷新循环挂掉。但也不要写裸except:那会把KeyboardInterrupt一起吞掉让你无法用 CtrlC 停止程序。常见坑点❌ 把「代理池」当成「换 IP 绕封禁」的组件站点封了就换地址继续请求。✅ 池子只服务于授权任务一旦目标站点明确拒绝403、封 IP、要求验证就停止对该目标的请求改走官方 API 或申请许可。❌ 从公开免费代理站抓一大堆地址直接用不做任何校验。✅ 免费公开代理来源不可信可能是蜜罐或中间人只从有权使用的来源获取并且每个地址都必须经过实际校验才允许进池。❌ 用一个bool表示地址可用性True/False一刀切。✅ 用连续分数 失败计数 最后一次成功时间三个维度共同决策分数低的降权、连续失败的移除。❌ 采集校验评分淘汰全塞在一个while True里校验失败就把整个进程崩掉。✅ 分层解耦每层单独可测校验对异常做兜底但用except Exception而非裸except:避免吞掉KeyboardInterrupt。❌ 把池内原始列表直接返回给调用方让调用方自己挑、自己重试。✅ 只暴露get()和report(proxy, ok)两个接口选择和淘汰逻辑留在池内避免绕过健康检查。❌ 只在启动时校验一次之后再也不检查。✅ 按固定间隔持续校验并让分数随时间衰减否则一个几小时前可用的地址会一直排在最前。❌ 把代理的账号、密码明文写进代码或提交进仓库。✅ 凭据走环境变量或专门的密钥管理配置文件加进忽略清单日志里也不要打印完整的代理 URL。❌ 认为「池子越大越好」无脑堆地址。✅ 池子的有效容量取决于校验能力一批良莠不齐的地址只会让校验把时间耗在坏地址上宁少而精。总结模块一句话职责关键设计点采集从有权使用的来源得到候选地址不碰公开免费代理站来源可追溯校验确认地址真的能用并测延迟必须可失败、有超时、防透传泄露真实来源评分用连续分数给地址排序成功加分、失败减分、随时间衰减淘汰把坏地址清出池子连续失败或分数过低即移除对外接口get()取用、report()回传不暴露原始列表选择逻辑不外包代理池是一个典型的「运维型」组件代码不难难在持续运行的机制和边界意识。技术上讲它的价值在于把「一堆地址」变成「一组被反复验证过、排序合理的出口」合规上讲它的价值只在你有权发起那些请求时才成立。如果某个站点已经封了你池子帮不了你也不该帮你——正确的动作是停止然后去找官方渠道。参考HTTP 状态码语义以 MDN 的 HTTP 状态码文档为准代理相关的标准库用法以 Python 官方文档urllib.request章节为准本机无 Python 解释器本文代码未运行仅作人工推演。
