Python爬虫实战：高效抓取壁纸网站图片并应对反爬策略

2026/8/13 6:32:34

1. 项目缘起：从手动收藏到自动化归档

作为一个经常需要找壁纸的程序员，我收藏了不少壁纸网站，其中就包括像jj20.com这样资源丰富的站点。手动一张张下载，效率低不说，还容易遗漏。更重要的是，很多网站为了防止资源被批量抓取，会设置一些反爬机制，比如jj20.com就明确提示“本网站使用安全服务防护恶意自动程序”。这反而激起了我的兴趣：如何用 Python 写一个既高效、又稳定，还能绕过基础防护的壁纸爬取程序？这不仅仅是写几行requests和BeautifulSoup那么简单，它涉及到对网页结构的深度分析、请求策略的优化以及应对反爬的实战技巧。今天，我就把这个项目的完整思路、代码实现和踩过的坑，毫无保留地分享出来。无论你是刚入门 Python 爬虫的新手，还是想了解如何应对简单反爬策略的同行，这篇文章都能给你提供一套可直接复用的解决方案。

2. 目标网站分析与爬虫策略制定

在动手写代码之前，花时间分析目标网站的结构和行为模式，是决定爬虫成败的关键。盲目开始，很容易陷入反复调试和请求被封禁的困境。

2.1 网站结构与数据定位

首先，我们打开http://www.jj20.com/。这是一个典型的图片素材网站，首页有各种分类，如“风景”、“动漫”、“美女”等。我们的目标是爬取某个分类下的高清壁纸。

分析列表页：点击进入一个分类（例如“风景壁纸”）。观察浏览器地址栏，URL 可能类似于http://www.jj20.com/bz/fj/。通过翻页，我们发现 URL 规律明显，通常是http://www.jj20.com/bz/fj/list_11_2.html这样的格式，其中11可能是分类ID，2是页码。这是爬虫获取所有壁纸列表链接的基础。
分析详情页与图片地址：点击列表中的一张壁纸，进入详情页。这里才是我们的终极目标——找到高清原图的真实地址。按下F12打开开发者工具，切换到Network(网络) 面板，然后刷新页面。在加载的资源中，过滤Img(图片) 类型，寻找尺寸最大的那张图片。它的地址可能就是类似http://img.jj20.com/up/allimg/xxxx/xxxxxxx.jpg的格式。关键点在于：详情页的HTML源码里显示的图片地址，往往不是原图，而是一个经过压缩或添加了水印的缩略图。真正的原图地址可能藏在JavaScript动态加载的数据里，或者需要通过分析图片的src属性模式进行拼接。
识别反爬机制：在浏览过程中，你可能会偶然看到“安全验证”页面，提示“本网站使用安全服务防护恶意自动程序”。这通常意味着网站部署了基于请求频率、请求头完整性或Cookie/Session验证的防护。对于jj20.com，初步观察发现，如果短时间内请求过于频繁，或使用非常规的User-Agent，触发验证页面的概率会大大增加。

2.2 核心爬取策略设计

基于以上分析，我制定了以下策略：

分步请求：先爬取所有列表页，收集详情页链接，再逐个访问详情页获取原图地址。这样做虽然速度不是最快，但将请求分散开，更符合人类浏览习惯，能有效降低被封风险。
请求头伪装：为每一个HTTP请求配置完整的、模拟真实浏览器的请求头（Headers），特别是User-Agent、Referer等字段。
请求间隔：在关键请求（如翻页、进入详情页）之间，使用time.sleep()添加随机延时，例如time.sleep(random.uniform(1, 3))，避免高频访问。
会话保持：使用requests.Session()对象来发起所有请求。Session可以自动管理Cookies，在一次会话中保持登录状态（如果需要）和某些验证信息，比单次请求更稳定。
异常处理与重试：网络请求充满不确定性，必须对可能出现的异常（如连接超时、状态码非200、触发验证页面）进行捕获，并设计合理的重试逻辑。
图片存储：根据壁纸的分类、分辨率等属性，在本地创建有结构的文件夹进行存储，方便后续管理。

3. 开发环境搭建与核心库选型

工欲善其事，必先利其器。一个清晰的环境和合适的工具库能让开发事半功倍。

3.1 Python环境与IDE

我使用的是Python 3.8+的版本，这个版本区间生态成熟，兼容性好。集成开发环境（IDE）方面，VSCode或PyCharm都是绝佳选择。VSCode轻量灵活，配合Python插件和Pylance能获得很好的开发体验；PyCharm则是专业为Python打造，其代码提示、调试和项目管理功能更为强大。对于爬虫这类项目，我更喜欢用PyCharm，因为它对虚拟环境的管理和HTTP客户端测试工具（可用于调试请求）集成得更好。

关于VSCode Python环境配置：如果你选择VSCode，确保安装了官方Python扩展。然后通过Ctrl+Shift+P打开命令面板，输入Python: Select Interpreter来选择或创建一个虚拟环境（venv）的解释器。这样项目的依赖就能与系统环境隔离。

3.2 核心第三方库

以下是本项目需要用到的库及其作用：

requests：HTTP库的“瑞士军刀”，用于发送所有GET/POST请求。它比标准库的urllib更简洁易用。
```
pip install requests
```
BeautifulSoup4 (bs4)：HTML和XML解析库。当网页结构规整时，用它来提取标签和数据非常方便直观。
```
pip install beautifulsoup4
```
lxml：一个高性能的HTML/XML解析器。BeautifulSoup可以指定lxml作为其解析后端，速度比默认的html.parser快很多。
```
pip install lxml
```
fake-useragent：一个用来随机生成真实浏览器User-Agent字符串的库。避免一直使用同一个UA被识别。
```
pip install fake-useragent
```

为什么选BeautifulSoup + lxml而不是其他？对于jj20.com这类静态内容为主的网站，页面结构相对固定，BeautifulSoup的CSS选择器或find方法足以应对，学习曲线平缓。虽然PyQuery或parsel（Scrapy用的）也很强大，但BeautifulSoup的文档和社区资源最丰富，遇到问题更容易找到答案。lxml作为解析引擎保证了速度。

4. 爬虫核心代码实现与逐行解析

理论分析完毕，现在进入实战编码环节。我会将整个爬虫分解为几个功能模块，并详细解释每一行代码的意图。

4.1 模块一：请求会话与工具函数

首先，我们创建一个spider.py文件，并导入必要的库，同时初始化一个全局的请求会话和一些工具。

import requests from bs4 import BeautifulSoup import time import random import os from fake_useragent import UserAgent import logging from urllib.parse import urljoin # 配置日志，方便查看运行状态和错误 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s') logger = logging.getLogger(__name__) class WallpaperSpider: def __init__(self, base_url='http://www.jj20.com'): self.base_url = base_url self.session = requests.Session() # 创建会话，保持Cookies self.ua = UserAgent() # 用于生成随机User-Agent # 初始化会话的请求头，Referer先设为网站首页 self.session.headers.update({ 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', 'Accept-Encoding': 'gzip, deflate', 'DNT': '1', 'Connection': 'keep-alive', 'Upgrade-Insecure-Requests': '1', 'Referer': self.base_url + '/', # 初始Referer })

代码解析：

logging：用于输出信息、警告和错误。在生产中，可以将日志写入文件，方便后续排查问题。
UserAgent：每次请求前，我们会用self.ua.random来生成一个随机的User-Agent，动态更新到会话头中。
requests.Session()：这是本爬虫稳定性的核心。它会在内部自动处理Cookies，使得多次请求像是在同一个浏览器标签页中发生的一样。
初始的headers：我们预先设置了一些通用的、浏览器会发送的请求头。特别注意Referer，很多网站会检查这个字段，它表示请求是从哪个页面发起的。从一个详情页请求图片时，将Referer设置为该详情页的URL，会显得更“真实”。

4.2 模块二：获取列表页所有详情链接

这个函数负责遍历某个分类下的所有列表页，并提取出每一个壁纸详情页的链接。

def get_detail_links_from_category(self, category_path, max_pages=5): """ 根据分类路径，获取前max_pages页的所有壁纸详情页链接 :param category_path: 分类路径，如 '/bz/fj/' :param max_pages: 最大爬取页数 :return: 详情页链接列表 """ detail_links = [] for page in range(1, max_pages + 1): # 构造列表页URL，这里假设页码规律是 list_{id}_{page}.html # 需要根据实际网站结构调整 pattern list_url = f"{self.base_url}{category_path}list_11_{page}.html" logger.info(f"正在抓取列表页: {list_url}") try: # 动态更新本次请求的User-Agent headers = {'User-Agent': self.ua.random} # 使用会话发起请求 resp = self.session.get(list_url, headers=headers, timeout=10) resp.raise_for_status() # 如果状态码不是200，抛出HTTPError异常 # 使用lxml解析器，速度更快 soup = BeautifulSoup(resp.text, 'lxml') # 关键步骤：找到详情页链接的HTML模式 # 需要打开浏览器开发者工具，查看列表页中一个壁纸项的HTML结构 # 假设每个壁纸项在一个class为‘item’的div里，里面的a标签链接到详情页 items = soup.find_all('div', class_='item') # 这个选择器需要根据实际网站调整 for item in items: a_tag = item.find('a') if a_tag and a_tag.get('href'): # 拼接完整的详情页URL，使用urljoin处理相对路径 detail_url = urljoin(self.base_url, a_tag['href']) detail_links.append(detail_url) logger.debug(f"找到详情页链接: {detail_url}") logger.info(f"第{page}页完成，找到{len(items)}个链接。") # 随机延时，模拟人类浏览 time.sleep(random.uniform(2, 4)) except requests.exceptions.RequestException as e: logger.error(f"请求列表页 {list_url} 失败: {e}") # 可以在这里加入重试逻辑 continue except Exception as e: logger.error(f"解析列表页 {list_url} 时发生未知错误: {e}") continue logger.info(f"共收集到 {len(detail_links)} 个详情页链接。") return detail_links

实操心得与避坑点：

选择器 (selector) 的确定：代码中的soup.find_all('div', class_='item')是一个示例。你必须通过浏览器的“检查元素”功能，亲自查看jj20.com列表页的真实HTML结构。可能是li标签，也可能是div带有其他类名。找到包裹每个壁纸项的最小公共父元素及其特征，是这一步成功的关键。
urljoin的使用：网页中的链接可能是相对路径（如/bz/xxx/123.html）或绝对路径。urljoin(base_url, href)能智能地拼接出完整的URL，避免链接错误。
异常处理：网络请求可能因超时、连接拒绝、404等原因失败。用try...except包裹起来，并记录错误日志，可以让程序在遇到部分页面失败时继续运行，而不是整体崩溃。
延时策略：time.sleep(random.uniform(2, 4))在每处理完一页后暂停。随机化延时时间比固定延时更难被检测。这个时间间隔可以根据实际情况调整，在效率和安全性之间取得平衡。

4.3 模块三：从详情页提取高清图片地址

这是最核心也最可能出问题的环节。我们需要从详情页的HTML或JavaScript数据中，定位到最高清版本图片的URL。

def get_image_url_from_detail(self, detail_url): """ 从壁纸详情页解析出高清图片的直连地址 :param detail_url: 详情页URL :return: 图片直连URL，如果解析失败则返回None """ logger.info(f"正在解析详情页: {detail_url}") try: # 更新Referer为当前详情页，模拟从列表页点击进来的行为 headers = { 'User-Agent': self.ua.random, 'Referer': detail_url # 重要！很多图片服务器会校验Referer } resp = self.session.get(detail_url, headers=headers, timeout=10) resp.raise_for_status() soup = BeautifulSoup(resp.text, 'lxml') # 方法1：尝试直接查找高清大图的img标签 # 通常高清图会在一个id或class比较特殊的div里，或者img标签本身有‘original’、‘src’等属性 # 例如： <img id="bigImg" src="真实地址"> high_res_img = soup.find('img', id='bigImg') if high_res_img and high_res_img.get('src'): img_url = urljoin(self.base_url, high_res_img['src']) logger.info(f"通过ID选择器找到图片: {img_url}") return img_url # 方法2：如果方法1不行，可能图片地址在JavaScript变量或某个data属性中 # 例如： <div>def download_image(self, img_url, save_dir, filename=None): """ 下载图片并保存到本地 :param img_url: 图片直连URL :param save_dir: 保存目录 :param filename: 指定文件名，如果为None则从URL或内容中提取 :return: 成功返回保存路径，失败返回None """ if not img_url: return None # 确保保存目录存在 os.makedirs(save_dir, exist_ok=True) # 生成文件名 if not filename: # 从URL中提取文件名，如果URL中包含查询参数，需要分割 filename = os.path.basename(img_url).split('?')[0] # 如果还是空的，用时间戳 if not filename: filename = f"{int(time.time())}_{random.randint(1000, 9999)}.jpg" # 确保文件名安全，移除非法字符 filename = "".join(c for c in filename if c.isalnum() or c in ('-', '_', '.')).rstrip() save_path = os.path.join(save_dir, filename) # 检查文件是否已存在，避免重复下载 if os.path.exists(save_path): logger.info(f"文件已存在，跳过下载: {save_path}") return save_path logger.info(f"开始下载: {img_url}") try: # 下载图片时，Referer设置为图片所在详情页的域名或路径，有时是必须的 headers = { 'User-Agent': self.ua.random, 'Referer': self.base_url # 或者可以尝试更具体的Referer } # stream=True 以流式方式下载大文件，避免内存占用过高 resp = self.session.get(img_url, headers=headers, stream=True, timeout=30) resp.raise_for_status() # 从响应头中获取文件大小和类型（可选） total_size = int(resp.headers.get('content-length', 0)) # 检查Content-Type确认是图片 content_type = resp.headers.get('content-type', '') if 'image' not in content_type: logger.warning(f"下载的内容不是图片 (Content-Type: {content_type})，URL: {img_url}") # 可以尝试保存为其他格式，或直接跳过 # return None # 以二进制写入模式保存图片 with open(save_path, 'wb') as f: # 如果知道文件大小，可以显示进度（可选） if total_size == 0: f.write(resp.content) else: downloaded = 0 for chunk in resp.iter_content(chunk_size=8192): if chunk: f.write(chunk) downloaded += len(chunk) # 可以在这里添加进度条显示，例如每10%打印一次 # progress = (downloaded / total_size) * 100 # if int(progress) % 10 == 0: # logger.info(f"下载进度: {progress:.1f}%") logger.info(f"图片保存成功: {save_path}") # 下载后也休息一下 time.sleep(random.uniform(0.5, 1.5)) return save_path except requests.exceptions.RequestException as e: logger.error(f"下载图片失败 {img_url}: {e}") # 如果是因为网络问题，可以加入重试机制 return None except IOError as e: logger.error(f"保存图片文件失败 {save_path}: {e}") return None

关键细节与优化：

流式下载 (stream=True)：对于大尺寸壁纸，文件可能达到几兆甚至十几兆。使用stream=True参数，requests不会一次性将整个响应内容读入内存，而是以数据块（chunk）的形式迭代读取，写入文件。这对内存更友好，也是下载大文件的推荐方式。
文件名校验与生成：从URL提取文件名时，需要处理可能附带的查询参数（?之后的部分）。os.path.basename(img_url).split('?')[0]这个操作可以干净地获取主文件名。同时，用列表推导式过滤掉文件名中的非法字符，确保文件能安全创建在所有操作系统上。
重复下载检查：if os.path.exists(save_path):这一行检查可以避免在程序中断后重新运行时，重复下载已成功的图片。
内容类型检查：检查Content-Type响应头是一个好习惯。如果服务器返回的不是image/jpeg,image/png等，而是text/html（比如一个错误页面或验证页面），那么我们就知道这次请求可能出了问题，没有拿到真正的图片数据。

4.5 模块五：主流程串联与执行

最后，我们将所有模块串联起来，形成一个完整的工作流。

def crawl_category(self, category_path, save_root_dir='downloads', max_pages=3): """ 爬取一个分类的主流程 :param category_path: 分类路径 :param save_root_dir: 图片保存的根目录 :param max_pages: 最大爬取列表页数 """ logger.info(f"开始爬取分类: {category_path}") # 1. 获取所有详情页链接 detail_links = self.get_detail_links_from_category(category_path, max_pages) if not detail_links: logger.warning("未找到任何详情页链接，爬取终止。") return # 2. 遍历每个详情页，下载图片 success_count = 0 fail_count = 0 for idx, link in enumerate(detail_links, 1): logger.info(f"处理进度: {idx}/{len(detail_links)}") # 获取图片URL img_url = self.get_image_url_from_detail(link) if not img_url: logger.warning(f"未能获取图片URL，跳过: {link}") fail_count += 1 continue # 创建分类子目录，例如 downloads/风景/ category_name = category_path.strip('/').split('/')[-1] or 'unknown' save_dir = os.path.join(save_root_dir, category_name) # 下载并保存图片 result = self.download_image(img_url, save_dir) if result: success_count += 1 else: fail_count += 1 logger.info(f"爬取完成！成功: {success_count}, 失败: {fail_count}") # 主函数，程序入口 if __name__ == '__main__': spider = WallpaperSpider() # 示例：爬取‘风景’分类的前2页 # 注意：category_path 需要根据网站实际结构修改 spider.crawl_category(category_path='/bz/fj/', max_pages=2, save_root_dir='jj20_wallpapers') # 可以依次爬取多个分类 # categories = ['/bz/fj/', '/bz/dm/', '/bz/mn/'] # for cat in categories: # spider.crawl_category(category_path=cat, max_pages=2) # # 爬完一个分类后，可以休息久一点 # time.sleep(random.uniform(5, 10))

运行与调整：

将上述所有代码块按顺序保存到一个py文件中。
在文件末尾的__main__部分，修改category_path为你实际分析出的分类路径。
首次运行时，建议将max_pages设为1或2，进行小规模测试。
运行程序，观察日志输出。如果出现大量“无法找到图片地址”的警告，就需要回到模块三，使用之前提到的保存HTML的方法进行调试，调整图片地址的提取逻辑。

5. 高级话题：应对反爬与策略优化

当基础爬虫能运行后，我们可能会遇到更严格的封锁。以下是几种进阶应对策略。

5.1 识别与处理验证页面

如果程序运行中突然开始收到非图片数据，或者HTML内容里包含“安全验证”、“自动程序”等字样，说明触发了反爬。

应对策略：

立即检测：在get_image_url_from_detail和download_image函数中，在解析HTML或检查Content-Type之前，可以先判断响应文本是否包含验证关键词。

if "安全验证" in resp.text or "自动程序" in resp.text: logger.warning(f"触发反爬验证页面！URL: {resp.url}") # 1. 立即延长等待时间，比如sleep 30秒 # 2. 可以考虑更换User-Agent，甚至清空session的cookies重新开始 # 3. 将当前URL加入重试队列，稍后再试 time.sleep(30) return None # 或 raise一个特定异常

降低请求频率：这是最有效的方法。进一步增加time.sleep的随机间隔范围，尤其是在连续请求多个详情页之后，可以模拟更长时间的“浏览”行为。
使用代理IP池：当单个IP地址的请求过于频繁时，网站可能会封禁该IP。使用代理IP轮换是解决方案。你可以订阅一些代理IP服务，或者在代码中集成像requests搭配proxies参数进行请求。
```
proxies = { 'http': 'http://your-proxy-ip:port', 'https': 'http://your-proxy-ip:port', } resp = self.session.get(url, headers=headers, proxies=proxies, timeout=10)
```
注意：免费代理IP大多不稳定，商用代理服务需要成本。对于个人小规模爬取，优先优化请求策略而非直接上代理。

5.2 异步加速与断点续传

当需要爬取大量数据时，同步请求（一个接一个）会非常慢。我们可以使用asyncio和aiohttp库进行异步并发请求，极大提升效率。但异步编程复杂度更高，且对目标网站压力更大，更容易触发反爬，需谨慎使用。

断点续传的思路是：将成功下载的图片URL或详情页URL记录到一个文件（如success.txt）或数据库中。每次启动程序时，先加载这个记录，过滤掉已经成功的内容，只爬取新的。这在我们代码中通过os.path.exists检查实现了文件层面的去重，但对于URL列表，还需要在程序开始时读取历史记录。