影刀RPA 网络请求拦截：捕获Ajax数据的正确姿势

2026/7/22 3:44:18

title: “影刀RPA 网络请求拦截：捕获Ajax数据的正确姿势”
date: 2026-07-01
author: 林焱

影刀RPA 网络请求拦截：捕获Ajax数据的正确姿势

很多网站的数据不直接写在HTML里，而是页面加载完后通过Ajax异步请求获取。直接抓HTML拿不到数据，用XPath也定位不到。这时候要拦截网络请求，直接拿API返回的JSON，比解析HTML干净100倍。

什么情况用什么

必须用请求拦截的场景：

页面数据通过异步Ajax加载，HTML里只有骨架
商品价格、库存、评论等数据是动态渲染的
分页数据通过XHR请求获取，URL不变只换参数
想拿到完整未经截断的原始数据

普通页面抓取就够的场景：

数据直接写在HTML里（服务端渲染）
只需要静态文本内容

拼多多店群自动化上架方案

怎么做

方法1：监听网络响应（最常用）

启动浏览器时开启网络监听，捕获特定URL的响应数据。

【影刀操作】

新建流程「拦截Ajax数据」

添加【Python】指令（先要找到目标请求URL）

# 思路：先用浏览器开发者工具（F12→Network）# 过滤XHR/Fetch类型的请求# 找到包含目标数据的那个请求URL# 记录下URL和请求参数print('请先用开发者工具分析目标网站的网络请求')

添加【打开网页】指令
- URL：https://目标网站.com
- 开启请求监听：是

添加【Python】指令（Playwright方式拦截）

importjson captured_data=[]# 监听响应事件defhandle_response(response):# 只处理包含目标数据的接口if'api/product/list'inresponse.url:try:data=response.json()captured_data.append(data)print(f'捕获到数据：{len(data.get("data", {}).get("list", []))} 条')except:passpage.on('response',handle_response)# 触发页面操作，让Ajax请求发出去page.goto('https://目标网站.com/products')page.wait_for_load_state('networkidle')# 取消监听page.remove_listener('response',handle_response)# 保存到变量yda.set_variable('raw_data',json.dumps(captured_data,ensure_ascii=False))print(f'共捕获{len(captured_data)}次响应')

方法2：直接重放API请求

分析到目标接口后，不通过浏览器，直接用Python发HTTP请求，效率更高。

【影刀操作】

添加【Python】指令

importrequestsimportjson# 从浏览器开发者工具里复制的请求头（右键请求→Copy as cURL→转换成Python）headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36','Referer':'https://目标网站.com/products','Cookie':'your_session_cookie_here','X-Requested-With':'XMLHttpRequest'}all_data=[]page_num=1whileTrue:params={'page':page_num,'pageSize':20,'category':'electronics'}resp=requests.get('https://目标网站.com/api/product/list',headers=headers,params=params,timeout=10)result=resp.json()items=result.get('data',{}).get('list',[])ifnotitems:breakall_data.extend(items)print(f'第{page_num}页，获取{len(items)}条，累计{len(all_data)}条')page_num+=1# 判断是否还有下一页total_pages=result.get('data',{}).get('totalPages',1)ifpage_num>total_pages:breakyda.set_variable('product_list',json.dumps(all_data,ensure_ascii=False))print(f'采集完成，共{len(all_data)}条数据')

方法3：拦截并修改请求（高级用法）

不只是监听，还能修改请求参数或响应内容。

【影刀操作】

# 拦截请求并修改参数defhandle_route(route):request=route.requestif'api/search'inrequest.url:# 修改请求，去掉某个限制参数new_headers=dict(request.headers)new_headers['X-Page-Size']='100'# 强制每页100条route.continue_(headers=new_headers)else:route.continue_()page.route('**/*',handle_route)page.goto('https://目标网站.com/search?keyword=test')