MidScene.js 自然语言驱动浏览器自动化新手 30 分钟上手指南【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidScene.js 是一个开源的 GUI 自动化 Agent你用一句中文或英文告诉它帮我登录把商品价格取出来它就驱动浏览器替你把事做完。它和 Selenium、Playwright 这类工具的差别在于MidScene.js 不写选择器、不读 DOM 结构而是像人看屏幕一样直接分析截图来找按钮、找输入框——页面怎么改版只要肉眼能看见它就能继续工作。这篇介绍面向零基础或只会一点皮毛的你不需要会编程读完就能把第一条指令跑起来。3 分钟跑通第一条指令环境要求很低装好 Node.js 18 以上和 Git 就行。把仓库拉下来git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene pnpm install但最省事的体验路径其实是 Chrome 扩展。打开 Chrome进入扩展管理页chrome://extensions开启右上角的开发者模式点加载已解压的扩展程序选择仓库里的apps/chrome-extension目录MidScene.js 图标就出现在工具栏了。在扩展侧边栏的设置里粘贴一组多模态模型的配置——这是它背后真正看懂页面的 AIQwen、UI-TARS 等都能用——保存后打开任意网页在指令框里敲一句点击登录按钮回车浏览器就会自己完成点击。跑通这一步你就已经会用 MidScene.js 了。它到底怎么工作两个比喻能说清全部机制。第一个比喻闭卷考试的监考老师。传统工具像拿着标准答案对页码页面一改版页码全乱它就瞎了。MidScene.js 则是盯着屏幕本身先截一张图交给视觉语言模型一种能看懂截图里有什么的 AI模型回答登录按钮在右上区域是蓝色矩形它再换算成坐标点下去。整个过程跟页面代码长什么样无关。第二个比喻把老板的口头安排翻译成工单。你说下单买咖啡任务规划引擎会把它拆成一串小工单——打开页面、找到商品、点规格、加购、结算——逐条执行每做完一条再截图看一眼真的做完了吗确认了才进入下一条。拿来能做什么网页填表你想注册一个账号 → 写打开注册页用户名填 test01密码填 123456勾选协议点击提交 → 你得到一个已经提交成功的账号表单校验错误它会自己看自己改。数据采集你想拿到商品列表的价格 → 写提取页面上所有商品的名称和价格返回 {name: string, price: number}[] → 你得到一份结构化的 JSON可以直接存盘或喂给下游脚本。结果核验你想确认页面状态对不对 → 写页面顶部应该显示导航栏 → 它看一眼截图返回通过或不通过这就是测试断言。跨设备重复劳动你想在手机上做同一套操作 → Android、iOS、HarmonyOS 用完全相同的指令写法 → 同一句话换台设备照样跑仓库里 示例脚本集 能看到真实长什么样。指令写法有个小技巧描述越具体越稳。点击页面顶部中央带放大镜图标的搜索框永远比点搜索命中率高。MidScene.js 自然语言指令怎么写核心就是说人话 补上位置和外观。再往深一步用录制重放嫌手写指令慢就用浏览器插件的录制功能。点录制你手动把操作做一遍停止后它自动生成一条可编辑的自然语言指令之后改改措辞就能反复执行。批量任务把任务写成 YAML 脚本文件一份文件描述打开哪个网址 做哪几步比如仓库里的 online.yaml 就是登录示例商城 → 抽取商品 → 断言价格三段式。准备好多份脚本后用 CLI 一次性批量执行MidScene.js 批量任务执行的代码在 packages/cli 里结果逐个落盘不用人盯。定时触发把批量执行命令交给系统的 cron 或 Windows 任务计划比如每天凌晨三点自动跑一轮竞对价格采集报告生成好等你上班看。桥接模式如果脚本在本地跑、浏览器在你另一台机器上桥接模式能把两者接起来远程驱动现有浏览器并实时看状态。你大概率会卡在这里Q安装扩展后跑指令报错Cannot access a chrome-extension:// URL of different extension多半是别的扩展往页面里注入了脚本和 MidScene.js 撞了。打开开发者工具找到 URL 以 chrome-extension:// 开头的标签按 ID 去扩展管理页禁用它刷新重试。Q本地用 Ollama 模型时报 403Ollama 默认只允许本机访问设置环境变量OLLAMA_ORIGINS*后重启 Ollama 即可。Q识别不准点错按钮先检查模型配置是不是支持 UI 定位的多模态模型再在指令里补上元素的位置和外观描述。两者都做了还错换更强的模型通常立竿见影。Q控制 Android 真机没反应确认 USB 调试已开启、adb 能列出设备。这是 MidScene.js 安装环节最常见的坎扩展里只跑网页不受影响。接着往下走文档主入口快速上手中英文各一份在 文档目录 下现成脚本照着抄示例指令集合含本地、在线、桥接三类场景想接进自己的测试项目看 Playwright 集成 和 API 参考问题反馈和讨论走仓库的 issue 系统参与贡献先看 CONTRIBUTING.md【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
