3步上手UI-TARS让AI替你点击、输入、操控整个电脑【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS想象一下你只需要说一句打开文档、输入 hello、然后保存屏幕上的鼠标就自己动起来了。这正是 UI-TARS 在做的事——一个由视觉语言模型驱动的 GUI 自动化智能体它看着你的屏幕思考下一步该干嘛然后真的去点击、拖拽、输入。对想批量操作电脑、跑 UI 自动化测试、或搭建桌面 Agent 的人来说它把看图→决策→执行整条链路都开源了出来。它是什么凭什么值得装UI-TARS 不是传统的按键录制工具而是一个能理解界面的 Agent。它吃进一张截图和一句自然语言指令吐出带坐标的动作点击、输入、滚动等再由ui-tars这个 Python 包把动作翻译成可执行的 pyautogui 代码。你不需要手写定位逻辑也不用维护脆弱的控件树跨分辨率、跨应用都能跑。它适合自动化工程师、测试同学以及想搭桌面 / 手机 Agent 的开发者。5分钟跑通第一个动作先装上解析包再把模型输出的一句话翻译成真实坐标pip install ui-tarsfrom ui_tars.action_parser import parse_action_to_structure_output resp Thought: Click the button\nAction: click(start_box(100,200)) parsed parse_action_to_structure_output(resp, factor1000, origin_resized_height1080, origin_resized_width1920, model_typeqwen25vl) print(parsed)到这里你手里已经握着结构化动作了剩下的执行交给 pyautogui 就行。三个核心能力看懂屏幕说出点什么UI-TARS 的强项在于感知 决策。给它一张截图它会先描述看到了什么——元素、状态、界面结构——再给出 Thought 与 Action。这意味着它能处理点那个蓝色的确认按钮这类模糊指令而不是死板的控件名。跨分辨率的坐标换算模型输出的坐标是相对值ui-tars负责智能缩放与还原把它映射回你真实屏幕上的像素位置。下面这张图就是坐标可视化效果红点标出了模型真正瞄准的位置拿不准坐标对不对直接翻官方整理的 坐标处理指南。一套动作空间电脑手机通吃同一套模型切换 Prompt 模板就能覆盖不同平台桌面用COMPUTER_USE点击、双击、拖拽、快捷键、滚动手机用MOBILE_USE长按、打开 App、返回、主页轻量评测用GROUNDING只输出动作不输出思考。模板定义见 codes/ui_tars/prompt.py。感知、动作、推理、学习构成的完整能力闭环大致是这样的一个完整工作流从截图到自动执行以自动填写并保存设置为例串起来就是四步部署模型用 HuggingFace Inference Endpoints 拉起 UI-TARS-1.5-7B流程见 部署指南。喂入截图 指令把当前屏幕截图和任务描述发给模型。解析动作拿到click/type等结构化动作坐标已还原到 1920×1080。执行生成 pyautogui 脚本并运行。from ui_tars.action_parser import parsing_response_to_pyautogui_code code parsing_response_to_pyautogui_code(parsed, image_height1080, image_width1920) print(code)每执行一步就再截一张图喂回去Agent 就能多步走到底。横向对比与适用边界在公开基准上UI-TARS-1.5 的成绩大致如下基准类型基准UI-TARS-1.5OpenAI CUAClaude 3.7计算机操作OSWorld100步42.536.428手机操作Android World64.2——界面定位ScreenSpotPro61.623.427.7但它并不适合这些场景需要 7×24 稳定运行的高并发生产调度模型算力开销大对单次点击延迟极度敏感的实时交互以及你只是想录制一段固定按键序列——那种情况下传统脚本更快更省。此外它偶尔会幻觉在陌生或模糊界面上可能点错关键操作前建议保留人工兜底。常见问题Q坐标总是偏一点A确认传入的origin_resized_width / height是原图真实分辨率别用缩放后的值。Q部署 7B 需要多大的卡A官方建议单卡 L40S 48G 或 A100记得加环境变量CUDA_GRAPHS0防部署失败。Q能在手机上用吗A可以切到MOBILE_USE模板即可支持长按、打开应用、返回等动作。Q我的模型输出格式匹配吗Amodel_type支持qwen25vl、doubao等按你实际用的视觉模型选对即可。延伸资源部署与推理README_deploy.md坐标处理详解README_coordinates.mdPython 包 APIcodes/README.mdPrompt 模板codes/ui_tars/prompt.py项目论文UI_TARS_paper.pdf【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
