电脑操作代理：模型如何看屏幕并行动

电脑操作代理不是「把网页丢给模型」，而是一个闭环：环境提供截图，模型返回点击、输入、滚动等界面动作，执行器按顺序执行，再把新截图送回模型。1

它和普通工具调用的边界也不同：函数调用通常返回业务参数；电脑操作则把模型的判断落到坐标、键盘和滚动等 UI 行为。GPT-5.4 的官方发布页把这类能力概括为通过截图理解界面，并用鼠标和键盘完成真实任务。2

最小实践先做三件事：用隔离的浏览器或虚拟机，跑通「截图 → 动作 → 新截图」，再给付款、发信等高影响操作加人工确认。网页内容、邮件和工具输出都应当视为不可信输入，不能自动等同于用户授权。1 想开始动手，可从 OpenAI Computer use 文档 的内置循环和 Playwright 示例入手。