Computer Use OOTB - 开源 GUI 框架，基于Claude 3.5 Computer Use API实现远程控制

Computer Use 什么是OOTB？

Computer Use OOTB是开源GUI 基于Claudee的框架 3.5 Computer Use API实现计算机的自动化控制。该框架支持跨平台操作，用户可以轻松部署Windows和MacOS系统上的GUI自动化模型，无需复杂的设置。CU-OOTB支持基于互联网从任何设备远程控制计算机，包括使用手机等移动设备，提供方便的远程操作能力。

Computer Use OOTB的主要功能

• 跨平台支持：Computer Use OOTB支持本地部署Windows和macos操作系统，提供统一的框架，实现GUI自动化。
• 自动化API基础：使用Claude 3.5 Computer Use API，实现端到端自动化，从用户指令到桌面操作。
• 即插即用：简化部署过程作为即插即用解决方案，让用户快速开始使用GUI自动化功能。
• 远程控制：支持基于互联网的计算机远程控制，包括移动设备，以提高操作灵活性。

Computer Use OOTB的技术原理

• Anthropic-defined Tools：由Anthropic定义的工具集，包括计算机交互工具、文本编辑工具和Bash工具，执行具体的桌面操作。
• 视觉信息处理：在不依赖元数据或HTML的情况下，实时屏幕截图可以适应GUI环境的高动态性。
• 推理-行动范式：基于观察-动作范式，模型将在决定动作之前观察环境，以确保动作适合当前的GUI状态。
• 维护历史视觉上下文：模型维护历史截图的上下文，在任务操作过程中积累截图，帮助模型在执行动作时做出更明智的决策。
• 状态观察和反馈：模型将在执行操作后再次截图，以确认操作的效果，动态决定是否需要重新测试或终止执行。

Computer Use OOTB项目地址

• 项目官网：computer-use-ootb.github.io
• GitHub仓库：https://github.com/showlab/computer_use_ootb
• arxiv技术论文：https://arxiv.org/pdf/2411.10323

Computer Use OOTB应用场景

• 远程工作支持：支持用户远程访问和控制工作站，执行文件编辑、报告撰写和数据分析等日常工作任务。
• 自动化测试：在软件开发中，自动测试桌面应用程序，以确保软件的稳定性和性能。
• 教育和培训：在自动化教学过程中创建交互式教学内容、演示和实验，以及远程实验室操作。
• 家庭自动化：控制照明、温度控制等家庭管理系统等智能家居设备。
• 游戏自动化：在视频游戏中执行角色升级、资源收集等重复任务。