Cradle - 通用计算机控制的多模态AI Agent框架

Cradle是什么

Cradle是面向通用计算机控制（General Computer Control, GCC）的多模态AI Agent框架，由昆仑万维携手北京智源人工智能研究院、新加坡南洋理工大学、北京大学等顶尖名校机构推出的通用计算机控制框架，使AI Agent无需训练便能像人一样直接控制键盘鼠标，不依赖任何内部API，实现任意开闭源软件交互。 Cradle是迄今为止第一个既能玩多种商业游戏又能操作各种软件应用的AI框架，其论文、项目、代码均已开源。

• 信息收集：从屏幕图像和可能的声音中提取多模态信息，用于决策制定。
• 自我反思：评估先前行动的成功与否，并分析失败原因，以指导后续行动。
• 任务推断：根据当前环境和历史信息，推断并选择最佳的下一个任务。
• 技能策划：生成和更新与给定任务相关的技能，以适应不同的计算机操作需求。
• 动作规划：为键盘和鼠标控制生成具体操作，将策略转化为可执行的命令。

• 多模态输入处理：Cradle能接收并处理屏幕图像和音频的多模态输入，模拟人类感知方式理解计算机界面和环境。
• 信息提取与理解：用大型多模态模型（如GPT-4V）来识别图像中的视觉元素、文本信息和音频中的指令或反馈。
• 自我反思机制：通过反思模块，Cradle评估之前执行动作是否成功，并分析失败原因，为调整策略提供依据。
• 任务推断与规划：Cradle通过任务推断模块确定当前的优先任务，并在动作规划模块中制定出新动作完成任务。
• 技能生成与更新：技能策划模块负责根据当前任务生成新的技能或更新现有技能，技能以代码函数的形式存在，可以被实例化并执行。
• 记忆与知识管理：Cradle拥有长期和短期记忆系统，存储过去的经验和技能，在需要时进行检索和应用。