Codex大更新：电脑操作变AI经验包，人机交互迎来新变革

type

status

date

slug

summary

什么是 Record & Replay？AI学徒正式上线

Record & Replay，简单来说就是“录制加复现”。用户只需将一套复杂的操作完整演示一遍，Codex 就会在旁观察学习，并将整套流程打包成一个专属的 skill（技能）。

下一次需要执行相同的任务时，你只需新开一个对话，调用这个 skill，并告诉它这次有哪些个性化的变量，剩下的工作就可以完全交由 AI 自动搞定。

这一功能特别适合那些重复性强、带有个人偏好、用文字难以准确描述但“做一遍就懂”的任务。例如： * 报销流程与票据整理 * 定期导出并发送业务报表 * 按照特定规范在平台上创建 Issue * 视频发布与多平台分发

这些任务的核心痛点在于步骤繁琐且包含大量隐性规则（如特定的命名规范、默认字段选择等）。如果用 Prompt（提示词）逐字逐句地写给大模型，沟通成本极高。而通过 Record & Replay，直接演示一遍显然是最直观、最高效的教学方式。

录制与复现的七步法与核心逻辑

要让 Codex 成功学会你的工作流，操作过程其实非常简单，主要分为以下几个步骤：

在 Codex 应用中打开 Plugins（插件），搜索并添加 Record & Replay 插件。

授予 Codex 录制屏幕和操作的权限。

在你的电脑上正常演示一遍完整的工作流。

演示过程中，Codex 会全程观察你的点击路径、窗口切换和文本输入。

完成操作后，通过菜单栏、悬浮窗或直接对 Codex 发送语音/文字指令停止录制。

录制结束后，Codex 会自动复盘捕捉到的流程，并起草一份包含触发条件、所需输入、执行步骤和验证方法的 skill 说明书。

用户对该 skill 进行微调和确认，使其正式生效。

在复现阶段，Codex 并不会死板地像按键精灵那样重放脚本，而是将这个 skill 作为可复用的上下文（reusable context）。这意味着它能理解步骤背后的逻辑。例如，在上传视频的演示中，Codex 不仅记住了点击位置，还学会了如何根据不同的文件类型匹配对应的字幕文件，甚至在遇到缺少 Python 环境等系统报错时，能够自己寻找已安装的工具进行适配和修复。

Codex 操控电脑的三大底层路径

为了实现如此智能的“屏幕操控”，Codex 结合了 LLM 的多模态能力，主要依赖以下三种底层路径来操作电脑：

1. Computer Use（计算机操作）

2. Chrome 扩展

3. 应用内浏览器

此外，Codex 还配备了 Appshot 机制。用户只需连按两下 CMD 键，AI 就会自动截取当前活动窗口的图像和文字，方便用户针对眼前的报错或表单直接提问。

突破限制：支持本地模型与团队级配置

值得注意的是，Codex 并非只能绑定 OpenAI 的自家模型。在高级配置中，用户可以通过修改配置文件，将 Codex 指向 Ollama、LM Studio 等本地开源大模型，或者接入第三方 API 服务。这为企业和开发者提供了极高的灵活性。

不过，Record & Replay 目前也存在一定的限制。该功能首发暂不覆盖欧盟等部分地区，且目前仅支持 macOS 系统。对于企业管理员来说，如果在配置文件中关闭了 computer_use 权限，Record & Replay 功能也会同步失效。

从操作工具到训练 AI：人机交互的范式转移

从更宏观的 AGI 发展视角来看，Record & Replay 的出现代表了人机交互方式的根本性变革。

传统的软件自动化高度依赖 API。如果软件不开放接口，自动化就无从谈起。而现在，以 chatGPT 和 claude 为代表的先进大模型正在绕过 API 的限制，直接通过图形用户界面（GUI）学习人类的使用习惯。

这导致了操作系统角色的微妙变化。过去，人是连接各个孤立软件的“桥梁”；未来，AI 将成为跨应用流转信息的“超级中转站”。用户不再需要关心“如何操作软件”，而只需关注“想要达成的目标”。

在这个时代浪潮下，人类的角色正在从软件的操作者转变为AI的训练者。如何通过高效的演示和精准的提示词来驯服 AI，正成为职场人的核心竞争力，也孕育着巨大的 AI变现 机会。

想要获取更多关于大模型应用、AI日报 以及实用 AI 教程，敬请锁定 AI门户 aigc.bar，带你走在人工智能时代的最前沿。