大家好,我是程序員魚皮。
最近,Codex 上線了一個新功能叫Record & Replay,翻譯過來就是「錄制與回放」。
很多 AI 圈兒的博主把這個功能吹上天了,搞的我也是心癢難耐,對這個功能期待值拉滿了。
![]()
這篇我帶大家體驗一下這個新功能,然后聊聊它的適用場景和背后的原理。
Record & Replay 有什么用?
以前讓 AI 幫你干活,你得寫一段提示詞,把每個步驟描述清楚。
步驟少還行,可如果流程比較復雜,寫提示詞得花很多時間,而且總有細節會漏。
Record & Replay 的思路是:先開啟錄制,你在電腦上正常操作一遍工作流,Codex 通過 Computer Use 分析你的錄制,自動把你的操作提煉成一個可復用的 Skill 技能。之后,你就可以用這個技能來回放整個流程了。
比如 Codex 官方演示了利用這個功能自動上傳發布視頻:
![]()
有點兒像那什么,比如我想教自己的小孩怎么搭好一套積木,我很難用語言給他講清楚,于是親自搭一遍積木讓他在邊上看著,他就會了。
可惜的是我沒有自己的小孩兒,只能把 Codex 當做賽博小孩養著。。
下面咱們來實戰一下。
Record & Replay 實戰
開始之前要注意,這個功能目前只支持 macOS,Windows 暫時還用不了。而且你需要把 Codex App 更新到最新版,并且提前安裝好 Computer Use 插件。
之前我寫過一篇,從安裝到實戰都講過了,不熟悉的同學可以先看看。
首先安裝 Record & Replay 插件:
![]()
準備工作做好了,我來錄一個試試。
想一想,平時我有哪些重復執行的操作呢?
有了,我平時做視頻經常要找一些能直接下載使用的 BGM,每次都得手動打開網抑云音樂、搜索曲風、下載文件、再檢查格式能否使用。
正好拿這個場景來測試,讓 Codex 學會從網抑云音樂下載 FLAC 格式的指定風格音樂。
第一步、輸入提示詞
進入 Record & Replay 插件頁面,點擊「在對話中試用」:
![]()
Codex 會自動跳轉到新對話頁面,對話框里會默認填好一句提示詞「Record my workflow and turn it into a reusable skill」,意思是錄制我的工作流并生成一個可復用的技能。
我在下面追加了一句自己的需求:我要自動下載 FLAC 格式的特定音樂。
![]()
然后提交。
第二步、演示操作
AI 讀取技能后,會請求屏幕錄制權限,批準之后,就可以開始演示了。
![]()
錄制期間,Codex 會觀察你的操作行為和窗口內容,一直持續到你手動停止錄制。
接下來我只需要像平時一樣操作就好:打開網易云音樂,搜索想要的音樂風格,找到目標歌曲并下載,然后檢查一下格式是否符合自己的預期,不符合就刪掉。。。
第三步、停止錄制,生成 Skill
操作完成后,點擊停止錄制按鈕。
Codex 會分析我剛才錄制的操作,自動生成一個「音樂下載」 Skill 文件。
這個 Skill 包含了幾個關鍵信息:什么時候使用這個技能、需要哪些輸入參數、具體的執行步驟、以及怎么驗證任務完成了。
![]()
第四步、回放
Skill 生成好了,接下來就可以愉快地使用了。
新開一個對話,使用剛才生成的 Skill,描述需求就好,比如我讓 AI 自主下載 3 首逗比音樂。
Codex 會按照之前演示的操作路徑,自動完成整個流程。
![]()
什么場景適合用 Record & Replay
試了一圈之后,我個人的感受是,這個功能對我來說用處不大,華而不實。
一方面目前只支持 macOS、有些應用 AI 還操作不了,速度也慢、而且時不時搞錯操作。
另一方面,Record & Replay 底層用的就是 Computer Use,而 Computer Use 本身已經能通過提示詞來操控你的電腦了。所以如果你能用一兩句話就把操作描述清楚,直接寫提示詞讓 AI 干就行,沒必要錄制。
那什么時候 Record & Replay 才真正有價值呢?
我認為是:當你的操作流程「說不清楚、但做得出」的時候。
比如公司內部的 OA 系統、報銷平臺這種 AI 從沒見過的界面,你沒法用提示詞描述清楚,但錄制一遍它就學會了。
再比如整理數據報表時你會下意識選某種排序、調某種配色、跳過某些字段,這些隱性偏好你自己可能列舉不全,但通過錄制能全部捕獲。還有那種橫跨好幾個應用、每個應用點好幾層菜單的長鏈路流程,寫幾百字的提示詞,不如錄制 2 分鐘。
![]()
不過可惜的是,我個人基本沒有這些場景。大多數的操作通過讓 AI 操作 CLI 命令行就能搞定,不比操作界面快多了?
而且還有一個坑,我估計大多數同學很難一次性把自己的工作流錄制清楚,難免會有一些誤操作,比如點錯按鈕了之類的。但 AI 可能無法分辨,導致最后生成的技能也有多余的操作。
所以總結一下,Record & Replay改變的不是 AI 能做什么,而是你告訴 AI 怎么做的方式。像我們程序員,寫提示詞本來就是強項,很多場景自己寫 Prompt 就能搞定。但如果你身邊有不太會寫提示詞的同事,比如運營、HR、行政,這個功能對他們可能更實用。
Record & Replay 的原理
最后聊聊 Record & Replay 底層是怎么實現的,做 AI 應用開發方向的同學最好了解一下,萬一面試被問到呢?
不知道大家有沒有用過按鍵精靈?我小時候拿它做自動打怪腳本來著。
![]()
按鍵精靈錄制的是死板的鼠標軌跡,比如坐標 (320, 450) 點擊一下、等 500 毫秒、坐標 (180, 600) 再點一下。窗口位置稍微挪一下就全廢了。
Record & Replay 和這種傳統宏錄制有本質區別。
錄制階段,Codex 其實只是在觀察和采集,并不會實時分析你的操作意圖。等你停止錄制之后,它才會對捕獲到的完整工作流進行檢查和提煉。
前面大家已經看到了,Codex 生成的是一個SKILL.md文件,本質上就是一份人類可讀的 Markdown 文檔,里面記錄的是「在搜索框中輸入關鍵詞」、「點擊下載按鈕」、「選擇 FLAC 格式」這樣的語義化步驟,而不是像素級的坐標。
回放的時候也不是在機械地重放軌跡。Codex 會把 Skill 作為上下文加載,然后結合 Computer Use、瀏覽器操作、已安裝的插件這些工具來執行。因為理解的是語義而不是坐標,所以理論上同一個 Skill 可以在不同的環境和工具組合下復用。
![]()
另外,生成的 Skill 是可以編輯的,你可以手動改SKILL.md,也可以讓 Codex 幫你進一步優化,調整到滿意為止。
OK 就分享到這里,本文會收錄到我免費開源的,上千張圖、幾十萬字,帶你從 0 開始快速學會 AI 編程,做出自己的產品、跑通變現全流程,一次拿捏。
![]()
我是魚皮,持續分享 AI 編程干貨。覺得有用的話記得點贊收藏和關注,也歡迎在評論區聊聊:你日常有哪些重復性的電腦操作?覺得 AI 能幫你自動化哪些工作流?
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.