![]()
之前豆包手機火起來的時候,大家發現手機系統權限高的話,結合AI能玩出很多花樣,而且還可以后臺執行,不打擾的狀態完成任務。
如果再能保證一下隱私問題的話,感覺是蘋果都想找到的AI功能了。
現階段手機的AI能力大多取決于手機廠商自家的語音助手,結合AI能實現一些功能——你可能想過一個問題,要是有第三方軟件識別屏幕后,還可以自己選擇圖片模型的話,豈不是可以隨心實現類似的效果。
我們今天的主角就是一款叫作“肉包”的軟件,沒錯,就是有人按照豆包手機做出來的探索軟件,它給自己標榜的是:首款無需電腦的開源 AI 手機自動化助手!
![]()
![]()
安裝之后會提示是一款AI驅動的軟件,敏感權限需要手動授權操作。
![]()
它需要先用到 ShizuKu 來進行授權,需要你手動在系統里開啟開發者模式,然后在電腦上激活 ShizuKu 用到的權限。
![]()
![]()
![]()
再去給肉包進行一下授權,在設置界面看到“已連接”的提示就能使用了。
![]()
另外需要在設置里配置一下 API 服務商,他目前明確支持的有三家平臺,阿里云和 OpenAI 以及 OpenRouter 的接口,當然也可以自定義。
![]()
在選擇模型的時候,還可以點擊獲取列表,得到一個模型列表,這個列表里面包含平臺的各種模型,需要手動選擇支持圖片理解的。
![]()
配置好之后就可以來到首頁輸入要求了,它內置了幾個預設,像是發小紅書內容的任務。
![]()
點擊執行后,它會自己規劃怎么做,在一旁等待就好,但也由于是靠截圖來理解的,所以期間不能操作手機。
![]()
演示的動圖經過了剪輯處理,實際上沒有這么快,每一步都要截圖分析,出錯了的話會自動嘗試。
實際任務的耗時是4分鐘。
![]()
說實話這個速度是非常慢的了,用其他非AI的自動化工具能很快完成,但好處是它不用執行任何前置工作,意思是寫自動化配置哪些時間是省下來了的,適合在備用機上搗鼓。
![]()
它有一個能力界面,可以看到它規劃執行反思和記錄的基本流程,可以調用剪貼板,執行HTTP請求和按下系統按鍵與點擊滑動等操作。
軟件作者用它來演示操作嗶哩嗶哩,推薦的用例是下面這些:
幫我點個附近好吃的漢堡
打開網易云音樂播放每日推薦
幫我把最后一張照片發送到微博
幫我在美團點一份豬腳飯
打開B站看熱門視頻
![]()
但是它的能力遠不止這些,你可以自由探索它的上限,一般來說看你能找到多聰明的模型。同時不免有些好奇它既然能操作軟件,那能不能操作一些不太需要速度反應的游戲?
對于一些游戲還真的可以!先試了一個需要手眼協調的游戲,需要從拖動下面的積木把缺口補齊,用的提示詞是:
幫我玩游戲,把屏幕下面的方塊拖動到上方的缺口里面,嵌合圖形它就會自己消除得分。
![]()
對于人類來說,這應該是比較容易理解的任務,它會試著操作但是對不齊,這意味著它是沒有“手眼協調”能力的,只能思考過后再閉上眼執行對應動作,提示詞寫得好可能可以完成某些游戲,但缺乏通用性。
![]()
但是對于另一部分游戲來說,像是消消樂它就可以玩,沒有時間限制的話,直接說:幫我玩消消樂游戲。
它就能自己開始玩,并且是能正確執行的。
![]()
在執行日志里面可以看到過程和決策的大致內容,如果后續這個過程可以持續學習和制定模板動作的話,加上定時任務,那么用來執行某些特定游戲任務也有戲。
![]()
那讓它在網頁上答答題,執行一些簡單動作也可以,屬于是上限和玩法比較高的軟件了,同時你也可以嘗試不同模型之間的差異。唯一需要注意的是肉包雖然自己是開源免費的,但是接入的 API 是需要你自己付費的,截圖再解析會消耗不少 token,注意消耗。
![]()
有備用機的朋友,可以整一個試試,讓閑置的安卓手機變成低配版肉包手機。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.