上周,來自大模型第一股智譜的一則退款公告,在圈里引起熱議。
因為算力緊張、體驗不佳,智譜選擇給Coding Plan用戶限時退款。
![]()
有小伙伴開始吐槽智譜不靠譜,其實智譜這個情況不是個案。
最近各大模型服務(wù)商都在悄悄調(diào)整自家的Coding Plan策略:
有人限購,有人停售,有人直接不開,還有人悄悄更改了套餐配額。
![]()
這究竟是為啥?
只因以小龍蝦為代表的智能體,燒tokens太兇引發(fā)算力荒,服務(wù)費們賣包月賣不起了。
小龍蝦們有多兇?甚至,你早上只是跟小龍蝦說句「你好」,它就燒了大把Tokens。
![]()
為啥小龍蝦們燒起tokens來這么兇
按人類思維來講,我說一句:How r u? 小龍蝦回一句: I'm fine。最多再來個:thank you,and you?
整個過程,就應(yīng)該這么簡單和直接,看著也就十幾個字節(jié)。
但是,小龍蝦這類智能體的工作原理非常不同,它們干起活來極度內(nèi)耗。
![]()
01 、固定「起步價」就很高
普通AI聊天工具起步價基本是0??,小龍蝦起步就10塊。
你發(fā)給它的只有“你好”兩個字,但它發(fā)給底層模型的,遠遠不止兩個字。
小龍蝦要先給大模型發(fā)的是本輪 system prompt,好比是小龍蝦的崗位說明書。
![]()
這崗位說明書,就是第一筆基礎(chǔ)開銷,起手先吃掉一大截tokens。
02、工具本身也要占Tokens
OpenClaw不僅要把「可用工具名稱」告訴模型,還要把工具的JSON schema一起發(fā)過去,這樣模型才能知道怎么調(diào)用。
所以,工具有兩層成本:工具列表文本 + 工具 schema,而且schema也計入上下文。
![]()
03、Skills列表也有額外開銷
即便還沒真正調(diào)用某個skill,系統(tǒng)提示詞里也會先帶一份緊湊版技能清單,告訴模型「有哪些技能,各自干什么」。
![]()
這又是一筆tokens開銷。
工具箱已經(jīng)不輕了,再背一本員工上崗手冊,token不高才怪。
![]()
04 、歷史對話會反復(fù)重帶
早上起來問了一句你好,但模型模型看到卻是“你好 + 昨天你和我整段聊天歷史”。
會話越長,每次新消息就越貴,大多數(shù)情況下,模型每次處理新消息,都要把前面的對話歷史重新帶一遍。
即便你做了壓縮和剪裁,仍然要付出相當大的成本。
當你偶爾為小龍蝦優(yōu)秀的舉一反三點贊,其實也在為tokens買單。
![]()
05 、前序工具輸出還會占據(jù)窗口
第五筆大頭,是舊資料的輸出可能一直掛在窗口里,這是隱形大胃王。
如果前面讀過網(wǎng)頁、文件、日志、終端輸出,這些工具調(diào)用的結(jié)果和附件也都算上下文。
![]()
05 、加載記憶文件,也要付出代價
你可能經(jīng)常為小龍蝦失憶煩惱,會在MEMORY.md文件上大費周章。
Memory不是免費外掛,它平時可以存在磁盤里,但只要本輪需要把記憶重新加載進模型窗口,它就會重新占用你的tokens。
![]()
除此之外,還有比如智能體會調(diào)用多個子智能體組團燒Token,或者你選的模型不夠聰明,走彎路額外多燒Token,還有很多Skills還要調(diào)用額外的模型API等等。
智能體的工作流就是這種套路,大力出奇跡,肝就一個字,哪怕用戶輸入很短,系統(tǒng)內(nèi)部也可能觸發(fā)多步思考和多次模型調(diào)用。
它先把你的消息標準化、路由到當前 session。
然后拼一份系統(tǒng)提示,把工具、技能、工作區(qū)文件、身份、時間、運行元數(shù)據(jù)都塞進去。
再把整個會話歷史、之前的工具結(jié)果、附件和摘要一起帶上。
接下來所有工具 schema 一起發(fā)給模型。
模型收到后,還要先判斷這句“你好”到底只是寒暄,還是一個任務(wù)開始信號。
如果你之前有很長的會話,它還可能讀到緩存里的整段大上下文。
![]()
所以,你發(fā)一句“Thank you”,它會擺開架勢,大馬金刀的走完整套運行鏈路。
等他一頓操作猛如虎的完tokens,慢吞吞的回復(fù)你:謝謝夸獎,主人。
看到后臺洶涌磅礴的tokens數(shù)據(jù),你只想說:xxxk u
![]()
不要以為只有小龍蝦這么肝,剛剛新躥紅的Hermes也一樣。
所以,當我們使用這類智能體,應(yīng)該養(yǎng)成一些好的習(xí)慣↓
①少跟龍蝦寒暄,培養(yǎng)感情沒用,把它當成喂不熟的狗,直接下命令。
②盡量精準完整的提示詞,一次把任務(wù)說清楚。
③大日志、大代碼庫、大文檔別圖省事整個投喂。
④控制輸出長度,明確回復(fù)的篇幅,減少廢話。
⑤不要在一個Session里干到天荒地老,注意不同任務(wù)切換會話。
⑥沒用的工具和Skills別整太多,不好用的測完及時刪除。
⑦盡量選擇更聰明的模型,少跑彎路,有些時候,便宜就是貴。
⑧有些免費AI聊天助手就能干的活(比如單步任務(wù):P個圖、翻譯個文檔),就別麻煩小龍蝦了,浪費了Tokens效果還不好。
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.