最懂你的焦慮的,往往不是老板,是月底那封API賬單郵件。
一位開發(fā)者最近干了件很"程序員"的事:被AI接口費用搞到心態(tài)崩了,干脆自己造了個開源工具。不是等供應(yīng)商的延遲儀表盤,而是每一分錢花出去,當(dāng)場就知道。
![]()
為什么供應(yīng)商的賬單總是"事后諸葛亮"
用過OpenAI、Claude這些大模型接口的人都有同感:代碼跑完那一刻,你大概猜得到燒了多少錢,但只是"大概"。
供應(yīng)商后臺的數(shù)據(jù)滯后,更關(guān)鍵的是——它們不會告訴你哪行代碼、哪個調(diào)用、哪個功能模塊在燒錢。賬單來了,你只能對著總數(shù)干瞪眼。
這位開發(fā)者(項目署名Tirith)的解法很直接:在代碼和API之間塞一個透明代理(transparent proxy)。請求照常走,但它會"偷看"一眼,記下花了多少,然后放行。
用他自己的話說:「One import to add, one to remove.」加一行導(dǎo)入就能用,刪一行就能卸,零侵入。
透明代理 vs 封裝庫:一個"裝死",一個"作死"
其實監(jiān)控API調(diào)用的思路不新。很多人用封裝庫(wrapper),把官方SDK包一層,強(qiáng)行塞入統(tǒng)計邏輯。
但封裝庫有個死穴:供應(yīng)商一更新接口、一加新端點,你的封裝就崩。 chasing a moving target,永遠(yuǎn)在追。
透明代理的邏輯完全不同——它不碰你的代碼結(jié)構(gòu),只是轉(zhuǎn)發(fā)請求、記錄日志、然后消失。供應(yīng)商改什么、加什么,跟它沒關(guān)系。
這種設(shè)計哲學(xué)叫"provider-agnostic"(供應(yīng)商無關(guān))。不是綁定某一家,而是通吃所有走HTTP的AI接口。
開源的底氣:MIT協(xié)議+主動求虐
項目直接扔GitHub,MIT協(xié)議,隨便 fork。作者還在評論區(qū)放話:「Feedback very welcome; especially edge cases where the proxy behaves weirdly.」
翻譯一下:歡迎來虐,尤其是那種讓代理抽風(fēng)的邊緣場景。第一版,毛糙是預(yù)期內(nèi)的。
另外埋了個小功能:Templates。快速存一些常用提示詞片段,或者FAQ回復(fù)模板。算是從"記賬"延伸到了"提效"。
這件事的真正價值
表面看是個CLI工具,實際戳中了一個正在膨脹的痛點:AI原生應(yīng)用的成本可觀測性(observability)。
當(dāng)模型調(diào)用從"實驗"變成"生產(chǎn)",從"一個月幾百塊"變成"一天幾千刀",開發(fā)者需要實時、細(xì)粒度、可回溯的支出數(shù)據(jù)。不是月底看總賬,是每次調(diào)用完就知道。
Tirith的解法夠輕、夠狠、夠程序員——不改造架構(gòu),不依賴供應(yīng)商,一行代碼解決問題。這種"中間層工具"可能會越來越多:在代碼和云之間,在開發(fā)者和賬單之間,搶回一點控制權(quán)。
如果你也在用AI接口跑業(yè)務(wù),建議現(xiàn)在就去看看你的儀表盤延遲多久。答案可能會讓你想立刻裝個代理。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.