圖片來(lái)源：unsplash

今年以來(lái)，AI使用體驗(yàn)的差異日益顯著。

都用最新的DeepSeek V4大模型輔助工作，為什么網(wǎng)上的大神像是請(qǐng)了個(gè)專家顧問(wèn)，我卻像是找了個(gè)不那么“靈光”、事事都需要反復(fù)交代的小白實(shí)習(xí)生？

同樣是部署Agent，為什么有的人分分鐘搞定，我卻“卡”在bug里，不是模型參數(shù)不適配，就是協(xié)議與格式不兼容？

狠狠心“剁手”買上服務(wù)商的套餐，圖個(gè)方便、穩(wěn)定，但為啥人家說(shuō)99.9%可用，到我這問(wèn)個(gè)問(wèn)題要等好幾分鐘才回復(fù)？

出于“韭菜”的“自我修養(yǎng)”，不少人開始從自身找問(wèn)題：是不是提示詞不夠好？是不是功能開發(fā)不到位？是不是該苦學(xué)上下文管理？……

雖然上述問(wèn)題都很重要，但在這背后，更多的可能是一些行業(yè)“潛規(guī)則”在作祟。

“笨”模型背后的“貓膩”

“之前一個(gè)新模型發(fā)布時(shí)，我們給幾十家進(jìn)行部署的服務(wù)商做了評(píng)測(cè)，發(fā)現(xiàn)一些服務(wù)商的模型明顯就很笨。調(diào)查之后才明白，有廠家為了節(jié)省成本，將原來(lái)FP8精度的模型，降級(jí)用INT4精度進(jìn)行部署，效果自然打了折扣。而且，在這些服務(wù)商的報(bào)價(jià)單中，此類減配模型的關(guān)鍵指標(biāo)往往都跟原廠模型長(zhǎng)得一樣，而至關(guān)重要的精度信息則不寫入其中，缺少評(píng)測(cè)能力的購(gòu)買者根本不知道自己買的不是原版。”

近日，清程極智聯(lián)合創(chuàng)始人師天麾博士在中科創(chuàng)星硬科技媒體行清程極智專場(chǎng)活動(dòng)中，介紹了他所了解到的一些行業(yè)“亂象”。

上述現(xiàn)象也一定程度上解釋了為何同款大模型出現(xiàn)懸殊的使用體驗(yàn)，以及在某些渠道、場(chǎng)景中明顯“降智”的情況。

問(wèn)題指向的是隨著“Token經(jīng)濟(jì)”爆發(fā)而愈發(fā)壯大的Token服務(wù)商。通常來(lái)講，其運(yùn)營(yíng)模式是在采購(gòu)算力并部署好大模型后，將模型能力以按Token計(jì)費(fèi)的形式對(duì)外售賣。

目前，國(guó)內(nèi)Token服務(wù)商林立，除了自研模型的原廠外，轉(zhuǎn)售三方模型的云廠商、通過(guò)API代理賺取差價(jià)的代理商，都從事著相關(guān)業(yè)務(wù)。傳統(tǒng)電信運(yùn)營(yíng)商和專注模型部署調(diào)優(yōu)的創(chuàng)業(yè)公司也都在積極入局。

但隨著行業(yè)規(guī)模不斷擴(kuò)大，競(jìng)爭(zhēng)愈發(fā)激烈，“坑”也越來(lái)越多，其中嚴(yán)重者無(wú)異于對(duì)購(gòu)買者的“詐騙”。

師天麾稱，在Token還不像如今這么緊缺的時(shí)候，Token服務(wù)商會(huì)在價(jià)格上展開競(jìng)爭(zhēng)。同樣的模型，報(bào)價(jià)有高有低，有的企業(yè)為節(jié)約成本，選了單價(jià)更低的服務(wù)商。但不少低價(jià)服務(wù)商在KV Cache命中率等方面存在明顯短板，耗費(fèi)大量Token卻根本拿不到理想的結(jié)果，最終其總成本甚至比高單價(jià)版還高出好幾倍。

除了模型質(zhì)量和價(jià)格，響應(yīng)速度上也有“貓膩”。

在一些Token服務(wù)商提供的服務(wù)中，高達(dá)20%的請(qǐng)求會(huì)出現(xiàn)延遲異常，原本三五秒該返回的內(nèi)容，硬是拖到幾十甚至幾百秒。師天麾以“慢響應(yīng)”總結(jié)相關(guān)現(xiàn)象，而原本承諾“99.9%可用”的廠商，依然會(huì)將明顯異常的延遲界定為“可用”，影響用戶體驗(yàn)。

在清華大學(xué)計(jì)算機(jī)系教授翟季冬給出的一組數(shù)據(jù)中，部分服務(wù)商的慢響應(yīng)比例接近20%，這意味著其提供的1/5的服務(wù)都有問(wèn)題。大多數(shù)服務(wù)商的慢響應(yīng)問(wèn)題比例也都高于1%，對(duì)于很多需要快速、穩(wěn)定響應(yīng)的場(chǎng)景而言，仍難令人滿意。

圖片來(lái)自翟季冬《Token服務(wù)評(píng)測(cè)與自動(dòng)路由》

更為嚴(yán)峻的是，據(jù)師天麾的觀察，慢響應(yīng)的問(wèn)題并沒(méi)有隨著行業(yè)發(fā)展而得到解決，當(dāng)前的情況反而比去年末今年初還嚴(yán)重。

而這，也成了當(dāng)前Token產(chǎn)業(yè)迅猛發(fā)展，但供給側(cè)卻魚龍混雜、指標(biāo)混亂、服務(wù)質(zhì)量參差不齊的一個(gè)縮影。

Token大時(shí)代的隱憂

Token迎來(lái)了屬于自己的大時(shí)代，也帶來(lái)遠(yuǎn)勝以往的沖擊。

師天麾對(duì)作者分析稱，包括慢響應(yīng)等問(wèn)題之所以愈發(fā)嚴(yán)重，本質(zhì)上還是供需不平衡。

其中很重要的標(biāo)志性事件，就是以“龍蝦OpenClaw”為代表的Agent大火。其帶來(lái)的最大區(qū)別，是個(gè)人的Token使用量大幅增長(zhǎng)。

“去年普通人用AI，主要還是跟豆包、元寶聊個(gè)天，這不怎么燒Token。但‘龍蝦’出現(xiàn)后，又是多輪對(duì)話，又是長(zhǎng)上下文，Token就燒得非?？?。”他解釋稱。

用AI的人變多了，而AI Agent需要的Token也越來(lái)越多，這讓需求側(cè)迅速膨脹。二季度以來(lái)，此前連準(zhǔn)確翻譯都難有共識(shí)的專業(yè)詞匯Token加速“破圈”，“Token短缺焦慮”“Token太貴”等頻頻引發(fā)熱議。

中信證券此前研報(bào)指出，今年4月OpenRouter平臺(tái)周度累計(jì)Token消耗量同比提升了7倍有余。而根據(jù)國(guó)家數(shù)據(jù)局統(tǒng)計(jì)，截至今年3月，中國(guó)日均Token調(diào)用量已突破140萬(wàn)億，兩年增長(zhǎng)1400倍，相較2025年底也高出至少40%。而今年3月，正是“龍蝦熱”在國(guó)內(nèi)最為紅火的時(shí)候。

與此同時(shí)，供給側(cè)算力增長(zhǎng)有限，遠(yuǎn)遠(yuǎn)跟不上需求增速，這不僅導(dǎo)致了模型和相關(guān)服務(wù)開始漲價(jià)，也讓前文所述“亂象”扎堆冒頭，部分服務(wù)商的Token服務(wù)質(zhì)量不升反降，使用者則越來(lái)越容易“踩坑”。

4月中旬，OpenRouter統(tǒng)計(jì)的中國(guó)AI大模型周調(diào)用量曾連續(xù)下滑，并被美國(guó)反超，其中調(diào)用成本高、服務(wù)質(zhì)量不穩(wěn)定被視為重要影響因素。

雖然4月末DeepSeek V4發(fā)布并持續(xù)優(yōu)惠、降價(jià)后，國(guó)產(chǎn)大模型調(diào)用量再次上升，但供需問(wèn)題仍未得到實(shí)質(zhì)性解決，Token服務(wù)質(zhì)量亦未見(jiàn)明顯提升。AI產(chǎn)業(yè)顧自向前狂奔，而隱憂，仍然存在。

如何避坑？

行業(yè)正在想辦法。

在提升Token服務(wù)質(zhì)量方面，目前的努力方向主要集中在“可視化”“透明化”上。

其中，第三方可構(gòu)建智能路由實(shí)行統(tǒng)一調(diào)度；企業(yè)端可在現(xiàn)有API網(wǎng)關(guān)之上構(gòu)建一層企業(yè)級(jí)AI網(wǎng)關(guān)；開發(fā)團(tuán)隊(duì)也可自建評(píng)測(cè)與開源工具。行業(yè)中不乏相關(guān)案例，而核心都是讓Token的價(jià)格、效果更加透明可見(jiàn)。

師天麾所在的清程極智近期推出的AI Ping平臺(tái)屬于第一類。根據(jù)該公司給出的產(chǎn)品介紹，AI Ping是一站式大模型服務(wù)評(píng)測(cè)與API智能路由平臺(tái)，主要功能是信息匯總、客觀評(píng)測(cè)和智能路由。目前接入了30余家主流Token服務(wù)商和600余個(gè)大模型服務(wù)，監(jiān)測(cè)的核心指標(biāo)包括實(shí)時(shí)輸出延遲、吞吐、可靠性、價(jià)格等。

在測(cè)評(píng)之外，智能路由則負(fù)責(zé)Token的調(diào)度。該公司介紹稱，AI Ping能夠以統(tǒng)一API接口為用戶自動(dòng)匹配最優(yōu)服務(wù)商，完成一鍵調(diào)用。公司稱，相關(guān)功能目前能實(shí)現(xiàn)成本降低超37%，吞吐提升超90%，延遲降低超20%。

實(shí)際上，這讓相關(guān)平臺(tái)也能扮演Token服務(wù)商的角色。

師天麾對(duì)作者介紹稱，AI Ping既能服務(wù)于開發(fā)者，在To B端的營(yíng)收也很可觀。長(zhǎng)期來(lái)看，公司希望更加靠近中小企業(yè)和普通開發(fā)者，因?yàn)榇髲S往往有強(qiáng)大的評(píng)測(cè)和采購(gòu)團(tuán)隊(duì)，可以逐一測(cè)試幾十家服務(wù)商，但對(duì)其他群體來(lái)說(shuō)則幾乎不可能做到，而這也成為了公司產(chǎn)品最能發(fā)揮作用的領(lǐng)域。

據(jù)悉，清程極智成立于2023年12月，是AI Infra領(lǐng)域初創(chuàng)公司，核心團(tuán)隊(duì)來(lái)自清華大學(xué)計(jì)算機(jī)系高性能計(jì)算所，目前已完成天使輪、PreA、PreA+三輪融資，除中科創(chuàng)星、聯(lián)想創(chuàng)投等機(jī)構(gòu)外，同為“清華系”的AI明星上市公司智譜亦參與投資。

在Token產(chǎn)業(yè)維度，該公司還強(qiáng)調(diào)，長(zhǎng)期來(lái)看，解決供需問(wèn)題還需聚焦國(guó)產(chǎn)算力、國(guó)產(chǎn)模型的發(fā)展、協(xié)同，解決諸如國(guó)產(chǎn)推理環(huán)節(jié)長(zhǎng)期依賴海外引擎，難以充分釋放國(guó)產(chǎn)硬件性能等問(wèn)題。這也與該公司另一項(xiàng)主要業(yè)務(wù)相關(guān)。該公司的赤兔推理引擎，即主打“完全自主研發(fā)的國(guó)產(chǎn)推理引擎”。公司聯(lián)合創(chuàng)始人唐適之稱，海外推理引擎用在國(guó)產(chǎn)算力上，如同“把西式烤面包的技術(shù)直接用來(lái)蒸饅頭”，其中必然存在不適配問(wèn)題，影響最終效果。而國(guó)產(chǎn)推理引擎能在居中的AI Infra層解決問(wèn)題，提升國(guó)產(chǎn)算力在模型部署中的效率和精度，從根上解決“模型變笨”等問(wèn)題。

Token的“狂飆”仍在繼續(xù)，高盛此前預(yù)測(cè)，隨著Agent落地企業(yè)場(chǎng)景，預(yù)計(jì)2030年全球Token消耗量較2026年將增長(zhǎng)24倍。

在這一背景下，提升服務(wù)質(zhì)量，解決供需錯(cuò)配也變得愈發(fā)重要。而對(duì)于眼前并不盡如人意的現(xiàn)狀來(lái)說(shuō)，企業(yè)、開發(fā)者乃至普通用戶也需更多考慮如何“防騙”“避坑”。

綜合行業(yè)、機(jī)構(gòu)觀點(diǎn)來(lái)看，無(wú)論是否使用智能路由、企業(yè)網(wǎng)關(guān)等工具，用戶都需注意識(shí)別公開標(biāo)價(jià)背后的“真實(shí)成本陷阱”；避免盲目下單“無(wú)限量”套餐，陷入逆向選擇的被動(dòng)地位；而“死磕”單一模型，不分級(jí)、分層、分場(chǎng)景使用，也容易既浪費(fèi)錢又影響效果。

此外，對(duì)于企業(yè)來(lái)說(shuō)，大額打包采購(gòu)，但缺乏統(tǒng)一口徑和流程設(shè)計(jì)，讓各部門隨意調(diào)用的“粗放式”Token用法，也會(huì)導(dǎo)致諸多問(wèn)題。長(zhǎng)期來(lái)看，能更早建立起高效的Token經(jīng)營(yíng)體系，對(duì)于將AI轉(zhuǎn)化為真實(shí)的商業(yè)價(jià)值來(lái)說(shuō)十分關(guān)鍵。

（作者｜胡珈萌，編輯｜楊林）