“我們當(dāng)時(shí)應(yīng)該把證據(jù)一起拿出來的。”亞歷克斯·惠登(Alex Whedon)回憶起上個(gè)月那場風(fēng)波,語氣里帶著一絲事后才悟到的遺憾。他是AI創(chuàng)業(yè)公司Subquadratic的聯(lián)合創(chuàng)始人兼首席技術(shù)官,這家總部位于邁阿密的公司剛從“隱身模式”走出來就掀翻了輿論場——因?yàn)樗麄冋f,自己解決了一個(gè)困擾大型語言模型近十年的數(shù)學(xué)瓶頸。
你沒聽錯(cuò),就是那個(gè)讓所有大模型一邊燒錢、一邊喘著粗氣運(yùn)算的核心問題。用惠登的話說,要是當(dāng)初直接把獨(dú)立測試結(jié)果扔出來,就沒那么多人排隊(duì)罵他“AI界的Theranos”了。不過現(xiàn)在,他們終于把“收據(jù)”擺上了臺面。
![]()
先說清楚Subquadratic到底說自己干了什么。簡單講,他們搞出了一個(gè)叫SubQ的新型大語言模型,號稱比市面上任何模型都更快、更省電、更省錢。更狠的是,SubQ能一次性處理的文本量是大多數(shù)其他模型的12倍往上——這意味著你可以無腦扔給它幾百份文檔或者一整個(gè)代碼倉庫,讓它慢慢消化。而在編程這類關(guān)鍵任務(wù)上,它的表現(xiàn)居然能和Google DeepMind、OpenAI、Anthropic這些巨頭推出的最強(qiáng)模型打得有來有回。
聽著是不是像天方夜譚?當(dāng)時(shí)整個(gè)AI圈子就是這么想的。人工智能工程師丹·麥卡蒂爾(Dan McAteer)在X平臺上發(fā)的帖子精準(zhǔn)概括了大眾心態(tài):“SubQ要么是自Transformer以來最大的突破……要么就是AI界的Theranos。”
這頂帽子扣得可不輕。眾所周知,Theranos是那個(gè)曾經(jīng)靠吹噓“一滴血檢測百病”吸金無數(shù)的硅谷騙局。把一家初創(chuàng)公司跟它類比,翻譯成人話就是:“你最好不是在講故事。”
最初的質(zhì)疑并非出于惡意。Subquadratic第一次亮相時(shí),手頭確實(shí)只有幾項(xiàng)自己公布的測試分?jǐn)?shù),SubQ也沒有大規(guī)模開放給外界試用。你想想,一個(gè)突然從地下冒出來的團(tuán)隊(duì),說自己的技術(shù)把整個(gè)行業(yè)苦戰(zhàn)了十年都沒攻克的瓶頸給捅穿了,卻只掏出幾頁P(yáng)PT——這在AI圈子里,挨罵是標(biāo)準(zhǔn)待遇。
但現(xiàn)在距離那場風(fēng)暴過去了一個(gè)月,事情開始變得有意思了。
Subquadratic把Appen這家第三方獨(dú)立評估公司請來給SubQ做測試。這就像你自稱百米跑過了博爾特,然后請國際田聯(lián)派人現(xiàn)場計(jì)時(shí)——是騾子是馬,拉出來溜溜。Appen專門干的就是給各家模型打分評估的活兒,在業(yè)內(nèi)有一定公信力。測試結(jié)果出來后,Appen生成式AI研究總監(jiān)珍妮·辛南-辛格(Jeanine Sinanan-Singh)的反應(yīng)挺說明問題。“對我來說這真的很令人興奮,它驗(yàn)證了他們的架構(gòu),”她說,“我當(dāng)時(shí)心想,‘哇,這可能改變游戲規(guī)則’,因?yàn)槟P驮谒俣群偷托Х矫娲_實(shí)很掙扎。”
但她也補(bǔ)了一句大實(shí)話:如果你自己說自己的成績很炸裂,可信度就會打折。這正是第三方驗(yàn)證的價(jià)值所在——讓數(shù)據(jù)替你說話,而不是讓你的嘴替數(shù)據(jù)吹牛。
那么,這個(gè)讓Appen都覺得興奮的“游戲規(guī)則改變者”到底改了什么?要理解這一點(diǎn),你得先搞懂大模型一直被什么卡著脖子。這個(gè)話題說來也不復(fù)雜,我盡量用生活化的語言講給你聽。
現(xiàn)階段幾乎所有的大型語言模型,包括ChatGPT背后那類產(chǎn)品,都建立在一個(gè)叫Transformer的架構(gòu)上。你可以把Transformer理解成模型世界里的“流水線設(shè)計(jì)圖紙”,它負(fù)責(zé)定義信息怎么在模型內(nèi)部流動、怎么被加工。這張圖紙有個(gè)天生的毛病:隨著你要求模型一次性處理的文本變長,它需要的計(jì)算量不是線性增長,而是以平方級的速度往上躥。比如處理一段100個(gè)詞的文字需要100份算力的話,處理200個(gè)詞可能就需要400份,400個(gè)詞就需要1600份。這個(gè)特性在學(xué)術(shù)界有個(gè)名字叫“二次復(fù)雜度瓶頸”,而它就是那個(gè)讓所有大模型“一邊燒錢一邊喘粗氣”的罪魁禍?zhǔn)住?/p>
近十年來,全世界聰明的腦袋都在想一件事:能不能改改這張圖紙,讓算力需求和文本長度之間的關(guān)系從平方級降下來?如果能降到接近線性——也就是處理200個(gè)詞只要200多份算力——那省下來的電費(fèi)和算力可不是一星半點(diǎn)。Subquadratic聲明自己做到的,正是這個(gè)。
它的名字本身就是線索:“Subquadratic”直譯過來就是“次二次”,數(shù)學(xué)上指的就是那些增長速度比平方級更慢的函數(shù)類型。這家公司的命名相當(dāng)于把自己的技術(shù)路線直接印在了名片上。
根據(jù)目前公開的信息,SubQ模型用了一種不同的處理方式,繞開了傳統(tǒng)Transformer架構(gòu)中那個(gè)最笨重的部分。說“繞開”也許不夠準(zhǔn)確,更精確的表達(dá)是“重新設(shè)計(jì)了信息交互的機(jī)制”。傳統(tǒng)模型里,每次處理文本時(shí),每一個(gè)詞都要和整個(gè)上下文里的所有其他詞打一遍招呼,相當(dāng)于全班同學(xué)每次上課都得互相擊掌一輪——人少還好,一個(gè)班50個(gè)人就是1225次擊掌,100個(gè)人就是4950次。SubQ的做法則是改變了擊掌的規(guī)則,讓每個(gè)人只需要跟少數(shù)幾個(gè)關(guān)鍵人物擊掌,還能保證信息傳達(dá)不出錯(cuò)。這樣一來計(jì)算量自然會斷崖式下降。
Appen的測試結(jié)果似乎在多個(gè)維度上印證了這套架構(gòu)的有效性:SubQ在速度快了若干倍的同時(shí),能耗和成本曲線都出現(xiàn)了明顯下探,而且在長文本處理任務(wù)上表現(xiàn)出色。編程能力方面,它和目前頂尖的商業(yè)模型較勁時(shí)“或多或少持平”——這個(gè)措辭很嚴(yán)謹(jǐn),“持平”不是“超越”,但也足以說明這套新架構(gòu)在性能上不含糊。
當(dāng)然,這不代表SubQ會在所有方面取代現(xiàn)有模型。Subquadratic自己也沒這么說。在特定類型的任務(wù)上,比如需要一次性吞掉整本參考文檔才能做事的長鏈條分析、大規(guī)模代碼庫級別的理解與重構(gòu),SubQ可以用傳統(tǒng)模型幾分之一的成本跑出快幾倍的速度。但在其他一些任務(wù)上,現(xiàn)有的巨頭模型可能仍然更勝一籌。
Subquadratic的野心比做一款單點(diǎn)產(chǎn)品要大得多。公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官賈斯汀·丹格爾(Justin Dangel)在描述公司愿景時(shí)說了一句挺大膽的話:“我們希望我們正在開啟一個(gè)效率的新時(shí)代。我們認(rèn)為幾年之后沒人會在Transformer架構(gòu)上搭建模型了。”
這句話放在一個(gè)月前可能被噴得體無完膚,但在Appen的測試結(jié)果擺出來之后,至少值得聽一聽。它本質(zhì)上是一個(gè)商業(yè)判斷與技術(shù)預(yù)判的混合體:如果次二次復(fù)雜度的架構(gòu)確實(shí)能在保證性能的同時(shí)把成本結(jié)構(gòu)打下來,那么產(chǎn)業(yè)的天平遲早會傾斜。這種傾斜可能是漸進(jìn)式的——一開始是某些對成本極度敏感或上下文長度需求極大的場景率先切換,然后隨著新架構(gòu)生態(tài)的完善,再逐步擴(kuò)展到更主流的應(yīng)用中去。
回頭看看Subquadratic這次從“被群嘲”到“獲背書”的過程,本身就是一個(gè)很好的傳播學(xué)案例。一家還沒拿出完整證據(jù)的公司,先拋出一個(gè)石破天驚的聲明,然后被輿論按在地上摩擦,接著不急不慢地掏出第三方報(bào)告,完成一輪漂亮的輿論反轉(zhuǎn)。惠登自己反思說,如果當(dāng)初發(fā)布時(shí)就同時(shí)放出獨(dú)立基準(zhǔn)測試結(jié)果,“大部分的質(zhì)疑都會被預(yù)先化解”。這句話道出了科技傳播中一條隱形規(guī)則:你說的數(shù)字越驚人,你越不應(yīng)該自己當(dāng)那個(gè)念數(shù)字的人。
讓一個(gè)中立的、有專業(yè)信譽(yù)的第三方站出來替你念,比你喊一百遍“我們真的做到了”都管用。因?yàn)槿藗兲烊粫岩赡切┠軓暮孟⒅兄苯荧@利的人。Subquadratic如果真能把SubQ做成了,估值飛升、用戶涌入、行業(yè)地位改寫——這些收益太大了,大到任何理性的外部觀察者都不得不先假定你有可能在吹牛。
這就是為什么惠登說“我們現(xiàn)在花時(shí)間確保未來的任何結(jié)果在公開之前都經(jīng)過了充分驗(yàn)證”。吃了虧,學(xué)會了規(guī)矩,接下來每一步都得走得嚴(yán)絲合縫。
說回SubQ本身。它到底能不能擔(dān)得起“自Transformer以來最大突破”這個(gè)稱號,現(xiàn)在下結(jié)論還太早。AI行業(yè)不缺驚艷的Demo,缺的是經(jīng)得起大規(guī)模部署考驗(yàn)、在各種刁鉆場景下不掉鏈子的穩(wěn)健產(chǎn)品。SubQ需要通過更多維度的測試,需要在更多人手里跑出穩(wěn)定的表現(xiàn),需要在真實(shí)業(yè)務(wù)場景中證明自己確實(shí)能省下真金白銀。到那個(gè)時(shí)候,我們才能比較有把握地說,那個(gè)近十年的瓶頸是不是真的被捅穿了。
但有一點(diǎn)已經(jīng)比較清楚了:這次不是空穴來風(fēng)。Appen的獨(dú)立測試結(jié)果給出了實(shí)打?qū)嵉恼蛐盘枺砻鱏ubQ所代表的技術(shù)路線至少不是一場精心包裝的騙局。它可能還有缺陷,可能在某些邊角情況下表現(xiàn)不穩(wěn),可能還需要一段時(shí)間來追趕傳統(tǒng)架構(gòu)積累多年的工程優(yōu)化——但它身上那股“用新思路硬剛老問題”的氣質(zhì),確實(shí)讓人想起AI領(lǐng)域每一次真正有意義的架構(gòu)變遷。
最后說一個(gè)有趣的細(xì)節(jié)。Subquadratic選在這個(gè)時(shí)間點(diǎn)高調(diào)出山,本身就踩在了一個(gè)行業(yè)情緒的微妙節(jié)點(diǎn)上。過去兩年,大模型的參數(shù)規(guī)模瘋狂膨脹,訓(xùn)練成本飆到了天文數(shù)字,能耗賬單讓所有云廠商都肉疼。整個(gè)行業(yè)嘴上喊著“越大越好”,心里其實(shí)都在嘀咕:這條路還能走多遠(yuǎn)?如果每提升一個(gè)百分點(diǎn)的性能就要多燒一座電廠的電力,這個(gè)商業(yè)模式遲早要撞上物理定律的南墻。
在這種集體焦慮的背景下,任何能顯著降低計(jì)算復(fù)雜度的技術(shù)突破都會獲得加倍的關(guān)注和加倍的質(zhì)疑。人們渴望它存在,又害怕又一次被科技泡沫收割期待。Subquadratic接下來要做的,就是在聚光燈下,一條一條兌現(xiàn)自己許下的數(shù)字。如果它成功了,幾年之后當(dāng)我們回頭看時(shí),今年春天的這場亮相,也許真的會被標(biāo)記為某個(gè)新時(shí)代的前奏。
而現(xiàn)在,我們能說的只有一句話:初步證據(jù)顯示,這件事值得繼續(xù)盯著。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.