![]()
發哥,你怎么也“下海養蝦”了?
就在今天早上,托尼我來參加了一場特別的大會,一場開發者大會。
![]()
先別緊張,不是蘋果的 WWDC 開發者大會提前開了,也不是華為的 HDC 開發者大會,而是聯發科的開發者大會 MDDC。
![]()
估計差友們會比較迷惑,怎么聯發科也有自己的開發者大會了 —— 但其實,人家今年已經是第三年搞開發者大會了,前兩年都在深圳,大會主題分別是 “ AI 予萬物 ”,“AI 隨心,應用無解”,聽著都戰未來、很有前途的內容哇。
而今年,發哥給我們掏出來的居然是 —— 聯發科自己的龍蝦,Sensing Claw。。。。
![]()
這幾個月來有關注 AI 動態的差友們都知道,龍蝦是出了名的算力開銷大戶,真正養蝦的人要么哐哐砸錢買tokens,要么鼠標點冒煙瘋狂搶購 MacBook 、MacMini 或者英偉達顯卡。
![]()
聯發科難不成要把龍蝦養在手機上?真這么干了,手機芯片的算力真的夠用嗎。。。
結果我仔細聽完之后才發現,發哥這不是要在手機上養龍蝦,他們的目標其實是讓用了天璣平臺的開發者還有設備廠商,能借助天璣 SensingClaw 技術,給 AI 解鎖低功耗的全時感知能力。
![]()
至于什么是低功耗的全時感知能力,聯發科在大會現場也給咱講清楚了,就是要讓龍蝦這樣的 AI 應用能跟手機上的攝像頭、麥克風這些硬件結合,讓龍蝦能更好地感知真實的世界,給咱干活的時候手腳能更麻利一點。
換句話說并不是把整個龍蝦都放到聯發科的手機芯片上,而是用端云結合的辦法。
手機這邊只負責處理信息采集工作。也就是利用攝像頭、麥克風、還有GPS 和陀螺儀等等硬件配置,收集視覺、聽覺還有方位這些多模態的信息,再轉換成云端大模型能看懂的信息傳上去。
圖片由NANO Banana生成
![]()
真正生成式的任務都是云端能力更強的大模型在執行,包括判斷任務下一步要怎么執行,執行的具體內容是什么等等。
![]()
現場聯發科也舉了幾個在手機上養龍蝦的好處,比方說購物的時候可以讓龍蝦自己去各個平臺比價。
![]()
又比方說,在外面吃飯排隊的時候,可以讓龍蝦幫忙聽叫號,免得在王者峽谷里跑太久了錯過叫號。
聽起來都是很有用的功能,這還只是聯發科自己的demo。
![]()
大會現場,聯發科還給大家介紹了它的好兄弟OPPO、小米、傳音基于聯發科天璣平臺整出來的龍蝦,不敢想后面這幫手機廠能搞出什么樣的花式應用場景。
![]()
不過,先別急著高興,要讓各家的龍蝦在手機上跑起來,可沒那么簡單。
在前面我們列舉的這些場景里,手機端的 AI 任務都不復雜,都是屏幕內容的識別、指令識別和聲音的識別這些基本任務,然而就是這么點事兒,對手機硬件來說也是個不小的挑戰。
其中一個很重要的問題就是功耗。
跟現在手機上那種拍一張照發給豆包的玩法不一樣,聯發科搞得這個持續多模態采集是耗電大戶。
就拿讓龍蝦幫忙聽叫號的這個功能來說,需要手機的麥克風一直開著,更讓人頭疼的是要實時處理這些麥克風收集到的聲音信息,也需要芯片不停地算,非常耗電。
與此同時還要考慮用戶在AI處理任務的時候會用手機干別的事情,兩頭的功耗一加,就更嚇人了。
圖片由NANO Banana生成
![]()
所以包括聯發科在內的一眾處理器廠商,還有米、O、V 這些終端設備廠商,一直都在探索讓處理器高效處理這些 AI 任務的辦法。
一個常見的方向就是把一些需要長時間跑的任務從 CPU 和 GPU 這邊拎出來,扔給另外一個叫 NPU 的模塊。
![]()
NPU 我們之前也給大家單獨介紹過很多次啦,還不知道的差友可以回去翻翻我們之前的文章。
NPU 有多好用,不少研究團隊都試過了,一句話總結就是跑 AI 性能好、還省電,這就是大伙兒想把 AI 扔到 NPU上跑的一個重要原因。
而且巧的是,聯發科去年發布的天璣 9500 處理器是雙NPU的架構。
![]()
芯片發布的時候龍蝦還沒大火,雙 NPU 一開始應該也不是專門為龍蝦準備的,但從結果來看,雙 NPU 這樣的硬件實力確實讓手機養龍蝦又或者別的AI應用能有更大的可能性。
不過前段時間我們一篇文章里也跟大家提到了,NPU 雖好,但實際跑起來的時候卻沒什么軟件應用調用。。。
這也不能怪軟件應用,畢竟現在手機處理器上既有 CPU 又有 GPU,光是處理這兩個大哥的任務分配和調度,就夠讓應用開發者們頭疼了。
![]()
現在又來一個 NPU,就更復雜了。
讓我們沒想到的是,這個問題發哥也考慮到了 —— 他們這次開發者大會發布了一個新的AI開發套件,里頭就有一個天璣 eNPU 的開發工具,能幫開發者充分發揮天璣芯片中超能效 NPU 的優勢。
![]()
好嘛,鏟子都給準備好了,讓我們不得不懷疑發哥的工程師們平時是不是也看差評,看到了我們之前的吐槽(bushi
按照發哥的說法,這個 eNPU 的工具,能讓常駐輕載AI模型的功耗節省42%,感覺用來處理持續聲音感知、方位感知這種任務很香的。
除了開發 eNPU 這個 NPU “ 金鏟鏟 ” 以外,聯發科這次發的這套 AI 開發套件還有很多對開發者友好的工具。
比方說LVM 模型可視化部署,能幫助開發者從命令行開發升級至GUI 模塊化,原本需要對著黑乎乎的窗口敲代碼的工作就可以變成圖形化操作了,連連線拖拖滑塊就能完成很多復雜的調試。
![]()
雖說可視化編程其實已經喊了很多年了,但大模型部署這種細分的應用還是很有用的,畢竟這波 AI 浪潮之后不少新的開發者涌入了AI應用這條賽道,能有更好用的工具對他們來說也是好事。
類似的工具還有天璣 AI Partner,據說它可以低門檻全自動移植模型到聯發科的天璣平臺,發哥聲稱用上這個工具之后,端側 LLM模型部署這一環能節省 90%的時間,可以說對開發者的頭發相當友好啦。
![]()
另外這次的 AI 開發套件里還有一個對我們每一個人都好的工具, 就是 這個 Low Bit 壓縮工具包。
這個工具,跟前段時間讓內存市場大動蕩的谷歌TurboQuant 有點像,它最大的用處就是降低模型壓縮過程中對設備內存的占用率。
按照發哥的說法,用上 Low Bit 之后,相同質量模型的壓縮率能提升 58%。
而對我們消費者來說,這個 Low Bit 就是給手機上的 AI 模型"瘦身不減腦",讓本來只有旗艦機才配擁有的 AI 功能,也能在中低端手機上跑得順暢。
![]()
總之,能感覺到發哥搞這一整套 AI 工具套件的目的,就是降低開發者門檻、省電省空間,讓各種 AI 應用能真正在手機上活起來。
![]()
除了 AI 以外,聯發科這場開發者大會也探討了很多別的議題,比方說天璣智能座艙平臺。
![]()
但這些就涉及到很多跟汽車相關的事情了,時間關系我就先不展開了,去年我們汽車部的同事就做過這方面的視頻,感興趣的差友可以先移步B站先復習一下,今年內容我們找個時間拉上脖子哥再給大家聊一聊。
整個開發者大會逛下來,托尼最大的感覺就是發哥還是那個濃眉大眼的發哥,真要干一件事兒就哐哐猛砸資源干。
但也能看出這種擼起袖子就是干的做法背后,發哥的焦慮 —— 聯發科早年芯片性能一直不太過關,以至于很長一段時間品牌的口碑都不是很好。
這幾年雖然芯片產品有了驚人的長進,甚至一度干翻高通,但在高端市場仍然缺乏一定的號召力。
而做生態,不管是AI生態還是游戲生態,最需要的就是號召力,一個最簡單的道理:東西再好也得讓人愿意用。
所以我們能看到這幾年聯發科搞的這個開發者大會,端上來的這些東西都在盡可能地向開發者展示自己的誠意,不管是去年的游戲開發套件,今年的 AI 開發套件,都挺實在的,不畫餅,就想著給開發者創造便利。
![]()
至于能收到多好的效果,開發者們買不買賬,聯發科能不能獲得高端市場的認可,這些問題可能還得等待時間的考驗。
![]()
總之加油吧聯發科,總得給隔壁兩家上點壓力的。
你說是吧高通,還有蘋果
撰文: 施昂
編輯: 米羅&面線
美編: 煥妍
圖片、資料來源:
O que é NPU (unidade de processamento neural)?
智能手機的最佳 GPU:選擇合適 GPU 的完整指南 -PcHardwarePro
![]()
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.