无主之地2配置高吗|看真人裸体BBBBB|秋草莓丝瓜黄瓜榴莲色多多|真人強奷112分钟|精品一卡2卡3卡四卡新区|日本成人深夜苍井空|八十年代动画片

網易首頁 > 網易號 > 正文 申請入駐

DeepSeek又過節發論文:7056倍視覺壓縮,解決多模態模型"找不準"痼疾

0
分享至

剛剛開放“識圖”功能灰度測試的 DeepSeek ,在昨天同步發了篇多模態的論文。

論文題目為“Thinking with Visual Primitives”(以視覺原語思考),提出了一種新的推理范式“視覺原語”。


論文指出,當前主流的多模態大模型普遍存在“感知鴻溝”(Perception Gap)的問題。

模型能看清圖片,但推理時只能用自然語言描述“左邊那個大的”、“靠近中央的紅色物體”等。普遍存在細粒度理解失效、指代混淆、空間關系判錯、密集小目標無法區分等核心問題。

在面對密集場景時,這種模糊的語言描述,必然導致注意力的“漂移”與推理的崩塌。

此前,業界主流解法是,提高分辨率讓模型看更清,即堆參數量、加大編碼器、擴充訓練數據。

但這種只用網格Patch特征做圖文對齊的方式,表征無顯式坐標、無獨立尋址能力、不可拆解推理,只能做全局模糊語義匹配,成了高精度視覺推理長期遇瓶頸的本質原因。

DeepSeek 換了思路,它認為,問題不在看,“在指”。


論文提出的解決方案是,把關鍵點、坐標點、包圍框、語義掩碼、空間線段作為模型原生推理原子。

模型每提到一個視覺對象,同步輸出坐標,像錨點一樣把邏輯鏈釘在圖片的物理位置上。邊界框用于需要定位和尺寸的對象,點坐標用于迷宮軌跡和曲線追蹤。


這套架構有效性的另一大支柱在于,極致的效率。

模型基于DeepSeek V4-Flash(一個284B總參數、推理時激活13B的MoE模型)構建。一張756×756的圖片經ViT處理后會產生2916個圖像塊token,再通過3×3空間壓縮和其自研的壓縮稀疏注意力機制(CSA)進行深度壓縮,最終只需81個視覺KV條目即可支持復雜的空間推理。


作為對比,同等條件下,Claude Sonnet 4.6大約需要870個token,而Gemini-3-Flash則約需1100個。

這意味著,思考過程的每一步都前所未有地“輕量”,模型無需在記憶的汪洋中反復檢索被稀釋的視覺信息,實現了7056倍的視覺壓縮。


模型的訓練和表現也驗證了這一框架的威力。

團隊從近10萬個數據源中篩選出約3.17萬個高質量目標檢測數據集,生成了超過4000萬條訓練樣本,覆蓋計數、空間推理、迷宮導航和路徑追蹤四類核心任務。

在后訓練階段,他們采用了頗具匠心的“先專家化、后統一”策略:先分別訓練擅長邊界框和點坐標的兩個專家模型,再通過在線策略蒸餾將二者合并。

結果令人振奮:在計數任務上,模型以89.2%的精確匹配得分超越Gemini-3-Flash的88.2%,并大幅領先GPT-5.4的76.6%。

在最能體現“邏輯+空間”能力的拓撲推理上,模型的優勢更是斷層式的:迷宮導航得分66.9%,相比GPT-5.4的50.6%和Claude Sonnet 4.6的48.9%,提升高達約17個百分點。





最后,論文也坦誠地指出了仍存在的局限。

比如,該“思考”能力仍需顯式觸發詞激活,還無法實現完全的自主判斷;在極細粒度場景下坐標精度偶有不足;以及跨場景泛化能力仍有待加強。

但這并不妨礙其開創性意義。它有力地證明了,在多模態模型中,“看見”與“想清楚”是兩回事。

而彌合二者之間鴻溝的關鍵,也許就是向人類演化數萬年的本能借鑒——用最基本的視覺原語來思考。這讓模型在思考時,可以像人用手指點東西一樣,把坐標直接穿插在思維鏈里,鎖定每一個涉及的視覺對象。

項目在 GitHub 開源,但目前顯示鏈接 404。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
全紅嬋留長發,近170cm顏值驚人,網友:這臉,變化好大...

全紅嬋留長發,近170cm顏值驚人,網友:這臉,變化好大...

動物奇奇怪怪
2026-06-24 15:41:23
陳若琳果然沒看錯!官方正式為全紅嬋定調,所有謠言徹底反轉

陳若琳果然沒看錯!官方正式為全紅嬋定調,所有謠言徹底反轉

阿廢冷眼觀察所
2026-06-25 00:34:59
這么優秀的兩個孩子,可以加進遺囑了吧!

這么優秀的兩個孩子,可以加進遺囑了吧!

BenSir本色說
2026-06-25 01:39:13
高市愿意參加峰會,但拒絕跟中方碰面!聲稱:中國對她人身攻擊?

高市愿意參加峰會,但拒絕跟中方碰面!聲稱:中國對她人身攻擊?

晨光蘇醒a
2026-06-25 03:21:57
上海交大發現:高血脂患者如果每周餓幾次,其效果堪比藥物作用?

上海交大發現:高血脂患者如果每周餓幾次,其效果堪比藥物作用?

健康科普365
2026-06-22 13:45:17
92年我娶了村里母老虎,新婚3天沒敢同房,第4天她突然攔下我

92年我娶了村里母老虎,新婚3天沒敢同房,第4天她突然攔下我

青青會講故事
2026-06-22 11:40:39
幫我爸辦獨生子女退休補貼,跑了3趟才搞懂:很多人第1步就走錯了

幫我爸辦獨生子女退休補貼,跑了3趟才搞懂:很多人第1步就走錯了

愛下廚的阿釃
2026-06-24 03:56:17
14歲被送上導演的床,17歲拍全裸寫真,被操控半生,如今怎樣了

14歲被送上導演的床,17歲拍全裸寫真,被操控半生,如今怎樣了

樂天閑聊
2026-05-27 05:30:24
立陶宛新任總理現身,上來就對臺當局喊話,又一個狠角色登上臺面

立陶宛新任總理現身,上來就對臺當局喊話,又一個狠角色登上臺面

知法而形
2026-06-24 17:44:04
TVB前一線男星相隔11年再拍港劇!傳有10億身家!無奈回應:其實我好坎坷

TVB前一線男星相隔11年再拍港劇!傳有10億身家!無奈回應:其實我好坎坷

我愛追港劇
2026-06-25 01:48:40
定居臺灣的姑姑回大陸,顯擺自己住150平豪宅,我:去我家看看

定居臺灣的姑姑回大陸,顯擺自己住150平豪宅,我:去我家看看

紅豆講堂
2025-06-27 10:54:06
難以置信!成績未出,已收到復旦大學短信,上海一家長爆料引熱議

難以置信!成績未出,已收到復旦大學短信,上海一家長爆料引熱議

火山詩話
2026-06-24 08:52:00
兩性關系:72歲大媽提同居,男方:行,只要你牢記這8件事!

兩性關系:72歲大媽提同居,男方:行,只要你牢記這8件事!

來去自如的小章
2026-06-24 21:06:46
末輪爭頭名 葡萄牙需贏哥倫比亞 若小組第2出線:決賽才碰阿根廷

末輪爭頭名 葡萄牙需贏哥倫比亞 若小組第2出線:決賽才碰阿根廷

我愛英超
2026-06-24 12:31:38
人倫大亂,正在悄悄毀掉無數中國家庭!看似平常,實則家道衰敗

人倫大亂,正在悄悄毀掉無數中國家庭!看似平常,實則家道衰敗

匹夫來搞笑
2026-06-22 09:23:38
正式確定!山西男籃更換主帥,潘江離開球隊,楊鳴有望接手

正式確定!山西男籃更換主帥,潘江離開球隊,楊鳴有望接手

體壇瞎白話
2026-06-24 14:20:35
美伊趨穩,特朗普將目光轉向朝鮮半島?李在明:特朗普說現在到了關注朝鮮問題的時候,已向美方建議分階段解決朝核問題,特朗普予以肯定

美伊趨穩,特朗普將目光轉向朝鮮半島?李在明:特朗普說現在到了關注朝鮮問題的時候,已向美方建議分階段解決朝核問題,特朗普予以肯定

每日經濟新聞
2026-06-25 00:55:42
外媒預測世界杯:蘇格蘭1-2巴西,捷克1-1墨西哥,摩洛哥令人意外

外媒預測世界杯:蘇格蘭1-2巴西,捷克1-1墨西哥,摩洛哥令人意外

削桐作琴
2026-06-24 22:10:43
安徽地級行政區偏多,全域優化合并悄然啟動

安徽地級行政區偏多,全域優化合并悄然啟動

石辰搞笑日常
2026-06-24 16:10:40
97年我娶了離過婚的女教師,洞房夜她把燈關了:我有件事要告訴你

97年我娶了離過婚的女教師,洞房夜她把燈關了:我有件事要告訴你

千秋文化
2026-06-18 20:19:03
2026-06-25 05:12:49
AI先鋒官 incentive-icons
AI先鋒官
AIGC大模型及應用精選與評測
552文章數 92關注度
往期回顧 全部

科技要聞

豆包專業版上線:定價68-500元每月

頭條要聞

15歲男孩肥胖誘發糖尿病 搶救無效離世

頭條要聞

15歲男孩肥胖誘發糖尿病 搶救無效離世

體育要聞

字母哥,會把凱爾特人拆了嗎?

娛樂要聞

向佐向佑兄弟合體直播!母子終于和解

財經要聞

逃稅23億:審計署年報直指七家機構

汽車要聞

施鵬澤:為什么奧迪E7X強調座艙氣味安全?

態度原創

教育
時尚
本地
游戲
數碼

教育要聞

2026高考分數線最新匯總!12省已公布,含藝術類各專業分數線

那些搞砸高考的年輕人,人生完蛋了嗎?

本地新聞

2026世界杯全勤太難?這份保姆級攻略請收好

獵魂世界:霍雨浩六大配置+操作問題分析!第一神控是否名副其實

數碼要聞

三星電子公眾號注銷!家電業務已官宣退出中國大陸市場

無障礙瀏覽 進入關懷版