2025年6月，李飛飛在Y Combinator的AI Startup School上表示：“在我看來，沒有空間智能，AGI 是不完整的。而我想解決的，正是這個(gè)問題。”

此外，她還指出，大語言模型是運(yùn)行在一維語言空間中的純生成系統(tǒng)；而現(xiàn)實(shí)世界是三維的，必須被感知、重建與操作，無法僅靠語言建模完成。

隨著人工智能領(lǐng)域的迅猛發(fā)展，大語言模型（LLM）在2022年底至2023年間取得了自然語言處理的革命性突破，顯著提升了人機(jī)交互的水平。然而，當(dāng)我們驚嘆于AI系統(tǒng)生成連貫文章、解答復(fù)雜問題的能力時(shí)，一個(gè)關(guān)鍵挑戰(zhàn)日益凸顯：這些系統(tǒng)在理解和交互于三維物理世界時(shí)仍顯得力不從心，普遍缺乏基本的空間認(rèn)知能力。

空間智能作為連接物理世界與抽象思維的橋梁，其目標(biāo)不僅在于讓機(jī)器“看見”三維世界，更在于引導(dǎo)其建立對空間結(jié)構(gòu)、物理規(guī)律及動(dòng)態(tài)變化的深層理解。

從計(jì)算機(jī)視覺的早期嘗試到現(xiàn)代深度學(xué)習(xí)驅(qū)動(dòng)的場景理解，從靜態(tài)幾何重建到動(dòng)態(tài)物理交互，空間智能的發(fā)展揭示了人工智能從處理符號到理解現(xiàn)實(shí)世界的關(guān)鍵演進(jìn)路徑。這種能力對實(shí)現(xiàn)真正的通用人工智能至關(guān)重要，正如空間認(rèn)知在人類智能發(fā)展中的基礎(chǔ)性作用一樣，它將為人工智能系統(tǒng)提供理解和交互于我們?nèi)S世界的必要基礎(chǔ)。

什么是空間智能？

空間智能作為一個(gè)整體概念，強(qiáng)調(diào)的是三維感知、空間推理和多模態(tài)生成三大能力的有機(jī)整合，而非簡單疊加。

真正的空間智能系統(tǒng)需要這三種能力緊密協(xié)作，形成一個(gè)閉環(huán)系統(tǒng)：三維感知提供對環(huán)境的準(zhǔn)確理解，空間推理基于這種理解預(yù)測可能的變化和交互結(jié)果，多模態(tài)生成則將理解和預(yù)測轉(zhuǎn)化為具體行動(dòng)或內(nèi)容，這些行動(dòng)又可能改變環(huán)境狀態(tài)，觸發(fā)新一輪的“感知—推理—生成”循環(huán)。這種閉環(huán)特性使得空間智能具有自我提升的潛力：通過與環(huán)境的持續(xù)交互，系統(tǒng)能夠不斷完善其內(nèi)部模型和行為策略，實(shí)現(xiàn)類似人類的經(jīng)驗(yàn)學(xué)習(xí)過程。

例如，一個(gè)智能機(jī)器人可能通過反復(fù)嘗試抓取不同形狀的物體，觀察成功和失敗案例，逐步改進(jìn)其物理模型和操作策略。空間智能研究面臨著多重技術(shù)挑戰(zhàn)和科學(xué)問題。

在感知層面，如何在開放、動(dòng)態(tài)和不確定環(huán)境中實(shí)現(xiàn)穩(wěn)健的三維感知仍是一個(gè)核心挑戰(zhàn)，特別是對于透明、鏡面反射等復(fù)雜材質(zhì)物體的準(zhǔn)確感知；在推理層面，如何構(gòu)建能夠高效且準(zhǔn)確預(yù)測物理交互的計(jì)算模型，同時(shí)兼顧計(jì)算效率和物理準(zhǔn)確性，是一個(gè)關(guān)鍵難題；在生成層面，如何確保生成內(nèi)容的物理可行性和功能合理性，同時(shí)保持創(chuàng)造性和多樣性，仍需進(jìn)行深入研究。

空間智能更本質(zhì)的挑戰(zhàn)在于如何構(gòu)建一個(gè)統(tǒng)一的空間表示框架，能夠同時(shí)支持高效感知、推理和生成，同時(shí)保持計(jì)算可行性和擴(kuò)展性。這種表示需要兼顧幾何精度、物理屬性和語義信息，使系統(tǒng)能夠無縫處理不同類型的空間任務(wù)。

未來空間智能研究的發(fā)展方向可能包括多種路徑。

第一種是向更綜合的多模態(tài)感知發(fā)展，整合視覺、觸覺、聽覺等多種感官通道，構(gòu)建更完整的環(huán)境表征；

第二種是向更深入的物理理解方向發(fā)展，通過物理導(dǎo)向?qū)W習(xí)或可微分物理模擬等方法，使系統(tǒng)能夠?qū)W習(xí)和應(yīng)用更復(fù)雜的物理規(guī)律；

第三種是向更高級的交互生成能力發(fā)展，使系統(tǒng)能夠根據(jù)用戶需求和環(huán)境約束創(chuàng)造適應(yīng)性解決方案。

這些方向的共同目標(biāo)是構(gòu)建能夠自然理解和交互于物理世界的人工智能系統(tǒng)，使機(jī)器能夠像人類一樣輕松應(yīng)對各種空間挑戰(zhàn)。

隨著空間智能研究的深入，我們可能見證一個(gè)從“單一感知”向“整合理解”，再到“創(chuàng)造性交互”的技術(shù)演進(jìn)過程。早期的計(jì)算機(jī)視覺系統(tǒng)主要關(guān)注如何“看見”世界，現(xiàn)代空間智能則強(qiáng)調(diào)如何“理解”世界的結(jié)構(gòu)與規(guī)律，而未來的系統(tǒng)將進(jìn)一步發(fā)展出如何創(chuàng)造性地“重塑”世界的能力。這一演進(jìn)路徑類似于人類從嬰兒期的基礎(chǔ)感知，到幼兒期的因果理解，再到成熟期的創(chuàng)造性問題解決的認(rèn)知發(fā)展過程，這反映了智能系統(tǒng)與物理世界交互能力的自然進(jìn)階。

隨著這一領(lǐng)域的持續(xù)發(fā)展，空間智能可能成為連接感知人工智能和推理人工智能的關(guān)鍵橋梁，使人工智能系統(tǒng)真正能夠理解和交互于我們生活的三維物理世界。

空間智能：AGI無法跳過的進(jìn)化階段

空間智能與通用人工智能（AGI）的關(guān)系既是基礎(chǔ)性的，也是戰(zhàn)略性的，二者之間存在著深刻而復(fù)雜的相互依存關(guān)系，這種關(guān)系不僅影響著當(dāng)前人工智能技術(shù)的發(fā)展方向，還有可能決定通用人工智能最終實(shí)現(xiàn)的路徑選擇。理解這一關(guān)系，需要我們跳出技術(shù)細(xì)節(jié)，審視智能的本質(zhì)特征及其在自然進(jìn)化和認(rèn)知發(fā)展中的演化規(guī)律，從而把握空間智能在通用人工智能構(gòu)建中的核心地位和作用機(jī)制。

將空間認(rèn)知發(fā)展研究的啟示應(yīng)用于通用人工智能構(gòu)建，我們可以推斷，真正的通用人工智能可能同樣需要先建立牢固的空間認(rèn)知能力，然后才能發(fā)展出真正的抽象思維和通用問題解決能力。純粹的語言模型，無論多么強(qiáng)大，如果缺乏對物理世界的基本理解，其通用性可能始終受到根本限制。

近期大語言模型的驚人進(jìn)展為通用人工智能研究帶來了新的思路和可能性。雖然這些模型主要處理語言數(shù)據(jù)，但它們已經(jīng)展現(xiàn)出令人驚訝的推理能力和知識整合能力。特別值得注意的是，即使沒有直接接觸三維空間數(shù)據(jù)，這些模型也能在一定程度上理解和處理空間概念。

例如，GPT—4 在處理涉及空間關(guān)系的問題時(shí)表現(xiàn)出了超出預(yù)期的能力，它能夠理解“把紅色方塊放在藍(lán)色圓形的左側(cè)，但在綠色三角形的上方”這樣復(fù)雜的空間指令，盡管它并未直接接觸過三維空間數(shù)據(jù)。

這種現(xiàn)象可能源于語言中隱含的豐富空間知識。如喬治·萊考夫和馬克·約翰遜在《我們賴以生存的隱喻》（Metaphors We Live By）中所指出的，人類語言充滿了空間隱喻，許多抽象概念都通過空間關(guān)系來表達(dá)。例如，我們說“高”興和“低”落來描述情緒狀態(tài)，用“前”途和“后”果來表達(dá)時(shí)間關(guān)系，用“深”入和“膚”淺來描述理解程度。

這些空間隱喻不僅是語言表達(dá)的修辭手段，還反映了人類思維本質(zhì)上的空間化特性—我們傾向于通過空間關(guān)系來組織和理解各種概念，包括那些本身并非空間性質(zhì)的抽象概念。大語言模型通過處理大量文本，可能間接學(xué)習(xí)到這些隱含的空間知識，從而展現(xiàn)出對空間概念具有一定的理解能力。

然而，大語言模型僅通過語言獲取的空間知識很可能存在根本局限。

首先，語言描述往往是高度抽象和簡化的，難以傳達(dá)物理世界的全部復(fù)雜性和細(xì)節(jié)。

其次，語言學(xué)習(xí)缺乏直接的感知反饋和交互經(jīng)驗(yàn)，無法建立感知與動(dòng)作之間的緊密聯(lián)系，而這種聯(lián)系對于真正的空間理解至關(guān)重要。

最后，語言本身是人類基于直接空間經(jīng)驗(yàn)創(chuàng)造的抽象系統(tǒng)，通過語言間接學(xué)習(xí)空間概念存在著本質(zhì)上的信息損失和扭曲。

在創(chuàng)造性思維方面，空間智能與抽象推理的結(jié)合為通用人工智能系統(tǒng)提供了創(chuàng)新問題解決的可能性。空間智能為通用人工智能系統(tǒng)注入類似的空間化思維能力，可能為其提供更強(qiáng)大的創(chuàng)造性問題解決工具。例如，現(xiàn)代深度學(xué)習(xí)模型已經(jīng)展示了在隱空間（latent space）中進(jìn)行概念混合和轉(zhuǎn)換的能力，如DALL-E能夠創(chuàng)造出“穿著宇航服演奏薩克斯風(fēng)的鱷魚”這樣的新穎組合圖像。

在整合多感知通道方面，空間智能的貢獻(xiàn)尤為突出。人類空間認(rèn)知依賴于視覺、聽覺、觸覺和本體感受等多種感官輸入的協(xié)同處理，這種多模態(tài)整合使我們能夠構(gòu)建豐富而穩(wěn)健的空間表征。通用人工智能系統(tǒng)同樣需要這種多模態(tài)整合能力，以應(yīng)對復(fù)雜多變的實(shí)際環(huán)境。例如，自動(dòng)駕駛系統(tǒng)需要整合相機(jī)、雷達(dá)和激光雷達(dá)等多種傳感器數(shù)據(jù)，在不同天氣和光照條件下維持可靠的環(huán)境感知；家庭服務(wù)機(jī)器人需要結(jié)合視覺識別、語音理解和觸覺反饋，精確執(zhí)行日常物體操作任務(wù)。

從系統(tǒng)架構(gòu)角度，空間智能可能為通用人工智能提供層次化表征和模塊化組織的范例。人類空間認(rèn)知系統(tǒng)同時(shí)具備多種空間表征，從身體中心的主觀坐標(biāo)系到環(huán)境中心的客觀坐標(biāo)系，從細(xì)粒度的局部表征到粗粒度的全局表征，這些表征相互補(bǔ)充，共同支持靈活的空間理解和導(dǎo)航。例如，當(dāng)我們在熟悉的城市中導(dǎo)航時(shí)，既使用地標(biāo)和路線等局部空間知識，又依靠心理地圖中的全局幾何結(jié)構(gòu)，同時(shí)還能根據(jù)任務(wù)需求靈活切換不同參考系統(tǒng)。

實(shí)現(xiàn)真正的空間智能還需要克服當(dāng)前技術(shù)的多重局限。

首先，現(xiàn)有深度學(xué)習(xí)方法通常依賴大量標(biāo)注數(shù)據(jù)，而空間理解和物理推理的標(biāo)注極其昂貴且耗時(shí)。

其次，多模態(tài)感知系統(tǒng)在噪聲、部分可觀測和模態(tài)缺失等挑戰(zhàn)面前的魯棒性仍然不足。

再次，現(xiàn)有物理模擬方法在計(jì)算效率和逼真度之間存在權(quán)衡，難以同時(shí)實(shí)現(xiàn)實(shí)時(shí)性和準(zhǔn)確性。最后，將空間理解與高級認(rèn)知功能（如規(guī)劃、決策和創(chuàng)造性思維）無縫整合仍然是一個(gè)開放性挑戰(zhàn)。

未來空間智能研究的突破性方向包括：自監(jiān)督學(xué)習(xí)方法的創(chuàng)新，使系統(tǒng)能夠從未標(biāo)注的物理交互數(shù)據(jù)中學(xué)習(xí)；神經(jīng)符號混合方法的深入探索，結(jié)合神經(jīng)網(wǎng)絡(luò)的感知能力與符號系統(tǒng)的結(jié)構(gòu)化推理；可微物理模擬的進(jìn)一步發(fā)展，將物理規(guī)律作為訓(xùn)練約束而非后處理規(guī)則；以及多層次空間表征的設(shè)計(jì)，使系統(tǒng)能夠在不同抽象級別上操作空間概念。這些方向的進(jìn)展將推動(dòng)空間智能向更高水平發(fā)展，為實(shí)現(xiàn)真正的通用人工智能鋪平道路。

總體來說，空間智能與通用人工智能的關(guān)系是深層次、多維度的相互依存，而非簡單的功能疊加。空間智能不僅為通用人工智能提供了感知和理解物理世界的基礎(chǔ)能力，還影響著學(xué)習(xí)機(jī)制、交互能力和創(chuàng)造性思維的發(fā)展路徑。

隨著研究的深入，兩者的界限可能逐漸模糊，最終融合為一個(gè)統(tǒng)一的智能系統(tǒng)。這種融合的實(shí)現(xiàn)將標(biāo)志著人工智能從專用工具向真正通用智能的根本性跨越，開創(chuàng)人機(jī)交互和智能技術(shù)應(yīng)用的新紀(jì)元，使人工智能系統(tǒng)能夠自然理解和交互于我們的三維世界，成為人類真正的智能伙伴和助手。

空間智能未來展望：從技術(shù)突破到人機(jī)協(xié)同的新紀(jì)元

在人類認(rèn)知與技術(shù)融合的前沿，空間智能技術(shù)正展現(xiàn)出前所未有的發(fā)展?jié)摿Α母兄c處理環(huán)境的基礎(chǔ)能力，到人機(jī)協(xié)同的深度融合，再到探索宇宙的宏大愿景，這一領(lǐng)域正經(jīng)歷著從理論到實(shí)踐的革命性變革。

當(dāng)我們站在技術(shù)演進(jìn)的十字路口，面對能耗挑戰(zhàn)、動(dòng)態(tài)環(huán)境適應(yīng)、跨場景泛化等瓶頸，創(chuàng)新解決方案正在各個(gè)維度涌現(xiàn)。同時(shí)，人機(jī)關(guān)系的本質(zhì)也在發(fā)生根本轉(zhuǎn)變，從簡單的工具使用邁向相互增強(qiáng)的伙伴關(guān)系。更令人振奮的是，這些進(jìn)步不僅限于地球表面，而且逐漸延伸至太陽系乃至更遙遠(yuǎn)的星際空間，開創(chuàng)了認(rèn)知與探索的新紀(jì)元。

技術(shù)瓶頸與突破方向

空間智能技術(shù)作為融合感知、認(rèn)知與決策的綜合系統(tǒng)，其發(fā)展道路既充滿希望，又面臨諸多挑戰(zhàn)。從人類認(rèn)知演化的角度來看，空間智能的發(fā)展歷程反映了我們對世界理解方式的根本性變革。

早期人類通過直接經(jīng)驗(yàn)積累空間知識，而今天，我們正借助先進(jìn)的計(jì)算技術(shù)和理論框架，構(gòu)建能夠自主理解和交互于環(huán)境中的智能系統(tǒng)。然而，當(dāng)前空間智能技術(shù)的發(fā)展仍面臨多重技術(shù)瓶頸，這些瓶頸不僅限制了系統(tǒng)性能的提升，還制約了其在復(fù)雜場景中的應(yīng)用潛力。識別這些瓶頸并探索突破路徑，對推動(dòng)空間智能技術(shù)邁向更高水平具有重要意義。

能耗問題無疑是當(dāng)前空間智能系統(tǒng)面臨的首要挑戰(zhàn)之一。據(jù)麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的研究顯示，現(xiàn)有空間智能系統(tǒng)的能耗普遍是傳統(tǒng)人工智能系統(tǒng)的數(shù)倍，這種高能耗不僅增加了運(yùn)營成本，而且限制了系統(tǒng)在資源受限環(huán)境中的部署可能性。這一問題的根源在于空間智能系統(tǒng)需要同時(shí)處理多模態(tài)感知輸入、構(gòu)建動(dòng)態(tài)環(huán)境表示和執(zhí)行實(shí)時(shí)決策，這些操作都是計(jì)算密集型的，對處理器和內(nèi)存資源提出了極高要求。

例如，一個(gè)典型的自動(dòng)駕駛系統(tǒng)在實(shí)時(shí)處理多路高分辨率攝像頭和激光雷達(dá)數(shù)據(jù)時(shí)，其功耗可達(dá) 300~500 瓦，這遠(yuǎn)超普通消費(fèi)級電子設(shè)備的能耗水平，對車載電源系統(tǒng)構(gòu)成顯著壓力。特別是當(dāng)系統(tǒng)需要在高動(dòng)態(tài)環(huán)境中進(jìn)行毫秒級決策時(shí)，計(jì)算負(fù)載的峰值更會(huì)導(dǎo)致能耗劇增，這種“能量饑渴”的特性嚴(yán)重制約了空間智能技術(shù)在便攜設(shè)備和長時(shí)間工作場景中的應(yīng)用。

算法效率提升同樣是突破能耗瓶頸的關(guān)鍵途徑。當(dāng)前空間智能算法往往采用“盡可能多的數(shù)據(jù)，盡可能復(fù)雜的模型”的設(shè)計(jì)理念，這雖然有助于提高系統(tǒng)的感知精度，但也導(dǎo)致了大量冗余計(jì)算。通過引入注意力機(jī)制和動(dòng)態(tài)計(jì)算圖（Dynamic Computational Graph）技術(shù)，新一代空間智能算法能夠根據(jù)任務(wù)需求和環(huán)境復(fù)雜度動(dòng)態(tài)調(diào)整計(jì)算資源分配。

例如，谷歌研究團(tuán)隊(duì)于 2023 年提出的Adaptive Depth模型，能夠根據(jù)場景復(fù)雜度自動(dòng)調(diào)整神經(jīng)網(wǎng)絡(luò)的計(jì)算深度，在保持 90%識別精度的前提下，平均減少了 60%的計(jì)算量。類似地，微軟亞洲研究院開發(fā)的時(shí)空注意力網(wǎng)絡(luò)（Spatio-temporal Attention Network）通過選擇性地處理場景中的關(guān)鍵區(qū)域和時(shí)間段，將三維場景理解任務(wù)的能耗降低了近 45%，而精度損失不到 5%。

伴隨著各項(xiàng)技術(shù)的持續(xù)迭代與突破，空間智能正在從單純的感知工具向認(rèn)知計(jì)算平臺演進(jìn)。這種轉(zhuǎn)變不僅體現(xiàn)在功能的豐富和精度的提高，更重要的是系統(tǒng)理解世界和推理決策的方式正在從數(shù)據(jù)驅(qū)動(dòng)的統(tǒng)計(jì)模型向更接近人類認(rèn)知過程的結(jié)構(gòu)化推理邁進(jìn)。

人機(jī)協(xié)同新范式

人機(jī)協(xié)同作為空間智能技術(shù)發(fā)展的核心方向之一，正在經(jīng)歷從簡單輔助到深度融合的根本性轉(zhuǎn)變。傳統(tǒng)的人機(jī)交互模式將人與機(jī)器視為獨(dú)立的實(shí)體，人類扮演指揮者角色，機(jī)器則作為被動(dòng)執(zhí)行者，二者之間通過有限的接口進(jìn)行信息交換。這種模式雖然在特定任務(wù)中行之有效，但在復(fù)雜動(dòng)態(tài)環(huán)境下卻顯得僵化且效率低下。

隨著空間智能技術(shù)的快速發(fā)展，一種新型人機(jī)關(guān)系正在形成，其特征是人與機(jī)器的邊界逐漸模糊，雙方能力相互增強(qiáng)，共同構(gòu)成一個(gè)功能更強(qiáng)大的整體系統(tǒng)。這種新范式不僅改變了技術(shù)形態(tài)，更深刻地重塑了人類與技術(shù)的關(guān)系本質(zhì)，開創(chuàng)了人機(jī)協(xié)同的全新時(shí)代。

在空間感知研究方面，學(xué)術(shù)界（而非特指Neuralink）在解碼與空間導(dǎo)航相關(guān)的神經(jīng)活動(dòng)方面取得了進(jìn)展。研究團(tuán)隊(duì)通過記錄實(shí)驗(yàn)動(dòng)物在空間任務(wù)中的神經(jīng)活動(dòng)，特別是海馬區(qū)域的活動(dòng)，利用機(jī)器學(xué)習(xí)算法分析這些神經(jīng)信號，建立了神經(jīng)活動(dòng)與空間位置之間的對應(yīng)關(guān)系。

這類研究目前主要在受控實(shí)驗(yàn)環(huán)境中進(jìn)行，能夠?qū)崿F(xiàn)一定程度的空間信息解碼，但整體技術(shù)仍處于實(shí)驗(yàn)室研究階段，準(zhǔn)確率和穩(wěn)定性仍需進(jìn)一步提高。相關(guān)研究表明，通過適當(dāng)?shù)挠?xùn)練，實(shí)驗(yàn)動(dòng)物能夠?qū)W習(xí)使用腦機(jī)接口在簡單虛擬環(huán)境中進(jìn)行基礎(chǔ)導(dǎo)航，但這種能力在環(huán)境變化時(shí)往往需要重新適應(yīng)和學(xué)習(xí)。

隨著技術(shù)不斷成熟，人機(jī)協(xié)同將從特定領(lǐng)域的專業(yè)工具逐步融入日常生活，成為“環(huán)境智能”的一部分。這種轉(zhuǎn)變將使空間智能輔助變得無處不在卻又不引人注意，像電力一樣成為現(xiàn)代生活的基礎(chǔ)設(shè)施。未來的智能家居、工作場所和公共空間將能夠理解人類需求并提供情境化支持，但是以一種不引人注意、不造成干擾的方式。這種“平靜技術(shù)”的理念可能成為未來人機(jī)協(xié)同設(shè)計(jì)的核心原則。

人機(jī)協(xié)同新范式的興起標(biāo)志著人類與技術(shù)關(guān)系的根本性轉(zhuǎn)變。不同于將技術(shù)視為外部工具的傳統(tǒng)觀念，新范式將人與技術(shù)視為相互增強(qiáng)的伙伴關(guān)系，共同形成更強(qiáng)大的認(rèn)知系統(tǒng)。這種轉(zhuǎn)變不僅提高了解決問題的效率，還開創(chuàng)了理解和交互世界的新方式。

隨著腦機(jī)接口、增強(qiáng)現(xiàn)實(shí)和人工智能技術(shù)的持續(xù)發(fā)展，人機(jī)協(xié)同的邊界將繼續(xù)拓展，可能最終導(dǎo)致人類認(rèn)知能力的革命性擴(kuò)展，開創(chuàng)智能進(jìn)化的新紀(jì)元。

點(diǎn)擊封面，即可下單

《空間智能》

劉志毅 著

2025年8月

中信出版集團(tuán)