這段時(shí)間在帶著團(tuán)隊(duì)做腦機(jī)接口與空間計(jì)算，通過(guò)空間計(jì)算將腦機(jī)接口帶入了人類(lèi)自然的操作交互形態(tài)里。

而相比火的ChatGPT這類(lèi)的大語(yǔ)言模型，我在做空間計(jì)算一直提到有一類(lèi)模型 是現(xiàn)在被小看的，未來(lái)一定會(huì)超越大語(yǔ)言模型，那就是空間模型。

而要想發(fā)展通用機(jī)器人模型，那就是空間計(jì)算模型，而不是大語(yǔ)言模型空間模型的運(yùn)行重點(diǎn)不在手機(jī)和PC這些平面顯示器上，而只有帶上空間計(jì)算設(shè)備才能夠完全的運(yùn)行。

因?yàn)樵谄矫媸澜缋飶?qiáng)行看人類(lèi)3D世界的素材，都會(huì)特別痛苦，需要用手指或者平面其他交互來(lái)完成，這不僅是操作繁瑣，同時(shí)還會(huì)犧牲掉空間3D的效果。

我認(rèn)為在MR眼鏡設(shè)備普及之后，空間模型會(huì)超越大語(yǔ)言模型，這樣我們的機(jī)器人才會(huì)不那么呆板，才能夠感受到這個(gè)世界的運(yùn)行。

而同時(shí)團(tuán)隊(duì)不僅在做空間模型，還有在做腦機(jī)接口大模型，但是很遺憾這方面市面上幾乎很少人有人懂，因?yàn)樗枰炊X機(jī)接口的數(shù)據(jù)部分，還要懂大模型的研發(fā)。

今天這篇文章來(lái)總結(jié)下我們團(tuán)隊(duì)定義的腦機(jī)接口大模型是什么，以及我們?cè)谧鍪裁磁?，而這個(gè)大模型出來(lái)之后意味著什么。

如果說(shuō)ChatGPT3.5大模型意味著人工智能第一天，而腦機(jī)接口的大模型意味著新一代核武器。對(duì)，不夸張的說(shuō)這就是一個(gè)全新的潘多拉魔盒

而能夠意識(shí)到到這一點(diǎn)，并且在有公開(kāi)觀(guān)點(diǎn)分享的，只有我看到了小鵬汽車(chē)的CEO何小鵬在一次播客中提到：“解碼腦太可怕了，人類(lèi)還是停留在人工智能，不要做這個(gè)技術(shù)?！?/strong>

試想下一個(gè)人通過(guò)意念就可以知道對(duì)方的所有想法，或者自己的想法都能夠被對(duì)方知曉，人與人溝通不是用嘴，而是意念，這種方式看起來(lái)高效，實(shí)則缺少了很多人情社會(huì)的愛(ài)與溫暖。

接下來(lái)我們來(lái)建設(shè)的腦機(jī)接口大模型一共分為3個(gè)階段，依次介紹，也是我們團(tuán)隊(duì)在做的努力。

第一層：范式驅(qū)動(dòng)的腦機(jī)接口大模型

傳統(tǒng)腦機(jī)接口研究已建立相對(duì)成熟的實(shí)驗(yàn)范式體系，包括P300事件相關(guān)電位、運(yùn)動(dòng)想象（Motor Imagery）、穩(wěn)態(tài)視覺(jué)誘發(fā)電位（SSVEP）以及專(zhuān)注力檢測(cè)等。這些范式通過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)，具備較好的可重復(fù)性和數(shù)據(jù)采集規(guī)范。

然而，傳統(tǒng)方法的核心局限在于泛化能力不足：

最簡(jiǎn)單的例子就是當(dāng)設(shè)備更換使用者，或同一使用者在取下設(shè)備后重新佩戴時(shí)，算法需要重新校準(zhǔn)。這表明現(xiàn)有算法缺乏跨場(chǎng)景、跨用戶(hù)的通用性。

我們提出的范式驅(qū)動(dòng)大模型旨在構(gòu)建這些傳統(tǒng)范式的統(tǒng)一表示框架。通過(guò)標(biāo)準(zhǔn)化的數(shù)據(jù)標(biāo)注體系，每個(gè)范式訓(xùn)練獨(dú)立的大模型，最終實(shí)現(xiàn)多范式融合（All-in-One Architecture）。這一方向正在成為消費(fèi)級(jí)和科研醫(yī)療級(jí)非侵入式腦機(jī)接口的核心研發(fā)目標(biāo)。

需要指出的是，當(dāng)前國(guó)內(nèi)專(zhuān)注于此類(lèi)大模型研發(fā)的團(tuán)隊(duì)寥寥無(wú)幾，估計(jì)不超過(guò)三家。

原因在于：構(gòu)建高質(zhì)量腦機(jī)接口大模型不僅需要海量標(biāo)注數(shù)據(jù)，還需要強(qiáng)大的算力支撐和持續(xù)的研發(fā)投入。這與訓(xùn)練大語(yǔ)言模型的技術(shù)門(mén)檻類(lèi)似，但數(shù)據(jù)采集和標(biāo)注的復(fù)雜度更高，不僅是醫(yī)學(xué)、還有計(jì)算機(jī)、還有AI大模型。

而這部分的企業(yè)或高效幾乎沒(méi)有辦法聯(lián)動(dòng)。

第二層：數(shù)據(jù)驅(qū)動(dòng)的多模態(tài)腦機(jī)接口大模型（當(dāng)前團(tuán)隊(duì)階段）

區(qū)別于第一層的任務(wù)導(dǎo)向范式，第二層采用純數(shù)據(jù)驅(qū)動(dòng)方法。當(dāng)人類(lèi)觀(guān)看視頻、默讀語(yǔ)句或觀(guān)察圖像時(shí)，其腦電、fMRI或腦磁圖信號(hào)會(huì)自然反映這些認(rèn)知過(guò)程。我們收集這些自然體驗(yàn)下產(chǎn)生的神經(jīng)數(shù)據(jù)，構(gòu)建跨模態(tài)的表示模型。

這一層面的模型涵蓋三種數(shù)據(jù)類(lèi)型：

• 腦電大模型（EEG Foundation Model）

  ：非侵入式采集，數(shù)據(jù)獲取相對(duì)便捷

• fMRI大模型

  ：需要醫(yī)院設(shè)施配合，數(shù)據(jù)采集成本較高

• 神經(jīng)元信號(hào)大模型

  ：涉及侵入式或半侵入式采集，涉及嚴(yán)格的倫理和安全性挑戰(zhàn)

從技術(shù)實(shí)現(xiàn)看，Meta AI的團(tuán)隊(duì)在這一領(lǐng)域有所探索，發(fā)布了相關(guān)模型庫(kù)。但整體而言，全球范圍內(nèi)專(zhuān)注此類(lèi)模型建設(shè)的機(jī)構(gòu)仍然稀缺，或者幾乎沒(méi)有。

我們特別強(qiáng)調(diào)數(shù)據(jù)的多樣性至關(guān)重要。由于神經(jīng)信號(hào)存在顯著的個(gè)體差異和種族差異——例如中文母語(yǔ)者與英語(yǔ)母語(yǔ)者在處理語(yǔ)言時(shí)的腦區(qū)激活模式存在差異——構(gòu)建具有人類(lèi)普適性的大模型需要建立跨國(guó)籍、跨文化的開(kāi)放數(shù)據(jù)集。這不僅是技術(shù)問(wèn)題，更是關(guān)乎模型公平性的戰(zhàn)略資源。

第三層：空間交互驅(qū)動(dòng)的神經(jīng)數(shù)據(jù)模型

為獲取更純凈、更具生態(tài)效度的神經(jīng)數(shù)據(jù)，我們采用空間計(jì)算設(shè)備作為數(shù)據(jù)采集載體。當(dāng)使用者在三維空間中執(zhí)行行為、觀(guān)看沉浸式內(nèi)容時(shí)，其神經(jīng)活動(dòng)數(shù)據(jù)能夠更真實(shí)地反映人類(lèi)的認(rèn)知本質(zhì)。

這種方法的科學(xué)優(yōu)勢(shì)在于：傳統(tǒng)實(shí)驗(yàn)環(huán)境下的任務(wù)設(shè)計(jì)往往存在"實(shí)驗(yàn)室效應(yīng)"，受試者的行為模式可能與日常狀態(tài)存在偏差。而空間計(jì)算提供的自然交互場(chǎng)景能夠顯著提升數(shù)據(jù)的生態(tài)效度，使模型學(xué)習(xí)到更接近真實(shí)世界的神經(jīng)表示。

以上這就是腦機(jī)接口的大模型，歡迎加我微信交流

找我交流與合作 空間計(jì)算與腦機(jī)接口系統(tǒng)開(kāi)發(fā)

題圖來(lái)自 Unsplash ，基于 CC0 協(xié)議， 如有侵權(quán)，請(qǐng)聯(lián)系pmtalk123刪除

“分享產(chǎn)品經(jīng)理改變世界的點(diǎn)滴”

產(chǎn)品顧問(wèn)｜ 產(chǎn)品咨詢(xún)｜培訓(xùn)合作

請(qǐng)?zhí)砑游⑿?strong>PMxiaowanzi

最近我的原創(chuàng)

不好意思，Axure仍然是我主流的原型工具

每日案例拆解庫(kù)，AI等產(chǎn)品打卡群

我創(chuàng)建的產(chǎn)品設(shè)計(jì)打卡社群，加入后365天，每天體驗(yàn)一款A(yù)PP。提升產(chǎn)品設(shè)計(jì)能力，同時(shí)有1300份體驗(yàn)報(bào)告幫助你找到競(jìng)品

在這里你可以隨時(shí)查詢(xún)到你想找的各類(lèi)競(jìng)品行業(yè)APP，無(wú)須自己親自下載就可以馬上得到APP的一手產(chǎn)品優(yōu)化、交互設(shè)計(jì)、功能描述信息。

從優(yōu)化&建議、商業(yè)模式、運(yùn)營(yíng)、功能描述、交互設(shè)計(jì)、產(chǎn)品定位至少6個(gè)維度，體驗(yàn)一款應(yīng)用。

平均1天1塊錢(qián)，掃碼購(gòu)買(mǎi)即可加入

連續(xù)體驗(yàn)48款應(yīng)用，通過(guò)后原路退回

報(bào)名后添加星球助理

PMTalk123