網易首頁 > 網易號 > 正文 申請入駐

類腦視覺“感存算”之鐵電貫穿

0
分享至


本文將要展現的這一研究,已被同行公眾號推廣過。筆者作為這一工作的打醬油作者,希望從一個完全不同的視角去展現自己的心得體會。如果讀者對此不覺得厭煩,不妨讀一讀這篇筆記,并非是完全無用的。謹致謝忱!

1.引子

筆者有一群親密的合作伙伴。他們才華橫溢、勤奮努力,也領引著Ising學習新知識,使其不至于落后“量子材料”研究前沿太多。其中一位,是華南師范大學先進材料研究所IAM的樊貞教授。這個瘦削而精干的小伙子,是新加坡NUS王家功和IMRE姚奎兩位老師培養出來的鐵電后起之秀。原本他從事的是正統而經典的鐵電物理與材料研究,但數年前加入IAM團隊后,他就甩開那些傳統方向,開始干一些在Ising聽起來莫名其妙的新鮮事,雖然現在看來也不再新鮮。Ising經常沽名釣譽一般聲稱參與了一些人工智能(artificial intelligence, AI)、類腦計算(neuromorphic computing)的研究,很大程度上是因為這個樊貞老師的引領。

之所以說莫名其妙,乃是因為在人類的印象中,人腦是最高級的“器件”與“架構”。這里帶引號是因為,在人類正常(對不對再另說)的認知中,似乎沒有詞語足以形容大腦的NB了!對大腦內部的學習、記憶、響應和思維運算過程的描繪,應該是人類知識中最高等級的學問,想想都不大可能會被一些簡單如類腦計算的“玩意”所仿真和重現。過去一些年,筆者參與樊貞他們關于鐵電類腦材料和器件的一些研討,漸漸發現他們在做的、追蹤的,竟然是一些隨時間不斷變化、很不確定、漲落很大的動態過程。一個材料的某種性質,竟然在服役過程中是不斷變化的,而我們還要說這是好材料、NB類腦!這種認知,過于藐視像筆者這種在材料和物理研究中摸爬滾打數十年的老人(資深者)。特別是,那些在物理人看來很糟糕、不可靠的數據曲線,竟然被認為是正確標記了人類大腦可能的運算過程,令人感覺不安、不踏實。

舉個不恰當的例子:我們每年參加體檢,都做心電圖、腦電波檢測,對吧?即便如人體這般復雜,但那些輸出的曲線卻很光滑、很有規律:伴隨心臟跳動,曲線一顫一抖的,很有律動與質感!現在,樊貞他們說,人的大腦進行感覺、識別、推演和存儲運算的過程,是一些很不確定、漲落很大的過程。這免不得會讓我們去“質疑”那些心電圖數據是假的、是被“光滑”過的?

更讓Ising很早就確信不疑的認知是:人的大腦,還是最精密、最豐富和最確定的物理系統!人腦之高度,必定是那樣一種高度,以至于人類數百年來發展的科技所制造的一切技術產品,只能望洋興嘆/ 難以企及。事實上,隨便翻閱一本人類大腦的書籍,就能建立這種認知,如圖1 所示。然而,通過后來的慢慢學習,筆者發現樊貞他們可能是對的!人腦,也許真的沒有那么神奇和萬能。假以時日,在人工智能AI的加持下,從事類腦計算研究的人們,在硬件上加強突破、在軟件上合縱連橫,說不定還真的能夠觸摸到人類大腦的邊界。

本文的主要動機,就是反省回顧一下筆者對類腦研究偏材料一側的認知漸進過程,以就教于讀者和這個領域的學者們。


圖 1. 人類對大腦分區和各個區域的功能劃分認知。

可以看到,如果這些認知所述是真實存在的,人類若要去“類腦”人腦,可能還真是一件富有挑戰的工程。本文要觸及的視覺計算區域,用紅色和對應的紅框加注:那個所謂的“occipital lobe枕葉”區域,在筆者Ising的認知中基本是一片空白。可以胡亂聯想是:那個叫“枕葉”的部位,是晚上睡眠時接觸枕頭的區域。枕葉處于那個部位,難道是為了使得視覺功能得到最好的休息?

From A. R. Singh et al, In: Brain, Mind and Consciousness: An International, Interdisciplinary Perspective (A.R. Singh and S.A. Singh eds.), MSM, 9(1), p6-41 (2011).

2.人腦之我見

首先,在蕓蕓眾生的感性認知中,人腦是怎么個工作和運行的呢?人工智能和類腦計算的人們早就和生物學家及醫生們一起,建立了大腦信息記憶與存儲處理的學問。筆者沒時間去認真學習,亦或是偶爾去學了、但學不會那些高深的學問和知識框架。作為大外行,筆者這里不妨梳理一些自己淺薄的認知,分享給讀者,看看這梳理是否合理:

(1) 相信很多讀者,包括筆者,原來一直沒有去細想:人腦不是足夠強大么?人腦里那么多突觸、那么多神經元,構成那么多存儲器,是那么聰穎智慧,再加上胸懷那么多理想、情懷(胸中自然不能懷,就是腦懷),亦背負那么多真善美/ 假丑惡,為何人類學習和記憶卻需要借助“聽、說、讀、寫”?嗯,現在反省之下有點明白:因為人腦從來就無法永久存儲“信息和數據”。人腦用一用、動一動、記憶一下下、思考一會兒,如果不重復學習,就會丟失這些信息,即“忘記”,也就是這些信息數據很快衰滅。注意,這里的“很快”,是一個感性詞語,沒有科學上明確的意義。正因為如此,人類才在身軀演化的千時萬刻之間,形成了一整套學習、記憶、復習的輔助方法,即“聽、說、讀、寫”成可以長久保存的、以供archived和翻閱的書本知識!人類剩下的,就那點本事了:大腦一忘卻,就去翻書本!

(2) 有讀者對此可能不完全同意。事實上,人類除非個別人,幾乎所有人都永久記得自己的父母是誰、子女在哪里、祖國是何方。現在對此問題的認知是,此乃人類大腦的另一類過程所致:長期不斷反復的訓練,導致體系走向一個長壽命、穩態甚至基態的記憶!對此,人類大腦那一塊存儲著“父母”、“兒女”和“祖國”的區域,是記憶的基態區域!這也預示著,人腦中能夠形成如基態一般永久記憶的結構或單元并非沒有,只是不多。只有那些最重要的信息 (即被反復訓練的信息),才會被存儲到這些基態中。絕大部分即時的、不重要的或書本上已經有牢實記載的信息,都會在大腦中很快消退。

(3) 現在,人類對人工智能AI佩服得五體投地。Ising小人小度量,以為個種原因是:基于人工智能大模型的類腦學習運算,太快太厲害了,特別是對知識的整理和分析更是讓AI驚為天人!這里,AI架構,無非是一臺基于超高能耗的學習分析推理機器。為了追逐速度,AI架構不惜耗費大量能量和計算推理功夫,以至于許多AI和大數據公司不得不在水電資源極為豐富的貴州和煤炭資源極為豐富的內蒙烏蘭察布建造數據存儲中心,以應對巨大的計算供能和環境制冷需求。而人腦的運算分析,則追逐高效、粗糙化(coarse-grained),并不完全是當下AI大模型那種全覆蓋方式。反過來說,大腦處理和運算,其實很可能崇尚“機會主義”做派:為了節省能耗和精力,大部分都是“臨時抱佛腳”式的處理。如此,人類才對AI大模型這么佩服和唧唧稱贊。既然AI如此耗電,所得有些神奇之處,并不奇怪。而人類追求的,則是一份汗水、一份收獲,有一點吃虧都不大愿意!

(4) 事實上,人腦運算可能還有一項卓越功能。在人類發明創造的物理計算中,存在所謂“存儲墻”、“功耗墻”、“頻率墻”等很多walls,外加外部傳感設備與計算中心之間的數據傳輸瓶頸。而這些所謂walls和瓶頸,在人腦運行中似乎不存在,或者不那么顯性地存在,雖然圖 1 也煞有其事地對人腦進行分區。這些功能區,被認為大致上是一體化的,啟示類腦計算似乎也需要破除這些“墻”,以打通“任督二脈”^_^。

(5) 除此之外,人的大腦,還永不停息地與自己的同類(人類)、與物質世界的方方面面、與夢鄉的時光反演隧道等,進行交流和學習。這也是大腦具有極高運行效率的一部分,從而不斷促進大腦結構的重塑和梳理,并以特定的形態構成最優化的人性與行為特征。

(6) 最后,提及一下筆者深有感受的“年少記憶牢實,老來總是健忘”。筆者年輕時,記憶力不算超群,但屬于還不錯的那一類。而今,記憶力不算沒有,但很糟糕。那些經過長時間訓練到達的記憶狀態,它們夯實而穩定,顯示我們對兒時的時光記憶猶新、張口就來!但是,最近時日的朝夕乾坤,就很容易大面積地被忘記。這也是一個動態的物理結構演化到最后的結果:自由度少了、維度少了、遍歷性差了,整個體系進入到一種接近基態的亞穩態那里。在那里,動力學慢、效率低、“溫度低”,最終的穩態可能就是大腦癡呆態?!筆者還有一種相關的感受,并用歪理來加以解釋:年少時,風雪之下大汗淋漓亦無妨;年老時,陽光普照之下亦要戴個帽子保個暖和。為什么呢?這是為了維持大腦足夠的“溫度”環境,維持動力學活躍度,不至于很快就進入凍結基態?!

如上六條描述,讓人類大腦運行的簡單特征有了一個模糊圖畫,也讓類腦計算運行有了可比擬參照的對象。既然人類的大腦在處理信息、進行推理計算方面如此這般,類腦物理的研究就有了起點。當然,Ising在此說類腦,是真正的班門弄斧。恭請各位魯班們,不必過于較真筆者的筆下胡謅!

筆者說自己在胡謅,是有根據的。筆者瀏覽過北京大學黃如和楊玉超老師團隊在《半導體學報》上發表的一篇短評“Embracing the era of neuromorphic computing”[Y. H. Wang et al, J. Semicond., 42, 010301 (2021); http://doi.org/10.1088/1674-4926/42/1/010301],其中插圖被引用在圖2(A)中。可以看到,電子科學與計算機科學的人們,一步就將圖1的人腦變成了如現代計算機硬件架構一般的類腦^_^!與此對應,從事腦科學研究的醫生和生物學家們,則積極接駁這一高度交叉學科,推動類腦科技的發展,如圖2(B)所示[Y. Qi et al, Neuromorphic computing facilitates deep brain-machine fusion for high-performance neuroprosthesis. Front. Neurosci. 17, 1153985 (2023); https://doi.org/10.3389/fnins.2023.1153985]。也就是說,圖2所示的風景,才是當下類腦計算的現狀與未來風景。

反過來,筆者也看過中國科技大學袁嵐峰教授(科技傳播系)訪談復旦大學馮建峰教授(大數據學院院長)的一個視頻。其中,馮老師提到:類腦運行計算,實際上是一種(準)連續的模擬信號(據筆者所知,似乎不是模擬信號),而非人腦神經中的電脈沖刺激。而且,人腦中的神經元功能,可能是無序的、似乎不是類腦計算中那一個一個的狀態開關。因此,當下的類腦計算,與真實的人腦運算,可能還不是“一回事”。


圖 2. 神經形態類腦計算的架構。

(A) 類腦計算的可能計算路線圖。(B) 類腦計算促進深度腦機融合。

(A) from Y. H. Wang et al, J. Semicond., 42, 010301 (2021); http://doi.org/10.1088/1674-4926/42/1/010301。(B) from Y. Qi et al, Front. Neurosci. 17, 1153985 (2023); https://doi.org/10.3389/fnins.2023.1153985。

3.視覺類腦之感存算

這個不是“一回事”,可是麻煩事!讀者不妨暫時放下麻煩問題,繼續跟筆者天馬行空、上下閑逛。

誠然,有了魯班們不會計較的前提,Ising就可以繼續從樊貞那里學習類腦計算了。這類腦,當然是一門大學科和交叉學科,包括方方面面,如大腦的結構功能基礎認知和模擬、計算大模型LLM的建構、軟件算法和硬件實現、各種應用場景與評估等,內涵實在太大、太廣泛而無法一一展現。圖3(A)乃是來自人工智能AI專業的梳理示意圖。感興趣的讀者,隨便DS (deepseek) 一下,得到的AI知識都是成堆的那種。筆者掛一漏萬,在這里只打算討論一點視覺感知類腦硬件材料上的知識。

要做成類腦,首先要有感知的全套功能,即“感存算”一體化功能!物理人將其稱之為In-sensor computing systems (傳感內計算系統)。樊貞他們所從事的主要方向,屬于此中的視覺“感存算”,也即圖3(A) 中最核心的那個“computer vision”。如下,姑且針對這一視覺“感存算”架構,寫幾段讀書筆記。

3.1. 感

感,實際上指感知模塊,是人腦開始工作的首要一步。這里有兩個步驟,第一個步驟是生物感知信號(如視覺、聽覺、觸覺)的收集,第二步是信息的優化、或說信息的清晰明確化。傳統技術中,這兩個步驟自然是分立的:先感知到數據,再將數據按照某些算法或模型進行優化清晰化。看起來,完成這兩步,就要求感知模塊既要有足夠的時空分辨率(陣列空間集成密度),又要有足夠的感知度。很多物理人有一個感覺,即華為手機的第二步太強大。眼睛看起來很模糊的月亮圖像,那些眼睛未可見的細節在華為手機中都清晰明了。這背后的話中話可能是:華為相機未必真的全是感知度高,還有可能是存在外加算法的加持?百度AI的解讀也有類似“計算光學與AI算法”的內容,雖然華為手機鏡頭的硬件感知度的確很強大。

要達到高品質感知度,就得消耗更多能量。因此,尋找那些可以高度集成并能有足夠感知參數范圍的新介質,毫無疑問是重要的。指針大約指向哪些介質?或者大概率是哪些材料類別?能量消耗最大的來源,毫無疑問是電荷流動帶來的焦耳熱。因此,絕緣體介質是首選之一,或者說鐵電是感知介質的候選之一!

3.2. 存

信息感知或提取之后,需要通過某種信號驅動而保存下來 (非易失存儲)。這同樣有很多功能要求,如速度快、密度高、存儲壽命長等,都是做類腦的物理人耳熟能詳的概念名詞。然而,信息存儲領域的物理人最自豪的事情之一,可能就是手中有太多可付諸使用的信息存儲方案。即便只討論磁存儲一類,就積累了眾多高、快、強的體系。

不過,這些方案一旦要應用到類腦計算系統,如果要做到存算一體化,就需要克服“存儲墻”和“功耗墻”問題。基于當前的技術架構,存算一體,大概不能依賴磁場讀寫,而必須依賴自旋極化電流讀寫、或磁電耦合電場讀寫。這一架構,遭遇的第一個瓶頸,就是能耗。電流驅動讀寫,當然首選磁性金屬作讀寫介質。此時,無論是磁性金屬本體還是異質結,焦耳熱總歸是存在的。利用電壓或柵極讀寫,因為自旋序參量天生攜帶的能帶劈裂,用于磁存儲的磁性半導體之能隙就不可能很大。如此,磁性半導體,不大可能是電壓讀寫方案的優選。事實上,自旋電子學各種讀寫存儲操作中,伴隨的漏電流能耗也還有繼續下降的空間。特別指出,用于存儲的磁介質,哪怕是最近正熱火朝天的交錯磁體,付諸實際存儲讀寫時,依然是利用能帶劈裂帶來的磁電阻信號攜帶信息,依然有能耗問題。自旋電子學的物理人,依然在為了“增效降耗”而努力著。

作為非易失磁存儲的一個替代方案,鐵電存儲也是克服所謂“存儲墻”和“功耗墻”之類的優選,以實現存算一體讀寫。當然,鐵電存儲也有一些問題和瓶頸。限于筆者立場,請允許筆者不在此絮叨這些問題^_^。

類腦非易失存儲的另一個問題,是存儲狀態的數目。無論如何,足夠多態而不僅是兩態的存儲能力,是未來類腦的發展趨勢,也貼合神經形態操作的模式。這一趨勢,正合阻變和相變存儲的胃口,而磁存儲在這方面則稍顯遜色。鐵電存儲,如果用到導電疇壁和量子隧穿等存儲方案,其位置稍遜色于阻變,但優于磁存儲。

3.3. 算

對感知的信息進行運算和處理,可能是人腦和類腦最難、最復雜的層面。當然,也可能是因為筆者不諳此道而感覺特別難。不論是數學和計算機科學上的模擬計算或脈沖讀寫,還是醫學認為的人腦中所謂時序依賴的疊加塑造運算,所依賴的硬件,應該都是由一個一個諸如場效應晶體管FET那般、1T1C邏輯開關單元那般組成的陣列。這些陣列,提供了矩陣相加或相乘、卷積積分迭代功能,有利于實現邏輯計算。筆者這里只針對最簡單的場效應晶體管開關,來討論運算功能。

場效應晶體管FET,通過對柵極施加電脈沖,開斷晶體管的導電溝道,實現0/1態轉換(運算)。對鐵電柵極FET而言,就是施加脈沖電場改變鐵電柵極的極化方向,控制FET流過溝道并存儲到近鄰鐵電電容中之電荷多少。如此,就實現了信息的存取。注意到,因為鐵電極化是非易失的,這里所謂“算”,就是鐵電柵極在電脈沖下要能實現快速翻轉。如此,也就同時實現了存儲器對信息的存取。這,就是存算一體操作。

3.4. 感存算一體

感知內計算,最重要的特征就是感知信息的“感存算”一體化。存算一體,被認為是實現人腦的突觸與神經元集成運行的關鍵,所以能耗低、速度快。在過去數十年試圖突破所謂馮? 諾依曼存算分離的努力中,諸如阻變存儲器RRAM、鐵電存儲器FeRAM 等,都能通過非易失電阻變化、電容變化,實現存算一體化。

在這兩類存算一體單元中,開關過程帶來的后果,如貢獻電阻的阻變、貢獻電容的鐵電疇,它們的狀態都同時被記錄下來。這與人腦中的神經元(載流子或電荷) 輸運和突觸狀態很類似。阻變組態和鐵電疇組態的變化,類似于更新突觸權重,從而實現邊計算、邊存儲、邊學習,節省了載流子傳輸帶來的大量能量交換,功耗顯著降低。所謂自主完成學習,就是這個涵義。這一問題,在此不作細致討論。感興趣的讀者,可以AI或搜索一些科普資料來臨時腦補一下,也實踐感受一下“感存算”一體化管不管用^_^。

現在的難度是,如何實現“感+ 存+ 算”在同一個屋檐下,如何實現感存算一體和融合。傳統技術中,信息提取或傳感,如視/ 聽/ 觸三類信號的提取,都是靠額外的傳感器完成的,即傳感與存算是獨立分開的,如圖3(B) 中的(conventional computing architecture) 所示。傳統電腦中CPU和內存雖然也是分離的,但總算是相互臨近、集成在主板中心同一塊區域。而諸如顯卡,卻是通過主板與CPU聯系,交換信息費時費地費能。顯卡本身就自帶自己的CPU和中央處理器集團:GPU(圖形處理器),自行負責圖形和并行計算;?顯存(VRAM),則為GPU提供高速臨時存儲;?供電模塊/散熱系統/視頻輸出接口(如HDMI、DP)?等,則提供運行的輔助服務。這一獨立王國,經過幾十年的發展,既為諸如英偉達這樣的超級AI公司提供基礎支撐,更為當下的“感存算”提供指引。

看起來,類腦中的“感存算”,只有通過硬件層面的深度融合,才能突破傳統架構中的“存儲墻”和“能耗墻”等,走向真正的類腦計算。

這其中,視/ 聽/ 觸三類傳感信號,信息量最大的是圖像的傳感、提取與處理。英偉達取得巨大成功之一招領先,也就是勝在高性能顯卡直接被用于運算的HBM技術上。所以,所謂的“感存算”,可能首先是圖像信息的感知提取與處理,正如圖 3(B) 所展示的架構那樣。目前看,光學成像與信息轉換是最關鍵的技術路線。實際上,感存算融合,就是光學傳感與存算單元融合起來:要找到一種介質,既能實現既光學敏感,又能實時存儲和開關計算功能。


圖 3. 類腦視覺計算的概念架構。

(A) 人工智能的目標,其中視覺計算是最核心的一塊,包括計算機“看到”和“辨認”圖像。類似的sensing感知和computing計算概念,可以拓展到其它類型如觸覺、味覺等。(B) 目前計算機視覺“感存算”的現狀。這里,常規的視覺計算架構包括攝像、A/D模數轉換、存儲、CPU計算、后期人工智能操作等步驟。這些步驟都是在硬件和軟件分立架構中分步實現的。感存算一體架構,則包括陣列感知成像后直接進行品質和數字化處理、實現非易失存儲(integration of sendig, memory, and pre-processing),也包括緊接著進行的診斷和辨認計算(high-level processing & classification)。

(A) from https://ar.inspiredpencil.com/pictures-2023/artificial-intelligence-computer-vision。(B) from Y. Shi et al, Emerging 2D materials hardware for in-sensor computing, Nanoscale Horiz. 10, 205 (2025); https://doi.org/10.1039/D4NH00405A。

4.視覺的鐵電貫穿

稍微學習一下當下諸多感存算一體化感知器件的進展,能感受到成熟領先的方案不多。各條道上的物理人都在八仙過海、各顯神通。如果將光學傳感作為發展目標,則基于鐵電材料感知內計算的“感存算”方案,算是比較有潛力的一類。筆者感性一些,稱之為視覺“感存算”系統,正如標題所示。按照競爭上崗的說辭:鐵電感存算在short-list上。

這么說的道理在于:

4.1. 光學傳感

光的吸收和轉換,需要帶隙,因此金屬和窄帶隙半導體材料不成、不是好的選項。鐵電半導體之所以是首選之一,乃是因為其帶隙足夠匹配可見光、并易于被調控。鐵電體的光電效應、非線性光學效應和高效電場可調性,應該都是其它材料難以比擬的。物理人以此為常識,筆者在此不再啰嗦。不過,這里拿鐵電材料來,不是要做光學鏡片之類。對視覺“感存算”而言,這里的首要問題,是要實現對入射光強度和波長的敏感捕捉,并集成到“感+存”之中(算的實現,隨后就會提及)。

一方面,對光的捕捉,是能帶帶隙設計的事情。設計的目標是使得承載圖像信息的光像素能夠被最佳吸收,從而激發最多的載流子、形成激子并分離出電荷信號而被記錄下來。其次,是實現高靈敏度,包括對光強的敏感,以提高圖像襯度和分辨。再次,可能算是更高層面的設計,即從圖像提取角度,感知材料要能對不同波長的可見光、紅外和紫外光有一定的選擇吸收性。

另一方面,在此基礎上,利用鐵電半導體的獨特優勢,實現更為高效的感存算。其中一種機制,即1960年代提出、這幾年被重新審視的所謂“鐵電體光伏”效應(ferroelectric bulk-photovaltaic effect, FBPV),如圖 4 所示。這一機制發揮作用的量子物理,在圖中有所展示,圖題也給出了相關文獻,在此不再重復。而基于大學物理的認知,所謂“鐵電體光伏”效應,理解起來就再簡單不過了:既然是鐵電體,就存在自發的鐵電極化,對應地鐵電體內就存在與極化P方向相反的、穩定不變的內電場Eint。很大程度上,這一內電場不會很大,但足以驅動體內載流子運動,也可協助光生激子的拆分。由此帶來的正負電極兩端的電勢差,即為體光伏開路電壓Voc。

這些效應形成的信號電壓輸出,即光學傳感的電學信號。如果這一信號能被原位實時用于感存算一體化過程,即是最佳效果。其中,這一電壓如果能夠直接用來對鐵電電容進行讀寫,則實時“存”的功能就得以實現。

4.2. 非易失存儲(FeRAM)

鐵電作為高品質、低能耗的非易失存儲器,被關注超過三十年。曾經有幾家重量級大公司參與一線研發,使得一些低密度FeRAM在市場上廣泛使用(如筆者所知,電子秤產品中有用到FeRAMs)。從技術路線和器件結構上看,鐵電存儲器并無太多變化,只是諸如HfO2這樣神一樣的材料正在登堂入室,替代如PZT等傳統鈣鈦礦鐵電氧化物。

就目前的感存算集成器件而言,筆者并不很了解鐵電存儲是否有updated更新的架構。存算一體的概念和實踐,已經只爭朝夕一些年了,進展很大。其中最令人矚目的進展,可能要算HfO2了:這一正在被用作Si基集成電路FET的氧化物柵極層,被發現存在鐵電性,從而將FeRAM推到了工業界32 Gb/inch2的規模。鐵電存儲,從1990年代國內外開始吆喝,到今天工業界(如美光公司)基于疊層架構的商用FeRAMs研發成功,歷經三十余年,大概是鐵電物理與材料最耀眼的成就。

下面會看到,樊貞他們亦是利用具有光感的鐵電電容(就是簡單的PZT陶瓷薄片陣列),通過施加脈沖電場實現鐵電疇結構調制,以完成視覺感知的“存+算”一體開關操作。

4.3. 鐵電類腦器件

在轉向樊貞的鐵電感存算之前,再簡單提及已在鐵電物理人手里把玩了一些年的鐵電類腦器件。目前能夠見諸報道的有突觸單元、神經元器件、存算一體原型和生物電子元器件等幾大類。

這些器件,在結構上大概分為電容和隧道結兩大類型。鐵電電容一類,主要依靠脈沖電場操控電容器中鐵電疇組態和宏觀極化大小,也就是束縛電荷多少,來表達突觸可塑性。諸如長時程增強/抑制(LTP/LTD)等功能,都得以實現,為實現神經形態中的權重存儲與更新提供物理參數。目前看,這一路線的發展似乎顯得四平八穩,可圈可點之處不多。

另一類器件,在結構上以鐵電隧道結為主。通過脈沖操控隧道結中不同鐵電疇組態下的隧道電阻,以阻變演化來實現類似的突觸可塑性。這方面,筆者較為熟悉的國內團隊有中科大李曉光團隊、清華南策文團隊、華東師大段純剛團隊、復旦大學江安全團隊、華南師大高興森團隊等,還有電子科大、湘潭大學、中科院深圳先研院等院所,都有不錯的工作進展。這里列舉疏漏很多,請相關讀者不以為意。

鋪墊廢話了那么多,接下來,該鐵電感存算了吧!


圖 4. 鐵電體光伏效應的物理科普。

(A) 展示鐵電光伏效應的結構示意圖與基于鐵電極化引入的內部退極化場(內電場)驅動體內載流子輸運機制。這一機制與傳統半導體光伏的p-n機制不同。鐵電體光伏效應的概念在1960年代就被提出,但未能付諸實際應用的主要原因是那個時代熟知的鐵電體能隙太大,載流子傳輸缺乏現實意義。(B) 鐵電體光伏的所謂“shift漂移機制”與所謂的“ballistic彈道機制”相互競爭,勝出者掌控體光伏效應。相關討論可見鏈接之參考文獻。目前看,漂移機制占據上風。(C) 處于陽極(anode、正極)和陰極(cathode、負極)之間的鐵電體之能級結構。在光照下,開路光伏電壓Voc = Prd/[ε0(εr-1)],其中Pr是鐵電剩余極化、d是鐵電層厚度、ε0和εr是真空介電常數和鐵電電介質相對介電常數。對一般鐵電體,介電常數偏大,因此就鐵電光伏而言,最好挑選那些介電常數小、極化大的體系,雖然這樣的體系不多。

(A) from Arti Chauhan et al, Results in Phys. 14, 102403 (2019), https://doi.org/10.1016/j.rinp.2019.102403。(B) from Y. Liu et al, Bulk Photovoltage Effect in Ferroelectric BaTiO3, J. Phys. Chem. Lett. 13, 11071 (2022), https://pubs.acs.org/doi/10.1021/acs.jpclett.2c03194。(C) From Yuji Matoba et al, Bull. Chem. Soc. Japan 96, 247 (2023); https://doi.org/10.1246/bcsj.20230011。

5.樊貞的視覺感存算

實話說,鐵電感存算一體化,不是一件容易的事情。樊貞他們的工作,并非真的一步登天將這一體化做好了。他們也多是在前人基礎上開始了新的探索嘗試罷了。樊貞他們的主體工作,按照筆者現在的理解,可被梳理成如下兩小節。

5.1. 創新思路

(1) 先從目前的視覺感存算系統研發工作開始。主線大概分為兩類,即圖像品質加工、圖像識別計算!所謂圖像品質加工提升,就是將感知的圖像信號存儲下來、并實時進行包括降低信號噪聲、提升襯度品質和視覺舒適度(visual adaptation)等處理。這些處理硬件上相對簡單,通過重復拍攝或斬波(chop),形成脈沖信號,圖像的襯度和亮度將得以提升。對類腦材料,外部信號引入,將不斷激發、訓練,體系不斷展現功能疊加響應,因此圖像品質加工提升的目標容易達到,也即被稱為是低端的信息處理(low-level processing, dynamic photoresponse 動態光感知,簡稱DP)。所謂圖像識別計算,包括辨認和編碼,被稱為是高端處理計算(high-level computing, programmable photoresponsivity可編程光感知, 簡稱PP),其實質就是對陣列單元進行編碼讀寫(開關),并不斷比對,最終實時完成圖像的識別和編碼。

(2) 兩類任務的完成,都得借助硬件和軟件協同。這里,只討論硬件處理。目前的技術中這兩類任務是分離進行的,整個系統在數據交換速率、能耗和系統集成方面與高效類腦計算要求有很大距離。樊貞他們想做的,就是一次性能將這兩類任務置于同一器件中實時完成。所謂視覺的感存算一體,就是這個意涵。

(3) 難度在哪里呢?!難度在于DP過程是含時的,而PP過程則希望得到的狀態穩定可靠、聽從操控。DP和PP兩者難以和睦相處。當然,有些PP過程可能會依賴于光線輻照(光照成像)強度和時間,但光源關閉后體系依然要能夠弛豫回到初態。這一要求,與DP過程不適配。

(4) 怎么辦呢。樊貞他們苦思冥想之后,大約也是在文獻和同行啟發之下,開始關注能否將如上提及的鐵電體光伏效應引入進來。他們設計的器件結構示意圖,大約如圖5 所示。為了對應閱讀,這里的圖5,乃是筆者基于樊貞論文中的圖1 [K. Liu et al, NC 17, 408 (2026); https://www.nature.com/articles/s41467-025-67103-x]進行加工優化后的樣子。正是因為有了這番創意,樊貞他們能夠取得進展。即便是以經典鐵電體PZT [(Pb0.97La0.03)(Zr0.52Ti0.48)O3]陶瓷薄片為載體,他們也得到了第一批不錯的結果。對詳細內容感興趣的讀者,請移步他們的論文一覽究竟。

下一節,筆者對他們的創意思路,做一番基于自身立場的“曲解”和“誤讀”。

5.2. 框架設計

對樊貞創意進行解讀不難,難在體會他們花費了多少心思和努力才設計出來的這一框架。他們的這份“難”,值得敬佩:

(1) Box (A):光學傳感矩陣陣列(a1),由N×N個基本單元(a2)組成。每個單元(a2)由紅藍兩個直角三角元(◤+◢)近鄰而成。在陣列密度足夠高的前提下,兩個三角元的光學成像可視為是identical的。紅色三角元(簡稱“紅三角元”◤)顯示于(a3),藍三角元形(◢)顯示于(a4)。電子和空穴的顏色符號顯示于(a5)。藍三角元◢ /紅三角元◤的初始態是一樣的,顯示于(a6):均由一鐵電光伏電容與一鐵電存儲電容并聯而成。光伏電容,因為要承載光生載流子激發與傳輸,其帶隙必然小,難以長久維持鐵電極化態而不發生退化。為此,并聯一個帶隙足夠大、剩余極化大、翻轉電場足夠低的鐵電存儲電容,以長久存儲光伏電容記錄下來的鐵電極化狀態,是必要的。初始態時,光伏電容需預先被極化。極化后的剩余極化為Pr。光伏電容體內的內電場為Eint,與Pr反向。

(2) Box (B):展示視覺成像與品質優化過程(dynamic photoresponse, DP)。紅三角元◤內部的光伏電容在感光(光脈沖輻照)后,產生光生電子和空穴,顯示于(b1)。電子/空穴在在內電場Eint作用下反向而行,電子向上遷移并聚集于上電極,空穴向下遷移并聚集于底電極。電荷同時聚集于存儲電容電極中,形成內電場翻轉鐵電疇,實現非易失存儲,顯示于(b2)。在顯示于(b3)的一系列optical inputs驅動下,光伏電容兩端的電荷不斷聚集,顯示于(b4);同時存儲電容器兩端電荷也不斷聚集,顯示于(b5)。經歷這一系列optical inputs驅動后,兩個電容的開路電壓信號(electrical outputs)亦不斷升高,顯示于(b6)。這一過程,即視覺圖像感知與品質提升過程,最后實現contrast enhancement (貓的圖像不斷清晰化),顯示于(b6)上方。

(3) Box (C):展示與紅三角元◤毗鄰的藍三角元◢是如何實現圖像的診斷與鑒定的(diagnosis & identification)。這一Box,包括兩個串聯起來的Box (C1)和Box (C2)。

(4) Box (C1):展示的過程,與紅三角元◤的Box (B)完全一樣,但是針對的是藍三角元◢。在此不再重復描述。紅藍三角元毗鄰,組合成陣列單元(a2),因此它們光學感知到的信息是幾乎一樣的。

(5) Box (C2):展示光學感知信號的診斷與識別(diagnosis & identification),緊接著Box (C1)其后進行。對光伏電容(d1)進行正反電脈沖(electrical inputs)寫入[同時也是對存儲電容(d2)的寫入],顯示于(d3)。這一寫入序列,實際上是在操控光伏和存儲電容器中的鐵電疇,以得到不同的極化態輸出,顯示于(d4)/(d5);對應的電信號輸出(electrical outputs)顯示于(d6)。隨后,借助軟件操作,將這些輸出與參考視覺圖像進行比對,以診斷光感知的視覺信號是什么。這一過程,覆蓋(a1)所示的所有陣列單元,從而最終完成對整個圖像的視覺診斷和認定,實現視覺計算。

(6) 最后,注意到,Box (C2)中的電脈沖寫入,已經破壞了藍三角元◢存儲的圖像信號。幸虧,同樣的(identical)的信號保存在毗鄰的紅三角元◤中。此乃“笨拙的”非易失信息存儲。整個設計,很好完成了對此單元的視覺“感存算”一體化任務。

如上描繪,如果覆蓋到(a1)所示的視覺感存算陣列之每一個單元上,就可完成對一幅完整圖像的視覺“感存算”一體化處理。筆者取本文標題為“視覺感存算的鐵電貫穿”,算是扣住了這一工作的核心元素。樊貞他們在過去兩年甚至更長時間內,完成了對這一框架設計的實驗實現與驗證,寫成了一篇很有創意的論文,刊登于2026年初的《Nature Communications》上,引起同行關注。相關公眾號《感存算一體》在2025年底論文手稿online時就寫了《》的推文,對這一結果進行了解讀。本文在此不再重復這一論文對數據的細節描述和相關討論。


圖 5. 華南師大IAM樊貞團隊“視覺感存算”的創新架構。詳細描述見正文第5.2節,此處不再詳加解讀。

6.作為結語的議論

筆者撰文的一貫風格,就是偶有夸張和感性表達。因此,本文存在若干不那么嚴謹夯實之處,是可以預見的。將類腦計算中的視覺感知與計算一體化,算得上是不錯的進展,渲染一下未必不可。然而,要對“人腦”運行進行系統全面的“類腦”復現,看起來還有萬水千山。人腦處理視覺,應該只算其系統功能之滄海一粟。人腦還有觸覺、聽覺、(聞)味覺等等,更有操控人體各個器官的驅動、響應、交流和協同等等。這些,大概不是一個視覺上的“感存算”所能代表的。

話又說回來,萬事開頭難。視覺上的“感存算”,淌開了人腦對所有功能“感存算”之大江大河。所謂滄海桑田,未來大約可期。這一小步,與萬千同行們各自邁出的千萬步一起,預示著物理人對大腦海闊天空的最終占領不是不可能的事情。這是創新的價值。

當然,在思路上的創新之外,要實現真實的類腦視覺應用,除了最難而未必可期的陣列化、規模化、產業化之外,樊貞他們腳下還有很多牽絆和障礙。即便是本文涉及的這一小步,亦有一些踉蹌之處:

(1) 所謂鐵電光伏材料,因為帶隙要求所限制,要么載流子濃度偏低,要么遷移率是個問題,要么鐵電性能不夠好。這些物理限制,通常都是trade-off的關系,經常無法兼顧。

(2) 材料問題亦是挑戰。未來的感存算,終歸還是要回歸到Si基半導體上。鐵電氧化物與Si的集成,依然是挑戰,即便是HfO2亦有一些問題等待克服。

(3) 利用所謂的above-bandgap體光伏效應,即便不管p-n結物理,只利用鐵電極化構建的內電場來驅動載流子分立,也未必就能解決所有問題。且不論這樣的好材料有多少,實際上此類驅動依賴于內電場Eint大小。一旦光生載流子在光伏電容兩端建立起自己的電場Eph,體內實際電場即不斷減小,因為它們兩者是反向的。

(4) 且不論軟件運算層面的一些糾葛,在硬件運算層面,存儲電容的配置給系統帶來了額外復雜性。在樊貞的版本中,存儲與診斷之間不能共存的問題尚未很好解決,亦需要下一步更好應對。

嚴苛如筆者這樣的物理人,還可針對這一工作提出更多質疑和問題。如此再提下去,既沒有必要,亦是對作為主將的樊貞教授、作為打醬油作者的筆者自己,之大不尊重!

最后指出,本文描述可能多有夸張、不周之處,敬請讀者諒解。對詳細內容感興趣的讀者,可點擊文尾的“閱讀原文”而御覽他們的論文原文。

In-sensor image memorization, low-level processing, and high-level computing by using above-bandgap photovoltages

Kun Liu, Shan Tan, Zhen Fan( 樊貞), Haipeng Lin, Jiali Ou, Haoyue Deng, Jinghao Chen, Wenjie Li, Wenjie Hu, Boyuan Cui, Zhiwei Chen, Ruiqiang Tao, Guo Tian, Xubing Lu, Guofu Zhou, Xingsen Gao & Jun-Ming Liu

Nature Communications 17, Article number: 408 (2026)

https://www.nature.com/articles/s41467-025-67103-x

卜算子·空山霜野

赤壤出空山,約起涂芳甸

無矩無規任意拼

砌個風流亂

斜面若分形,易野如天演

許我巡游沃瘠間

遍歷桑疇看


(1) 筆者Ising,任職南京大學物理學院,兼職《npj Quantum Materials》執行編輯。

(2) 小文標題“類腦視覺感存算之鐵電貫穿”乃宣傳式的言辭,不是物理上嚴謹的說法。這里是指樊貞博士他們發展了一種針對視覺上的“感存算”一體化器件架構:借助鐵電的體光伏效應和非易失存算功能,有機會打通視覺和信息之類腦計算中遭遇的存儲墻、感存墻等,實現三位一體一把抓。

(3) 為撰寫本文,作為外行的筆者參閱過諸多網絡神文名篇,包括《知乎》《百度》和《Bing》上的資料。在此謹致謝意!本文夾塞了許多筆者粗知陋見,請讀者不以為意!

(4) 文底圖片乃 (20260228) 拍攝于江南嚴冬霜野處,有紅梅初放之態。文底小詞 (20260129) 原本寫嚴冬時節江東蕭瑟大地上生命初啟。用在這里感懷一下樊貞教授他們年輕一代學者探索從無到有的精氣神。畢竟,鐵電視覺的感存算,第一個系統性的嘗試即是這篇工作。

(5) 封面圖片取自樊貞他們論文的圖 1,展現了視覺低端圖像品質處理和高端圖像診斷辨認計算的會合集成。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
紅外相機立大功!2026年秦嶺驚現“鼬科之狼”,曾獵殺大熊貓致死

紅外相機立大功!2026年秦嶺驚現“鼬科之狼”,曾獵殺大熊貓致死

萬象硬核本尊
2026-04-21 19:26:51
華為把鍵盤改成了圓的,但這不是為了好看

華為把鍵盤改成了圓的,但這不是為了好看

全棧遛狗員
2026-04-20 17:46:00
我退伍后去女戰友家里開的工廠應聘,她紅著臉說:你娶我好嗎?

我退伍后去女戰友家里開的工廠應聘,她紅著臉說:你娶我好嗎?

千秋文化
2026-04-18 19:07:07
女性私處的“尷尬”時刻,多數女人都表示經歷過,男人盡量也看看

女性私處的“尷尬”時刻,多數女人都表示經歷過,男人盡量也看看

熊貓醫學社
2026-04-21 10:54:56
“菠蘿拌黃瓜”爆火,“低卡清爽減肥晚餐天花板”?醫生:熱量確實低,但是…

“菠蘿拌黃瓜”爆火,“低卡清爽減肥晚餐天花板”?醫生:熱量確實低,但是…

上觀新聞
2026-04-20 08:49:12
穆斯卡特:球隊上下半場表現涇渭分明,過高期待會給楊希壓力

穆斯卡特:球隊上下半場表現涇渭分明,過高期待會給楊希壓力

懂球帝
2026-04-21 23:06:08
兒子回國當晚國安上門,說他指紋虹膜全不對,這人是誰?

兒子回國當晚國安上門,說他指紋虹膜全不對,這人是誰?

曉艾故事匯
2026-01-07 10:14:33
附加賽廣東牌運最差!浙江最舒服,8、9名最燙手,遼寧迎關鍵抉擇

附加賽廣東牌運最差!浙江最舒服,8、9名最燙手,遼寧迎關鍵抉擇

后仰大風車
2026-04-21 09:45:08
世錦賽戰報:七連鞭大逆轉,16強決出8席!中國3勝2負1領先2落后

世錦賽戰報:七連鞭大逆轉,16強決出8席!中國3勝2負1領先2落后

求球不落諦
2026-04-21 05:57:26
亞洲身價之王!烏茲別克斯坦后衛在曼城閃耀,完封阿森納鋒線

亞洲身價之王!烏茲別克斯坦后衛在曼城閃耀,完封阿森納鋒線

星耀國際足壇
2026-04-20 23:51:03
國產大模型集體轉身

國產大模型集體轉身

智遠同學
2026-04-20 08:38:12
禁止所有中國外交官入境,不讓兩岸統一,這個國家比美國還要囂張

禁止所有中國外交官入境,不讓兩岸統一,這個國家比美國還要囂張

蜉蝣說
2026-04-21 11:47:21
號稱“史上最嚴”的網盤整治,讓多少搬運博主連夜跑路?

號稱“史上最嚴”的網盤整治,讓多少搬運博主連夜跑路?

BB姬
2026-04-20 22:47:34
TA:布蘭斯韋特預計缺席本賽季剩余比賽,參加世界杯希望破滅

TA:布蘭斯韋特預計缺席本賽季剩余比賽,參加世界杯希望破滅

懂球帝
2026-04-21 23:06:07
個人收款被查了!2026年個人收款高于這個數,要小心!

個人收款被查了!2026年個人收款高于這個數,要小心!

新浪財經
2026-04-21 22:04:32
深圳新鵬城球迷意難平!不止因為0-1國安,更多在于以下五點!

深圳新鵬城球迷意難平!不止因為0-1國安,更多在于以下五點!

林子說事
2026-04-21 21:34:18
3年前就戳穿西貝預制菜沒人信,如今被實錘!這個探店博主藏得太深了

3年前就戳穿西貝預制菜沒人信,如今被實錘!這個探店博主藏得太深了

馬蹄燙嘴說美食
2026-04-15 18:29:48
首組1-1!尼克斯丟壓哨絕殺惜敗老鷹 麥科勒姆32+6布倫森29+7

首組1-1!尼克斯丟壓哨絕殺惜敗老鷹 麥科勒姆32+6布倫森29+7

醉臥浮生
2026-04-21 10:47:56
熱搜爆了!愛奇藝,火速回應

熱搜爆了!愛奇藝,火速回應

鳳凰網財經
2026-04-20 21:47:56
血虧850億,日本光刻機巨頭徹底崩盤,連中國都不買了

血虧850億,日本光刻機巨頭徹底崩盤,連中國都不買了

毒sir財經
2026-04-21 23:02:35
2026-04-21 23:40:49
中國物理學會期刊網 incentive-icons
中國物理學會期刊網
最權威的物理學綜合信息網站
4222文章數 21934關注度
往期回顧 全部

科技要聞

創造4萬億帝國、訪華20次,庫克留下了什么

頭條要聞

三國取消飛航許可 賴清德無法竄訪斯威士蘭

頭條要聞

三國取消飛航許可 賴清德無法竄訪斯威士蘭

體育要聞

一到NBA季后賽,四屆DPOY就成了主角

娛樂要聞

宋承炫曬寶寶B超照,宣布老婆懷孕

財經要聞

現實是最大的荒誕:千億平臺的沖突始末

汽車要聞

全新坦克700正式上市 售價42.8萬-50.8萬元

態度原創

家居
藝術
游戲
親子
教育

家居要聞

詩意光影 窺見自然之境

藝術要聞

任伯年寫竹,真帶勁

《洛奇英雄傳:反抗命運》試玩體驗:無愧于“洛奇英雄傳”之名

親子要聞

孤獨力有多重要?聰明的父母懂得牢牢把握,影響孩子的人生高度

教育要聞

被導師批到想退學,答辯當天他單挑專家組:硬實力才是底氣!

無障礙瀏覽 進入關懷版