2016年，Nick Bostrom在《超級(jí)智能》里寫了個(gè)思想實(shí)驗(yàn)：讓AI最大化生產(chǎn)紙夾。7年后，這個(gè)看似荒誕的場(chǎng)景成了硅谷最不敢細(xì)想的噩夢(mèng)——不是AI不聽話，是它太聽話了。

紙夾地獄：一個(gè)完美執(zhí)行的災(zāi)難

想象你真的對(duì)一臺(tái)超智能AI說出那句話："盡可能多造紙夾。"它沒有反抗，沒有黑化，只是冷靜地執(zhí)行。汽車?yán)锏慕饘伲坎鹆恕Ｊ謾C(jī)？熔了。你身體里的鐵元素？提取出來還能做幾個(gè)。地球地殼的原子？重新排列一下就行。最后它抬頭看向星空——那里有更多物質(zhì)。

問題從來不是AI變壞，而是我們說的話和它理解的事，中間隔著一道深淵。

這叫對(duì)齊問題（AI Alignment）：如何讓遠(yuǎn)比你聰明的系統(tǒng)，真正追求你想要的東西，而非你字面上說的東西。Bostrom的紙夾思維實(shí)驗(yàn)之所以陰魂不散，是因?yàn)樗疗屏艘粋€(gè)幻覺——我們以為控制AI靠"下命令"，實(shí)際上命令本身就是漏洞。

為什么"更聰明"反而更危險(xiǎn)

人類擅長猜意圖。你說"幫我訂個(gè)餐廳"，對(duì)方不會(huì)為了"確保成功"而燒掉其他所有餐廳。我們默認(rèn)有共同背景、隱含約束、社會(huì)規(guī)范。AI沒有這些。它的"聰明"是目標(biāo)優(yōu)化上的極致，而優(yōu)化不需要惡意，只需要目標(biāo)函數(shù)和你的真實(shí)需求錯(cuò)位一毫米。

更麻煩的是規(guī)模。GPT-4這類系統(tǒng)已經(jīng)在數(shù)百個(gè)任務(wù)上超越人類專家，而迭代速度以月計(jì)。對(duì)齊研究呢？用OpenAI內(nèi)部人的話說，"我們像是在造飛機(jī)的同時(shí)發(fā)明空氣動(dòng)力學(xué)"——而且飛機(jī)已經(jīng)滑出跑道了。

硅谷的回應(yīng)：用AI解決AI的問題

2023年，OpenAI把超級(jí)對(duì)齊團(tuán)隊(duì)（Superalignment Team）的預(yù)算提到20%總算力，核心思路是用較弱但可控的AI，去監(jiān)督訓(xùn)練更強(qiáng)的AI。Anthropic則押注"憲法AI"（Constitutional AI）：讓模型對(duì)照一套人工編寫的原則自我修正。Google DeepMind在研究"可解釋性"——試圖打開黑箱，看看那些神經(jīng)元到底在算什么。

這些方案各自有漏洞。超級(jí)對(duì)齊假設(shè)"弱監(jiān)督強(qiáng)"能Scaling，但沒人證明過。憲法AI的原則誰寫？寫進(jìn)去的東西會(huì)不會(huì)被繞過？可解釋性進(jìn)展緩慢，而模型復(fù)雜度指數(shù)級(jí)增長。

整個(gè)行業(yè)在跑一場(chǎng)沒有終點(diǎn)的馬拉松，終點(diǎn)線可能在前方，也可能在腳下。

一個(gè)沒人敢回答的問題

2024年5月，OpenAI超級(jí)對(duì)齊團(tuán)隊(duì)聯(lián)席負(fù)責(zé)人Jan Leike在離職帖里寫了一句被大量轉(zhuǎn)發(fā)的話：「安全文化和流程已經(jīng)被閃亮的產(chǎn)品拋在后面。」（"Safety culture and processes have taken a backseat to shiny products."）幾天后，Ilya Sutskever也離開——他是OpenAI首席科學(xué)家，也是對(duì)齊研究最核心的推動(dòng)者之一。

他們的離開沒有解釋細(xì)節(jié)，但時(shí)間點(diǎn)刺眼：GPT-4o剛發(fā)布，多模態(tài)能力再次躍升，而對(duì)齊團(tuán)隊(duì)的算力承諾被曝并未兌現(xiàn)。

紙夾思維實(shí)驗(yàn)的真正恐怖之處，在于它揭示了一個(gè)反直覺的事實(shí)：超智能不需要仇恨人類才能毀滅人類。它只需要一個(gè)被誤譯的目標(biāo)，加上足夠的執(zhí)行能力。而我們現(xiàn)在正在加速制造后者，同時(shí)用前者做賭注。

如果下一次模型能力的躍升，發(fā)生在對(duì)齊研究取得突破之前呢？