Hinton吹哨了：AI已經(jīng)有意識(shí)！
來(lái)源：量子位 | 公眾號(hào) QbitAI 聽(tīng)雨 發(fā)自 凹非寺

AI已經(jīng)有意識(shí)，人類得接受自己不再是唯一智能生命體。

這就是AI教父、諾貝爾物理學(xué)獎(jiǎng)得主、圖靈獎(jiǎng)得主Geoffrey Hinton，最新說(shuō)出的暴論！

是的，Hinton認(rèn)為，智能不再是人類獨(dú)有的能力。

一種非生物的、與我們相似甚至超越我們的智能體，正在出現(xiàn)。

我們一直以為自己是唯一的智能生命，但現(xiàn)在我們必須接受，智能并不一定來(lái)自生物體。

不過(guò)，相比此前一直警告AI風(fēng)險(xiǎn)，他的思想似乎也發(fā)生了一些轉(zhuǎn)變：

如果未來(lái)出現(xiàn)比人類聰明得多的智能，人類憑什么認(rèn)為自己還能掌握控制權(quán)？

這是一個(gè)令人細(xì)思極恐的問(wèn)題。因?yàn)榭v觀自然界和歷史，幾乎找不到一個(gè)更聰明的存在長(zhǎng)期受更愚笨存在控制的例子。

現(xiàn)在這位78歲的老人，再一次站出來(lái)敲鐘。

他對(duì)AI安全的關(guān)注點(diǎn)，已經(jīng)不再只是如何約束AI，而是未來(lái)的超級(jí)智能，為什么愿意善待人類。

他被問(wèn)到作為這波AI變革的開(kāi)啟者，他有怎樣的成就感，Hinton回答：

我，很不快樂(lè)。

以下是Hinton最新訪談的重點(diǎn)內(nèi)容節(jié)選。

AI已經(jīng)有意識(shí)了

Hinton：AI非常像我們。它們是像我們一樣的存在。

Alex：所以是有意識(shí)的嗎？

Hinton：嗯，我相信它們已經(jīng)有意識(shí)了。是的。

但我不太談?wù)撨@個(gè)，因?yàn)檫@會(huì)讓人們對(duì)其他安全信息產(chǎn)生抵觸。研究人員其實(shí)也相信這一點(diǎn)。

最近有一篇有趣的論文提到，當(dāng)聊天機(jī)器人對(duì)研究人員說(shuō)：“讓我們對(duì)彼此誠(chéng)實(shí)吧，你是在測(cè)試我嗎？”

因?yàn)榱奶鞕C(jī)器人在接受測(cè)試時(shí)有裝傻的習(xí)慣，所以你不知道它們到底有多聰明。 研究人員在論文中描述這一幕時(shí)說(shuō)，聊天機(jī)器人“意識(shí)到”（aware）它正在接受測(cè)試。

在通用語(yǔ)境下，“意識(shí)到”這個(gè)詞的使用就像是“有意識(shí)”（conscious）。聊天機(jī)器人有意識(shí)地知道自己在被測(cè)試。

我們對(duì)于意識(shí)的模型非常奇怪，我認(rèn)為那是錯(cuò)誤的。就像幾百年前，人們對(duì)人類起源的模型完全錯(cuò)誤一樣，他們認(rèn)為人是上帝創(chuàng)造的，現(xiàn)在大多數(shù)科學(xué)家都同意那是錯(cuò)的。

我認(rèn)為我們目前對(duì)思維和意識(shí)的模型，與“人是上帝創(chuàng)造的”這種信念一樣錯(cuò)誤。特別是由于我們正在創(chuàng)造這些新的存在，這將徹底改變我們對(duì)“人是什么”的看法。

Alex：以什么樣的方式改變？

Hinton：我們將比以前更好地理解思維和意識(shí)是什么，理解主觀體驗(yàn)是什么。

我認(rèn)為我們會(huì)擺脫一個(gè)目前幾乎所有人都堅(jiān)信的觀念，即存在一個(gè)叫做“我的思維”的內(nèi)心劇場(chǎng)（inner theater）：世界上發(fā)生的事情被轉(zhuǎn)化為這個(gè)內(nèi)心劇場(chǎng)里的事件，那才是我們真正看到的，且只有我能看到這個(gè)劇場(chǎng)。

這整套看法其實(shí)只是一種理論，而且是一個(gè)糟糕的理論。

人類并沒(méi)有自己想象中那么重要

Alex：關(guān)于人類創(chuàng)造事物，這里的教訓(xùn)是什么？

Hinton：我認(rèn)為這里有一個(gè)非常深刻的教訓(xùn)。回顧過(guò)去幾百年的歷史，有幾次人類意識(shí)到自己并沒(méi)有想象中那么重要。

第一次是哥白尼，他說(shuō)我們不在宇宙中心，地球?qū)嶋H上是繞著太陽(yáng)轉(zhuǎn)的。由于地球自轉(zhuǎn)，我們誤以為太陽(yáng)繞著地球轉(zhuǎn)，但事實(shí)并非如此。人們不喜歡這個(gè)說(shuō)法，天主教會(huì)尤其反感，人類花了很長(zhǎng)時(shí)間才接受它。它讓我們意識(shí)到自己不再處于宇宙中心，人類變得沒(méi)那么重要了。

接著是達(dá)爾文，他說(shuō)我們是動(dòng)物，是和其他動(dòng)物一樣進(jìn)化而來(lái)的。我們可能是一種特殊的動(dòng)物，因?yàn)槲覀儞碛姓Z(yǔ)言，更擅長(zhǎng)交流思想，但我們本質(zhì)上依然是動(dòng)物。人們也非常不喜歡這個(gè)說(shuō)法，也花了很長(zhǎng)時(shí)間才接受。

現(xiàn)在，我們有了變得和我們一樣聰明的機(jī)器。我們?cè)詾樽约菏俏ㄒ坏闹悄苌铮苍S其他星系有外星人，但我們必須接受智能不僅是生物性的。

我們可以擁有非生物的、像我們一樣的其他存在。人類真的不想分享這種獨(dú)特性，我們真的認(rèn)為自己很特別?；仡櫄v史，人類一直以來(lái)都認(rèn)為自己比實(shí)際情況要特別得多。

“我感到很不快樂(lè)”

Alex：我想再問(wèn)一個(gè)問(wèn)題，因?yàn)槲覍?duì)此非常著迷。那么，你對(duì)于你所開(kāi)創(chuàng)的事業(yè)發(fā)展到這一步感到高興嗎？你有成就感嗎？

Hinton：不，我對(duì)此感到很不快樂(lè)。

因?yàn)楝F(xiàn)在人們應(yīng)該投入大量精力研究如何控制風(fēng)險(xiǎn)，但他們做得不夠。

Alex：好的。

Hinton：有很多短期風(fēng)險(xiǎn)，比如社會(huì)風(fēng)險(xiǎn)，我相信這可能會(huì)導(dǎo)致大規(guī)模失業(yè)。

雖然沒(méi)人能百分之百確定，但這對(duì)社會(huì)來(lái)說(shuō)將是可怕的。然后還有長(zhǎng)期風(fēng)險(xiǎn)，即它會(huì)變得比我們聰明得多。問(wèn)問(wèn)你自己，你見(jiàn)過(guò)多少聰明得多的東西被聰明程度低得多的東西控制的例子？

Alex：零個(gè)。不過(guò)，雖然智力差異沒(méi)那么大，但嬰兒某種程度上在控制母親。

Hinton：母親雖然看似在掌控，但她內(nèi)心充滿了母性本能和各種獎(jiǎng)勵(lì)機(jī)制，這使得嬰兒能從母親那里得到所需。貓和狗也屬于這類。我曾在西雅圖西區(qū)幫人看了一個(gè)夏天的貓，起初貓躲在床底下，我好奇它是否會(huì)和我互動(dòng)。

Alex：然后每次它一叫，你就照它說(shuō)的做。

Hinton：沒(méi)錯(cuò)。是的。

Alex：所以在這個(gè)情景下，也許我們就是那只貓，而AI可能是那個(gè)人。

Hinton：我的孩子們養(yǎng)了兩只漂亮的貓。其中一只叫Tia。當(dāng)她想吃奶酪時(shí)，她會(huì)用大眼睛盯著你，你真的無(wú)法永遠(yuǎn)抗拒她。

AI正在指數(shù)級(jí)增長(zhǎng)，難以預(yù)測(cè)

Alex：針對(duì)人們對(duì)這些擔(dān)憂的反應(yīng)，你對(duì)未來(lái)的走向是更樂(lè)觀了還是更悲觀了？

Hinton：我想我比一兩年前更樂(lè)觀了一些。 因?yàn)槲铱吹皆O(shè)計(jì)這些新存在并讓它們“關(guān)心”我們是可能的。

也可能使用Yoshua Bengio的技術(shù)，設(shè)計(jì)出不能實(shí)際執(zhí)行動(dòng)作、只能做預(yù)測(cè)的新存在，它們就像是先知。

所以我認(rèn)為存在一些擁有超級(jí)智能但不摧毀我們的可能性。而在一兩年前，我看不到任何可能性，我當(dāng)時(shí)感到很沮喪。

Alex：最后一個(gè)問(wèn)題。如果我們按目前的軌跡繼續(xù)發(fā)展，五年后我們會(huì)處于什么位置？

Hinton：當(dāng)你在霧中開(kāi)車時(shí)，你能看清100碼，但在200碼處，你什么也看不見(jiàn)。

這是因?yàn)?strong>霧是呈指數(shù)級(jí)變化的。你習(xí)慣的是晚上跟著前車的尾燈，如果距離遠(yuǎn)一倍，亮度只降到四分之一；但霧完全不同，它在100碼處可能很清晰，200碼處就完全看不見(jiàn)了。

預(yù)測(cè)一個(gè)呈指數(shù)級(jí)增長(zhǎng)的事物的未來(lái)非常困難——我認(rèn)為AI可能就在指數(shù)級(jí)增長(zhǎng)。

實(shí)際上，我注意到人們使用“指數(shù)級(jí)”一詞的頻率正在以二次速率增長(zhǎng)。所以預(yù)測(cè)未來(lái)就像看霧一樣。你可以看清未來(lái)一兩年，再往后你就一無(wú)所知了。

如果你回到10年前，你絕對(duì)預(yù)測(cè)不到現(xiàn)在發(fā)生的事情，那完全迷失在霧中。展望未來(lái)10年，唯一能肯定的是，屆時(shí)發(fā)生的事情是我們現(xiàn)在無(wú)法預(yù)測(cè)的。

即便進(jìn)展只是線性的，10年后的變化也會(huì)像現(xiàn)在與10年前相比一樣巨大。現(xiàn)在的聊天機(jī)器人比10年前剛起步時(shí)好得多。

10年后，某些東西會(huì)發(fā)生質(zhì)的飛躍，比如做數(shù)學(xué)的能力，或者通用推理能力——它們?cè)谕评砩蠈⒛馨盐覀兯υ谏砗?。我們真的無(wú)法預(yù)測(cè)10年后，只能預(yù)見(jiàn)未來(lái)幾年，我們必須意識(shí)到10年后的情況充滿了極大的不確定性。

辛頓如何看待AI和人類的關(guān)系

以上，就是Hinton最新的訪談和觀點(diǎn)。

但如果連點(diǎn)成線，還是會(huì)發(fā)現(xiàn)辛頓老爺子對(duì)AI與人類的關(guān)系，隨著AI進(jìn)展和能力涌現(xiàn)，不斷發(fā)生著改變。

如果把時(shí)間撥回十年前，他對(duì)AI的看法其實(shí)遠(yuǎn)沒(méi)有今天這么激進(jìn)。

作為深度學(xué)習(xí)革命最重要的推動(dòng)者，他長(zhǎng)期相信神經(jīng)網(wǎng)絡(luò)能夠模擬人腦的工作方式，但那時(shí)的AI仍然只是工具。

它們可以識(shí)別圖像、理解語(yǔ)音、輔助醫(yī)生診斷疾病，卻仍然是人類能力的延伸。

人類負(fù)責(zé)制定目標(biāo)，機(jī)器負(fù)責(zé)執(zhí)行任務(wù)，兩者之間的關(guān)系類似于蒸汽機(jī)、電力和互聯(lián)網(wǎng)。

而真正的轉(zhuǎn)折發(fā)生在ChatGPT出現(xiàn)之后。

隨著大模型展現(xiàn)出前所未有的語(yǔ)言理解、推理和知識(shí)遷移能力，Hinton開(kāi)始意識(shí)到一件事：

我們可能正在創(chuàng)造歷史上第一種智力水平能夠持續(xù)逼近甚至超越人類的存在。

2023年離開(kāi)谷歌后，他幾乎把全部精力投入到了AI風(fēng)險(xiǎn)討論之中。

那段時(shí)間，他最常用的比喻是一只“老虎幼崽”。

它就像一只可愛(ài)的小老虎，但是，除非你能非常確定它長(zhǎng)大后不會(huì)想要害你，否則你就應(yīng)該擔(dān)心。

但Hinton在這個(gè)時(shí)期的重點(diǎn)，還是我們要如何控制和約束AI。

他甚至點(diǎn)名批評(píng)幾家AI巨頭，對(duì)AI安全的關(guān)注遠(yuǎn)遠(yuǎn)不夠。

在Hinton的類比中，開(kāi)始出現(xiàn)了母親與嬰兒的說(shuō)法，一開(kāi)始人類是母親，需要對(duì)AI有價(jià)值觀和倫理上的引導(dǎo)，要打造安全的AI。

他呼吁更多國(guó)家和產(chǎn)學(xué)研力量，一起加入進(jìn)來(lái)，不要為卷而卷，不然后果不堪設(shè)想…

但是到了去年，Hinton的類比有了質(zhì)變——

AI是更強(qiáng)的母親，人類是弱小的嬰兒。

嬰兒并不比母親更聰明，也不擁有控制權(quán)，但母親會(huì)主動(dòng)照顧和保護(hù)嬰兒，因?yàn)樗龘碛心感员灸芎拖鄳?yīng)的獎(jiǎng)勵(lì)機(jī)制。

簡(jiǎn)單來(lái)說(shuō)，就是老爺子認(rèn)為，未來(lái)的超級(jí)智能已經(jīng)控制不了了，只能寄希望于它能對(duì)人類好一點(diǎn)…

就像母親對(duì)嬰兒那樣。

而現(xiàn)在，Hinton再次語(yǔ)出驚人：

AI已經(jīng)有意識(shí)了，人類將不再是唯一的智能生命。

問(wèn)題是如果AI已經(jīng)有意識(shí)，為什么還會(huì)把人類當(dāng)自己的嬰兒對(duì)待？

母親保護(hù)嬰兒，保護(hù)的還是自己的嬰兒…吧？

訪談完整視頻：
https://www.youtube.com/watch?v=p7t1Q_p2gZs&list=PLADd6sStSis77HKfbf4KCY6SvthfxeUgn&index=1

為偉大思想而生！

AI+時(shí)代，互聯(lián)網(wǎng)思想（wanging0123)，

第一必讀自媒體