上世紀(jì)80年代，Hinton看《終結(jié)者》時，沒有被影片中的AI毀滅世界困擾。相反，他很高興看到神經(jīng)網(wǎng)絡(luò)技術(shù)被描繪得如此有前途。

數(shù)十年來，Hinton設(shè)計了很多新點(diǎn)子來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。他招募了很多研究生，讓大家相信神經(jīng)網(wǎng)絡(luò)不是一條死胡同。他認(rèn)為自己參與的項目會在100年后，也就是在他死后才能取得成果。

他的昆蟲學(xué)家父親曾說：“如果你比我努力兩倍，當(dāng)你年紀(jì)是我兩倍大時，或許才能達(dá)到我一半的成就?！痹趧虼髮W(xué)，Hinton嘗試了多個領(lǐng)域。但令他沮喪的是，在任何一門課程中，他都不是班上最聰明的學(xué)生。

在夏天的島嶼上，Hinton偶爾會捉蛇，并放進(jìn)一個玻璃缸，觀察它們的行為。他的一生都在思考如何“自下而上”地理解思維，因此對非人類的心智有獨(dú)到的洞察力。

在蛹里，毛毛蟲被溶解成湯狀物質(zhì)——然后你從“這鍋湯”中構(gòu)建出一只蝴蝶。毛毛蟲代表了用于訓(xùn)練現(xiàn)代神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)；而蝴蝶則象征從這些數(shù)據(jù)中誕生的AI。而深度學(xué)習(xí)——Hinton開創(chuàng)的技術(shù)——促成了這種蛻變。

Hinton堅信AI擁有情感。他認(rèn)為，情感的本質(zhì)就是對無法擁有之物的渴求。

Geoffrey E. Hinton大概沒想到諾貝爾物理學(xué)獎頒給了自己。收到消息后，他被迫取消了預(yù)約好的核磁共振。

2024年諾貝爾物理學(xué)獎揭曉。機(jī)器學(xué)習(xí)專家John J. Hopfield、AI 教父Geoffrey E. Hinton榮獲此獎，以表彰他們“基于人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明”。

回顧Hinton近兩年的變化，可以用“戲劇化”形容。曾經(jīng)他是AI 教父，畢生致力于教會計算機(jī)深度學(xué)習(xí)。如今他是AI安全斗士，擔(dān)心AI是否已經(jīng)超越了人類大腦的能力，認(rèn)為AI最終會和人類爭奪控制權(quán)。

為何Hioton出現(xiàn)了這樣的變化？他眼中的AI將成長為何種“怪物”？一篇長文從Hioton的經(jīng)歷和神經(jīng)網(wǎng)絡(luò)技術(shù)講起，帶我們了解這位深度學(xué)習(xí)巨擘的AI往事。

下面是全文翻譯，適道進(jìn)行了部分刪減和調(diào)整。enjoy～

為何AI教父懼怕自己創(chuàng)造的技術(shù)？

“如果能獲得更多控制權(quán)，它幾乎能實(shí)現(xiàn)一切目標(biāo)”Hinton談及AI時說道，“研究的核心問題是：你如何防止AI掌控一切？然而，目前沒有人知道答案?！?/p>

Geoffrey Hinton，這位被稱為“AI教父”的計算機(jī)科學(xué)家，遞給了我一根手杖?！澳憧赡軙玫竭@個”他說著，便沿著小徑朝湖邊走去。那條小徑穿過一個綠蔭掩映的空地，繞過幾間小屋，接著順著石階通向一個小碼頭。我們站在安大略省喬治亞灣的一塊巖石上，往西望去，延伸至休倫湖。水面上星羅棋布的島嶼點(diǎn)綴其中。

2013年，65歲的Hinton買下了這座島嶼。彼時，他剛剛將一個由三人組成的創(chuàng)業(yè)公司以4400萬美元的價格賣給了Google。

01 30年神經(jīng)網(wǎng)絡(luò)“冷板凳”

在此之前，Hinton在多倫多大學(xué)擔(dān)任了30余年的計算機(jī)科學(xué)教授，專攻一種名為神經(jīng)網(wǎng)絡(luò)的“冷門”領(lǐng)域。

神經(jīng)網(wǎng)絡(luò)是受人腦神經(jīng)元連接方式的啟發(fā)。

在你的大腦中，神經(jīng)元組成了大大小小的網(wǎng)絡(luò)。每一次行動、思考，網(wǎng)絡(luò)都會隨之變化：神經(jīng)元要么被納入，要么被刪除，而它們之間的連接則會加強(qiáng)或減弱。

這個過程無時無刻不在發(fā)生——就像現(xiàn)在，當(dāng)你閱讀這些文字時。其規(guī)模之大，難以想象。你的大腦中大約有800億個神經(jīng)元，彼此間共享超過100萬億個連接。你的顱骨里仿佛藏著一個星系，其恒星總在不停移動。

新的知識以微調(diào)的形式融入你現(xiàn)有的神經(jīng)網(wǎng)絡(luò)中。有時它們是短暫的：比如你在派對上認(rèn)識一個陌生人，他的名字可能只會在你的記憶網(wǎng)絡(luò)中留下短暫的痕跡。但有時記憶卻會伴隨你一生，比如當(dāng)那個陌生人成了你的伴侶。

新知識與舊知識相互交織，你的舊知識會影響你未來的學(xué)習(xí)。比如，當(dāng)派對上有人提到他去阿姆斯特丹旅行的經(jīng)歷。第二天，如果你走進(jìn)博物館時，你的神經(jīng)網(wǎng)絡(luò)可能會輕輕地將你推向荷蘭畫家維米爾的作品。正是通過這種細(xì)微的變化，才可能成就深刻的轉(zhuǎn)變。

一開始，人工神經(jīng)網(wǎng)絡(luò)不怎么奏效——無論是圖像分類、語音識別，還是其他應(yīng)用——大多數(shù)研究者認(rèn)為該領(lǐng)域就是浪費(fèi)時間。

“我們的神經(jīng)網(wǎng)絡(luò)當(dāng)時甚至連一個小孩都比不上”Hinton回憶道。

上世紀(jì)80年代，當(dāng)他看《終結(jié)者》時，并沒有被影片中的AI毀滅世界困擾。相反，他很高興看到神經(jīng)網(wǎng)絡(luò)技術(shù)被描繪得如此有前途。

數(shù)十年來，Hinton不斷嘗試構(gòu)建更大、更復(fù)雜的神經(jīng)網(wǎng)絡(luò)。

他設(shè)計出很多新點(diǎn)子訓(xùn)練神經(jīng)網(wǎng)絡(luò)，不斷提升性能。

他招募了很多研究生，讓大家相信神經(jīng)網(wǎng)絡(luò)不是一條死胡同。

他認(rèn)為自己參與的項目會在100年后，也就是在他死后才能取得成果。

與此同時，他成了鰥夫，獨(dú)自撫養(yǎng)兩個年幼的孩子。在一段特別艱難的日子，家庭和研究的雙重壓力讓他幾乎瀕臨崩潰。

他曾以為自己在46歲時就徹底放棄了。

誰也沒預(yù)料到，大約十年前，神經(jīng)網(wǎng)絡(luò)技術(shù)開始突飛猛進(jìn)。

隨著計算機(jī)速度提升，神經(jīng)網(wǎng)絡(luò)能夠借助互聯(lián)網(wǎng)上的海量數(shù)據(jù)，開始轉(zhuǎn)錄語音、玩游戲、翻譯語言，甚至實(shí)現(xiàn)自動駕駛。

就在Hinton公司被收購前后，人工智能迅速崛起，催生了OpenAI的ChatGPT和Google的Bard等系統(tǒng)，許多人相信這些技術(shù)正以不可預(yù)知的方式改變世界。

02 AI會變成“異形”嗎？

每當(dāng)我們學(xué)習(xí)時，我們的大腦神經(jīng)網(wǎng)絡(luò)都會發(fā)生變化——具體是如何發(fā)生的呢？

像Hinton這樣的研究者通過計算機(jī)，試圖找到神經(jīng)網(wǎng)絡(luò)的“學(xué)習(xí)算法”，即一種通過調(diào)整人工神經(jīng)元之間連接的統(tǒng)計“權(quán)重”來吸納新知識的程序。

1949年，心理學(xué)家Donald Hebb提出了一個人類學(xué)習(xí)過程的簡單規(guī)則——同步激活的神經(jīng)元將會連接在一起。即，當(dāng)你大腦中的一組神經(jīng)元被同步激活，它們就更有可能再次激活。簡單來講，當(dāng)你第二次做一道菜時，會比第一次容易得多。

但很快人們就發(fā)現(xiàn)，對于計算機(jī)神經(jīng)網(wǎng)絡(luò)而言，這一方法解決不了復(fù)雜問題。

上世紀(jì)60、70年代，青年研究者Hinton常常在筆記本中畫出神經(jīng)網(wǎng)絡(luò)，并想象新知識如何到達(dá)它們的邊界。他思索著，一個由幾百個人工神經(jīng)元組成的網(wǎng)絡(luò)如何存儲一個概念？如果這個概念被證實(shí)是錯誤的，它又將如何進(jìn)行修正？

Hinton的父親是一位著名的昆蟲學(xué)家。孩提時代，他和父親在車庫里養(yǎng)了一坑的毒蛇、烏龜、青蛙、蟾蜍和蜥蜴。如今，Hinton每年夏季都會待在島上，偶爾還會捉到蛇并帶進(jìn)屋里，放進(jìn)一個玻璃缸，借此觀察它們的行為。他的一生都在思考如何“自下而上”地理解思維，因此對非人類的心智有獨(dú)到的洞察力。

今年早些時候（2023年5月），Hinton離開了Google。他開始擔(dān)憂潛在的AI威脅，并在采訪中談?wù)揂I對人類種族構(gòu)成的“生存威脅”。他越是使用ChatGPT，心中的不安就越強(qiáng)烈。某天，F(xiàn)ox News的一名記者聯(lián)系他，要求就AI問題進(jìn)行采訪。

Hinton喜歡用尖刻的單句回復(fù)電子郵件。比如，在收到一封來自加拿大情報局的冗長來信后，他回復(fù)了一句“斯諾登是我的英雄”。

這次，他的回復(fù)依然玩了一把幽默：“Fox News is an oxy moron.（自相矛盾）”。

出于好奇，Hinton問ChatGPT能否解釋他的笑話。

ChatGPT：這句話暗示Fox News是假新聞。

當(dāng)Hinton強(qiáng)調(diào)“moron”前的空格時，ChatGPT進(jìn)一步解釋：這意味著Fox News像止痛藥OxyContin一樣讓人上癮。

Hinton對此感到震驚，這種理解力似乎預(yù)示著AI進(jìn)入了一個全新時代。

雖然大家對AI崛起有許多擔(dān)憂的理由——被搶工作等等。

然而，Hinton與許多知名的科技人士站在了一起，比如OpenAI首席執(zhí)行官Sam Altman，他們警告稱AI可能會開始自主思考，甚至試圖接管或消滅人類文明。

當(dāng)你聽到一位如此重量級的AI研究者發(fā)出如此驚人的觀點(diǎn)，令人震撼。

“很多人說，LLM就是一個很高級的自動補(bǔ)全功能?！盚inton對我說，“現(xiàn)在，讓我們來分析一下。假設(shè)你想成為預(yù)測下一個單詞的高手。如果你想成為真正的高手，就必須理解別人在說什么?！?/p>

“這是唯一的辦法。因此，通過訓(xùn)練讓某個東西真正擅長預(yù)測下一個單詞，實(shí)際上就是強(qiáng)迫它去理解。是的，這是確實(shí)只是‘自動補(bǔ)全’——-但你并沒有想清楚擁有一個極其優(yōu)秀的‘自動補(bǔ)全’意味著什么”。

Hinton認(rèn)為，像GPT這樣的LLM確實(shí)能理解詞語和概念的含義。

那些懷疑我們高估AI能力的人指出——人類思維與神經(jīng)網(wǎng)絡(luò)之間有很大的差距。

首先，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式與我們不同：人類是通過實(shí)際經(jīng)驗，理解現(xiàn)實(shí)世界與自我的關(guān)系，自然地獲取知識；而神經(jīng)網(wǎng)絡(luò)則是通過處理大量信息庫中的數(shù)據(jù)，以抽象的方式學(xué)習(xí)一個它不能真正生活的世界。

然而Hinton認(rèn)為，AI展現(xiàn)出的智慧已超越了其人工的起源。

他說：“當(dāng)你吃東西時，你會攝入食物，然后把它分解成微小的各個部分。但如果你說——我身體里的部分物質(zhì)由其他動物的部分物質(zhì)組成。這是不可能的?！?/p>

Hinton認(rèn)為：通過分析人類的寫作，像GPT這樣的LLM能夠了解世界是如何運(yùn)轉(zhuǎn)的，從而誕生一個具備思維能力的系統(tǒng)。

而寫作只是這個系統(tǒng)功能的一部分。他繼續(xù)說道：“這就類似于毛毛蟲變蝴蝶的過程。在蛹里，毛毛蟲被溶解成湯狀物質(zhì)——然后你從這鍋湯中構(gòu)建出一只蝴蝶?！?/p>

“蜻蜓的幼蟲是生活在水下的怪物，就像電影《異形》中一樣，蜻蜓從怪物的背部爬出。幼蟲在這個階段變成了一鍋‘湯’，然后蜻蜓從‘湯’中誕生了?！?/p>

在Hinton的比喻中，幼蟲代表了用于訓(xùn)練現(xiàn)代神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)；而蜻蜓則象征從這些數(shù)據(jù)中誕生的AI。而深度學(xué)習(xí)——Hinton開創(chuàng)的技術(shù)——促成了這種蛻變。

他輕聲說道，“你明白了其中的道理。它開始是一種狀態(tài)，最終變成了另一種不同的狀態(tài)?！?/p>

03 顯赫家族出了個“不聰明”的小輩

當(dāng)年，Google收購Hinton創(chuàng)業(yè)公司，一部分原因是他的團(tuán)隊知道如何利用神經(jīng)網(wǎng)絡(luò)大幅提高圖像識別能力。而現(xiàn)在，屏幕上鋪滿了Hinton的家譜。

Hinton出生在一個特殊的英國科學(xué)世家：在政治上激進(jìn)，在科學(xué)上探索。

叔祖父Sebastian Hinton是攀爬架的發(fā)明者；他的堂姐Joan Hinton是參與曼哈頓計劃的物理學(xué)家；

Lucy Everest，首位當(dāng)選為英國皇家化學(xué)研究所成員的女性。

Charles Howard Hinton，一位數(shù)學(xué)家，提出了四維空間概念。

19 世紀(jì)中葉，Hinton曾曾祖父、英國數(shù)學(xué)家George Boole發(fā)明了二進(jìn)制推理系統(tǒng)，即現(xiàn)在的布爾代數(shù)，是所有計算的基礎(chǔ)。Boole的妻子Mary Everest是一位數(shù)學(xué)家和作家。

Yann LeCun的評價是，Geoff Hinton天生就是搞科學(xué)的料。

雖然學(xué)生時代的Hinton喜歡自然科學(xué)。但出于意識形態(tài)，他的昆蟲學(xué)家父親Howard Everest Hinton禁止他學(xué)習(xí)生物學(xué)。他記得父親曾說：“如果你比我努力兩倍，當(dāng)你年紀(jì)是我兩倍大時，或許才能達(dá)到我一半的成就?！?/p>

在劍橋大學(xué)，Hinton嘗試了多個領(lǐng)域。但令他沮喪的是，在任何一門課程中，他都不是班上最聰明的學(xué)生。

他曾一度輟學(xué)，跑去“讀一些令人emo的小說”，并在倫敦打零工，然后又回到學(xué)校，嘗試學(xué)習(xí)建筑學(xué)，但僅堅持了一天。

最后，在探索了物理、化學(xué)、生理學(xué)和哲學(xué)后，他選擇了實(shí)驗心理學(xué)專業(yè)。

他“潛伏”在道德哲學(xué)家Bernard Williams的辦公室里，而后者對計算機(jī)與心智的興趣引發(fā)了Hinton的深思。

某天， Williams指出：我們的不同思想一定反映了大腦內(nèi)部不同的物理排列；而這與計算機(jī)內(nèi)部的情況截然不同——計算機(jī)的軟件與硬件是相互獨(dú)立的。

Hinton被這個觀點(diǎn)深深吸引。他回憶起高中時，一個朋友曾告訴他記憶可能以“全息”的方式儲存在大腦中——記憶是分散的，但通過任何一個部分都可以訪問整體。

這正是他后續(xù)研究的“連接主義”概念。這種方法結(jié)合了神經(jīng)科學(xué)、數(shù)學(xué)、哲學(xué)和編程，探討神經(jīng)元如何協(xié)同工作以“思考”。連接主義的一個目標(biāo)是創(chuàng)造一個在計算機(jī)中模擬大腦的系統(tǒng)。

這個領(lǐng)域已經(jīng)有了一些進(jìn)展：1950年代，心理學(xué)家和連接主義先鋒Frank Rosenblatt建造了一臺Perceptron（感知機(jī)），使用簡單的計算機(jī)硬件模擬了數(shù)百個神經(jīng)元的網(wǎng)絡(luò)。當(dāng)連接到光感器時，Perceptron可以通過追蹤不同光線模式激活的人工神經(jīng)元來識別字母和形狀。

而Hinton在劍橋的起步看似緩慢且略顯古怪，也有一部分原因是他在探索一個新興的領(lǐng)域。

“神經(jīng)網(wǎng)絡(luò)——當(dāng)時幾乎沒有頂尖大學(xué)研究這個領(lǐng)域” Hinton說道 “你在麻省理工做不了；在伯克利做不了；在斯坦福也做不了?！币舱蛉绱耍琀inton作為一個新興技術(shù)的開創(chuàng)者。多年來，許多最頂尖的頭腦都向他靠攏。

04 撬開神經(jīng)網(wǎng)絡(luò)“黑盒”

而在1970年代，絕大多數(shù)人工智能研究者都是“符號主義者”。在他們看來，了解諸如番茄醬這樣的事物，可能需要涉及多個概念，如“食物”、“醬料”、“調(diào)味品”、“甜”、“鮮味”、“紅色”、“番茄”、“美國”、“薯條”、“蛋黃醬”和“芥末”；

這些概念結(jié)合起來可以構(gòu)建出一個腳手架，用來懸掛新概念如“番茄醬”。一個資金充足的大型人工智能項目Cyc，正是圍繞構(gòu)建一個龐大的知識庫展開?？茖W(xué)家們可以使用一種特殊語言將概念、事實(shí)和規(guī)則（以及它們不可避免的例外）輸入其中。（鳥類會飛，但企鵝不會，受傷的鳥也不會……）

但是，Hinton對符號人工智能表示懷疑。這種方法似乎過于僵化，過于依賴哲學(xué)家和語言學(xué)家的推理能力。

他知道，在自然界中，許多動物即便沒有語言表達(dá)，也能表現(xiàn)出智能行為。而它們只是通過經(jīng)驗學(xué)習(xí)來變得聰明。

對于 Hinton 來說——學(xué)習(xí)，而不是知識，才是智能的核心。

人類的高級思維通常似乎通過符號和語言進(jìn)行。但是，Hinton與他的合作者James L. McClelland以及David Rumelhart認(rèn)為，大部分的認(rèn)知活動其實(shí)發(fā)生在概念層面之下。

他們指出：“當(dāng)你學(xué)到一個關(guān)于某個物體的新知識后，你對其他類似物體的預(yù)期也會發(fā)生變化”。比如，當(dāng)你得知黑猩猩喜歡洋蔥時，你可能會猜測大猩猩也喜歡。

這表明知識可能是以“分布式”的方式在大腦中產(chǎn)生的——由一些可以在相關(guān)概念之間共享的小型構(gòu)建塊組成。

比如，大腦中不會有兩個分別代表“黑猩猩”和“大猩猩”的獨(dú)立神經(jīng)元網(wǎng)絡(luò)；相反，不同的特征，比如毛茸茸的、四足的、靈長類的、動物性的、聰明的、野生的等，可能會以一種方式激活來代表“黑猩猩”，以稍微不同的方式激活來代表“大猩猩”。

在這些特征云中，可能會加上“喜歡洋蔥”這一屬性。然而，這種由特征構(gòu)成的思維方式可能會導(dǎo)致混淆和錯誤：如果將特質(zhì)錯誤地組合在一起，可能會產(chǎn)生一個既不是大猩猩也不是黑猩猩的幻想生物。但如果大腦擁有正確的學(xué)習(xí)算法，它或許能調(diào)整神經(jīng)元之間的權(quán)重，優(yōu)先生成合理的組合，而不是無意義的拼湊。

Hinton 繼續(xù)探索這些想法，先在加州大學(xué)圣地亞哥分校做博士后研究；然后在劍橋大學(xué)從事應(yīng)用心理學(xué)研究；最后在卡內(nèi)基梅隆大學(xué)。他于1982年成為該校的計算機(jī)科學(xué)教授。在卡內(nèi)基梅隆期間，他將大部分研究經(jīng)費(fèi)用于購買一臺足夠強(qiáng)大的計算機(jī)，以運(yùn)行神經(jīng)網(wǎng)絡(luò)。期間，Hinton 和 Terrence Sejnowski 合作開發(fā)了一個神經(jīng)網(wǎng)絡(luò)模型——玻爾茲曼機(jī)（Boltzmann Machine）。

1986年，Hinton、Rumelhart和Williams在《自然》雜志上發(fā)表了一篇三頁的論文，展示了一個系統(tǒng)如何在神經(jīng)網(wǎng)絡(luò)中工作。

他們指出，反向傳播（backprop）和玻爾茲曼機(jī)（Boltzmann Machine）一樣，并不是“大腦學(xué)習(xí)的一個合理模型”——與計算機(jī)不同，大腦無法“倒帶”來檢查其過去的表現(xiàn)。然而，反向傳播仍然能夠?qū)崿F(xiàn)類似大腦的神經(jīng)專門化。

在真實(shí)的大腦中，神經(jīng)元有時會按照解決特定問題的結(jié)構(gòu)排列。例如在視覺系統(tǒng)中，不同的神經(jīng)元“列”可以識別我們所看到的邊緣。

類似的現(xiàn)象也在反向傳播網(wǎng)絡(luò)中出現(xiàn)。網(wǎng)絡(luò)的更高層會對較低層施加一種進(jìn)化壓力；因此，當(dāng)一個網(wǎng)絡(luò)被賦予識別手寫體的任務(wù)時，某些層可能會專注于識別線條、曲線或邊緣。最終，整個系統(tǒng)可以形成“適當(dāng)?shù)膬?nèi)部表征”。這個網(wǎng)絡(luò)不僅“知曉”了信息，還能加以運(yùn)用。

在1950年代和60年代，感知機(jī)（Perceptron）和其他連接主義（connectionism）曾短暫興起，又逐漸衰落。反向傳播作為其中的一部分，也獲得了廣泛的關(guān)注。

但構(gòu)建反向傳播網(wǎng)絡(luò)的實(shí)際工作進(jìn)展緩慢，一部分原因是因為計算機(jī)的速度太慢。

Hinton回憶道：“進(jìn)展速度基本取決于計算機(jī)一夜之間能學(xué)到多少東西?！倍鸢竿恰安欢唷?。在概念上，神經(jīng)網(wǎng)絡(luò)的工作方式則顯得神秘。傳統(tǒng)編程方式無法直接為其編寫代碼，你不能去手動調(diào)整人工神經(jīng)元之間的權(quán)重。而且很難理解這些權(quán)重的含義，因為它們會通過訓(xùn)練自動適應(yīng)和改變。

在學(xué)習(xí)過程中，錯誤可能以多種方式發(fā)生。例如，“過度擬合”會讓網(wǎng)絡(luò)只記住了訓(xùn)練數(shù)據(jù)，而不是從中總結(jié)出通用的規(guī)律。

避免這些陷阱并非易事，因為神經(jīng)網(wǎng)絡(luò)是自主學(xué)習(xí)的。研究人員可以嘗試通過“集成”技術(shù)（將弱網(wǎng)絡(luò)組合成一個強(qiáng)大的網(wǎng)絡(luò)）或“提前停止”（讓網(wǎng)絡(luò)學(xué)習(xí)，但不過度學(xué)習(xí)）來應(yīng)對這些問題。

他們還可以通過“預(yù)訓(xùn)練”系統(tǒng)，即先讓玻爾茲曼機(jī)學(xué)習(xí)一些東西，再疊加反向傳播網(wǎng)絡(luò)，從而使系統(tǒng)在已經(jīng)掌握了一些基礎(chǔ)知識后才開始“監(jiān)督”訓(xùn)練。

然后，他們會放任網(wǎng)絡(luò)繼續(xù)學(xué)習(xí)，希望它能達(dá)到預(yù)期目標(biāo)。

新的神經(jīng)網(wǎng)絡(luò)架構(gòu)也應(yīng)運(yùn)而生——“循環(huán)”網(wǎng)絡(luò)和“卷積”網(wǎng)絡(luò)。但這就像研究人員發(fā)現(xiàn)了一項陌生的外星技術(shù)，卻不知如何使用。

Hinton說：“我始終堅信這不是胡說八道?！边@并非出于信仰，而是顯而易見的：大腦通過神經(jīng)元學(xué)習(xí)，因此通過神經(jīng)網(wǎng)絡(luò)進(jìn)行復(fù)雜的學(xué)習(xí)必然是可能的。為了這一信念，他愿意加倍努力，并堅持更久。

通過反向傳播訓(xùn)練網(wǎng)絡(luò)時，網(wǎng)絡(luò)需要被告知哪里出錯了，以及錯誤的程度，這要求有大量準(zhǔn)確標(biāo)注的數(shù)據(jù)，這樣網(wǎng)絡(luò)才能區(qū)分出手寫的“7”和“1”，或者區(qū)分金毛獵犬和紅色雪達(dá)犬。

然而，找到足夠大且標(biāo)注良好的數(shù)據(jù)集并不容易，構(gòu)建新的數(shù)據(jù)集更是一項艱苦的工作。

LeCun及其合作者開發(fā)了一個包含大量手寫數(shù)字的數(shù)據(jù)庫，后來他們用它來訓(xùn)練一個網(wǎng)絡(luò)，可以讀取美國郵政服務(wù)提供的樣本郵政編碼。

李飛飛主導(dǎo)了一個龐大的項目——ImageNet，其創(chuàng)建過程涉及收集超過1400萬張圖像，并手動將它們分為2萬個類別。

隨著神經(jīng)網(wǎng)絡(luò)的不斷擴(kuò)展，Hinton發(fā)明了一種將知識從大型網(wǎng)絡(luò)傳遞給較小網(wǎng)絡(luò)的方法——蒸餾（distillation）——可以在手機(jī)等設(shè)備上運(yùn)行。

在蒸餾學(xué)習(xí)中，一個神經(jīng)網(wǎng)絡(luò)不僅為另一個神經(jīng)網(wǎng)絡(luò)提供正確的答案，還能提供一系列可能的答案及其概率，這是一種更為豐富的知識傳遞方式。

Hinton不喜歡反向傳播網(wǎng)絡(luò)。因為與玻爾茲曼機(jī)不同，“反向傳播完全是確定性的。不幸的是，它的確效果更好。”隨著計算機(jī)性能的進(jìn)步，反向傳播的威力漸漸變得無可否認(rèn)。

Hinton做過一個計算。假設(shè)在1985年，他開始不停歇地在一臺高速計算機(jī)上運(yùn)行一個程序。如今只需不到一秒鐘的時間就可以趕上。

進(jìn)入2000年代，隨著配備強(qiáng)大計算機(jī)的多層神經(jīng)網(wǎng)絡(luò)，開始在大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練，Hinton、Bengio 和 LeCun 開始討論“深度學(xué)習(xí)”的潛力。

2012年，這項研究跨過了一個門檻。彼時，Hinton、Alex Krizhevsky 和 Ilya Sutskever 推出了AlexNet，這是一個八層神經(jīng)網(wǎng)絡(luò)，最終能夠以人類水平的準(zhǔn)確率識別 ImageNet 數(shù)據(jù)集中的物體。

隨后，三人創(chuàng)辦了一家公司，并將其出售給了Google。

Hinton拿這筆錢買下了開篇的那座小島——“這是我唯一真正的放縱”。

05 他堅信神經(jīng)網(wǎng)絡(luò)確實(shí)擁有情感

2017年6月，Hinton、Bengio和LeCun獲取了圖靈獎，相當(dāng)于計算機(jī)科學(xué)領(lǐng)域的諾貝爾獎。

Hinton堅信，神經(jīng)網(wǎng)絡(luò)確實(shí)擁有某種情感，即對行為傾向的一種描述方式。

他在1973年見過一個“emo的人工智能”。當(dāng)時一臺計算機(jī)連接著兩臺電視攝像頭和一個簡單的機(jī)械手臂，系統(tǒng)的任務(wù)是將散落在桌子上的積木組裝成一輛玩具車。

“這在1973年是相當(dāng)困難的，”他說?！耙曈X系統(tǒng)可以識別分開的積木，但如果你把它們堆在一起，它就無法識別。所以它怎么做呢？它稍微后退了一點(diǎn)，然后砰地一下，把積木撒得滿桌子都是。它無法應(yīng)對當(dāng)前的狀況，于是通過暴力改變了局面。如果是人類這么做，你會說他們感到沮喪。那臺計算機(jī)無法正確地‘看到’積木，于是它‘打亂’了積木。” Hinton認(rèn)為，情感的本質(zhì)就是對無法擁有之物的渴求。

他嘆了一口氣?！拔覀儾荒芑钤诜裾J(rèn)之中，我們必須面對現(xiàn)實(shí)。我們需要思考，如何讓AI對人類的威脅變得不那么可怕?！?/p>

AI會變得多么有用？多么危險？沒有人知道。一部分原因是神經(jīng)網(wǎng)絡(luò)太神奇了。

在20世紀(jì)，許多研究人員想構(gòu)建模仿人腦的計算機(jī)。

但盡管像GPT這樣的神經(jīng)網(wǎng)絡(luò)有數(shù)十億個人工神經(jīng)元，在某種意義與人腦相似，但它們與生物大腦有著本質(zhì)上的不同。

如今的人工智能存在于云端，被安置在龐大數(shù)據(jù)中心。

在某些方面，人工智能顯得無知；而在另一些方面，它又如天才般洞悉。

它們或許已經(jīng)通過了圖靈測試——由計算機(jī)科學(xué)先驅(qū)Alan Turing提出的經(jīng)典標(biāo)準(zhǔn)：如果一臺計算機(jī)能夠在對話中令人信服地模仿人類，它就可以被合理地認(rèn)為在“思考”。

然而，直覺告訴我們，駐留在瀏覽器標(biāo)簽頁中的東西，不可能以我們理解的方式真正“思考”。這些系統(tǒng)迫使我們反思：人類的思維方式，真的是唯一值得認(rèn)可的思維方式嗎？

06 擔(dān)憂來源于凡人計算？

在谷歌工作的最后幾年，Hinton集中精力開發(fā)更接近人類大腦思維方式的人工智能，使用模擬大腦結(jié)構(gòu)的硬件。

在現(xiàn)今的人工智能系統(tǒng)中，人工神經(jīng)元之間的連接權(quán)重是以數(shù)字形式存儲的，仿佛大腦在為自己做記錄。然而，在人類真實(shí)的類比大腦中，權(quán)重直接體現(xiàn)在神經(jīng)元之間的物理連接中。Hinton 致力于通過專用計算芯片來創(chuàng)建這一系統(tǒng)的人工版本。

Hinton 將這種方法稱為“凡人計算”。

如果能實(shí)現(xiàn)，那將是極其驚人的。這些芯片能夠通過調(diào)整它們的“電導(dǎo)”來進(jìn)行學(xué)習(xí)。由于權(quán)重會被整合到硬件中，無法從一臺機(jī)器復(fù)制到另一臺機(jī)器，每個人工智能系統(tǒng)都必須獨(dú)立學(xué)習(xí)。但這會使功耗從兆瓦級降低到三十瓦。

由此帶來的一個好處是鼓勵個性化：因為人類大腦只需通過消耗燕麥粥等簡單食物就能運(yùn)轉(zhuǎn)，世界可以支持?jǐn)?shù)十億個各不相同的大腦。每個大腦都能夠持續(xù)學(xué)習(xí)，而不是像當(dāng)前的人工智能那樣，在一次訓(xùn)練后被推向世界。

Hinton說，在數(shù)字智能中，如果某臺計算機(jī)死亡，相同的連接權(quán)重可以被轉(zhuǎn)移到另一臺計算機(jī)上。甚至如果所有數(shù)字計算機(jī)都?xì)牧耍灰惚４媪诉@些連接權(quán)重，你就可以制造另一臺數(shù)字計算機(jī)并在其上運(yùn)行相同的權(quán)重。成千上萬個神經(jīng)網(wǎng)絡(luò)可以同時學(xué)習(xí)成千上萬件不同的事物，然后共享它們所學(xué)的知識。

這種永生和可復(fù)制性的結(jié)合讓Hinton覺得“我們應(yīng)當(dāng)警惕數(shù)字智能取代生物智能的可能性”。

當(dāng)前的人工智能技術(shù)在物理邊界處常常顯得笨拙無力。

比如LeCun 表示，任何一個青少年都能在大約20個小時的練習(xí)中學(xué)會開車，幾乎不需要監(jiān)督；任何一只貓都能跳過一連串的家具，爬到書架的頂端。今天的人工智能系統(tǒng)在這些方面無一接近完成，除了自動駕駛汽車——但它們過度設(shè)計，要求“將整個城市繪圖，數(shù)百名工程師，成千上萬小時的訓(xùn)練”。因此，解決物理直覺的這些棘手問題將成為未來十年的主要挑戰(zhàn)。

Hinton 認(rèn)為，對人工智能潛力的懷疑往往源于人類無端的優(yōu)越感。研究者們抱怨人工智能聊天機(jī)器人“幻覺”，即在面對無法解答的問題時編造出貌似合理的答案。對此，Hinton 不認(rèn)同“幻覺”一詞。

他說：我們應(yīng)該說“虛構(gòu)”?！盎糜X”是指你以為有感官輸入——聽覺幻覺、視覺幻覺、嗅覺幻覺。而只是編造事情，那是“虛構(gòu)”。有趣的是，在人類看來，編造和說實(shí)話之間沒有界限。說實(shí)話只是正確地編造。從這個角度來看，ChatGPT的編造能力是一個缺陷，但也是其類人智能的標(biāo)志。

Hinton經(jīng)常被問是否后悔自己所做的工作。他回答并不后悔。

畢竟當(dāng)他開始研究時，沒人覺得這項技術(shù)會成功；即使它開始成功，也沒有人想到它會那么快。正是因為他認(rèn)為人工智能是真正的智能，他期望其將在許多領(lǐng)域做出貢獻(xiàn)。

雖然，他也同樣擔(dān)憂人工智能的未來。