原創(chuàng) 賀久恒 騰云 收錄于話題#商業(yè)科技研究10#人工智能&算法治理12

“黑箱”（Black box）是許多二戰(zhàn)期間軍事機密技術(shù)的俚稱。由于許多負責操作這些機械的工程師并不了解其中的技術(shù)細節(jié)，他們往往只能通過黑箱的輸入和輸出來理解其工作的機制以及如何運用到實際場景中。

黑箱這一概念，如何從一個實際中的工程學概念演變?yōu)橐粋€可以廣泛用于各種客體的隱喻和符號？

文 | 賀久恒

騰云特約作者

康奈爾大學Science&Technology Studies在讀博士

“黑箱”（Black Box）通常指在人類認識世界的過程中，遇到的一類客體：由于技術(shù)、知識及操作能力的限制，研究者無法直接研究其內(nèi)部的結(jié)構(gòu)和運行機制。對于這樣的一類特殊的研究對象，控制論創(chuàng)始人諾伯特·維納（Norbert Wiener）將之稱為“黑箱”。

隨后，羅斯·阿什比（Ross Ashby）為控制論研究奠基的著作《控制論導論》（An introduction to cybernetics）中，詳細闡述了他對于黑箱的定義和如何研究黑箱的方法論。

自此，黑箱逐步成為一個被應用在計算機、心理學、醫(yī)學、教育學、社會學等等領(lǐng)域的符號，意指我們無法充分研究清楚的封閉系統(tǒng)，只有通過其輸入與輸出來觀察其行為，總結(jié)其中可能存在規(guī)律。

本文將回顧黑箱這一概念，如何從一個實際中的工程學概念演變?yōu)橐粋€可以廣泛用于各種客體的隱喻和符號。同時本文也將簡要討論黑箱概念對人工智能發(fā)展史的諸多影響；以及在機器學習為人工智能開發(fā)主流方式的今天，我們?nèi)绾稳ダ斫獬３１幻枋鰹楹谙涞臋C器學習與神經(jīng)網(wǎng)絡(luò)算法。

01

第二次世界大戰(zhàn)中的“黑箱”

黑箱（Black box）的概念在誕生伊始并非是一個符號或隱喻，而是指第二次世界大戰(zhàn)期間中的一個真實存在的黑箱子。跟據(jù)馮·希爾格斯的歷史考證（von Hilgers，2011），黑箱說法起源自1940年的英國與美國共享最新科技進展的蒂澤德任務(wù)（Tizard Mission）。

在蒂澤德任務(wù)中，英方曾向美方運送過一個裝載著磁控管的黑色箱子。當這個箱子抵達位于波士頓的麻省理工學院之后，“黑箱”這一名稱以及其背后所隱含的寓意便隨之傳播。

1943年蘭德公司內(nèi)部報告中有一篇文章名為“從一個黑箱中建造出的轟炸機防御系統(tǒng)”（Bomber Defense from a Little Black Box）。彼時美國軍方將磁控管稱為一個黑箱，不僅因為其作為最新技術(shù)進展的技術(shù)復雜性，同時也出于軍事機密保護的原因不愿具體提及磁控管的技術(shù)細節(jié)。

隨后，“黑箱”（Black box）成為許多二戰(zhàn)期間軍事機密技術(shù)的俚稱。由于許多負責操作這些機械的工程師并不了解其中的技術(shù)細節(jié)，他們往往只能通過黑箱的輸入和輸出來理解其工作的機制以及如何運用到實際場景中。

通用電氣實驗室在二戰(zhàn)期間建造的磁控管

20世紀40年代正是控制論領(lǐng)域方興未艾的時期，控制論領(lǐng)域的奠基人維納就曾在二戰(zhàn)期間嘗試為美國軍方開發(fā)一套防空預警系統(tǒng)（不過最終以失敗告終）。這一失敗的嘗試雖然沒有為美國軍方提供幫助，卻使得維納接觸到了軍方技術(shù)實踐中大量存在的“黑箱系統(tǒng)”，啟發(fā)了他后來對于黑箱系統(tǒng)的研究興趣。

維納所開發(fā)的防空預警系統(tǒng)實際折射出了彼時控制論研究者具備的巨大野心：跟據(jù)維納的描述，這一防空預警系統(tǒng)能夠通過一套復雜的反饋機制來預測敵方轟炸機飛行員是否要選擇在某地投下炸彈（Galison, 1994）。因為維納試圖預測的是人類飛行員的行為，這樣的防空預警系統(tǒng)堪稱是20世紀最早的人工智能嘗試之一，所以維納無法在彼時的技術(shù)條件下完成他的預期也不足為奇。

在這個項目中，最值得注意的一點是：維納所構(gòu)想的建造類人智慧的機器并不需要我們理解人類大腦的組成，他期望通過反饋機制來建模（model）以模擬人類的行為。換言之，只要同樣的輸入進入到人類大腦中和進入到機器中能夠得到同樣的輸出，那么他們內(nèi)部的原理和計算過程是否一樣，對于維納來說（或者對于有絕大多數(shù)控制論研究者來說）也就不重要了。

這便是黑箱研究法的起源：放棄對于復雜系統(tǒng)運行原理的探究，轉(zhuǎn)而使用建模的方式模擬人類大腦的輸入與輸出。

關(guān)于黑箱研究法，另一位控制論領(lǐng)域的巨擘羅斯·阿什比提出了更加明確的定義：

對于黑箱理論不感興趣的研究者往往會在遇到黑箱時不屑一顧，因為這樣的案例無法回答他們最感興趣的問題：“這個箱子里有什么？” 然而，我們更應該考慮的問題是：“對于一個黑箱的特征，作為研究者的我們能夠歸納出哪些特征？有哪些手段能夠幫助我們更加有效率的研究一個黑箱的運行規(guī)律？“ （Ashby, 1961）

02

封裝“大腦”：研究人類智能的控制論進路

對于20世紀上半葉的控制論研究者來說，維納所提出的反饋機制是他們研究開發(fā)人工智能的主要途徑，同時維納也深刻啟發(fā)了許多來自心理學、生理學、物理學和工程學的學者投身于封裝“大腦“的藍圖中。

一個典型的例子是，在1944年著名的美國實驗心理學家埃德溫·波林曾與維納進行過一系列關(guān)于如何建模大腦的通信（Petrick，2020）。波林被維納所提出的黑箱研究法所打動，他在信中提到了如何將大腦簡化為一個黑箱：“所有的心理學現(xiàn)象毫無疑問都可以被操作化定義為一組‘刺激與反饋‘?！?/p>

如果心理學家能夠確定這些刺激與反饋之間的關(guān)聯(lián)，波林希望維納能夠幫助他使用電子機械系統(tǒng)來實現(xiàn)人類心理現(xiàn)象的復刻。波林信中所提到的”刺激與反饋“對于大腦這個黑箱來說，其實就是輸入與輸出。如果說我們放棄直接理解大腦究竟是如何運作的，那么只要搞清楚這些輸入與輸出，就存在理論上的可能來建造一個人類大腦的復制品，而且這個復制品能夠幫助研究者理解人類大腦具體的運行機制。

在后續(xù)的通信中，波林甚至還詳細的制作了一個列表，其中包含了他已經(jīng)確定了的關(guān)于人類大腦的一些刺激與反饋的聯(lián)系，他希望維納至少能夠幫助他實現(xiàn)部分大腦功能的復制。遺憾的是，我們無法知曉后來維納是否幫助波林繼續(xù)這項研究，因為在最后一封信中維納希望能夠當面和波林討論這項研究的后續(xù)推進，而后也沒有任何書面材料記述了關(guān)于該研究的后續(xù)進展。

埃德加·波林（1886-1968）

在維納以及其他控制論學者正在如火如荼的展開關(guān)于“封裝大腦”的研究時，控制論領(lǐng)域內(nèi)部也涌現(xiàn)出了一些對于黑箱研究法的不同聲音。

其中一個重要的疑問在于：我們?nèi)绾文軌蛟谕耆涣私夂谙鋬?nèi)部運作機制的基礎(chǔ)上，確定我們復刻出來的機械真的能夠具備黑箱完全相同的能力？即便能夠做到完全的復刻，這樣的嘗試又能夠?qū)τ谖覀兝斫夂谙浔旧硖峁┒啻蟮膸椭兀?/p>諾伯特·維納（1894-1964）

阿什比曾在他的私人日記中留下這樣的一段文字：“（黑箱研究）一個非常明顯的不確定性是，我們永遠沒有辦法建立起黑箱與復制品之間的確定聯(lián)系。事實上我們只能夠假定在它們的輸入和輸出中存在著一種我們能觀察范圍內(nèi)的相關(guān)性。”

阿什比在這里所強調(diào)的不確定性與邏輯經(jīng)驗主義在歸納悖論中所遇到的困難是一樣的：即便在我們能夠觀察的所有范圍內(nèi)，黑箱的行為與我們所復刻出來的機器行為完全一致，我們也無法推理出任何它們之間的確定聯(lián)系。

由于我們對于黑箱內(nèi)部運行機制的一無所知，始終不存在一種邏輯上的證明使得我們確信研究者所復制出來的機械能夠達到黑箱本身完全一致的功能。

換言之，黑箱研究法雖然能夠幫助研究者繞開打開黑箱的困難，但研究者始終都處于“羅素的火雞”所面臨的不確定性中：火雞永遠無法知道明天會得到主人的午餐還是屠刀，研究者也永遠無法知道黑箱在下一次實驗中是否還會與復制品得出一樣的結(jié)果。

03

機器學習中的黑箱問題

在人工智能領(lǐng)域發(fā)展過七十余年后的今天，建立人類大腦的模型所采用的研究進路已經(jīng)和維納、波林和阿什比等人所采用的方法完全不同。機器學習和神經(jīng)網(wǎng)絡(luò)在最近的三十年間成為人工智能開發(fā)的主要路徑，然而黑箱作為一種隱喻往往成為研究者批判機器學習和神經(jīng)網(wǎng)絡(luò)的常見論調(diào)。

神經(jīng)網(wǎng)絡(luò)的算法往往被認為是一個黑箱，即便開發(fā)者寫下了每一句代碼來構(gòu)建起一個神經(jīng)網(wǎng)絡(luò)，然而經(jīng)過大量的訓練后，沒有人能夠清楚的解釋為什么一個神經(jīng)網(wǎng)絡(luò)算法能夠得出研究者想要的結(jié)果。

研究者所能掌控的只是一種基于概率的部分確定性：算法在得到X作為輸入后，有i的幾率能夠給出我們預期的結(jié)果Y。經(jīng)過長時間的訓練，概率i或許會不斷逼近1，但是想要解釋這一結(jié)果得出的運算過程反而會變得愈發(fā)困難。

從功利和實際的角度出發(fā)，我們當然可以這樣為神經(jīng)網(wǎng)絡(luò)算法辯護：當算法有足夠大的概率依照我們預期的方式給出結(jié)果，我們就不必要擔心那些“黑天鵝”事件，畢竟沒有萬無一失的解決方案。

然而當我們把神經(jīng)網(wǎng)絡(luò)和機器學習推廣至人類生活的方方面面時，人們不得不開始反思：把人類社會中一些非常至關(guān)重要的事務(wù)交給一個黑箱去處理，是否是一個明智的決定？筆者在這篇短文中顯然無法給出一個明確的答案，但是毫無疑問的一點是，如何打開機器學習的黑箱會是人工智能研究者在未來一段時間里致力于解決的重要問題。

而可以肯定的是，“黑箱”作為一個隱喻，仍將活躍在計算機、哲學、社會科學、工程學等領(lǐng)域的學術(shù)探討之中。

原標題：《“黑箱”簡史：如何從專業(yè)名詞變成大眾隱喻？》

閱讀原文