如果人類研發(fā)智能武器，讓其擁有了類似電影《終結者》中主角“天網”的意志，可以對人類進行肆意的殺戮，那我們該怎么辦？

對于這個問題的答案，眾多人工智能界的研究人員選擇了抵制。近日，逾50名頂尖的人工智能研究員宣布，向韓國科學技術院發(fā)起抵制。此前，這家韓國一流大學和一家軍工企業(yè)合作開設了人工智能實驗室。發(fā)起抵制的研究員稱，這是一所“AI武器實驗室”。

除了抵制外，這場發(fā)生在人工智能界的事件，也引發(fā)了諸多討論。4月9日，聯(lián)合國《特定常規(guī)武器公約》政府專家小組還在瑞士日內瓦召開會議，預定討論致命自主武器系統(tǒng)研發(fā)，也就是常說的“殺手機器人”可能帶來的影響。

如何防止人工智能技術被濫用，如何進行約束，如果我們自己堅持不將人工智能軍事化，但未來某一天我們的對手是否會迫使我們去做？在人工智能浪潮高速向前發(fā)展的當下，這些問題都急需解決。

作為此次事件中唯一一位簽名抵制的內地學者，南京大學計算機系教授周志華在接受澎湃新聞（www.xinlihui.cn)郵件采訪時稱：“AI用于軍事是不可避免的事情，因為‘智能化’這個趨勢是不可阻擋、不可逆轉的，所有行業(yè)都必將被涉及。但是，AI用于軍事本身未必是壞事，例如通過精確定位可能減少平民傷亡等等。我們反對的是把‘決定權’交給機器。絕對不能讓機器自己去決定是否進行對人類的毀滅性打擊。如果所有人都意識到這件事是一個潘多拉盒子，打開之后甚至會反噬打開它的人，那一切就會好得多。”

起因：無需人類控制的自主武器

今年2月份，韓國科學技術院（KAIST）和韓華系統(tǒng)公司開設了AI研究中心，后者是韓國兩家集束炸彈制造商之一。這所大學表示，新的“國防和人工智能融合研究中心”（Research Centre for the Convergence of National Defence and Artificial Intelligence）將專注于利用人工智能命令和控制系統(tǒng)，對大型無人駕駛潛水器進行導航，以及利用人工智能進行智能飛行器訓練，追蹤和識別物體等。

這樣的研究方向引發(fā)了全球人工智能領域頂尖學者的反對。包括蒙特利爾大學的Yoshua Bengio、多倫多大學的Geoffrey Hinton、瑞士人工智能實驗室的Jürgen Schmidhuber、加州大學伯克利分校的Stuart Russell、香港中文大學的華云生教授、香港科技大學的楊瓞仁教授、南京大學的周志華教授等人，通過新南威爾士大學官網發(fā)出了一封公開信。

信中稱，自主武器有可能成為恐怖分子的武器。暴君和恐怖分子可以利用它們對付無辜的人群，他們不會理會任何的道德限制。如果打開了這個潘多拉魔盒，將很難關閉。與過去禁用其他技術，例如禁用激光致盲武器（blinding lasers）一樣，我們可以簡單地決定不開發(fā)自主武器。我們敦促KAIST遵循這樣的共識，致力于改善人們的生活，而不是傷害人的生命。

在公開信發(fā)布后，韓國科學技術院也即刻發(fā)表聲明說，他們沒有研發(fā)“致命自動武器系統(tǒng)或殺手機器人”的計劃。韓國科學技術院校長Sung-Chul Shin表示，該校“相當清楚”人工智能的倫理問題，他“再次重申，韓國科學技術院不會從事任何與人類尊嚴相違背的研究活動，包括無需人類控制的自主化武器?！?/p>

概念：自主武器和強人工智能

盡管韓國科學技術院最后澄清了不會研發(fā)無需人類控制的自主化武器，但在人工智能領域，自主化武器，以及它所涉及的強人工智能概念已經由來已久。

據周志華介紹，在人工智能領域，長期存在兩種不同的目標或者理念。一種是希望借鑒人類的智能行為，研制出更好的工具以減輕人類智力勞動，一般稱為“弱人工智能”，類似于“高級仿生學”。另一種是希望研制出達到甚至超越人類智慧水平的人造物，具有心智和意識、能根據自己的意圖開展行動，一般稱為“強人工智能”，實則可謂“人造智能”。

“近年來，科學界一般所說的人工智能是弱人工智能，希望借鑒人類的智能行為，研制出更好的工具以減輕人類智力勞動?！敝苤救A告訴澎湃新聞。

強人工智能和弱人工智能的區(qū)別在于：首先，強人工智能希望“全面”達到甚至超越人類的智能，而弱人工智能沒有這個要求。第二，強人工智能希望其產物具有“自主意識”，而弱人工智能認為完全不需要、也不應該去考慮讓產物具有“自主意識”。

舉例來說，人類看到鳥在天上飛，非常羨慕，于是受鳥的啟發(fā)造出飛機這個工具來能幫人飛上天。這就是弱人工智能認為的目的就達到了。相對的，強人工智能則認為這不夠，人類需要的是全面具備鳥的能力，例如鳥下蛋的能力人類也要有，另外這個飛機還應該有自主意識，它可以根據自己的意愿決定該往哪兒飛。換句話說，弱人工智能的目的是為了制造“智能工具”，而強人工智能的目的是“人造智能”。

如果將智能工具替換成具有自主意識，且能對人造成殺傷性影響的武器，那后果可能就不堪設想。周志華向澎湃新聞強調，“自主武器”跟一般意義上的智能武器有本質的區(qū)別。智能武器早就有，例如帶自動瞄準裝置、導彈定位系統(tǒng)的武器等等，但是這些武器最終做決定的都是人類。而自主武器，是要把這個“決定權”交給機器，讓機器自己去決定是否進行對人類的毀滅性打擊，這就太危險了。

為什么這些大咖都要反對自主AI

在過去60幾年的人工智能發(fā)展中，人工智能技術現(xiàn)在所取得的進展和成功，應該歸功于弱人工智能而不是強人工智能的研究。國際人工智能聯(lián)合會前主席、牛津大學計算機系主任邁克爾·伍德里奇(Michael Wooldrige)曾在CCF-GAIR 大會報告中稱：強人工智能“幾乎沒有進展”，甚至“幾乎沒有嚴肅的活動”(little progress, little serious activity)。

周志華稱，事實上，人工智能國際主流學界所持的目標是弱人工智能，也少有人致力于強人工智能。這么做的原因并不是因為強人工智能太難，大家不得不退而求其次，而是，在大多數(shù)人工智能研究者看來，強人工智能不能做，也不該做。

除了科學界對強人工智能的反對和抵制外，業(yè)界也有不少大咖對人工智能發(fā)展帶來的威脅一再提出警示。馬斯克就是其中的要員之一。自2014年開始，這位硅谷“鋼鐵俠”就多次在不同場合表達了自己的觀點。他認為，人工智能比核武器更危險。并稱全球人工智能競賽可能導致第三次世界大戰(zhàn)。這位企業(yè)家還表示，新興技術可能會給世界帶來更大的風險。

在硅谷近期推出的人工智能紀錄片《你信任這臺電腦嗎？》中，馬斯克、前百度首席科學家吳恩達、《西部世界》的編劇喬納森·諾蘭、未來學家Ray Kurzweil以及Sebastian Thrun等紛紛出鏡，共同聊到了人工智能成為獨裁者的問題，以及談到人類究竟應該信任這些機器到什么程度？

馬斯克的做法是人類應該加強防范。為此，他和英國著名物理學家霍金，人工智能防范聯(lián)盟，主張在危險到來之前就加以控制。DeepMind創(chuàng)始人戴密斯·哈薩比斯(Demis Hassabis)也主張用道德和規(guī)則約束人工智能的發(fā)展，他的公司內部還成立了人工智能道德委員會。

在周志華看來，強人工智能是具有自主意識、不受人類控制的。我們沒法保障它不做出損害人類甚至毀滅人類的事情。主流人工智能科學界所研究的人工智能是弱人工智能，是在做智能工具，工具不存在自己“變壞”。好比說菜刀是一種工具，它自己并不會“變壞”，但是在壞人手上可能就成為兇器了，要防范的是壞人，不是菜刀。