復旦大學計算機科學技術學院教授、MOSS系統(tǒng)負責人邱錫鵬。

近日，在復旦大學管理學院主辦的“Beyond ChatGPT：大型語言模型引發(fā)的時代變革”復旦科創(chuàng)先鋒論壇上，復旦大學計算機科學技術學院教授、MOSS系統(tǒng)負責人邱錫鵬從技術和原理的角度深度解構ChatGPT模型，并介紹了國內(nèi)首個類ChatGPT模型MOSS的相關細節(jié)。

ChatGPT為什么這么強？

ChatGPT是2022年底由美國OpenAI公司發(fā)布的人工智能模型，60天內(nèi)月活用戶直接破億，成為史上用戶增長最快的消費級應用，其主要功能就是與人類直接對話，比爾·蓋茨稱贊它是繼PC和互聯(lián)網(wǎng)之后技術上的又一次全新突破。

ChatGPT所展現(xiàn)出的令人驚艷的對話、理解與表達能力，讓越來越多人意識到人工智能已經(jīng)迎來了全新的里程碑，并且有望作為一個至關重要的基座系統(tǒng)，以前所未有的速度滲透進各行各業(yè)，持續(xù)引爆未來世界的數(shù)字經(jīng)濟體系。

那么，ChatGPT背后的技術原理到底是什么呢？

在正式解答這個問題之前，邱錫鵬認為，首先有必要先了解一下“語言模型”（Language Model）。語言模型，即利用計算機去重新建模人類語言，把自然語言轉化為機器能夠理解并判斷的語言的一種機制。

人類的自然語言是十分靈活的，它一方面有規(guī)則，另一方面又隨時可以打破規(guī)則，甚至存在巨大的歧義性，任何一句話，放在不同的情景下，大家對其理解都會大不相同，這就給建模造成了極大的困難與挑戰(zhàn)。

人們可以利用概率判斷來進行語句處理。如果這個句子符合自然語言的規(guī)律，就賦予它一個比較高的概率，反之，則賦予它一個比較低的概率。不過這樣的話，新的問題又產(chǎn)生了：應該怎么去賦予句子以概率？

據(jù)邱錫鵬介紹，這就需要我們從互聯(lián)網(wǎng)上獲取海量的文本數(shù)據(jù)。但這也是一個難題，這個概率空間很大，難以直接建模。目前的解決方案是通過把整個句子的聯(lián)合概率拆解成其中每個詞的條件概率的連乘，大幅降低語言模型的建模難度。這樣語言模型就轉換為給定上文預測下文的機器學習任務。

語言模型，即利用計算機去重新建模人類語言，把自然語言轉化為機器能夠理解并判斷的語言的一種機制。

一個好的語言模型，要想預測得越準，就越需要充分理解人類語言和世界常識。比如讓模型預測雞蛋是圓的而不是方的，本身便隱含著一定的生活常識。此外，在語言學上還有一個非常難的問題叫“指代”，比如說，“你”“我”“他”是代詞，但是到底指的是誰卻不知道，有些中文場景下，預測時甚至連代詞都直接省略了，這就需要通過上下文補全，才能夠把下一個詞預測得更加準確。

只要見的公式足夠多，模型也還是能夠捕捉到“×”是什么規(guī)則，“+”是什么規(guī)則，從數(shù)據(jù)中完成自我學習。

再比如說“12×3+9=？”，則需要預測這個數(shù)學公式的結果。但是在訓練時未必會告訴模型“×”代表什么意思，“+”代表什么意思，只是輸入大量數(shù)學公式讓它自己訓練。然而只要見的公式足夠多，模型也還是能夠捕捉到“×”是什么規(guī)則，“+”是什么規(guī)則，從數(shù)據(jù)中完成自我學習。

為什么能夠自我學習？這里面有一個信息壓縮的概念，比如說有一萬億個詞，可以把它原封不動保存在硬盤上，也可以用10億個參數(shù)的神經(jīng)網(wǎng)絡把所有的語料知識記住。這就迫使神經(jīng)網(wǎng)絡不單要把這些淺層的知識存下來，還要把其中所蘊含的知識、規(guī)律累計下來，因為有很多信息是冗余的。道理很簡單：把規(guī)律記下來就可以勝過很多淺層的文字。通過這樣的方式，迫使語言模型努力發(fā)現(xiàn)這些文字背后所蘊含的各種各樣的規(guī)律，從而使這個模型更好地理解人類語言和世界知識。

另外，在大型語言模型使用的神經(jīng)網(wǎng)絡構架方面，邱錫鵬提到Transformer，這個詞的本意是變壓器，有輸入和輸出，是一個類似于雙塔式的結構。帶入到語言模型里面，就是進去一個句子，出來另一個句子，給定上句預測下句的特定網(wǎng)絡模型。

Transformer這個詞的本意是變壓器，有輸入和輸出，是一個類似于雙塔式的結構。

如今Transformer已經(jīng)在整個人工智能領域成為了最主流的架構體系。除了能力強之外，還有一個非常重要的原因在于它的架構設計對于GPU（圖形處理器）運算特別友好。因為Transformer架構和卷積、循環(huán)神經(jīng)網(wǎng)絡不一樣，卷積、循環(huán)神經(jīng)網(wǎng)絡都是在GPU誕生之前設計的，然后再去實現(xiàn)GPU加速。而Transformer則出現(xiàn)在GPU之后，所以設計方面就可以天然地充分考慮最大限度利用GPU能力，更容易做到大規(guī)模語言模型的效果。

不過，要想讓模型的預測更準確，就勢必需要大量的參數(shù)對其進行訓練，以幫助大規(guī)模語言模型充分理解人類語言規(guī)則及其邏輯關系。目前在Transformer的加持之下，研究人員已經(jīng)可以把模型規(guī)模做到百億級、千億級。這就是如今的大型語言模型（Large Language Model）。在大型語言模型當中，可以通過輸入一些上文，經(jīng)過語言模型背后的仿人類神經(jīng)元構成的Transformer神經(jīng)網(wǎng)絡加工處理，從而實現(xiàn)對下一個詞的預測，并輸出相應文本。

“而在訓練過程當中，科學家發(fā)現(xiàn)，計算量大概在10的22次方之后，模型能力會完成從量變到質(zhì)變的飛躍，呈現(xiàn)出驚人的爆發(fā)式增長，我們通常也將其稱之為‘涌現(xiàn)能力’?！鼻皴a鵬說。

計算量大概在10的22次方之后，模型能力會完成從量變到質(zhì)變的飛躍，呈現(xiàn)出驚人的爆發(fā)式增長，我們通常也將其稱之為“涌現(xiàn)能力”。

涌現(xiàn)能力背后隱藏著哪些關鍵技術？

“大型語言模型在達到百億級規(guī)模后開始獲得‘涌現(xiàn)能力’，而涌現(xiàn)能力的背后，則進一步隱含著三個非常重要的技術：情景學習、思維鏈和指令學習，這也是ChatGPT得以在人工智能領域叱咤風云的關鍵原因。”邱錫鵬說。

涌現(xiàn)能力的背后隱含著三個非常重要的技術：情景學習、思維鏈和指令學習。

情景學習（In-context Learning）深刻改變了傳統(tǒng)機器學習范式，只需要通過一系列精心設計的條件語句（Prompt），對任務進行詳細描述，然后再輔以一些情景例子，就能夠讓模型參考著既定例子完成特定任務。

邱錫鵬舉了個例子，如果現(xiàn)在想要開發(fā)一個電影評論的情感分類器，去統(tǒng)計某部電影的評分到底是正面居多還是負面居多，那么就可以設計一個條件語句，先對任務進行描述，比如：“這是一個電影評論情感分類器。評論：‘我喜歡這部電影！’這條評論是正面的。評論：‘我不知道，它還行吧?！@條評論是中立的。評論：‘真是浪費時間，不推薦這部電影?！@條評論是負面的?！蹦敲茨Ｐ途蜁詣咏Y合上下文進行學習并預測。這種模式跟傳統(tǒng)的將知識直接儲存在參數(shù)里，顯然是不太一樣的，也在一定程度上揭示了為什么ChatGPT通常是以多輪對話的形式來呈現(xiàn)。

事實上，對于ChatGPT來說，每一次接受人類發(fā)來的對話，它都會把之前的聊天歷史全部作為上文，輸入給語言模型，然后由語言模型續(xù)寫出一個下文，反饋給用戶。這樣讓一個大型語言模型直接和人類進行交互，從產(chǎn)品創(chuàng)新的角度確實是非常有智慧和遠見。

情景學習（In-context Learning）深刻改變了傳統(tǒng)機器學習范式。

模型能力可以通過擴大參數(shù)規(guī)模來提升，但是谷歌的研究員卻另辟蹊徑，想了一個更好的方法：將模型具有把一個復雜問題分解為多步推理的簡單問題，讓模型能夠明白并學習人類到底是怎么一步一步推導到這個答案的，這個就叫做思維鏈（Chain-of-Thought）。

“大型語言模型經(jīng)過海量預訓練之后，已經(jīng)見過了很多推理方式，我們只需要一步一步引導，就可以讓它按照你想要的方式去推理。”邱錫鵬說，思維鏈方式進一步解放了模型潛力，讓本來模型不會解的一個個復雜問題，可以有辦法分解成很多簡單問題，然后通過逐一解決簡單問題，最終使得復雜問題同樣迎刃而解。

至于自然指令學習（Learning from Natural Instructions），傳統(tǒng)上，機器學習都需要大量標記數(shù)據(jù)，才能讓機器學習模型從數(shù)據(jù)當中實現(xiàn)學習。但是標數(shù)據(jù)本身又非常繁瑣，人類總歸是希望語言模型最好能夠直接從指令中進行學習，能夠直接聽懂人的意圖。

而事實也證明，這個思路是可行的，甚至人類只需要在少量的任務上進行指令化，在經(jīng)歷大概40多個任務指令化之后對模型進行適度微調(diào)，就很容易泛化到上百、上千種任務，即使那些任務可能從來沒有見過，它也仍舊能夠很好地進行應對。

邱錫鵬認為，現(xiàn)在技術領域唯一存在的問題可能是：很多現(xiàn)有任務的指令化，尚未真正能夠與人類實現(xiàn)“對齊”。盡管自然指令學習大幅提升了泛化能力，但是對人類真實意圖的理解仍然有著很大差異，OpenAI（ChatGPT的開發(fā)機構）就希望收集真實的人類意圖，讓專家來寫答案，從而更好地與人類偏好進行匹配?！霸谶@個過程當中，人的參與意義非常重要，使得機器在迭代中始終保持和人類的價值觀、思維方式對齊，也避免了機器自己迭代起來有可能會離人類的偏好和初衷越來越遠?！鼻皴a鵬說。

MOSS是如何煉成的？

“在了解了ChatGPT背后的這些基本技術原理之后，我們大致就可以嘗試復現(xiàn)這一大型語言模型了?！鼻皴a鵬接著說。

第一步需要先實現(xiàn)語言模型基座，第二步是指令微調(diào)，第三步是能力不斷強化迭代。雖然這些關鍵步驟以及發(fā)展大勢都已經(jīng)十分明朗，但每一步的細節(jié)都需要我們自己去一一摸索，還是充滿著各種未知的挑戰(zhàn)性。

第一步需要先實現(xiàn)語言模型基座，第二步是指令微調(diào)，第三步是能力不斷強化迭代。

關于第一步，MOSS團隊主要是在Transformer架構上進行模塊優(yōu)化。在這其中最具挑戰(zhàn)性的是，讓模型處理中文。

“首先，對于ChatGPT來說，它并沒有特別關注中文，很多時候只是直接把中文按照英文的方式進行編碼，我們作為中國人自然是希望對中文進行優(yōu)化，就需要重新實現(xiàn)更好的中文編碼，并想辦法把中文和英文打通；此外，將來如果接入多模態(tài)，編碼問題同樣會帶來架構設計以及訓練穩(wěn)定性等諸多問題與麻煩?！鼻皴a鵬說。

其次，關于指令微調(diào)，邱錫鵬認為，指令微調(diào)的難度甚至比預訓練更高，“在預訓練階段，大家可以利用一些大公司成熟的預訓練模型，在短時間內(nèi)取得不錯的訓練效果；但是指令微調(diào)則非常難以立馬做到，這一點上和OpenAI之間存在著非常明顯的差距。”

在與人類對齊方面，想要讓模型的回答盡可能符合人類的思維習慣，這個其實也很難做到?！岸铱紤]到OpenAI暫不開源，我們只能夠一步步慢慢向前探索。如果要想超過ChatGPT，肯定就得去找到一條比它更好的實現(xiàn)路徑，而這個過程無疑充滿艱險?！鼻皴a鵬說。

MOSS的實現(xiàn)方案。

邱錫鵬也具體談到了MOSS的實現(xiàn)方案。

首先，激發(fā)MOSS大型語言模型的對話能力。“因為學校不像OpenAI公司可以雇很多人去寫答案，所以我們一開始是通過所謂的自指令技術先寫一些種子，通過‘達芬奇’幫我們擴展很多的條件語句和答案。寫完之后有一些小規(guī)模的對話數(shù)據(jù)開始產(chǎn)生，我們就可以進一步利用監(jiān)督策略做一個模型出來，然后在此基礎上進行工程開發(fā)，讓它能夠和人類的真實需求逐步對齊?！鼻皴a鵬說。

使用MOSS的這個過程其實就是幫助它對齊人類、變得越來越好的必由之路。對此，科學家就是要讓機器自己去寫答案，鼓勵它按照我們?nèi)祟惖钠貌粩鄬崿F(xiàn)迭代優(yōu)化，去生產(chǎn)越來越符合人類習慣的數(shù)據(jù)類型。

邱錫鵬透露，“我們現(xiàn)在仍舊在加緊迭代MOSS，預計將于4月中旬開源，到時候大家就可以盡情使用了?！倍?月21日，邱錫鵬在2023全球人工智能開發(fā)者先鋒大會上曾表示，順利的話MOSS大模型將于3月底開源。

整體而言， MOSS基于公開的中英文數(shù)據(jù)訓練，目前已經(jīng)擁有200億參數(shù)，具有和人類對話的能力，并可以通過與人類交互實現(xiàn)迭代優(yōu)化。但與此同時，邱錫鵬也坦承，盡管對語言的理解能力和ChatGPT已經(jīng)非常相近，但是目前MOSS的整體完成度卻并不高。主要原因在于MOSS在部署和訓練上投入的資本還非常有限，相較于千億級的ChatGPT，大概只是其規(guī)模的十分之一，所以MOSS還有很多事實類知識記不住，思維鏈能力也相對較差。但邱錫鵬也表示，目前團隊也在積極嘗試引入一些外部工具，來進一步擴大模型參數(shù)規(guī)模，不斷實現(xiàn)改進與優(yōu)化。

AI如何對未來社會形成顛覆性影響？

考慮到ChatGPT已擁有通用語言理解的能力，并可以進一步增加對外接口，成為通用人工智能（Artificial General Intelligence，AGI）的技術基座，這也就意味著通用人工智能的加速實現(xiàn)對于現(xiàn)階段的人類來說已經(jīng)不是夢想。甚至樂觀一點說，像科幻片里面的人工智能形象可能很快就會在人類生活中出現(xiàn)。

以ChatGPT為代表的通用人工智能技術，可以引爆數(shù)字經(jīng)濟，充分發(fā)揮數(shù)據(jù)和算力效能，并催生出海量的新商業(yè)模式；可以賦能產(chǎn)業(yè)數(shù)字化，并通過人機協(xié)同的方式解決行業(yè)專家資源不足的問題；可以以數(shù)字人、個人助理、搜索引擎等形式對數(shù)字經(jīng)濟新業(yè)態(tài)、新模式提供發(fā)展動能；更將深刻改變教育、社會治理、司法等領域的生態(tài)，大幅提升行業(yè)水平。

通用人工智能（Artificial General Intelligence，AGI）的加速實現(xiàn)對于現(xiàn)階段的人類來說已經(jīng)不是夢想。

“當然，我們也必須正視，目前的通用人工智能技術尚且存在很多不足，包括隨機性、不可控、容易‘一本正經(jīng)地胡說八道’等，不過，相信這些問題隨著時間的推移，都將在未來通過各種方式逐步得到改進?！鼻皴a鵬說。

那么對于下一階段的大型語言模型，邱錫鵬認為，目前重點需要去做的事情是讓模型和現(xiàn)實世界以及人類的價值觀進行“對齊”，成為一個真正的智能體，具有自身學習、跨模態(tài)學習、知識和工具利用等能力。與此同時，AI與人類價值觀“對齊”也同樣不可忽視，畢竟如果AI的價值觀和人的價值觀背道而馳，那將會是非常危險的。

在演講的最后，邱錫鵬說，“或許正如圖靈獎得主、著名人工智能專家楊立昆（Yann LeCun）所言：下一代模型應該更加具有事實性、無害性、即時性，并且能夠靈活使用計算器、數(shù)據(jù)庫、搜索引擎、模擬器等各種輔助工具，而這也是人們亟需重點解決的時代課題。”