序列記憶如何在大腦中存儲(chǔ)？中國(guó)科學(xué)家記錄獼猴大腦運(yùn)作，提出新見(jiàn)解。

人類大腦無(wú)時(shí)無(wú)刻不在處理序列信息，不論是語(yǔ)言溝通、動(dòng)作實(shí)施還是情景記憶，本質(zhì)上都涉及對(duì)時(shí)序信息的表征。

而另一方面，序列的執(zhí)行需要一定時(shí)間，大腦需要在應(yīng)用時(shí)序信息之前記住整個(gè)序列。比如，我們要在問(wèn)路時(shí)記住指路人給出的一系列方向，學(xué)新的舞蹈時(shí)記住一連串動(dòng)作。在這些情況下，不僅單個(gè)內(nèi)容需要被記住，它們之間的順序也不能被混淆。

論文封面

2022年2月11日凌晨2點(diǎn)，《Science》期刊以長(zhǎng)文形式發(fā)表了題為《序列工作記憶在獼猴前額葉表征的幾何結(jié)構(gòu)》的研究論文。該研究由中國(guó)科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心（神經(jīng)科學(xué)研究所）、中國(guó)科學(xué)院靈長(zhǎng)類神經(jīng)生物學(xué)重點(diǎn)實(shí)驗(yàn)室王立平研究組，上海腦科學(xué)與類腦研究中心閔斌副研究員和北京大學(xué)生命科學(xué)學(xué)院唐世明課題組合作完成。

在該研究中，科學(xué)家訓(xùn)練獼猴記憶由多個(gè)空間位置組成的序列，記錄獼猴大腦前額葉皮層的神經(jīng)元活動(dòng)。

研究人員發(fā)現(xiàn)，神經(jīng)元以群體編碼的形式表征了序列中的每一個(gè)空間位置，并在這些表征中發(fā)現(xiàn)了類似的環(huán)狀幾何結(jié)構(gòu)。該研究推翻了經(jīng)典序列工作記憶模型的關(guān)鍵假設(shè)，為理解神經(jīng)網(wǎng)絡(luò)如何進(jìn)行符號(hào)表征這一難題提供了新的見(jiàn)解。

猴子腦中的“三塊屏幕”

2月11日上午，王立平研究員介紹，人類一般有兩種思考模式，分為直覺(jué)、情緒性的，和深思熟慮邏輯性的，而后者依靠的就是工作記憶。這一過(guò)程由兩部分組成，分別是信息保持和信息操作。而他們研究組的科學(xué)問(wèn)題正開(kāi)始于此——序列記憶如何在大腦中存儲(chǔ)的？

認(rèn)知心理學(xué)家們?cè)缭?9世紀(jì)初就開(kāi)始思考序列信息的表征方式，序列信息編碼也被認(rèn)為是人類語(yǔ)言句法結(jié)構(gòu)的前提，機(jī)器學(xué)習(xí)領(lǐng)域?qū)π蛄蟹g的探索更是催生了如今大顯身手的Transformer模型。但是，對(duì)于具有時(shí)序信息記憶的大腦神經(jīng)編碼機(jī)制，人們?nèi)灾跎佟?/p>

獼猴是演化上最接近人類的模式動(dòng)物，為了探究時(shí)序記憶編碼問(wèn)題，研究人員訓(xùn)練獼猴記憶由多個(gè)位置點(diǎn)組成的空間序列。

獼猴空間序列記憶任務(wù)

在任務(wù)中，獼猴面前的屏幕上會(huì)依次閃現(xiàn)三個(gè)不同的點(diǎn)，獼猴需要在幾秒鐘之后將這些點(diǎn)按之前呈現(xiàn)的順序匯報(bào)出來(lái)。在匯報(bào)前的幾秒記憶保持期內(nèi)，空間序列的信息便以工作記憶的形式被暫時(shí)儲(chǔ)存在大腦中。

為了記錄大腦神經(jīng)元群體在獼猴進(jìn)行任務(wù)時(shí)的活動(dòng)狀態(tài)，研究人員對(duì)工作記憶的大本營(yíng)——外側(cè)前額葉皮層進(jìn)行了雙光子鈣信號(hào)成像。

大腦如何在記憶期內(nèi)同時(shí)表征序列中多個(gè)信息呢？研究人員猜想獼猴的大腦中也有一塊“屏幕”，獼猴可以把出現(xiàn)過(guò)的點(diǎn)記在這個(gè)屏幕上?？扇绻齻€(gè)點(diǎn)同時(shí)在記憶保持期內(nèi)顯示在了這個(gè)屏幕上，每個(gè)點(diǎn)的次序又該如何體現(xiàn)呢？獼猴的大腦里面是否會(huì)同時(shí)存在三塊不同的屏幕？這樣每個(gè)屏幕只需要記下一個(gè)點(diǎn)的信息，而且屏幕之間不會(huì)互相干擾。

序列記憶在神經(jīng)高維向量空間的表征

對(duì)此，研究人員分析了鈣成像獲得的高維數(shù)據(jù)，發(fā)現(xiàn)可以在高維向量空間里面找到每個(gè)次序的信息所對(duì)應(yīng)的二維子空間，即找到其對(duì)應(yīng)的“屏幕”。在每個(gè)子空間內(nèi)，不同的點(diǎn)所對(duì)應(yīng)的空間位置與真實(shí)視覺(jué)刺激的環(huán)狀結(jié)構(gòu)保持了一致。而且，不同次序所對(duì)應(yīng)的子空間接近相互正交，說(shuō)明大腦確實(shí)用到了三塊不同的屏幕來(lái)表征序列信息。

為了進(jìn)一步探究大腦是否總是用相同的這幾塊“屏幕”記憶不同類型的空間序列，研究人員對(duì)數(shù)據(jù)做了解碼分析，即運(yùn)用機(jī)器學(xué)習(xí)方法訓(xùn)練線性分類器來(lái)區(qū)分不同次序上的空間信息。比如，用獼猴正確應(yīng)答時(shí)的神經(jīng)元群體活動(dòng)訓(xùn)練解碼器，可以在部分做對(duì)的序列里面取得較好的解碼效果。這些結(jié)果提示了用于編碼次序的“屏幕”是穩(wěn)定通用的。

研究人員還發(fā)現(xiàn)，不同次序的子空間之間共享了類似的環(huán)狀結(jié)構(gòu)，只是環(huán)的半徑大小會(huì)隨次序的增加而減小。一個(gè)可能的解釋是，次序靠后的信息所分配到的注意資源更少，導(dǎo)致對(duì)應(yīng)的環(huán)變小、區(qū)分度降低。這一結(jié)構(gòu)也對(duì)應(yīng)了序列記憶的行為表現(xiàn)，例如我們?nèi)粘Ｉ钪腥绻洃浀膬?nèi)容越多，越往后的信息便更容易出錯(cuò)。

該發(fā)現(xiàn)也可總結(jié)為在群體水平的空間信息編碼幾何結(jié)構(gòu)受時(shí)序調(diào)制的性質(zhì)。有意思的是，這種性質(zhì)并不完全適用于單個(gè)神經(jīng)元水平，而單神經(jīng)元活動(dòng)的增強(qiáng)調(diào)制正是經(jīng)典序列工作記憶模型的關(guān)鍵假設(shè)，提示了序列記憶的編碼應(yīng)更加關(guān)注群體神經(jīng)元性質(zhì)。

研究團(tuán)隊(duì)工作照

研究者：推翻經(jīng)典序列工作記憶模型的關(guān)鍵假設(shè)

王立平用交響樂(lè)團(tuán)的演奏來(lái)類比記憶中神經(jīng)元的群體編碼，每個(gè)演奏者都是一個(gè)神經(jīng)元。研究組對(duì)次序子空間是如何在單個(gè)神經(jīng)元上實(shí)現(xiàn)的進(jìn)行挖掘，例如“是否有演奏者參與多首交響曲”，或者“演奏者是否以相同的方式參與”等。研究結(jié)果表明，有顯著數(shù)量的演奏者以非常不同的方式參與不同交響曲，而這也推翻了經(jīng)典序列工作記憶模型的關(guān)鍵假設(shè)，即以往認(rèn)為的不同神經(jīng)元總以同樣的方式參與信息存儲(chǔ)的工作。

該研究第一次在群體神經(jīng)元水平闡釋了序列工作記憶的計(jì)算和編碼原理，也為神經(jīng)網(wǎng)絡(luò)如何進(jìn)行符號(hào)表征這一難題提供了新的思路。

上世紀(jì)80年代，人工智能領(lǐng)域就有研究者提出張量乘積這一概念來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)對(duì)符號(hào)結(jié)構(gòu)的表征，但其如何在神經(jīng)網(wǎng)絡(luò)層面自然涌現(xiàn)一直沒(méi)有被很好的解決。序列工作記憶的神經(jīng)表征正好對(duì)應(yīng)了將該符號(hào)表征由對(duì)應(yīng)次序的子空間嵌入到高維向量空間中，同時(shí)支持了下游神經(jīng)網(wǎng)絡(luò)對(duì)符號(hào)結(jié)構(gòu)信息的線性讀取。

中國(guó)科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心王立平研究組博士后謝洋和研究助理胡沛烑為論文共同第一作者，研究助理李俊汝、博士生陳靜文和北京大學(xué)研究生宋衛(wèi)彬在課題的不同階段作出了貢獻(xiàn)。法國(guó)國(guó)家健康與醫(yī)學(xué)研究院Stanislas Dehaene教授、紐約大學(xué)汪小京教授和中科院腦智卓越中心楊天明研究員參與本研究。中科院、基金委、科技部和上海市政府資助了本工作。

據(jù)著名神經(jīng)科學(xué)和生物物理學(xué)家郭愛(ài)克院士評(píng)價(jià)，這篇論文的創(chuàng)新性在于以獼猴的序列學(xué)習(xí)為對(duì)象，設(shè)計(jì)了時(shí)間和空間信息兩個(gè)線索共存的實(shí)驗(yàn)范式，發(fā)現(xiàn)了高維神經(jīng)元狀態(tài)空間可以分解為多個(gè)二維子空間之和，從而揭示了序列信息的工作記憶在獼猴前額葉皮層表征的簡(jiǎn)單幾何結(jié)構(gòu)。這個(gè)發(fā)現(xiàn)揭示了序列信息編碼利用了降維原則，從而降低了神經(jīng)計(jì)算復(fù)雜性。此外，郭愛(ài)克院士指出，這篇論文將對(duì)受腦啟發(fā)的人工智能研究發(fā)生影響。