基于大腦掃描的人工智能重建的圖像（下行）與研究參與者實(shí)際看到的圖像。圖片來源：CREATIVE COMMONS

人類眼中所見如何轉(zhuǎn)化為腦中圖像，這是神經(jīng)科學(xué)家一直努力破解的問題。隨著研究的不斷深入，如今人工智能（AI）在模仿上述圖像轉(zhuǎn)化過程方面表現(xiàn)得越來越好。

近日，在日本研究團(tuán)隊(duì)開展的一項(xiàng)新研究中，AI可以通過讀取大腦掃描圖像，重建與人們看到的真實(shí)景象相近的圖像。研究人員表示，隨著該技術(shù)的發(fā)展，有望將其應(yīng)用于多種場(chǎng)景，比如探索各種動(dòng)物如何感知世界，甚至記錄人類夢(mèng)境、幫助癱瘓者與他人交流。相關(guān)研究預(yù)印本已于去年發(fā)表，并將在近期舉行的計(jì)算機(jī)視覺國(guó)際大會(huì)上正式公布。

事實(shí)上，許多實(shí)驗(yàn)室都在嘗試通過AI讀取大腦掃描圖像，并重建受試者近期看到的人臉、風(fēng)景圖像。而這項(xiàng)新研究首次將“穩(wěn)定擴(kuò)散”這一模型成功應(yīng)用于上述圖像重建過程。

“穩(wěn)定擴(kuò)散”由德國(guó)研究人員開發(fā)，于2022年公開發(fā)布，與其他文本到圖像的AI“生成”模型類似，都是在接受與文本描述相關(guān)的數(shù)十億張圖像訓(xùn)練后，從文本提示中生成新圖像。

在這項(xiàng)新研究中，研究團(tuán)隊(duì)為“穩(wěn)定擴(kuò)散”增加了額外訓(xùn)練，即將關(guān)于數(shù)千張照片的額外文本描述，與大腦掃描研究參與者觀察這些照片時(shí)的大腦模式聯(lián)系起來。

與之前使用基于大數(shù)據(jù)訓(xùn)練AI算法破譯大腦掃描結(jié)果不同，“穩(wěn)定擴(kuò)散”能夠從較少的訓(xùn)練中獲得更多信息。

未參與該研究的美國(guó)普林斯頓大學(xué)認(rèn)知神經(jīng)科學(xué)家Ariel Goldstein表示，這是一種結(jié)合文本和視覺信息來“破譯”大腦的新方法。

開展這項(xiàng)新研究的大阪大學(xué)系統(tǒng)神經(jīng)科學(xué)家Yu Takagi介紹，功能性磁共振成像（f MRI）通過掃描檢測(cè)大腦活動(dòng)區(qū)域血流變化，記錄活動(dòng)峰值。f MRI記錄了大腦中與圖像感知相關(guān)的不同區(qū)域，如枕葉（負(fù)責(zé)記錄布局和透視信息）和顳葉（負(fù)責(zé)記錄圖像內(nèi)容）的活動(dòng)信息，而AI模型則將上述活動(dòng)值轉(zhuǎn)換為圖像。這就是新研究重建圖像的原理。

研究人員使用明尼蘇達(dá)大學(xué)提供的在線數(shù)據(jù)集對(duì)“穩(wěn)定擴(kuò)散”進(jìn)行了額外訓(xùn)練。該數(shù)據(jù)集包括4名參與者觀看10000張照片時(shí)的腦部掃描結(jié)果，其中一部分用于模型的額外訓(xùn)練，還有一部分用于后續(xù)測(cè)試。

Takagi表示，新方法比以前的方法效率更高，可以用更小的數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練。

研究人員發(fā)現(xiàn)，大腦活動(dòng)掃描提供了足夠的信息，以重新創(chuàng)建人們看到圖像的布局和視角。但是，該算法很難讓真實(shí)的物體纖毫畢現(xiàn)，例如鐘樓重建后的圖像是抽象的圖形。

解決上述問題的方法之一是使用更大規(guī)模的數(shù)據(jù)集進(jìn)行訓(xùn)練以預(yù)測(cè)圖像的更多細(xì)節(jié)。但目前f MRI數(shù)據(jù)集有限，于是研究人員利用f MRI數(shù)據(jù)集中照片附帶的圖片說明來規(guī)避這個(gè)問題。

例如，如果其中一張訓(xùn)練照片包含鐘樓，那么掃描中的大腦活動(dòng)模式將與該物體直接關(guān)聯(lián)。這意味著，如果研究參與者在測(cè)試階段再次展示了相同的大腦模式，系統(tǒng)會(huì)將相應(yīng)關(guān)鍵詞輸入“穩(wěn)定擴(kuò)散”的文本-圖像生成器中生成鐘樓，并按照大腦模式所指示的布局和透視圖，將其納入重建的圖像中，使其更接近真實(shí)圖像。

然而，AI系統(tǒng)只在4人范圍內(nèi)進(jìn)行了測(cè)試，如果將其擴(kuò)展到其他人的大腦掃描中，則需要進(jìn)行再培訓(xùn)。因此，這項(xiàng)技術(shù)距離普及還有一段路要走。（原標(biāo)題《AI讀取大腦  重現(xiàn)你所見》）

相關(guān)論文信息：https://doi.org/10.1101/2022.11.18.517004