賈浩楠 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

輸出單一、調(diào)參麻煩、損失函數(shù)不能收斂、穩(wěn)定性差。

蘇黎世理工大學(xué)的博士Andreas Lugmayr歷數(shù)了各種GAN的“罪狀”，說出了今后棄用GAN的話。

說出“棄用”，當(dāng)然是已經(jīng)有了B計(jì)劃。

Andreas Lugmayr博士和他的團(tuán)隊(duì)開發(fā)了一種新的標(biāo)準(zhǔn)化流(Normalizing Flow)模型，能夠彌補(bǔ)GAN在生成任務(wù)中的的種種缺陷。

這項(xiàng)研究成果“SRFlow”，還被ECCV 2020 Spotlight收錄。

那么SRFlow到底有多厲害？能在多大程度上替代GAN呢？

SRFlow“又多又好”

從肉眼可見的生成任務(wù)結(jié)果上，可以看出SRFlow至少在兩個(gè)方面超越了GAN，一是生成結(jié)果的多樣性，二是提高圖片分辨率后的保真度。

輸入一個(gè)低分辨率馬賽克圖像，基于GAN的ProgFSR模型和SRFlow生成結(jié)果對(duì)比：

在提升4倍分辨率的任務(wù)中，SRFlow的生成結(jié)果也比基于GAN的ERSGAN更加清晰真實(shí)。對(duì)于眾多的GAN變體來說，有一些缺陷是難以避免的，比如圖像復(fù)原生成任務(wù)，生成器廣泛忽略了隨機(jī)向量，因此，大多數(shù)基于GAN的圖像到圖像映射都是單一確定的。

GAN訓(xùn)練中的損失函數(shù)，包括了生成器偽造圖像，而鑒別器卻無法知道哪些圖像是假的。

另一方面，鑒別器的職責(zé)就是確定一個(gè)圖像是來自生成器還是來自訓(xùn)練集。

這兩個(gè)相互沖突的目標(biāo)導(dǎo)致了學(xué)習(xí)參數(shù)的持續(xù)漂移，導(dǎo)致輸出結(jié)果不同程度的失真。

那么基于標(biāo)準(zhǔn)化流的SRFlow，是如何彌補(bǔ)這些缺陷的呢？

SRFlow不會(huì)忽略隨機(jī)向量

對(duì)于GAN忽略輸入的隨機(jī)向量，導(dǎo)致輸出單一的問題，傳統(tǒng)的GAN策略是，在模型中增加一個(gè)控制信號(hào)，并拋棄重建損失函數(shù)。

△放大16倍分辨率下的SRFlow輸出結(jié)果

而SRFlow在訓(xùn)練過程中，算法核心—標(biāo)準(zhǔn)化流模型將高分辨率圖像轉(zhuǎn)化為高斯分布。圖像條件標(biāo)準(zhǔn)化流的情況并非如此。

為了避免GAN的判別器損失通常會(huì)導(dǎo)致模式崩潰，SRFlow采用單一損失進(jìn)行訓(xùn)練的，并且對(duì)隨機(jī)輸出進(jìn)行內(nèi)采樣。

模型穩(wěn)定超參數(shù)少，調(diào)參方便

條件GAN需要仔細(xì)的超參數(shù)調(diào)整。很多GAN的變體模型中，總損失由多個(gè)損失的加權(quán)和組成。

所以降低失真需要很大的精力來調(diào)整不同的損失函數(shù)權(quán)重。

此外還必須平衡生成器和判別器，使訓(xùn)練過程穩(wěn)定。

在圖像生成任務(wù)中SRFlow使用最大似然策略（maximum likelihood），輸入的圖像被轉(zhuǎn)化為一個(gè)高斯?jié)摽臻g。通過簡(jiǎn)單的計(jì)算得到高斯向量的似然。然后使用現(xiàn)成的Adam優(yōu)化器，這個(gè)損失函數(shù)會(huì)穩(wěn)定地收斂。

△SRFlow的單一損失穩(wěn)定且可收斂

Normalizing Flow本質(zhì)上是穩(wěn)定的。因?yàn)槟Ｐ椭挥幸粚泳W(wǎng)絡(luò)和一個(gè)損失，超參數(shù)要少得多，訓(xùn)練起來也更容易。

特別是對(duì)于開發(fā)新模型的研究人員來說，這一點(diǎn)非常實(shí)用。

新手可以更容易地比較不同的架構(gòu)的Normalizing Flow變體。

輸入輸出保持高度穩(wěn)定

在沒有進(jìn)一步干預(yù)的情況下，有條件的GAN是不具備輸入一致性的。對(duì)于提升分辨率任務(wù)，一個(gè)重要的問題是，高分辨率的圖像是否與低分辨率的輸入保持最大程度一致。

如果不能，那么該方法到底是真的提高分辨率還是僅僅生成一個(gè)類似圖片？這點(diǎn)十分值得懷疑。

GAN模型里有一個(gè)不受監(jiān)督的損失函數(shù)，會(huì)導(dǎo)致模型自行生成圖片像素。而標(biāo)準(zhǔn)化流模型避免了這種可能。它以且只以輸入圖像為條件，來模擬高分辨率圖像的分布。

將SRFlow的輸出與輸入對(duì)比，可以看出與GAN的結(jié)果不同，具有高度一致性。

生成任務(wù)只需1張GPU訓(xùn)練

研究團(tuán)隊(duì)說，論文中的實(shí)驗(yàn)基于GLOW網(wǎng)絡(luò)，使用多達(dá)40個(gè)GPU來訓(xùn)練圖像生成。

但如果只是應(yīng)對(duì)簡(jiǎn)單的圖片生成任務(wù)，只需要一塊GPU就能完成對(duì)SRFlow的訓(xùn)練。

什么是標(biāo)準(zhǔn)化流模型？

機(jī)器學(xué)習(xí)中有一類是概率模型。訓(xùn)練一個(gè)模型時(shí)，常見的一種處理方法是調(diào)整參數(shù)以使得模型在訓(xùn)練數(shù)據(jù)集的概率最大。

為了達(dá)到這個(gè)目的，需要假設(shè)模型滿足一定的概率分布模式。

那么到底需要什么樣的分布，既具有接近真實(shí)樣本的表達(dá)能力，又具有統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型較好的解釋性呢？

高斯分布可以基本滿足：采樣方便、解析的密度已知、KL距離容易計(jì)算，還有中心極限定理的保證。最常使用的兩種方法是用于分類的Categorical以及用于回歸的Gaussian。

但這兩種方法仍然有一些問題， 因?yàn)檎鎸?shí)世界中樣本的概率密度函數(shù)一般來說，與范疇分布以及高斯分布相差甚遠(yuǎn)。

如果簡(jiǎn)單地使用高斯作為圖像生成的似然函數(shù)，那最后得到的生成結(jié)果可能很糟糕。

而標(biāo)準(zhǔn)化流（Normalizing Flow）可以把簡(jiǎn)單的概率密度(比如高斯分布)形式轉(zhuǎn)化成某種更高級(jí)分布形式。

Flow指的是數(shù)據(jù)流經(jīng)過一系列雙射(可逆映射)。最終映射到合適的表征空間，normalizing指的是表征空間的變量積分是1，滿足概率分布函數(shù)的定義。

標(biāo)準(zhǔn)化流這種工具，可以產(chǎn)生更強(qiáng)大的分布函數(shù)。

從另一個(gè)視角來看，標(biāo)準(zhǔn)化流可以看作是一種參數(shù)化對(duì)先驗(yàn)概率q的逼近的方法，并且也可以用在其它似然函數(shù)方程場(chǎng)景下。

與GAN不同，標(biāo)準(zhǔn)化流模型在采樣、訓(xùn)練穩(wěn)定性、損失函數(shù)收斂、和一致性方面具有優(yōu)勢(shì)。

標(biāo)準(zhǔn)化流模型更加適合用在圖像生成、強(qiáng)化學(xué)習(xí)、變分推斷之類的任務(wù)。

SRFlow的團(tuán)隊(duì)，已經(jīng)將這個(gè)基于標(biāo)準(zhǔn)化流的模型開源。

那么你的下一個(gè)機(jī)器學(xué)習(xí)任務(wù)，會(huì)使用SRFlow嗎？

論文地址

https://arxiv.org/abs/2006.14200

開源地址

https://github.com/andreas128/SRFlow?

— 完 —

本文系網(wǎng)易新聞?網(wǎng)易號(hào)特色內(nèi)容激勵(lì)計(jì)劃簽約賬號(hào)【量子位】原創(chuàng)內(nèi)容，未經(jīng)賬號(hào)授權(quán)，禁止隨意轉(zhuǎn)載。

原標(biāo)題：《我為什么棄用GAN？》

閱讀原文