·OpenAI向一小群測試人員發(fā)布了圖像生成器DALL·E的新版本，并將這項技術(shù)整合到聊天機(jī)器人ChatGPT中。實際上，DALL·E 3本身就以ChatGPT為基礎(chǔ)構(gòu)建。

·DALL·E 3的卓越語言對齊能力是建立在堅實的文本GPT基礎(chǔ)之上的。MidJourney實際上沒有太多的推理大腦，這就是為什么需要大量的提示詞?！笆紫仁恰竽X’，其次才是像素——這是構(gòu)建強(qiáng)大多模態(tài)人工智能的方式。”

不用苦思冥想提示詞，通過跟ChatGPT對話就可生成圖像，進(jìn)一步反饋還可修改細(xì)節(jié)。

當(dāng)前最強(qiáng)大的人工智能圖像生成產(chǎn)品之一DALL·E，迎來了一次具有里程碑意義的重大更新。

當(dāng)?shù)貢r間9月20日，人工智能開發(fā)機(jī)構(gòu)OpenAI向一小群測試人員發(fā)布了圖像生成器DALL·E的新版本，并將這項技術(shù)整合到聊天機(jī)器人ChatGPT中。實際上，DALL·E 3本身就以ChatGPT為基礎(chǔ)構(gòu)建。根據(jù)OpenAI官網(wǎng)消息，DALL·E 3將于10月初向ChatGPT Plus（每月20美元費用）和企業(yè)客戶提供。

提示詞：滿月下的街道，熙熙攘攘的行人正在享受繁華夜生活。街角攤位上，一位有著火紅頭發(fā)、穿著標(biāo)志性天鵝絨斗篷的年輕女子，正在和脾氣暴躁的老小販討價還價。這個脾氣暴躁的小販身材高大，老道，身著一套整潔西裝，留著引人注目的小胡子，正在用他那部蒸汽朋克式的電話興致勃勃地交談。圖片來源：DALL·E 3

DALL·E的名稱來自于藝術(shù)家薩爾瓦多·達(dá)利（Salvador Dalí）和《機(jī)器人總動員》的主角WALL-E，第一版于2021年1月首次亮相，第二版發(fā)布于2022年4月。

OpenAI此前也提供了將ChatGPT與其他在線服務(wù)連接的方式，包括酒店機(jī)票預(yù)訂程序Expedia、餐廳預(yù)訂程序OpenTable和維基百科Wikipedia，但這是其首次將自己最強(qiáng)大的語言模型與最強(qiáng)大的文生圖模型結(jié)合在一起，一方面極大降低了提示詞的專業(yè)門檻，另一方面對語言的細(xì)微之處有了很好展現(xiàn)。

特別擅長生成人類手部圖像

提示詞：一個牛油果坐在治療師的椅子上，說著“我只是覺得內(nèi)心空虛”，中心有一個坑洞大小的果核。治療師是一把勺子，正在匆匆記錄筆記。

OpenAI首席執(zhí)行官山姆·奧特曼（Sam Altman）在X（前身推特）上單獨展示了兩幅圖，其中一個是“牛油果看醫(yī)生”，提示詞是：一個牛油果坐在治療師的椅子上，說著“我只是覺得內(nèi)心空虛”，中心有一個坑洞大小的果核。治療師是一把勺子，正在匆匆記錄筆記。

在這條帖子下，有熱心網(wǎng)友在DALL·E 2上嘗試了同樣的提示詞?？梢园l(fā)現(xiàn)其基本看不出治療師的椅子，坑洞也沒有清晰展現(xiàn)，治療師更是沒有。

“牛油果看醫(yī)生”。圖片來源：DALL·E 2

“牛油果看醫(yī)生”。圖片來源：DALL·E 2

在官網(wǎng)上，OpenAI也貼心地給出了一組DALL·E 2（左）和DALL·E 3（右）的對比圖，提示詞為“一幅富有表現(xiàn)力的油畫，描繪了一名扣籃的籃球運動員，呈現(xiàn)出星云的爆炸”。

圖片來源：OpenAI官網(wǎng)

再對比最初版本的DALL·E，則可看出在這一兩年的時間，OpenAI走了多遠(yuǎn)。以下是第一版DALL·E根據(jù)文字“牛油果型的扶手椅”自動創(chuàng)作的部分圖像。

根據(jù)文字“牛油果型的扶手椅”生成圖像。圖片來源：DALL·E

據(jù)OpenAI介紹，DALL·E 3的版本比先前的版本能夠生成更具說服力的圖像，它特別擅長生成包含字母、數(shù)字和人類手部的圖像，而人類手部的圖像生成一直是這一領(lǐng)域的一個技術(shù)難點。

提示詞：一名亞洲血統(tǒng)的中年女性，她的黑發(fā)上夾雜著銀色條紋，看上去已經(jīng)斷裂、破碎、錯綜復(fù)雜地鑲嵌在一片碎瓷片海洋中。瓷器上閃爍著潑彩圖案，有光澤的和啞光的藍(lán)色、綠色、橙色和紅色和諧地融合，以超現(xiàn)實的動靜結(jié)合的方式捕捉到了她的舞蹈。她的膚色像瓷器一樣淺，給她的身材增添了一種近乎神秘的品質(zhì)。圖片來源：DALL·E 3

據(jù)介紹，DALL·E 3的巨大飛躍主要體現(xiàn)在兩大方面。第一，只需要提示詞，ChatGPT可自動對詞語進(jìn)行拓展，極大地弱化了提示工程的約束，生成圖畫細(xì)節(jié)更多、描述更精準(zhǔn)；第二，因為ChatGPT原生，模型在理解用戶指令及將文本轉(zhuǎn)化為圖片的能力增加了。OpenAI表示，DALL·E 3比以往系統(tǒng)更能理解細(xì)微差別和細(xì)節(jié)，讓用戶更加輕松地將自己的想法轉(zhuǎn)化為非常準(zhǔn)確的圖像。

英偉達(dá)高級人工智能科學(xué)家范吉姆（Jim Fan）在X上表示，我認(rèn)為DALL·E 3不僅僅是應(yīng)對MidJourney的競爭。實際上，它是對即將到來的大規(guī)模多模態(tài)語言模型之間的史詩級對抗，以及與DeepMind的Gemini之間競爭的預(yù)演。據(jù)谷歌旗下DeepMind CEO戴密斯·哈薩比斯（Demis Hassabis）在最近的采訪中透露，一旦Gemini上市，它將比OpenAI的 ChatGPT更強(qiáng)大。

自從去年ChatGPT走紅以來，硅谷科技巨頭之間已經(jīng)展開了一場爭奪領(lǐng)先位置的人工智能競賽。谷歌在最近發(fā)布了聊天機(jī)器人Bard的新版本，將其與谷歌最受歡迎的幾項服務(wù)如Gmail、YouTube和Docs連接起來。Midjourney和Stable Diffusion等其他圖像生成器也在今年夏天更新了模型。

范吉姆認(rèn)為，“DALL·E 3是在ChatGPT的基礎(chǔ)上本地構(gòu)建的”，是OpenAI關(guān)于DALL·E 3的介紹中非常關(guān)鍵的一句話。DALL·E 3的卓越語言對齊能力是建立在堅實的文本GPT基礎(chǔ)之上的，MidJourney實際上沒有太多的推理大腦，這就是為什么需要大量的提示詞?！笆紫仁恰竽X’，其次才是像素——這是構(gòu)建強(qiáng)大多模態(tài)人工智能的方式?！狈都穼懙?。

圖像生成技術(shù)引發(fā)安全擔(dān)憂

“最新版本的DALL·E可以根據(jù)多段描述生成圖像，并且可以詳細(xì)遵循分鐘級別的指示。”O(jiān)penAI研究員加布里埃爾·吳（Gabriel Goh）說。但他也表示，與所有圖像生成器和其他人工智能系統(tǒng)一樣，它也容易出錯。

專家警告稱，圖像生成技術(shù)可以用于在網(wǎng)絡(luò)上傳播大量虛假信息。為了防范DALL·E 3出現(xiàn)這種情況，OpenAI已經(jīng)整合了旨在防止問題圖像的工具，其還試圖限制DALL·E模仿特定藝術(shù)家風(fēng)格的能力。

最近幾個月以來，人工智能已被用作視覺虛假信息的來源。5月，一張關(guān)于五角大樓爆炸的虛假圖片引發(fā)了股市的短暫下跌，這只是其中一個例子。

一張關(guān)于五角大樓爆炸的AI生成虛假圖片。

《紐約時報》報道稱，專家還擔(dān)心，在重大選舉期間，這項技術(shù)可能被用于惡意目的。專注于安全和政策的OpenAI研究員桑迪尼·阿加瓦爾（Sandhini Agarwal）表示，DALL·E 3傾向于生成風(fēng)格化而非真實感的圖像，但該模型也可以被激發(fā)生成像真實圖片的場景，例如安保攝像機(jī)拍攝的顆粒狀圖像類型。

在大多數(shù)情況下，OpenAI并不打算阻止DALL·E 3 生成潛在可能產(chǎn)生問題的內(nèi)容。阿加瓦爾表示，這種方法“過于寬泛”，因為圖像可能是無害的，也可能是危險的，具體取決于它們出現(xiàn)的上下文。她說，這種方法“完全取決于它的使用方式，以及人們?nèi)绾握務(wù)撍薄?/p>