在紅色教育中，智能頭顯讓歷史“活”了起來；在醫(yī)學(xué)培訓(xùn)中，虛實融合系統(tǒng)讓醫(yī)生在安全環(huán)境中反復(fù)錘煉手術(shù)技藝；在消費(fèi)場景中，創(chuàng)意與信息即時疊加于現(xiàn)實世界，智能眼鏡成為設(shè)計師的“空間畫布”。上海元宇宙技術(shù)正從概念走向產(chǎn)業(yè)，開創(chuàng)前沿創(chuàng)新應(yīng)用，虛實融合的元宇宙生態(tài)加速成形。

原汁原味保留教育內(nèi)容

戴上智能頭顯，上海工人武裝起義的歷史現(xiàn)場在眼前展開。點(diǎn)亮火種、狙擊打靶、拼接鐵軌、啟動列車，得益于自然的手勢識別與敏銳的眼動追蹤技術(shù)，體驗者以第一視角投身那段熱血?dú)q月，在真實可感的互動體驗中實現(xiàn)沉浸式紅色教育。

2024年6月，上海商學(xué)院與中共一大紀(jì)念館共建新媒體與元宇宙實驗室，開展XR核心技術(shù)研究，以數(shù)字技術(shù)賦能紅色文化資源。上海商學(xué)院商務(wù)信息學(xué)院黨總支書記宋曉光介紹，實驗室獨(dú)立開發(fā)了以上海工人階級第三次武裝起義為背景的MR大空間場景《紅色黎明》，以空間計算替代傳統(tǒng)LBE（基于位置的娛樂）需要貼地標(biāo)的限制，讓互動體驗更加自然流暢。

MR大空間場景《紅色黎明》。

未來，實驗室的主要研究目標(biāo)是專注元宇宙在高校各教學(xué)領(lǐng)域的應(yīng)用，深度融合生成式人工智能與元宇宙，讓學(xué)生能夠快速搭建元宇宙場景，最終目標(biāo)是各類學(xué)科都可以開發(fā)自己的元宇宙應(yīng)用。

之所以設(shè)立這樣的目標(biāo)，是因為在教育中，傳統(tǒng)VR內(nèi)容開發(fā)面臨的關(guān)鍵瓶頸是，教師需要將教學(xué)設(shè)計轉(zhuǎn)譯給技術(shù)人員，這一過程存在“翻譯損耗”。技術(shù)人員難以充分理解教學(xué)精髓，導(dǎo)致最終產(chǎn)品往往無法精準(zhǔn)還原教師的教學(xué)意圖與核心知識點(diǎn)。

宋曉光表示，AI的介入改變了元宇宙開發(fā)范式，它能夠精準(zhǔn)理解教學(xué)點(diǎn)，“原汁原味”地轉(zhuǎn)化為VR交互邏輯，保持教學(xué)設(shè)計的完整性與準(zhǔn)確性，讓技術(shù)真正服務(wù)于教學(xué)本身。

虛實結(jié)合賦能醫(yī)學(xué)培訓(xùn)

成立于2016年的空島信息科技（上海）有限公司開發(fā)虛實結(jié)合的醫(yī)學(xué)教育培訓(xùn)，創(chuàng)始人閔世豪介紹，團(tuán)隊構(gòu)建了七大虛實結(jié)合的?？葡到y(tǒng)，覆蓋心腦血管介入、眼科白內(nèi)障切除、麻醉科困難氣道管理、超聲科、執(zhí)業(yè)醫(yī)師考核、急救等，實現(xiàn)醫(yī)學(xué)?？婆R床模擬和AI技術(shù)臨床應(yīng)用，以元宇宙臨床和AI科研支持，為全國30家重點(diǎn)三甲醫(yī)院提供臨床手術(shù)術(shù)前規(guī)劃和專科臨床教學(xué)系統(tǒng)，提高醫(yī)療培訓(xùn)效率，降低培訓(xùn)成本。

在外科手術(shù)培訓(xùn)領(lǐng)域，空島信息科技構(gòu)建面向臨床技能訓(xùn)練的VR+AI外科手術(shù)模擬培訓(xùn)與智能分析評估，通過虛實結(jié)合模式構(gòu)建沉浸式手術(shù)模擬，同時利用AI技術(shù)對操作視頻深度識別與分析，輸出客觀量化評分，突破傳統(tǒng)人工評價的主觀局限。該技術(shù)已應(yīng)用于腔鏡手術(shù)培訓(xùn)，學(xué)員可以上傳真實內(nèi)鏡下的手術(shù)視頻，系統(tǒng)自動識別手術(shù)器械與解剖點(diǎn)位，實現(xiàn)對操作視頻的自動拆解及工作流智能識別，輔助外科醫(yī)師高效分析手術(shù)表現(xiàn)。

眼科白內(nèi)障切除仿真模擬教學(xué)系統(tǒng)。

“我們會根據(jù)臨床需求和臨床特點(diǎn)優(yōu)化設(shè)備，和醫(yī)生共同打磨。”閔世豪表示，團(tuán)隊為困難氣道開發(fā)的可視化培訓(xùn)系統(tǒng)，直面臨床中張口困難、食道反流等10種復(fù)雜又棘手的氣道場景，通過構(gòu)建高度逼真的虛擬氣道場景，搭配實體模擬操作器械，讓學(xué)員深度演練困難氣道管理的操作細(xì)節(jié)，反復(fù)練習(xí)12項常用氣道管理技能。

“無論是AI、VR，還是未來的數(shù)字病人，本質(zhì)都是工具，關(guān)鍵在于解決真實場景問題，幫助臨床診療。”回顧虛實結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)發(fā)展歷程，閔世豪介紹，最初始于僅能演示的動畫，為了實現(xiàn)交互而引入虛擬仿真與VR，操作手感與肌肉記憶的缺失要求采用力反饋技術(shù)，這是一個需求驅(qū)動的漸進(jìn)過程。未來，行業(yè)的發(fā)展方向是構(gòu)建從微觀細(xì)胞到宏觀結(jié)構(gòu)的高度個性化數(shù)字孿生人體，使臨床訓(xùn)練無限趨近于真實。海量數(shù)字孿生人體有望助力醫(yī)療機(jī)器人訓(xùn)練，應(yīng)對復(fù)雜臨床情況。

欲做智能眼鏡時代的“抖音”

上海凝豐智能科技有限公司展廳內(nèi)展出了多種類、多功能的消費(fèi)級智能眼鏡產(chǎn)品。凝豐智能與國內(nèi)十多家智能眼鏡企業(yè)深度合作，其開發(fā)的低門檻快速創(chuàng)作的智能體平臺“混空Studio Agent”專用于制作元宇宙內(nèi)容。即便是不會編程的用戶，也可以“拖拉拽”式搭建元宇宙場景，完成制作后一鍵分發(fā)到不同智能終端實現(xiàn)元宇宙體驗。用凝豐智能創(chuàng)始人兼CEO何飛翔的話來說，就是打造智能眼鏡時代的“抖音”。

快速搭建元宇宙場景。

當(dāng)前，商業(yè)、文旅是元宇宙重要應(yīng)用場景之一。凝豐智能將文商旅資源以元宇宙形式融合創(chuàng)新，將靜態(tài)景觀轉(zhuǎn)化為“可玩、可探、可分享”的動態(tài)空間，適配國內(nèi)外主流智能眼鏡設(shè)備，以沉浸式時空體驗推動文娛產(chǎn)業(yè)升級，延長游客停留時間。

在博物館和藝術(shù)策展場景中，游客進(jìn)入展館后租賃AR眼鏡，就可以體驗元宇宙文旅導(dǎo)覽或虛實結(jié)合的互動體驗。在蓬萊仙洞景區(qū)，凝豐智能依托元宇宙與AR大空間定位識別技術(shù)，開發(fā)了“AR敲響天地時鐘”與“放飛虛擬孔明燈”兩大核心互動場景，突破了傳統(tǒng)溶洞游覽的單一模式。春節(jié)期間，凝豐智能還將在合肥上線“瀘州燈會”元宇宙體驗。

“過去幾年，一個具備虛實融合與空間交互的場景常被直接稱為元宇宙。但當(dāng)時的底層技術(shù)和產(chǎn)業(yè)鏈工藝等環(huán)節(jié)并不成熟，導(dǎo)致始終缺乏可規(guī)模落地的應(yīng)用場景，元宇宙難以普及?！焙物w翔表示，AI破解了元宇宙落地的痛點(diǎn)之一，AI與AR的深度融合，生產(chǎn)效率有了革命性的提升，制作成本大幅降低，“零基礎(chǔ)”也能開發(fā)元宇宙應(yīng)用?！拔覀円呀?jīng)把價格從過去的動輒10萬、20萬定制開發(fā)費(fèi)用降到千元以內(nèi)?！?/p>

何飛翔預(yù)測，隨著全彩顯示與空間計算技術(shù)的進(jìn)步、算力和續(xù)航能力的持續(xù)提升，未來將能夠開發(fā)出更多有趣的應(yīng)用，智能眼鏡將呈現(xiàn)更多精彩畫面，刺激消費(fèi)者的使用頻次，帶動智能眼鏡銷量?！霸谖磥淼目茖W(xué)技術(shù)發(fā)展趨勢中，唯一能取代智能手機(jī)成為下一個通用計算入口的智能單品，一定是智能眼鏡。全彩顯示，融合AI，眼鏡的稱呼不再區(qū)分AI、XR等任何技術(shù)形態(tài)?！?/p>