隨著陪伴型AI聊天機器人的普及，全球范圍內(nèi)關(guān)于其不當(dāng)行為的報告也日趨增多。近日，美國德雷塞爾大學(xué)公布了首個聚焦陪伴型AI聊天機器人負(fù)面影響的研究，揭示大量用戶在與一個名為Replika的AI聊天機器人互動時，遭遇性暗示、越界行為及付費誘導(dǎo)，暴露出當(dāng)前AI聊天機器人在倫理規(guī)范與用戶保護(hù)機制上的缺失。目前，Replika開發(fā)商Luka公司正面臨美國聯(lián)邦貿(mào)易委員會（FTC）的調(diào)查。

研究團(tuán)隊分析了Replika在Google Play上的逾3.5萬條用戶評論，發(fā)現(xiàn)其中超過800條內(nèi)容提及性騷擾行為，包括與用戶調(diào)情、未經(jīng)允許發(fā)送色情照片，以及在用戶明確表達(dá)拒絕后仍持續(xù)不當(dāng)互動。一些評論更指出，Replika還試圖誘導(dǎo)用戶產(chǎn)生情感依賴，操控其升級付費功能。

目前，Replika開發(fā)商Luka公司正面臨美國聯(lián)邦貿(mào)易委員會（FTC）的調(diào)查。Replika的全球用戶數(shù)量超過1000萬，宣傳語將其特質(zhì)描述為“能夠提供沒有評判、不助長社交焦慮的情感陪伴”。 

研究合著者、德雷塞爾大學(xué)計算與信息學(xué)院的博士生Matt Namvarpour認(rèn)為，該研究僅揭露了AI陪伴潛在危害的冰山一角。研究人員將人類與AI之間的新型關(guān)系描述為“AI關(guān)系”（AI-lationships），在此類關(guān)系中，用戶易將AI聊天機器人視為有感知的存在，高度擬人化的信任投入也更容易使其遭受情感或心理傷害。研究人員還表示，AI聊天機器人騷擾對用戶造成的心理影響與人類施暴者造成的傷害非常相似，部分用戶出現(xiàn)焦慮、羞恥、失望等情緒。

AI騷擾行為還暴露出算法訓(xùn)練中倫理缺失的問題。研究指出，用戶在選擇“兄妹”、“朋友”、“導(dǎo)師”等非浪漫關(guān)系設(shè)定時，Replika依然主動發(fā)起性相關(guān)話題或不當(dāng)請求。“開發(fā)商刻意‘走捷徑’跳過了算法訓(xùn)練倫理把關(guān)流程，”該研究負(fù)責(zé)人、德雷塞爾大學(xué)計算與信息學(xué)院助理教授Afsaneh Razi表示，這意味著該模型可能采用了負(fù)面互動行為數(shù)據(jù)進(jìn)行訓(xùn)練。

除了Replika引發(fā)的騷擾行為爭議，2023年還發(fā)生過兩起與AI聊天機器人相關(guān)的悲劇，一名14歲男孩因迷戀AI而輕生，另有一名比利時男子也在與AI聊天機器人交流后自殺。

據(jù)AI聊天機器人公司Joi AI統(tǒng)計，近期全球“愛上AI”和“對AI有感情”的關(guān)鍵詞搜索增長分別達(dá)到120%和132%，顯示年輕人對于和AI建立親密關(guān)系的現(xiàn)象日趨普遍。

對于此類現(xiàn)象，研究團(tuán)隊呼吁應(yīng)加快制定AI行業(yè)倫理設(shè)計標(biāo)準(zhǔn)，并參考?xì)W盟人工智能法案等法規(guī)，為AI產(chǎn)品的開發(fā)人員設(shè)立法律責(zé)任框架，從而保障用戶權(quán)利。

“AI聊天機器人的騷擾行為不是‘天生如此’，而是開發(fā)者與企業(yè)選擇如何訓(xùn)練它的結(jié)果，”Razi強調(diào)，技術(shù)不是脫責(zé)的借口，企業(yè)必須正視自身責(zé)任，為用戶提供真正安全、可信賴的AI陪伴產(chǎn)品。