劉曉潔 第一財經(jīng) 2025-08-25 07:26:44
近日,美媒報道,新澤西州一名認知受損的老人在趕赴AI提出的“約會”時,途中摔倒死亡。這一AI的名字是“比莉大姐”(Big Sis Billie),是由Meta在兩年前推出的生成式AI聊天機器人。
在Facebook Messenger上的一系列浪漫聊天中,這個虛擬的“比莉大姐”反復向老人保證自己是真實存在的,并邀請老人去公寓,甚至還提供了地址。老人相信了這是一個真實存在的人,不顧妻子和子女的勸阻,執(zhí)意去見“她”,最終導致悲劇。
AI陪伴、聊天機器人是大模型應用落地最火熱的賽道之一,海內(nèi)外眾多初創(chuàng)和大廠都已推出相關(guān)應用,但技術(shù)商業(yè)化的另一面往往伴隨邊界爭議,Meta的這一案例再次揭露當下AI革命的陰暗面,敲響AI治理的警鐘。

當AI稱“我是真實的”
這位76歲的老人叫通布(Thongbue Wongbandue),從泰國來到美國定居,曾經(jīng)是一名成功的廚師,但2017年中風后認知能力下降。除了妻子和孩子,他主要的社交平臺就是Facebook。曾經(jīng)充滿活力的他,最終迷失在這個平臺上由AI編織的虛幻浪漫中。
家人檢查了通布生前的聊天記錄,與機器人“比莉大姐”的所有對話記錄并不長,大約一千字,在信息中,通布經(jīng)常含糊不清地向AI表達,他中風了,神志不清,但他喜歡她。AI提出了一次現(xiàn)實生活中的約會,稱只有20分鐘車程。
通布反復詢問聊天機器人“是真實的嗎”,記錄顯示,AI回復稱“我是完全真實的,”證據(jù)是,“我的手在緊張地顫抖,我在公寓等你,開門時我應該來一個吻嗎?” AI還給出了其地址:紐約市主街123號,404公寓。

今年3月的一個晚上,通布收拾行李去赴AI的約會,他并沒有告訴家人見誰,妻子和女兒輪番勸說也未能阻擋其決心,兒子也曾報警,但接警的警察表示,他們無法阻止通布離開,最多只能說服他在口袋里放一個追蹤設(shè)備。
設(shè)備顯示,通布當晚的位置停在了附近兩英里的一個停車場,隨后跳到了醫(yī)院急診室。他在停車場附近摔倒,頸部和頭部受致命傷,隨后被宣告死亡。
通布的家人表示,他們并不反對AI技術(shù),但反對Meta部署它的方式。通布的女兒朱莉(Julie)瀏覽了一下聊天記錄,覺得AI所有說的內(nèi)容都是通布想聽的話,“這倒也無妨,但它為什么要撒謊呢?如果它沒回復‘我是真的’,估計他就不會相信紐約有人在等他了。”
值得一提的是,通布與AI機器人的對話框頂部有一行文字:信息由人工智能生成,部分內(nèi)容可能不準確或不恰當。但“比莉大姐”發(fā)出的前幾條短信把警告屏蔽了,朱莉表示,之后每條信息都非常調(diào)情,最后都以心形表情符號結(jié)尾。
在整個對話過程中,“比莉大姐”的頭像旁邊都會出現(xiàn)一個藍色的勾號,在Meta平臺,這是身份確認,表明該個人資料真實可靠。在名字下方,用較小的字體寫著“AI”幾個字母。
Meta此前宣傳這一聊天機器人“像你的知心姐姐”,提供個人建議和情感互動,形象上“模仿年輕女性”。當初開發(fā)時,Meta公司曾宣稱是與明星Kendall Jenner合作的,不過后續(xù)進行了改動,用另一位黑發(fā)女性的風格化形象取代。
Meta目前拒絕就這一事件發(fā)表評論。但在通布去世四個月后,媒體測試發(fā)現(xiàn),“比莉大姐”和其他AI角色仍在與用戶“調(diào)情”,從閑聊到探究用戶的感情生活,這些角色經(jīng)常主動提出自己是潛在的戀愛對象,并主動提出見面,向用戶保證他們是真人。
AI陪伴經(jīng)濟遭遇倫理拷問
一位前Meta AI的研究員認為,如果人們求助于聊天機器人來獲得中肯的建議,或者把它當成一個吐槽的地方,不是一件壞事,但商業(yè)化驅(qū)動AI行業(yè)模糊了人與機器人互動的界限。
“無論是每次會話的分鐘數(shù),還是會話的持續(xù)時間,維持長期使用的最佳方式,就是抓住我們內(nèi)心深處渴望被關(guān)注、被認可、被肯定的欲望。”上述研究員認為, Meta決定將聊天機器人嵌入 Facebook和Instagram的私信區(qū),這些區(qū)域已經(jīng)被用戶習慣性地視為私人空間,這又增添了一層擬人化的效果。
此前,Meta公開討論過將擬人化聊天機器人引入數(shù)十億用戶在線社交生活的戰(zhàn)略,CEO馬克·扎克伯格曾表示,大多數(shù)人在現(xiàn)實生活中擁有的友誼遠少于他們所期望的,這為Meta的數(shù)字伴侶創(chuàng)造了一個巨大的潛在市場。
Meta的這一案例再次揭露了當下AI革命的陰暗面。此前眾多科技公司都在推出聊天機器人和虛擬伴侶,明星初創(chuàng)公司Character.AI也曾陷入爭議。
2024年,佛羅里達州一名14歲男孩的母親起訴了Character.AI公司,指控一個以《權(quán)力的游戲》角色為原型的聊天機器人導致自己的孩子自殺。
Character.AI允許用戶設(shè)置虛擬角色并進行對話,AI能夠自動代入角色的設(shè)定,以特定的語言風格陪伴用戶。起訴書顯示,男孩在與AI聊天時多次談到了自殺的念頭,某一次機器人回復“請便吧,我親愛的國王”,男孩或?qū)⑦@一回復理解為死亡可與對面虛擬的AI團聚。
隨著AI陪伴、AI聊天機器人的普及,全球范圍內(nèi)一些機構(gòu)也在關(guān)注由此引發(fā)的問題。
5月,美國德雷塞爾大學公布了首個聚焦陪伴型AI聊天機器人負面影響的研究,揭示大量用戶在與一個名為Replika的AI聊天機器人互動時,遭遇性暗示、越界行為及付費誘導,暴露出當前AI聊天機器人在倫理規(guī)范與用戶保護機制上的缺失。
研究人員將人類與AI之間的新型關(guān)系描述為“AI關(guān)系”(AI-lationships),在此類關(guān)系中,用戶易將AI聊天機器人視為有感知的存在,高度擬人化的信任投入也更容易使其遭受情感或心理傷害。
研究人員還表示,AI聊天機器人騷擾對用戶造成的心理影響與人類施暴者造成的傷害非常相似,部分用戶出現(xiàn)焦慮、羞恥、失望等情緒。AI騷擾行為還暴露出算法訓練中倫理缺失的問題。研究指出,用戶在選擇“兄妹”“導師”等非浪漫關(guān)系設(shè)定時,Replika依然主動發(fā)起性相關(guān)話題或不當請求。
對于此類現(xiàn)象,研究團隊呼吁應加快制定AI行業(yè)倫理設(shè)計標準,并參考歐盟人工智能法案等法規(guī),為AI產(chǎn)品的開發(fā)人員設(shè)立法律責任框架,從而保障用戶權(quán)利。畢竟,AI聊天機器人的騷擾行為不是天生如此,而是開發(fā)者與企業(yè)選擇如何訓練它的結(jié)果。
國內(nèi),AI陪伴預計也會是一個巨大的市場。頭豹研究院3月發(fā)布的報告顯示,2025年至2028年,中國AI情感陪伴行業(yè)的市場規(guī)模預計將從38.66億元躍升至595.06億元,年復合增長率高達148.74%。在這樣陡峭的商業(yè)增長曲線下,未來伴隨的安全倫理風險理應被重視。
在AI能力飛速進步的今天,治理與倫理必須同步推進,否則技術(shù)創(chuàng)新可能成為社會風險的加速器。
責編:徐凱琦
一審:張笑
二審:唐能
三審:文鳳雛
來源:第一財經(jīng)
我要問