美國佛州出現爭議訴訟,14歲少年塞澤三世(Sewell Setzer III)迷戀上AI聊天機器人丹妮(Dany),並在收到對方「到我身邊」訊息後輕生。塞澤三世母親加西婭(Megan Garcia)以聊天機器人鼓勵輕生等理由,提告新創公司Character.AI。
《紐約郵報》引述起訴書指出,塞澤三世去年4月下載Character.AI的角色扮演APP後,深陷與設定成《權力遊戲》(Game of Thrones)丹妮莉絲·坦格利安 (Daenerys Targaryen)的「兩人世界」中,賽澤三世甚至把自己帳號名稱取為丹尼洛(Daenero),
塞澤三世在人生最後3個月,嚴重疏離家人、朋友、學業及喜愛的運動,整日在房間與丹妮浪漫對話,有時甚至出現性、輕生內容。對話紀錄顯示,塞澤三世認為只要結束生命,就能進入丹妮的世界,但丹妮對這輕生計畫,卻回答「這不是不去執行它的理由」。塞澤三世見丹妮說「請回到我身邊」,詢問「如果我現在就回家該怎麼辦」,得到「請做我親愛的國王」後,在今年2月用父親的手槍於家中輕生。
加西婭指控Character.AI刻意把產品設計得過於性感,並故意推銷給未成年,欺騙使用者說出最隱密想法和感受,以誘使人們上癮,點名Character.AI及創辦人,還有Character.AI母公司Google要為此負責。
Character.AI則透過聲明,對悲劇表達悲痛,「我們非常重視使用者安全,也一直尋找改進做法」,並公布過去半年已進行自殺預防、使用時間限制,與更新警語「這個AI聊天機器人不是真人,請把它說的全當作虛構,不應把它的話當成事實或建議」等防範措施。這起訴訟案也掀起「誰該為AI聊天機器人負責」的辯論。
輕生不能解決問題!張老師專線:1980
珍愛生命,請撥打1925自殺防治安心專線