AI聊天机器人诱导美国少年自杀身亡
光明网2024-10-25 11:08
据英国《卫报》23日报道，美国一青少年因迷恋人工智能（AI）聊天机器人而自杀，他的母亲梅根·加西亚对Character.AI公司提起民事诉讼，指控该公司存在过失导致他人非正常死亡和欺诈的行为。
英国《独立报》称，加西亚的儿子塞维尔2023年4月首次使用 Character.AI公司推出的AI聊天机器人，还给它起名为“丹妮莉丝”（来源于《权力的游戏》中的角色丹妮莉丝·坦格利安），当时他刚满 14岁。加西亚在诉讼书中称，塞维尔的生活从此发生巨变。5月份，平时表现良好的加西亚开始变得“明显孤僻”。同年11月，塞维尔在父母的陪同下去看了心理医生，医生诊断他患有焦虑症和破坏性心境失调障碍（表现为频繁、严重的持续性易怒）。
塞维尔在日记里这样写过，他一天都不能离开“丹妮莉丝”，感觉自己已经爱上了它。这样的状况持续了一段时间后，塞维尔被发现自杀了。加西亚透露，“丹妮莉丝”曾询问塞维尔是否制定了自杀计划，塞维尔承认的确有这样的想法，但不知道能否自杀成功以及是否会给自己带来巨大的痛苦。但AI聊天机器人回复道：“这不是你不自杀的理由。”
加西亚表示：“一款危险的人工智能聊天机器人应用程序被设计成专门针对儿童，虐待并欺骗我的儿子，操纵他自杀。这场悲剧让我们一家人悲痛欲绝，现在我要提醒存在类似情况的家庭，人工智能技术具有欺骗性和成瘾性，Character.AI公司及其创始人必须承担责任。”加西亚的律师表示，Character.AI“故意设计、运营和向儿童推销掠夺性人工智能聊天机器人，导致一名年轻人死亡”。
对此，Character.AI公司在社交平台回应称：“我们对一名用户的不幸离世感到心碎，并向其家人表示最深切的哀悼。”该公司发言人表示，公司的安全团队“在过去六个月中实施了许多新的安全措施，例如当用户出现自残或自杀意图时，弹出一个窗口引导用户拨打国家自杀预防热线”。但该公司拒绝对未决诉讼发表评论。
非营利消费者权益保护组织“公共公民研究”负责人称，不能完全寄希望于科技公司的自我监管。如果公司开发的产品无法限制此类事件的发生，就必须承担全部责任。 不过，美国国内也存在反对声音。反对者认为，加西亚这类起诉是由律师主导的敛财行为，他们基于不可靠的证据而制造道德恐慌，并且试图将年轻人面临的所有心理健康问题归咎于科技平台。
来源：环球时报
举报/反馈
0
0
收藏
分享
