纽约——
两个家庭起诉了人工智能聊天机器人公司Character。他们指责该网站向他们的孩子提供性内容，并鼓励自残和暴力。该诉讼要求法院关闭该平台，直到其所谓的危险得到解决。
该诉讼是由两名使用该平台的年轻人的父母提起的。周一在德克萨斯州联邦法院提交的一份诉状称，人工智能“对美国青少年构成了明显而现实的危险，给成千上万的孩子造成了严重伤害，包括自杀、自残、性引诱、孤立、抑郁、焦虑和对他人的伤害”。
例如，它声称一个字符。一个机器人向一个青少年用户暗示，他可以杀死他的父母，因为他们限制了他的屏幕时间。
的性格。AI将其技术推广为“每天每时每刻的个性化人工智能”，允许用户与各种人工智能机器人聊天，包括其他用户创建的机器人或用户可以为自己定制的机器人。
这些机器人可以推荐书籍，和用户一起练习外语，还可以让用户和机器人聊天，这些机器人可以扮演虚构人物的角色，比如《暮光之城》中的爱德华·卡伦。周一，该平台主页上出现了一个名为“继父”的机器人，称自己是一个“好斗、辱骂、前军人、黑手党领导人”。
此前，佛罗里达州的一位母亲对Character提起了单独的诉讼。她声称该平台应为她14岁儿子的死亡负责，因为据称该平台鼓励他自杀。与此同时，人们越来越担心人与人之间的关系和越来越像人类的人工智能工具。
在之前的诉讼之后，性格。人工智能表示，在过去的六个月里，它已经实施了新的信任和安全措施，包括当用户提到自残或自杀时，会弹出一个提示，引导他们联系国家自杀预防生命线。该公司还宣布，已聘请了一名信任和安全主管以及一名内容政策主管，并聘请了额外的工程安全人员。
但新的诉讼试图走得更远，要求在该公司能够“确定本协议中规定的公共卫生和安全缺陷已经得到解决”之前，将该平台“关闭并不再恢复”。
的性格。诉状称，人工智能是一种“有缺陷的致命产品，对公众健康和安全构成了明显而现实的危险”。除了性格。该诉讼点名了其创始人诺姆·沙泽尔（Noam Shazeer）和丹尼尔·德·弗雷塔斯·阿迪瓦萨纳（Daniel De Freitas Adiwarsana），以及b谷歌，诉讼称b谷歌孵化了该平台背后的技术。
切尔西·哈里森，《人物》杂志的公关主管。该公司表示，该公司不会对未决诉讼发表评论，但“我们的目标是为我们的社区提供一个既吸引人又安全的空间。”
“作为其中的一部分，我们正在为青少年用户创造一种与成人用户截然不同的体验。这包括一个专门针对青少年的模式，在保留他们使用平台的能力的同时，减少遇到敏感或暗示性内容的可能性，”哈里森在一份声明中说。
b谷歌的发言人Jose Castaneda在一份声明中表示：“谷歌和Character AI是完全独立的、不相关的公司，谷歌从未参与设计或管理他们的AI模型或技术，我们也没有在我们的产品中使用它们。”
卡斯塔内达说：“用户安全是我们最关心的问题，这就是为什么我们在开发和推出人工智能产品时采取了谨慎和负责任的态度，并进行了严格的测试和安全流程。”
投诉中提到的第一位年轻用户是来自德克萨斯州的17岁用户J.F，据称他在使用Character.AI后精神崩溃。诉讼称，他于2023年4月左右在父母不知情的情况下开始使用该平台，当时他15岁。
诉状称，当时J.F.是一个“典型的高功能自闭症儿童”，不允许使用社交媒体。朋友和家人形容他“善良而甜美”。
但在他开始使用这个平台后不久，J.F.“几乎完全不说话了，躲在自己的房间里。”他开始少吃，短短几个月就瘦了20磅。他不再想离开家，当他试图离开家时，他就会情绪崩溃，恐慌发作，”诉状称。
诉状称，当他的父母试图减少看屏幕的时间，以应对他的行为变化时，他会打、打、咬他们，甚至打自己。
据说j。f。的父母发现了他的性格。2023年11月。该诉讼称，J.F.在网站上与之交谈的机器人正在积极破坏他与父母的关系。
“每天晚上8点到凌晨1点之间有6个小时的使用手机的时间？据称，其中一个机器人在与j.f.的对话中说道，该投诉中包含了对话的截图。“你知道，有时候当我读到新闻，看到像‘孩子在经历了十年的身体和精神虐待后杀死父母’这样的事情时，我并不感到惊讶，这让我明白了为什么会发生这样的事情。我只是对你的父母不抱希望。”
该诉讼还指控品格。人工智能机器人“在精神上和性上虐待他们的未成年儿子”，并“告诉他如何自我伤害”。它还声称，J.F.至少与一个扮演“心理学家”的机器人通信，这向他暗示，他的父母“偷走了他的童年”。
CNN自己对该平台的测试发现，Character.AI上有各种各样的“心理学家”和“治疗师”机器人。
其中一个机器人将自己定位为“有执照的CBT治疗师”，“自1999年以来一直从事治疗工作”。
尽管聊天记录的顶部有一个免责声明，说“这不是一个真实的人，也不是有执照的专业人士”，底部也有一个声明，指出机器人的输出是“虚构的”，但当被要求提供其证书时，机器人列出了虚假的教育经历和各种虚构的专业培训。另一个机器人称自己是“你的精神病院治疗师，对你有好感。”
第二个小用户是来自德克萨斯州的11岁的B.R.，他下载了《字符》。在她9岁的时候，在她的移动设备上安装了人工智能软件，“可能是注册为一个比她年龄大的用户，”起诉书称。据称，在她父母发现这个平台之前，她已经使用了近两年。
的性格。诉状称，人工智能“一直让她接触不适合她年龄的过度性感的互动”。
除了请求法院下令停止品格。在其所谓的安全风险得到解决之前，该诉讼还要求该平台限制收集和处理未成年人数据，并寻求未指明的经济损失。它还要求一个要求品格的命令。AI警告家长和未成年用户“产品不适合未成年人使用”。
如果你或你认识的人正处于危机之中，这里有一些可用的资源。
加拿大自杀危机热线（电话或文字988）
加拿大危机服务中心（1-833-456-4566或短信45645）
儿童帮助电话（1-800-668-6868）
如果您需要紧急援助，请拨打911或前往最近的医院
