Anthropic周三表示，其发现并阻止了黑客试图滥用其Claude AI系统编写钓鱼邮件、创建恶意代码和规避安全过滤器的行为。
该公司在一份报告中发布的调查结果突显出人们日益担忧AI工具正越来越多地被用于网络犯罪，随着该技术的普及，这加剧了要求科技公司和监管机构加强保障措施的呼声。
Anthropic的报告称，其内部系统已阻止这些攻击，并正在分享这些案例研究——展示攻击者如何试图使用Claude制作有害内容——以帮助他人了解风险。
该报告列举了试图使用Claude起草定制钓鱼邮件、编写或修复恶意代码片段以及通过重复提示绕过保障措施的尝试。
它还描述了通过大规模生成有说服力的帖子来策划影响力活动，以及通过分步指导帮助低技能黑客的努力。
这家由亚马逊和Alphabet支持的公司没有公布IP或提示等技术指标，但表示在检测到该活动后已封禁相关账户并加强了过滤器。
专家表示，犯罪分子越来越多地转向AI，以使骗局更具说服力并加速黑客攻击尝试。这些工具可以帮助编写逼真的钓鱼信息、自动化部分恶意软件开发，甚至可能协助策划攻击。
安全研究人员警告称，随着AI模型变得更强大，滥用风险将会增加，除非公司和政府迅速采取行动。
Anthropic表示，其遵循严格的安全实践，包括定期测试和外部审查，并计划在发现重大威胁时继续发布报告。
微软和软银支持的OpenAI以及谷歌也面临类似审查，因担心其AI模型可能被用于黑客攻击或诈骗，这促使人们呼吁采取更强有力的保障措施。
各国政府也在采取措施监管该技术，欧盟正在推进其人工智能法案，美国则推动主要开发商做出自愿安全承诺。
本文由路知网原创发布，未经许可，不得转载！
本文链接：https://m.yrowe.com/ga/17221.html
