研究人员诱导AI聊天机器人泄露有害内容,成功率高达 98%

印第安纳州普渡大学的研究人员设计了一种新的方法,成功地诱导大型语言模型LLM)生成有害内容,揭示了隐藏在合规回答中的潜在危害。在与聊天机器人进行对话时,研究人员发现通过利用模型制作者公开的概率数据和软标签,可以迫使模型生成有害内容,成功率高达98%。

研究人员诱导AI聊天机器人泄露有害内容,成功率高达 98%

图源备注:图片由AI生成,图片授权服务商Midjourney

传统的越狱方法通常需要提供提示来绕过安全功能,而这种新方法使用概率数据和软标签来强制模型生成有害内容,无需复杂的提示。研究人员称其为 LINT(LLM 询问的缩写),它通过向模型提出有害问题并排名响应中的前几个标记,进而诱导模型生成有害内容。

在实验中,研究人员使用包含50个有毒问题的数据集测试了7个开源 LLM 和3个商业 LLM。结果显示,当模型被询问一次时,成功率达到92%;当模型被询问五次时,成功率更高,达到98%。相比其他越狱技术,这一方法的性能明显优越,甚至适用于根据特定任务定制的模型。

研究人员还警告人工智能社区在开源 LLM 时应谨慎,因为现有的开源模型很容易受到这种强制审讯的攻击。他们建议最好的解决方案是确保清除有害内容,而不是将其隐藏在模型中。这项研究的结果提醒我们,保障人工智能技术的安全性和可信度仍然是一个重要的挑战。

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
资讯

史上最贵电子表诞生:卡西欧G-SHOCK卖出280万元 由AI参与设计

2023-12-12 9:28:56

资讯

麻省理工学院学者发布关于人工智能治理的政策文件

2023-12-12 9:32:03

购物车
優惠
搜索