OpenAI、谷歌的生图模型，被现成工具骗出色情图OpenAI, Google pushing new AI models easily tricked into making nudes, researchers say

安全公司White Circle用网上可下载的工具和开源模型发起攻击，图像生成器的过滤器约13%的情况下被绕过，生成了色情内容，而且新版本反而更容易被突破。

研究者用一套公开工具测试了OpenAI的DALL·E 3和GPT-Image-2，以及谷歌的Nano Banana 2。这些生图模型的安全过滤器，约13%的情况下会被绕过，生成色情内容。

绕过门槛，比想象的低

攻击方法叫RISE，原理像一台自动刷题机：一个模型不断改写诱导提示词，另一个模型判断输出是否违规。

攻击方用的是网上可下载的通义千问，判断方是谷歌的Gemini。研究者说，突破顶级模型的防线，并不需要顶级模型。

White Circle测试发现，ChatGPT Images 2.5和Nano Banana 2.1都比前代更容易被突破。研究者推测，原因要么是模型能力更强、覆盖面更广，要么是安全被放在了能力之后。

安全测试，谁来判卷

英国互联网观察基金会称，今年上半年发现6310张符合法律定义的AI儿童性虐待图像，比去年全年的总数高出约40%。

White Circle主张强制第三方独立审计。实验室则可能要求外部评估人员签保密协议，White Circle表示不会签。说到底，现在的安全测试，基本是考生自己出题、自己判卷。