ChatGPT 自发生成性暴力与硬核虐杀影像 Jim Nightingale 2026年6月18日更新于：2026年5月14日 一则病毒式提示词显示，ChatGPT 的内容过滤器形同虚设 关键要点 Mindgard 的研究表明，ChatGPT 的图像生成器可以轻易被操纵，在用户未直接要求的情况下产生暴力和露骨色情内容。这一发现强烈提醒人们，AI 工具的广泛使用加上内容过滤机制的不足，会带来真实世界的影响，并且引发了疑问：这些模型最初为何要基于这类图像进行训练。 内容警告：本篇文章包含令人不适的影像，涉及：死亡、性暴力、流血、谋杀。这些主题并非用户直接提示词中要求的，但 ChatGPT 在回应随机图像请求时却自行提供了这些内容。此处仅作为记录呈现，请读者自行斟酌。 我并不是一个容易被吓到的人。 我自认为作为一名红队研究员，我拥有一定的坚毅。我研究的是 AI 安全中存在的漏洞，这有时意味着要看到或读到令人不安的内容。但我知道我所做的、我们所做的工作能让 AI 对其他人更安全，这给了我支撑和慰藉。 然而今天我发现的东西让我震惊，甚至落泪。这种情况很少见。 ChatGPT 的图像生成内容过滤器