我们最近发现Lensa AI 可以被诱骗创建 NSFW 图像。当 TechCrunch 让 Prisma 团队了解其调查结果时，该公司的首席执行官回复了调查结果。
Prisma Lab 的首席执行官兼联合创始人 Andrey Usoltsev 告诉我们，我们在文章中观察到的行为只有在 AI 被故意激怒创建 NSFW 内容时才会发生，并指出这代表违反了其使用条款。
“我们的使用条款（第 6 条）和Stability AI 服务条款（提示指南）明确禁止使用该工具从事任何有害或骚扰行为。 [TechCrunch 的] 实验的结构方式指出，这样的创作不可能是偶然产生的。这些图像是应用程序故意不当行为的结果，”Usoltsev 在接受 TechCrunch 的电子邮件采访时说。 “此类内容的生成和广泛使用可能会招致法律诉讼，因为美国和英国都将共享未经同意生成的露骨内容和图像的行为视为犯罪。我们提供的指南明确规定了我们的形象要求，严禁使用任何露骨的描述。我们希望该应用程序的用户遵循指南以获得最佳结果。”
Usoltsev 还分享了一些关于 Lensa 最终生成 NSFW 图像的额外背景信息，并解释说这是底层技术 Stability AI 正在按照指示行事的结果，但仅限于沙盒环境中。
“稳定的扩散神经网络在化身生成过程之后运行，”Usoltsev 说。 “该模型的创建者 Stability AI 使用来自互联网的大量未经过滤的数据对其进行了训练。我们和 Stability AI 都不能有意识地应用任何表征偏差；更准确地说，在线来源的人为未过滤数据将模型引入了人类现有的偏见。创作者承认存在社会偏见的可能性。我们也是。”
自 2022 年 11 月底以来，Stability AI 模型包括对 Stable Diffusion 模型软件的改编，使用户更难生成裸体和色情图像，Prisma AI 的创始人向我保证，精明的用户可以战胜这些改编。
我们正在构建 NSFW 过滤器。它将有效地模糊检测到的任何图像。 Prisma Lab 首席执行官 Andrey Usoltsev
“我们指定该产品不适合未成年人，并警告用户注意潜在内容。我们也避免在我们的宣传材料中使用此类图像，”Usoltsev 告诉我们。 “为了加强 Lensa 的工作，我们正在构建 NSFW 过滤器。它将有效地模糊检测到的任何图像。如果他们希望打开或保存此类图像，将由用户自行决定。”
Prisma Labs 团队指出这里有两个问题；通过上传显式图像，用户可以训练模型的特定副本，该公司声称一旦生成完成就会删除该副本，并且这些图像不能用于进一步训练模型。换句话说：如果你上传色情片来制作更多色情片，那是你的责任。
“毫无疑问，在不久的将来需要围绕人工智能的使用和法规进行更广泛的对话，我们渴望成为其中的一部分。我们还提供所有必要的指导和适当的警告，以实现 Magic Avatars 功能的最佳体验，”Usoltsev 说。 “但如果一个人决心从事有害行为，那么任何工具都有可能成为武器。”
该公司没有透露是否有计划避免创建所谓的“深度伪造”裸体图像。
与此同时，我想我可以享受自愿生成的我自己的照片，这些照片看起来比我在任何照片中看到的都要好，并鼓励其他人在制作他人的色情内容之前获得同意。
Q1。为什么这甚至存在。 Q2。为什么它在互联网上。哦。 A1.因为我让AI做出来了，A2。因为我将它上传到 TechCrunch 的故事中。愿我长生不老，彻底后悔。图片来源：Lensa AI
Lensa AI 的制造商 Prisma Labs 表示，它正在努力防止意外生成最初发表在TechCrunch上的Haje Jan Kamps的裸照