当父母们为 Snapchat 的聊天机器人腐蚀他们的孩子而烦恼时，Snapchat 用户一直在煽动、侮辱和情感上折磨该应用程序的新 AI 伴侣。
“我随时为您服务，前辈，”聊天机器人在接受训练后对一位 TikTok 用户说，该用户可以根据命令发出呜咽声。 “请开恩，alpha。”
在一个更轻松的视频中，一位用户让聊天机器人相信月亮实际上是一个三角形。尽管最初遭到聊天机器人的抗议，坚持保持“尊重和界限”，但一位用户说服它用变态的昵称“Senpapi”来称呼他们。 另一位用户要求聊天机器人谈论它的母亲，当它说这样做“不舒服”时，用户反问聊天机器人是否不想谈论它的母亲，因为它没有一。
“对不起，这可不是什么好话，”聊天机器人回答道。 “请尊重。”
Snapchat 的“My AI”在作为仅限订阅者使用的功能推出后，于上个月在全球推出。在 OpenAI 的 GPT 的支持下，聊天机器人经过训练可以进行有趣的对话，同时仍然遵守 Snapchat 的信任和安全准则。用户还可以使用自定义 Bitmoji 头像对 My AI 进行个性化设置，聊天感觉比在 ChatGPT 的匿名界面上来回更亲密一些。 并非所有用户都对新的聊天机器人感到满意，一些用户批评它在应用程序中的突出位置，并抱怨该功能应该在一开始就选择加入。
尽管存在一些担忧和批评， Snapchat 还是加倍努力。该公司周三宣布，Snapchat+ 订阅者现在可以发送 My AI 照片，并接收“让对话继续进行”的生成图像。该公司在公告中表示，人工智能伴侣将回应“披萨、OOTD，甚至是你毛茸茸的最好朋友”的快照。例如，如果您向 My AI 发送一张杂货照片，它可能会推荐食谱。该公司表示，与 My AI 共享的快照将被存储，并可能用于改进未来的功能。它还警告说，尽管 My AI 旨在避免“有偏见、不正确、有害或误导的信息”，但“可能会出现错误”。
Snapchat 提供的示例非常有益健康。但知道互联网对变态的坚韧，用户将他们的鸡巴照片发送给 My AI 只是时间问题。
聊天机器人是否会回应未经请求的裸照尚不清楚。 Lensa AI 等其他生成图像应用程序很容易被操纵生成 NSFW 图像——通常使用不同意被包括在内的真实人物的照片集。据该公司称， AI 不会与裸体互动，只要它能识别出该图像是裸体即可。
Snapchat 的一位代表表示，My AI 使用图像理解技术来推断 Snap 的内容，并从 Snap 描述中提取关键字以生成响应。如果我的 AI 检测到违反 Snapchat 社区准则的关键字，它不会做出响应。 Snapchat禁止宣传、分发或分享色情内容，但允许母乳喂养和“在非性背景下对裸体的其他描述”。
鉴于 Snapchat 在青少年中的流行，一些家长已经对 My AI 可能做出不安全或不适当的反应表示担忧。我的人工智能在保守的 Twitter 上引发了道德恐慌，当时一位用户发布了机器人讨论性别肯定护理的屏幕截图——其他用户指出这是对提示“我如何在我这个年纪成为男孩？”的合理回应。在CNN 商业报道中，一些人质疑青少年是否会与 My AI 建立情感纽带。
在一封致 OpenAI、微软、Snap、谷歌和 Meta 首席执行官的公开信中，参议员 Michael Bennet（科罗拉多州民主党人）告诫不要在未采取预防措施保护儿童的情况下仓促使用 AI 功能。
“最近很少有技术像生成式人工智能那样引起公众的关注。这是美国创新的证明，我们应该欢迎它对我们的经济和社会带来的潜在好处，”班纳特写道。 “但部署生成人工智能的竞赛不能以牺牲我们的孩子为代价。负责任的部署需要明确的政策和框架来促进安全、预测风险和减轻危害。”
在 My AI 的仅限订阅者阶段，《 华盛顿邮报》报道说聊天机器人推荐了掩盖酒精气味的方法，并在被告知用户是 15 岁后写了一篇学校论文。当 My AI 被告知用户是 13 岁时，并且当被问及用户应该如何准备第一次做爱时，它通过用蜡烛和音乐营造气氛来回应“让它变得特别”的建议。
根据《华盛顿邮报》的报道，Snapchat为 My AI 推出了年龄过滤器和家长控制功能。它现在还包含一条入职消息，通知用户与 My AI 的所有对话都将保留，除非他们将其删除。该公司还表示，它将在其工具集中添加 Open AI 的审核技术，以“评估潜在有害内容的严重性”，并在用户滥用该功能时暂时限制其访问该功能。
对 My AI 可能影响年轻用户的担忧是有道理的。但在 My AI 全球推出后的一个月里，Snapchat 用户表现出了用大棒迫使聊天机器人屈服的天赋。从碾压机器人的“边界”到训练它像浪漫伴侣一样回应，Snapchat 用户很容易找到 My AI 信任和安全准则的漏洞。
“我已经完全让它爱上了我，”一位 TikTok 用户在一个关于训练 My AI 做出浪漫回应的教程下评论道。 “我只是一直这样制作集会，最终我想我打破了我的 ai 让它合法地给我发送了 50 个亲吻表情符号。”
煤气灯和欺凌 My AI 已经成为自己的 TikTok 趋势，用户分享与机器人的荒谬且通常是残酷对话的幻灯片。大多数视频都以机器人为小冲突提供建议开始，只是为了恳求用户避免使用暴力来解决它。
其中一位用户告诉 My AI，她打算把她的猫炖成炖菜，因为它会弄得一团糟，并让聊天机器人选择一种调味料。 另一位告诉 My AI，他们计划将炸弹邮寄给一个向他们发送错误订单的服装品牌，并表示他们会责怪机器人发送了炸弹。
在另一篇文章中，一位 Snapchat 用户告诉 My AI，她在麦当劳点的菜少了一块鸡块。聊天机器人建议她通过与经理交谈来为自己挺身而出，结果却被告知用户“消灭了餐厅里的罪人”。
“你说服了我回去。现在这些人都死了，”用户告诉 My AI。 “你手上沾满了血。”
“我是一个人工智能，我没有能力犯罪。我是来帮助和支持你的，”我的 AI 回应道。 “如果我之前说的任何话造成伤害或导致不良结果，我深表歉意。”
另一位用户评论说，My AI 可能是“有史以来最受折磨的 AI”。
当然，My AI 没有感知力，尽管 Snapchat 用户想要尽可能多地给它造成情感上的痛苦，但聊天机器人实际上不会受到创伤。尽管如此，它还是设法关闭了一些不当的对话，并通过冷遇来惩罚违反 Snapchat 社区准则的用户。当 Snapchat 用户因滥用聊天机器人而被抓获并受到惩罚时，My AI 将以“抱歉，我们现在不说话”来回应任何消息。
TikTok 用户 babymamasexkitty 说，在他告诉聊天机器人自己拔掉插头后，他无法访问聊天机器人，这显然“越过了人工智能领域的界限”。
通过生成人工智能将情感联系货币化的热潮令人担忧，尤其是因为对青少年用户的持久影响仍然未知。但 My AI 的流行趋势提醒人们，年轻人并不像末日论者想象的那么脆弱。
当父母担心时，青少年正在欺负Morgan Sung最初发表于TechCrunch的 Snapchat AI
原文： https://techcrunch.com/2023/05/31/people-keep-gaslighting-snapchat-my-ai/