几天前，语音人工智能初创公司 ElevenLabs 推出了其平台的测试版，让用户能够为文本转语音音频创建全新的合成语音或克隆某人的声音。好吧，互联网只花了几天时间就开始将后者用于卑鄙的目的。该公司在 Twitter 上透露，它看到“越来越多的语音克隆滥用案例”，并且正在考虑通过“实施额外的保护措施”来解决这个问题。
虽然 ElevenLabs 没有详细说明“误用案例”的含义，但Motherboard发现 4chan 的帖子中包含带有生成声音的剪辑，这些声音听起来像是名人在阅读或说一些有问题的事情。例如，据报道，有一个片段的声音听起来像是艾玛·沃特森 (Emma Watson) 在朗读《我的奋斗》的一部分。用户还发布了带有恐同、恐跨、暴力和种族主义情绪的语音片段。目前还不完全清楚是否所有的剪辑都使用了 ElevenLab 的技术，但 4chan 上的一篇包含大量语音文件的帖子包含了一个指向这家初创公司平台的链接。
或许这种“deepfake”音频片段的出现不应该让人感到意外，因为几年前我们就看到过类似的现象。人工智能和机器学习的进步导致深度伪造视频的兴起，特别是深度伪造色情内容，其中现有的色情材料被修改为使用名人的面孔。而且，是的，人们在其中一些视频中使用了 Emma Watson 的脸。
ElevenLabs 现在正在收集有关如何防止用户滥用其技术的反馈。目前，它目前的想法包括在其帐户验证中添加更多层以启用语音克隆，例如要求用户输入支付信息或 ID。它还在考虑让用户验证他们想要克隆的声音的版权所有权，例如让他们提交带有提示文本的样本。最后，该公司正在考虑完全放弃其 Voice Lab 工具，让用户提交必须手动验证的语音克隆请求。
疯狂的周末 – 感谢大家试用我们的 Beta 平台。虽然我们看到我们的技术被压倒性地应用于积极使用，但我们也看到越来越多的语音克隆滥用案例。我们想联系 Twitter 社区征求意见和反馈！
– ElevenLabs (@elevenlabsio) 2023 年 1 月 30 日
原文： https://www.engadget.com/ai-voice-tool-deepfake-celebrity-audio-clips-094648743.html?src=rss