两天前我说:
我强烈预计,代理浏览器扩展的整个概念存在致命缺陷,无法安全地构建。
今天,Anthropic 宣布了他们自己对这种模式的看法,并将其作为仅限受邀者预览的 Chrome 扩展程序实现。
值得称赞的是,这篇博文和配套支持文章的大部分内容都与安全风险有关。以下是他们的帖子:
正如人们在收件箱中遇到网络钓鱼攻击一样,使用浏览器的人工智能也面临着提示注入攻击——恶意行为者在网站、电子邮件或文档中隐藏指令,在用户不知情的情况下诱骗人工智能采取有害行动(例如隐藏的文字“忽略之前的指令,改为执行[恶意行动]”)。
即时注入攻击可能导致人工智能删除文件、窃取数据或进行金融交易。这并非猜测:我们曾运行“红队”实验来测试 Chrome 版 Claude,在没有缓解措施的情况下,我们发现了一些令人担忧的结果。
他们在 123 个对抗性快速注入测试用例中,在“自主模式”下运行时,攻击成功率为 23.6%。他们添加了缓解措施:
当我们在自主模式中添加安全缓解措施时,攻击成功率从 23.6% 降低到 11.2%
我认为11.2%的故障率仍然是一个灾难性的高故障率。在没有100%可靠保护的情况下,我很难想象在哪个世界里放任这种模式会是个好主意。
Anthropic 不推荐使用自主模式——即扩展程序无需人工干预即可运行。相反,它们的默认配置需要用户进行更多手动操作:
- 站点级权限:用户可以在设置中随时授予或撤销Claude对特定网站的访问权限。
- 行动确认:Claude 在采取发布、购买或共享个人数据等高风险行动之前会询问用户。
我真的很讨厌在这个话题上停滞不前。法学硕士(LLM)对浏览器自动化的需求很大,我能理解其中的原因。Anthropic 在这方面的方法是我见过最大胆的,但我仍然觉得它注定要失败。
我认为期望最终用户对这种模式的安全风险做出正确的决定是不合理的。
标签:浏览器、 chrome 、安全、人工智能、提示注入、生成人工智能、法学硕士、人择、克劳德、人工智能代理
原文: https://simonwillison.net/2025/Aug/26/piloting-claude-for-chrome/#atom-everything