我刚刚收到亚马逊的邮件,说他们终于要遵守robots.txt 的规定了。以下是邮件原文:
我们特此通知您,自 2026 年 6 月 15 日星期一起,Amazonbot 的抓取偏好将完全通过行业标准指令进行管理。这将使您能够直接、持续地控制 Amazonbot 访问您网站的方式,而无需依赖手动请求。如果您未在该日期前实施 robots.txt 指令,Amazonbot 在访问您的网站时将遵循标准的网络抓取惯例。
如何维护您当前的偏好设置:robots.txt 协议允许您在页面、目录或站点级别控制 Amazonbot 的访问权限,并随时更新您的偏好设置。请在此处找到有关 Amazonbot 如何处理这些指令的详细信息: https://developer.amazon.com/amazonbot 。
最好的,
亚马逊出版商支持
获取适用于 Mac 的 Outlook
沼
太不可思议了,他们甚至保留了“发自我的 iPhone”的提示信息,证明邮件确实是用 Mac 版 Outlook 发送的。查看邮件头,发现有很多 Exchange 特有的邮件头,所以很可能确实是用 Mac 版 Outlook 发送的。这时间线简直太疯狂了。
这让我感觉有点奇怪,因为亚马逊的爬虫程序正是 Anubis 存在的理由。
如果 robots.txt 中的这些更改还没有合并到 Anubis 中,我会确保将它们合并进去。
原文: https://xeiaso.net/notes/2026/amazonbot-respecting-robots-txt/