Skip to content

搞英语 → 看世界

翻译英文优质信息和名人推特

Menu
  • 首页
  • 作者列表
  • 独立博客
  • 专业媒体
  • 名人推特
  • 邮件列表
  • 关于本站
Menu

Amazonbot 终于遵守 robots.txt 的规定了。

Posted on 2026-05-15

我刚刚收到亚马逊的邮件,说他们终于要遵守robots.txt 的规定了。以下是邮件原文:

我们特此通知您,自 2026 年 6 月 15 日星期一起,Amazonbot 的抓取偏好将完全通过行业标准指令进行管理。这将使您能够直接、持续地控制 Amazonbot 访问您网站的方式,而无需依赖手动请求。如果您未在该日期前实施 robots.txt 指令,Amazonbot 在访问您的网站时将遵循标准的网络抓取惯例。

如何维护您当前的偏好设置:robots.txt 协议允许您在页面、目录或站点级别控制 Amazonbot 的访问权限,并随时更新您的偏好设置。请在此处找到有关 Amazonbot 如何处理这些指令的详细信息: https://developer.amazon.com/amazonbot 。

最好的,

亚马逊出版商支持

[email protected]

获取适用于 Mac 的 Outlook

努玛很自负
沼

太不可思议了,他们甚至保留了“发自我的 iPhone”的提示信息,证明邮件确实是用 Mac 版 Outlook 发送的。查看邮件头,发现有很多 Exchange 特有的邮件头,所以很可能确实是用 Mac 版 Outlook 发送的。这时间线简直太疯狂了。

这让我感觉有点奇怪,因为亚马逊的爬虫程序正是 Anubis 存在的理由。

如果 robots.txt 中的这些更改还没有合并到 Anubis 中,我会确保将它们合并进去。

原文: https://xeiaso.net/notes/2026/amazonbot-respecting-robots-txt/

本站文章系自动翻译,站长会周期检查,如果有不当内容,请点此留言,非常感谢。
  • A List Apart
  • Abhinav
  • Abigail Pain
  • Adam Fortuna
  • Alberto Gallego
  • Alex Wlchan
  • Alin Panaitiu
  • Anil Dash
  • Answer.AI
  • Arne Bahlo
  • Ben Carlson
  • Ben Kuhn
  • Bert Hubert
  • Big Technology
  • Bits about Money
  • Brandon Skerritt
  • Brent Simmons
  • Brian Krebs
  • ByteByteGo
  • Chip Huyen
  • Chips and Cheese
  • Christopher Butler
  • Colin Percival
  • Cool Infographics
  • Dan Sinker
  • David Walsh
  • Dmitry Dolzhenko
  • Dustin Curtis
  • eighty twenty
  • Elad Gil
  • Ellie Huxtable
  • Ethan Dalool
  • Ethan Marcotte
  • Exponential View
  • FAIL Blog
  • Founder Weekly
  • Geoffrey Huntley
  • Geoffrey Litt
  • Greg Mankiw
  • HeardThat Blog
  • Henrique Dias
  • Herman Martinus
  • Hypercritical
  • IEEE Spectrum
  • Investment Talk
  • Jaz
  • Jeff Geerling
  • Jonas Hietala
  • Josh Comeau
  • Lenny Rachitsky
  • Li Haoyi
  • Liz Danzico
  • Lou Plummer
  • Luke Wroblewski
  • Maggie Appleton
  • Matt Baer
  • Matt Stoller
  • Matthias Endler
  • Mert Bulan
  • Mind Matters
  • Mostly metrics
  • Naval Ravikant
  • News Letter
  • NextDraft
  • Non_Interactive
  • Not Boring
  • One Useful Thing
  • Phil Eaton
  • PostHog
  • Product Market Fit
  • Readwise
  • ReedyBear
  • Robert Heaton
  • Rohit Patel
  • Ruben Schade
  • Sage Economics
  • Sam Altman
  • Sam Rose
  • selfh.st
  • Shtetl-Optimized
  • Simon schreibt
  • Slashdot
  • Slava Akhmechet
  • Small Good Things
  • Steph Ango
  • Stephen Wolfram
  • Steve Blank
  • Taylor Troesh
  • Telegram Blog
  • The Macro Compass
  • The Pomp Letter
  • thesephist
  • Thinking Deep & Wide
  • Tim Kellogg
  • Understanding AI
  • Wes Kao
  • 英文媒体
  • 英文推特
  • 英文独立博客
©2026 搞英语 → 看世界 | Design: Newspaperly WordPress Theme