Skip to content

搞英语 → 看世界

翻译英文优质信息和名人推特

Menu
  • 首页
  • 作者列表
  • 独立博客
  • 专业媒体
  • 名人推特
  • 邮件列表
  • 关于本站
Menu

亚马逊的 AI 爬虫让我的 git 服务器不稳定

Posted on 2025-01-18

编辑(2025-01-17 17:50 UTC):

我将此片段添加到入口配置中:

 nginx.ingress.kubernetes.io/configuration-snippet : |          if ($http_user_agent ~* "(Amazon)" ){ return 418; }

机器人每次仍然会攻击不同的 IP。大约 10% 的请求没有 amazonbot 用户代理。我不知道下一步该做什么。

我讨厌未来。


大家好。这是一个不同类型的帖子。这不是信息性的。这是呼救声。

对于运行 AmazonBot 的任何人,请将git.xeserv.us添加到您的阻止域列表中。如果您认识 Amazon 的任何人,请将此信息转发给他们,并要求他们将其转发给 AmazonBot 团队。

如果您出于某种原因想要抓取我的 git 服务器,请与我联系,以便我们可以根据您严重的资源使用情况安排硬件升级费用。

我不想向公众关闭我的 Gitea 服务器,但如果有必要的话我会这样做。阻止 AI 爬虫机器人是徒劳的,因为它们会撒谎、更改用户代理、使用住宅 IP 地址作为代理等等。我只是希望停止请求。

我已经配置了robots.txt文件来阻止所有机器人:

 User-agent: * Disallow: /

我还需要做什么?

原文: https://xeiaso.net/notes/2025/amazon-crawler/

本站文章系自动翻译,站长会周期检查,如果有不当内容,请点此留言,非常感谢。
  • Abhinav
  • Abigail Pain
  • Adam Fortuna
  • Alberto Gallego
  • Alex Wlchan
  • Answer.AI
  • Arne Bahlo
  • Ben Carlson
  • Ben Kuhn
  • Bert Hubert
  • Bits about Money
  • Brian Krebs
  • ByteByteGo
  • Chip Huyen
  • Chips and Cheese
  • Christopher Butler
  • Colin Percival
  • Cool Infographics
  • Dan Sinker
  • David Walsh
  • Dmitry Dolzhenko
  • Dustin Curtis
  • Elad Gil
  • Ellie Huxtable
  • Ethan Marcotte
  • Exponential View
  • FAIL Blog
  • Founder Weekly
  • Geoffrey Huntley
  • Geoffrey Litt
  • Greg Mankiw
  • Henrique Dias
  • Hypercritical
  • IEEE Spectrum
  • Investment Talk
  • Jaz
  • Jeff Geerling
  • Jonas Hietala
  • Josh Comeau
  • Lenny Rachitsky
  • Liz Danzico
  • Lou Plummer
  • Luke Wroblewski
  • Matt Baer
  • Matt Stoller
  • Matthias Endler
  • Mert Bulan
  • Mostly metrics
  • News Letter
  • NextDraft
  • Non_Interactive
  • Not Boring
  • One Useful Thing
  • Phil Eaton
  • Product Market Fit
  • Readwise
  • ReedyBear
  • Robert Heaton
  • Ruben Schade
  • Sage Economics
  • Sam Altman
  • Sam Rose
  • selfh.st
  • Shtetl-Optimized
  • Simon schreibt
  • Slashdot
  • Small Good Things
  • Taylor Troesh
  • Telegram Blog
  • The Macro Compass
  • The Pomp Letter
  • thesephist
  • Thinking Deep & Wide
  • Tim Kellogg
  • Understanding AI
  • 英文媒体
  • 英文推特
  • 英文独立博客
©2025 搞英语 → 看世界 | Design: Newspaperly WordPress Theme