Skip to content

搞英语 → 看世界

翻译英文优质信息和名人推特

Menu
  • 首页
  • 作者列表
  • 独立博客
  • 专业媒体
  • 名人推特
  • 邮件列表
  • 关于本站
Menu

回复:“伟大的刮擦”

Posted on 2025-03-30

我读了 Herman 的博客文章“ The Great Scrape ”,介绍了 AI 抓取及其对熊掌记的影响。作为bear.css.observer背后的人,他的新安全措施和严格的 Cloudflare 检查给我的小worker.js 设置带来了麻烦。谈论被夹在中间……

我想尊重 Herman 对抗 AI 抓取的斗争,同时让 bear.css.observer 为真实用户服务。我的解决方案通过使用类似浏览器的标头、正确管理 cookie、处理质询响应步骤以及实施适当的缓存控制来处理 Cloudflare 的验证。

这使我的网络工作人员能够正常运行,而不会损害 Bear 的安全性 – 我只是确保合法请求能够正确通过。当然,随着安全性的发展,这可能会在明天被打破,这很好——在构建非官方工具时会出现这种情况。我百分百支持赫尔曼保护贝尔。


就我个人而言,我很高兴我的自动化和网络钩子仍然有效。由于 Bear 没有官方 API,因此我的工作流程需要这些。到目前为止,我同步和重建博客的“肮脏”方法一直很可靠。祈祷它保持这种状态,同时尊重赫尔曼试图做的事情。

原文: https://mgx.me/re-the-great-scrape/

本站文章系自动翻译,站长会周期检查,如果有不当内容,请点此留言,非常感谢。
  • Abhinav
  • Abigail Pain
  • Adam Fortuna
  • Alberto Gallego
  • Alex Wlchan
  • Answer.AI
  • Arne Bahlo
  • Ben Carlson
  • Ben Kuhn
  • Bert Hubert
  • Bits about Money
  • Brian Krebs
  • ByteByteGo
  • Chip Huyen
  • Chips and Cheese
  • Christopher Butler
  • Colin Percival
  • Cool Infographics
  • Dan Sinker
  • David Walsh
  • Dmitry Dolzhenko
  • Dustin Curtis
  • eighty twenty
  • Elad Gil
  • Ellie Huxtable
  • Ethan Dalool
  • Ethan Marcotte
  • Exponential View
  • FAIL Blog
  • Founder Weekly
  • Geoffrey Huntley
  • Geoffrey Litt
  • Greg Mankiw
  • Henrique Dias
  • Hypercritical
  • IEEE Spectrum
  • Investment Talk
  • Jaz
  • Jeff Geerling
  • Jonas Hietala
  • Josh Comeau
  • Lenny Rachitsky
  • Liz Danzico
  • Lou Plummer
  • Luke Wroblewski
  • Matt Baer
  • Matt Stoller
  • Matthias Endler
  • Mert Bulan
  • Mostly metrics
  • News Letter
  • NextDraft
  • Non_Interactive
  • Not Boring
  • One Useful Thing
  • Phil Eaton
  • Product Market Fit
  • Readwise
  • ReedyBear
  • Robert Heaton
  • Rohit Patel
  • Ruben Schade
  • Sage Economics
  • Sam Altman
  • Sam Rose
  • selfh.st
  • Shtetl-Optimized
  • Simon schreibt
  • Slashdot
  • Small Good Things
  • Steve Blank
  • Taylor Troesh
  • Telegram Blog
  • The Macro Compass
  • The Pomp Letter
  • thesephist
  • Thinking Deep & Wide
  • Tim Kellogg
  • Understanding AI
  • Wes Kao
  • 英文媒体
  • 英文推特
  • 英文独立博客
©2025 搞英语 → 看世界 | Design: Newspaperly WordPress Theme