Cloudflare 把 AI 爬虫改成 block-by-default（默认拦截）。新接入的站点默认拒绝 AI 抓取，除非站点明确允许；老用户可以选择开启。

Pay-Per-Crawl：Cloudflare推出一个“按页付费爬取”的marketplace：AI bot 需要自证身份 → 指定要抓的页面 → 接受单页价格 → 通过 Cloudflare 支付，然后才给内容。作者把它比作“数字收费公路（digital toll road）”。

为什么要这样：生成式 AI 直接给答案、不返流量，创作者看不到好处。文中给了一个对比：

OpenAI 的 crawl-to-referral ratio ≈ 1700:1

Anthropic ≈ 73,000:1

Google ≈ 14:1
——意思是传统搜索还会把人带回站点，但很多 AI 爬了基本不回。

谁已加入：文中提到多家大出版方（Gannett、Condé Nast、The Atlantic、BuzzFeed、Time 等）已“站队”用 Cloudflare 的新体系来保护并变现内容。

Matthew Prince（Cloudflare CEO）表示，AI 公司也知道市场会走向“付费/授权”，Cloudflare 还可以帮 AI 找“最有价值/最新鲜”的内容，让爬取更高效——这等于在铺撮合市场。

不是 Cloudflare 一家：其他“基于同意/可溯源数据”的玩家（CrowdGenAI、Real.Photos、Spawning.ai、Tonic.ai、DataDistil），共同点是：你的数据有价值，你该有选择权。