Cloudflare 称 Perplexity绕过限制，抓取明令禁止 AI 抓取的网站

（来源：IT之家）

IT之家 8 月 5 日消息，当地时间周一，Cloudflare 发布了一份报告，指控 AI 初创公司 Perplexity 在网站已明确标注禁止 AI 抓取的情况下仍进行抓取，并通过改变身份标识规避拦截规则。

报告显示，Perplexity 忽略网站 robots.txt 文件（用于告知搜索引擎和 AI 公司哪些页面可供索引）及针对其已知爬虫的拦截规则，调整 UA 和 ASN 信息，通过更换身份和网络地址等手段绕过屏蔽并抓取大量内容。

Cloudflare 称，他们通过“机器学习与网络信号相结合”的方式，识别出了 Perplexity 爬虫的特征，其行为涉及“数万个域名，每天数百万次请求”。

针对指控，Perplexity 发言人 Jesse Dwyer 表示：Cloudflare 的博文是“销售噱头”，并表示文中截图“显示没有内容被访问”。在后续邮件中，Dwy

来源：新浪财经

为提升阅读体验，雪球对本页面进行了排版优化

风险提示：用户发表的所有文章仅代表个人观点，与雪球的立场无关。投资决策需建立在独立思考之上。