Cloudflare给 AI 爬虫立下了新规矩,获得许可 or 付费

Cloudflare推出”Pay Per Crawl”实验性功能,允许网站对AI爬虫设置允许、收费或封锁,让内容创作者对自己的内容拥有议价权;数据显示AI爬虫与传统搜索引擎存在巨大差距:谷歌每6-7次抓取带回1次点击,而OpenAI需1500次、Anthropic需73300次才带回1次点击,严重打破原有生态平衡;该功能通过HTTP 402状态码和数字签名认证机制实现收费控制,目前处于内测阶段,可能为互联网内容创作者开创从”广告变现”到”内容授权变现”的新模式。

搜索