AI 评分 8.0/10
AI 评分 8.0/10Cloudflare 宣布，自 2026 年 9 月 15 日起，将默认拦截同时用于搜索索引和 AI 训练的“混合用途”AI 爬虫，被阻止的页面将包括带有广告的网页。该公司特别批评谷歌利用了一个漏洞：许多发布商阻止了 AI 爬虫但允许谷歌搜索爬虫，而谷歌却将抓取的内容用于 AI 训练。 这项政策迫使 AI 公司要么按功能区分爬虫，要么为内容使用付费，可能改变网络发布商与 AI 开发者之间的经济平衡。它可能为其他互联网基础设施服务商树立先例，并赋予发布商更多对其内容如何用于 AI 训练的控制权。 默认拦截适用于新注册的 Cloudflare 网站和现有免费套餐用户，付费用户可自行选择开启或关闭。此外，Cloudflare 与 Ceramic.ai 和 You.com 合作，推出了按使用付费的收入模式，允许 AI 公司根据实际使用情况向发布商支付补偿。
telegram · zaihuapd · 7月2日 05:37
背景: Cloudflare 是一家主要的互联网基础设施公司，为大量网站提供安全与性能服务。AI 爬虫是自动程序，用于抓取网站内容以训练大型语言模型。发布商面临两难：他们希望允许搜索引擎爬虫收录内容以提升可见度，但又不希望 AI 公司未经补偿就抓取内容用于训练。谷歌被指控忽视发布商的退出设置，并利用其搜索爬虫数据训练 AI，尽管声称其 Google-Extended 爬虫允许选择退出。
参考链接
原文: 
Horizon 日报 · 2026-07-03