Cloudflare新政策：AI公司想抓取网站内容？先付钱再说

Cloudflare新政策AI公司想抓取网站内容先付钱再说最近读了一篇TechCrunch的报道讲的是Cloudflare对AI行业下了一道最后通牒——从今年9月15日开始Cloudflare将默认屏蔽那些混合用途的网络爬虫除非网站主主动调整设置。这事儿挺有意思的我来给大家捋一捋。先说背景。Cloudflare是全球最大的CDN和网络安全服务商之一很多网站都用它来加速访问和防御攻击。而现在它要对AI公司动刀了。Cloudflare这次的核心动作是要求AI公司将用于传统搜索的爬虫比如Google Search那种和用于AI代理、模型训练的爬虫彻底分开。如果不分开那些混用的爬虫会被默认屏蔽尤其是在有广告的页面上。这个改动会先影响新客户、新网站以及所有免费客户。为什么Cloudflare要这么干他们提到了一个很关键的数据现在互联网上大部分流量已经不是人类产生的了而是机器人。Bot流量首次超过了人类流量比预期提前了一年。Cloudflare的CEO Matthew Prince说得很直白——既然机器人流量已经超过人类我们必须走得更远、更快才能让生态系统可持续发展。Cloudflare还点名了全球最大的搜索引擎明摆着说的是Google说它能获取的信息量大约是其他AI公司的两倍原因很简单Google让网站主很难在保持搜索可见性的同时拒绝被用于AI训练。Google这边也回应了说他们提供了一个叫Google Extended的工具网站主可以用它来拒绝内容被用于Gemini、Vertex API等AI产品而且不会影响在Google搜索中的收录。但问题是Google的核心爬虫Googlebot既抓搜索内容也抓AI功能需要的数据比如AI Overviews和AI Mode。Cloudflare之前已经推出过一些工具来帮助网站主对抗AI爬虫比如一个叫Pay Per Crawl的市场允许网站向AI爬虫收费。现在这个产品升级成了Pay Per Use——不只是按抓取次数收费而是当AI公司使用你的内容产生了价值时才付费。目前已知的合作伙伴是Ceramic.ai和You.com当网站主的内容出现在Ceramic的AI搜索结果中或者You.com访问了付费内容时网站主就能拿到钱。Cloudflare的数据还显示AI爬虫超过50%的流量都在重复抓取没有变化的页面这对网站主来说是纯粹的带宽和计算资源浪费。说实话我觉得Cloudflare这步棋走得挺聪明的。一方面它站在网站主这边保护内容创作者的利益另一方面它也给了AI公司一条明路——你的爬虫意图清晰、付费合理就可以继续抓取。这比一刀切的封锁要灵活得多。对AI行业来说这意味着什么第一AI公司不能再免费获取网页内容了尤其是那些有广告、有商业价值的页面。第二搜索和AI训练的爬虫必须分开这会增加AI公司的运营复杂度。第三内容付费模式可能会成为新常态——你的内容被AI用了就该拿到报酬。其实这件事反映了一个更大的趋势互联网的免费午餐时代正在结束。过去AI公司可以随便抓取网页内容来训练模型网站主几乎没有任何议价能力。现在像Cloudflare这样的中间层平台开始介入帮网站主争取利益。这可能会重塑整个AI内容生态。当然这个政策目前只影响Cloudflare的客户而且是默认设置网站主可以自己调整。但从方向上看它代表了行业的一个重要转变内容不再是AI的免费原材料而是有价格的资源。对于我们普通用户来说短期内可能感受不到太大变化。但长期来看如果AI公司要为内容付费这些成本最终可能会转嫁到产品定价上。不过话说回来让内容创作者拿到应得的报酬这本身是一件好事。总之Cloudflare这次是站在了内容创作者保护者的位置上给AI行业画了一条线。至于AI公司会不会乖乖照做还是要看后续的博弈了。