本文来自于 Alex Kantrowitz 对Cloudflare CEO Matthew Prince 的访谈，以下是视频精华。
我们正处在一个奇怪的十字路口。一方面，生成式AI以前所未有的速度为我们提供答案、生成内容，带来了极大的便利；另一方面，这些AI模型的“饲料”——也就是整个互联网上由无数创作者辛辛苦苦生产的内容——正在被无偿地、大规模地吞噬。
这个正在悄然改变互联网底层逻辑的现象，已经引起了网络安全巨头Cloudflare的警觉。其联合创始人兼CEO，Matthew Prince，最近便站了出来，详细剖析了这场危机，并宣布了一项旨在“纠正航向”的大胆计划。
互联网的“旧契约”正在失灵
过去三十年，互联网内容生态的运转依赖于一个不成文的“契约”，特别是以谷歌为代表的搜索引擎所建立的模式：
- 创作者发布内容。
- 搜索引擎抓取内容，并将其编入索引。
- 用户搜索，搜索引擎提供链接，将流量导向创作者的网站。
在这个模式下，创作者通过获得的流量，可以通过三种方式变现：
- 付费订阅：卖内容本身。
- 广告：卖用户的注意力。
- 精神满足：知道有人在看自己的作品，获得影响力。
这个“我让你抓取，你给我流量”的交易，是整个网络内容生态繁荣的基石。
然而，AI的崛起正在打破这个平衡。当你在AI聊天框里输入问题，它不再是给你十个蓝色链接让你自己点击，而是直接生成一个综合性的答案。这听起来很棒，对吗？但问题随之而来：用户得到了答案，就不会再去访问原始的内容来源了。
没有了访问量，创作者就无法再卖订阅、挂广告，甚至连自己的内容是否被使用了都不知道。Matthew Prince一针见血地指出：“如果创造内容的激励消失了，那么在AI驱动的未来，谁还会去创造内容呢？”
温水煮青蛙：正在恶化的数据
你可能会觉得，这个问题以前就有了。谷歌搜索结果页面的“答案框”不也是直接给答案吗？没错，这正是问题所在。Matthew Prince用Cloudflare掌握的十年数据，描绘了一幅“温水煮青蛙”的图景：
- 十年前：谷歌抓取2次网页，就能为网站带去1次点击。
- 半年前（AI Overviews推出前）：由于“答案框”的普及，这个比例恶化到了抓取6次，才带来1次点击。
- 现在（AI Overviews推出后）：这个数字飙升到了抓取18次，才有1次点击！
获取流量的难度在十年间增加了近10倍。而这还只是谷歌。如果你觉得这已经够糟了，看看新生代的AI公司：
- OpenAI：平均要抓取 1500页 内容，才会给你带去1次点击。（获取流量的难度是十年前谷歌的750倍）
- Anthropic：这个数字更是达到了惊人的 60,000页 换1次点击。（难度是30,000倍）
这不仅仅是流量损失的问题。每一次AI爬虫的抓取，都在消耗网站的服务器资源，这些都是内容发布者真金白银的成本。维基百科等网站就已经公开表示，AI爬虫导致他们的服务器成本指数级增长，而这些都不是人类访客。
“这就像，AI公司拿走了你的面包去喂养他们的金鹅，不仅没付钱，连你做面包的面粉钱都让你自己掏。”
别以为这只是内容创作者的烦恼
有人可能会说，这是市场演进的必然结果，更好的用户体验就该胜出。Matthew Prince并不反对AI是未来的趋势，他反而坚信AI将成为互联网未来的主要交互界面。但他提出了一个更深层次的担忧：
“所有这些AI系统赖以运行的燃料，正是那些原创内容。如果我们扼杀了这些内容的商业模式，我们最终也会扼杀AI系统本身。”
他用了一个生动的比喻：每个大语言模型都像一块瑞士奶酪（Swiss Cheese），虽然看起来很完整，但里面充满了大大小小的知识空洞。而高质量的原创内容，就是用来填补这些空洞的。
如果未来网络上充斥的都是AI生成、相互借鉴的二手内容，就像迈克尔·基顿的老电影《丈夫一箩筐》（Multiplicity）里那样，每一次复制都会让质量变得更差。最终，AI模型将因为缺乏新鲜、高质量的“养料”而变得“愚蠢”，陷入一个自我循环的怪圈。
是走向“美第奇时代”，还是让机器人为知识付费？
如果放任现状发展下去，未来会是怎样？Prince描绘了一种颇具“黑镜”色彩的反乌托邦景象：
我们可能不会看到内容创作的消亡，而是会退回到类似文艺复兴时期的**“美第奇时代”**。届时，世界上可能只剩下几家巨型AI公司，它们各自雇佣一批记者、研究员和学者，成为知识的赞助人和唯一权威。一家可能是“保守派AI”，另一家是“自由派AI”。所有知识的生产都将整合到这些巨头内部，独立的声音将不复存在。
这显然不是我们想要的未来。互联网的魅力在于其信息的民主化和多元化。
因此，Prince提出了一个充满理想主义色彩的愿景：
“在我的乌托邦未来里，机器人应该为内容付一大笔钱，而人类应该再次免费获取内容。”
因为机器人每一次抓取内容，都是在为成千上万甚至数百万的人类用户服务，理应为此付费。
技术反击：不只是屏蔽，更是构建一个新市场
空谈无益，Cloudflare已经采取了行动。他们意识到，传统的robots.txt协议（网站用来告知爬虫哪些内容不应抓取的君子协定）已经不够用了，因为它既可以被无视，也不够精细。
Cloudflare的解决方案分为两步：
筑起高墙：从7月1日开始，Cloudflare为客户提供了一项新功能，默认屏蔽已知的AI爬虫访问那些带有商业意图的页面（比如有付费墙或挂有广告的页面）。这不再是君子协定，而是真正的技术壁垒。
开启市场：他们重新启用了互联网协议里一个长期被忽视的状态码——
402 Payment Required(需要付款)。当AI爬虫试图访问被保护的内容时，它会收到这个响应，从而开启一个协商和交易的可能性。
这个机制旨在创造一个市场：
- 大型玩家可以像Reddit、纽约时报已经做的那样，与AI公司达成大规模的内容授权协议。
- 小型创作者也可以动态地为自己的内容定价。Cloudflare可以帮助评估某条内容对特定AI模型的价值（比如填补了哪个“奶酪洞”），AI公司则可以决定是否值得为此付费。也许是一笔几分钱的微交易，也许是一篇独家重磅文章的数百万美元授权。
这个计划得到了包括康泰纳仕（Condé Nast）、《时代周刊》、《大西洋月刊》等众多主流出版商的支持。他们一同按下了象征性的红色按钮，开启了这场反击战。
未来的路与未解的谜题
当然，这个方案也面临挑战。比如，会不会影响网站的SEO？Matthew Prince表示，他们正与各方合作，推动robots.txt协议的进化，使其能更精细地区分“用于搜索索引”和“用于衍生内容创作”这两种不同的抓取行为，从而保护网站在传统搜索中的可见性。
这场博弈的核心，是为内容重新建立稀缺性。当OpenAI愿意为内容付费时，它绝不希望看到这些内容被免费提供给Anthropic。只有当所有玩家都在一个公平的规则下竞争时，一个健康、可持续的市场才有可能形成。
我们正站在一个时代的转折点。旧的商业模式正在瓦解，新的规则尚未建立。这场由Cloudflare发起的行动，或许不是最终的答案，但它无疑是朝着构建一个更公平、更有活力的AI时代互联网生态，迈出的关键一步。它的目的不是扼杀AI，而是确保在AI尽情“饕餮”知识盛宴的同时，那些辛苦烹饪的“厨师们”也能得到应有的回报。