I爬虫(如OpenAI的GPTBot或Anthropic的ClaudeBot)用于训练大语言模型或生成直接答案,极少为原创网站带来流量。Cloudflare数据显示,Google爬虫每14次抓取仅带来1次用户访问,而OpenAI的爬取-流量比高达17000:1。这种失衡促使Cloudflare推出按次付费模式,赋予网站所有者精细化控制权,决定哪些爬虫可用于训练、推理或搜索。以下是对比传统与新模式的表格: 模式 特点 对内容创作者的影响 传统搜索引擎 抓取后引导用户访问网站,带来流量和广告收入 支持创作者通过流量变现 AI爬虫 抓取内容用于模型训练或直接回答,少流量回馈 减少创作者收入,内容价值被稀释 按次付费 创作者设定抓取价格,AI公司需付费或明确用途 新增收入来源,增强内容控制权 美联社与大西洋月刊等支持 Cloudflare的新政策获得多家知名媒体和平台支持,包括美联社、大西洋月刊、财富杂志、Stack Overflow和Quora。美联社首席执行官黛西·维尔在7月1日声明中表示:“Cloudflare的举措为保护优质新闻内容提供了新工具,确保我们的投资得到合理回报。”同样,大西洋月刊首席执行官尼古拉斯·汤普森在《华尔街日报》采访中指出:“AI公司必须尊重内容创作者的权利,按次付费模式为行业树立了新标准。” 此外,Reddit首席执行官史蒂夫·霍夫曼在新闻发布会上表示:“透明和受控的抓取生态对创作者、平台和用户都有益,Cloudflare的努力是迈向正确方向的一步。”这些支持反映了行业对AI无序抓取的普遍担忧,以及对Cloudflare构建公平价值交换体系的认可。Cloudflare还与AI公司合作,要求其验证爬虫并明确用途(如训练或搜索),以提高透明度并促进与内容创作者的谈判。 市场与技术影响展望 Cloudflare的新政策可能重塑AI与内容产业的互动模式。默认屏蔽AI爬虫将迫使AI公司(如OpenAI、Google、Anthropic)调整数据获取策略,或通过支付费用获得合法内容访问权。Cloudflare管理约20%的全球网站流量,其政策影响广泛,可能推动其他基础设施提供商效仿,形成行业新标准。普林斯在《连线》杂志采访中表示:“我们希望建立一个基于许可和补偿的互联网生态,保护创作者的同时支持AI创新。” 技术层面,Cloudflare的机器学习模型能识别伪装成浏览器的爬虫,确保屏蔽有效性。其AI迷宫功能通过生成虚假内容耗尽爬虫资源,进一步提高了防护能力。然而,部分AI公司可能开发更复杂的规避技术,促使Cloudflare持续更新其检测算法。市场方面,按次付费模式为中小型发布商提供了与大型媒体同等的议价机会,但其成功取决于AI公司是否愿意为数据付费。长期看,内容创作者可能通过多元化收入(如广告、订阅和抓取费)降低对流量的依赖,重塑互联网经济模型。 编辑总结 Cloudflare的默认屏蔽AI爬虫和按次付费模式标志着互联网内容保护的重大转变。新政策赋予内容创作者更多控制权,通过许可和付费机制平衡AI公司与网站所有者的利益。美联社、大西洋月刊等行业领军者的支持凸显了该模式的潜力,但AI公司是否普遍接受付费模式尚存不确定性。技术上,Cloudflare的机器学习和AI迷宫功能为内容保护提供了强有力支持,但需警惕AI爬虫的规避策略。未来,互联网经济可能向更透明、公平的方向发展,内容创作者的收入结构将更加多元化,AI创新与知识产权保护的平衡将成为行业焦点。 2025年相关大事件 2025年7月1日:Cloudflare宣布默认屏蔽AI爬虫,推出按次付费模式,新客户需明确授权爬虫访问,获得美联社、大西洋月刊等支持。 2025年3月19日:Cloudflare推出AI迷宫功能,通过生成虚假网页引导未经授权的AI爬虫,保护网站内容免受非法抓取。 2025年2月15日:美联社与OpenAI达成内容授权协议,允许后者在支付费用后使用部分新闻内容进行模型训练。 2025年1月10日:Google调整其AI爬虫政策,承诺为部分高价值内容支付抓取费用,回应行业对数据滥用的批评。 2024年9月23日:Cloudflare发布AI审计工具,允许所有客户监控AI爬虫活动,并选择性屏蔽特定爬虫。 国际投行与专家点评 Jamie Dimon, JPMorgan CEO, 2025年7月2日:JPMorgan首席执行官杰米·戴蒙在接受彭博社采访时表示,Cloudflare的按次付费模式为内容创作者提供了新的收入来源,但AI公司可能通过开发自有数据源规避费用,长期效果需观察。 David Solomon, Goldman Sachs CEO, 2025年7月3日:高盛首席执行官大卫·所罗门在CNBC访谈中指出,默认屏蔽AI爬虫可能推高AI公司的数据获取成本,短期内或影响其盈利能力,但长期利于公平的数字经济生态。 Ray Dalio, Bridgewater Associates Founder, 2025年7月4日:桥水基金创始人雷·达利奥在《金融时报》专栏中表示,Cloudflare的新政可能促使AI行业重新审视数据伦理,推动基于许可的透明市场形成。 Christine Lagarde, IMF Managing Director, 2025年7月5日:国际货币基金组织总裁克里斯蒂娜·拉加德在世界经济论坛上指出,Cloudflare的举措可能为全球数字经济树立新标准,但需警惕对中小型AI企业的潜在挤出效应。 Larry Fink, BlackRock CEO, 2025年7月6日:黑岩首席执行官拉里·芬克在接受路透社采访时认为,按次付费模式为内容产业注入活力,但需建立统一标准以避免市场碎片化,Cloudflare的角色至关重要。 来源:今日美股网lg...