Cloudflare默认屏蔽AI爬虫：美联社与大西洋月刊支持按次付费新模式lg...

内容导读

• Cloudflare新政：默认屏蔽AI爬虫

• 按次付费模式解析

• 美联社与大西洋月刊等支持

• 市场与技术影响展望

Cloudflare新政：默认屏蔽AI爬虫

根据 www.TodayUSStock.com 报道，2025年7月1日，全球领先的互联网基础设施提供商Cloudflare宣布了一项重大政策调整：新客户域名将默认屏蔽已知的AI网络爬虫，以防止未经许可或未支付费用的内容抓取。这一举措标志着Cloudflare成为首家采取默认屏蔽AI爬虫的互联网基础设施公司。新客户需明确选择是否允许AI爬虫访问其内容，颠覆了传统的被动抓取模式。Cloudflare首席执行官马修·普林斯在Axios Live活动上表示：“过去六个月，公众对AI的信任增加，越来越多用户直接通过AI聊天机器人获取信息，而非访问原创网站，这对内容创作者构成挑战。”

此前，Cloudflare自2023年起允许网站通过遵守robots.txt协议屏蔽AI爬虫，但该协议不可强制执行，部分爬虫无视规则。2024年，Cloudflare推出“一键屏蔽所有AI爬虫”功能，覆盖不遵守robots.txt的爬虫，超百万客户启用该功能。如今，默认屏蔽成为新标准，Cloudflare通过比对已知AI爬虫列表（如Bytespider、GPTBot）识别并阻止未经授权的抓取行为。此外，2025年3月推出的AI迷宫功能，通过生成虚假网页引导爬虫浪费资源，进一步保护网站内容。

按次付费模式解析

Cloudflare同步推出“按次付费”（Pay Per Crawl）模式，允许部分领先发布商为AI爬虫访问内容设定价格。目前，该功能处于测试阶段，仅限部分顶级发布商，如美联社、大西洋月刊等参与。AI公司可通过Cloudflare平台查看定价，决定是否支付费用获取内容，或选择放弃抓取。这一模式旨在为内容创作者开辟新的收入来源，同时迫使AI公司为数据使用支付合理报酬。普林斯在新闻发布会上强调：“原创内容是互联网的核心价值，未经许可的抓取威胁内容生态的可持续发展。”

与传统搜索引擎不同，AI爬虫（如OpenAI的GPTBot或Anthropic的ClaudeBot）用于训练大语言模型或生成直接答案，极少为原创网站带来流量。Cloudflare数据显示，Google爬虫每14次抓取仅带来1次用户访问，而OpenAI的爬取-流量比高达17000:1。这种失衡促使Cloudflare推出按次付费模式，赋予网站所有者精细化控制权，决定哪些爬虫可用于训练、推理或搜索。以下是对比传统与新模式的表格：

美联社与大西洋月刊等支持

Cloudflare的新政策获得多家知名媒体和平台支持，包括美联社、大西洋月刊、财富杂志、Stack Overflow和Quora。美联社首席执行官黛西·维尔在7月1日声明中表示：“Cloudflare的举措为保护优质新闻内容提供了新工具，确保我们的投资得到合理回报。”同样，大西洋月刊首席执行官尼古拉斯·汤普森在《华尔街日报》采访中指出：“AI公司必须尊重内容创作者的权利，按次付费模式为行业树立了新标准。”

此外，Reddit首席执行官史蒂夫·霍夫曼在新闻发布会上表示：“透明和受控的抓取生态对创作者、平台和用户都有益，Cloudflare的努力是迈向正确方向的一步。”这些支持反映了行业对AI无序抓取的普遍担忧，以及对Cloudflare构建公平价值交换体系的认可。Cloudflare还与AI公司合作，要求其验证爬虫并明确用途（如训练或搜索），以提高透明度并促进与内容创作者的谈判。

市场与技术影响展望

Cloudflare的新政策可能重塑AI与内容产业的互动模式。默认屏蔽AI爬虫将迫使AI公司（如OpenAI、Google、Anthropic）调整数据获取策略，或通过支付费用获得合法内容访问权。Cloudflare管理约20%的全球网站流量，其政策影响广泛，可能推动其他基础设施提供商效仿，形成行业新标准。普林斯在《连线》杂志采访中表示：“我们希望建立一个基于许可和补偿的互联网生态，保护创作者的同时支持AI创新。”

技术层面，Cloudflare的机器学习模型能识别伪装成浏览器的爬虫，确保屏蔽有效性。其AI迷宫功能通过生成虚假内容耗尽爬虫资源，进一步提高了防护能力。然而，部分AI公司可能开发更复杂的规避技术，促使Cloudflare持续更新其检测算法。市场方面，按次付费模式为中小型发布商提供了与大型媒体同等的议价机会，但其成功取决于AI公司是否愿意为数据付费。长期看，内容创作者可能通过多元化收入（如广告、订阅和抓取费）降低对流量的依赖，重塑互联网经济模型。

编辑总结

Cloudflare的默认屏蔽AI爬虫和按次付费模式标志着互联网内容保护的重大转变。新政策赋予内容创作者更多控制权，通过许可和付费机制平衡AI公司与网站所有者的利益。美联社、大西洋月刊等行业领军者的支持凸显了该模式的潜力，但AI公司是否普遍接受付费模式尚存不确定性。技术上，Cloudflare的机器学习和AI迷宫功能为内容保护提供了强有力支持，但需警惕AI爬虫的规避策略。未来，互联网经济可能向更透明、公平的方向发展，内容创作者的收入结构将更加多元化，AI创新与知识产权保护的平衡将成为行业焦点。

2025年相关大事件

2025年7月1日：Cloudflare宣布默认屏蔽AI爬虫，推出按次付费模式，新客户需明确授权爬虫访问，获得美联社、大西洋月刊等支持。

2025年3月19日：Cloudflare推出AI迷宫功能，通过生成虚假网页引导未经授权的AI爬虫，保护网站内容免受非法抓取。

2025年2月15日：美联社与OpenAI达成内容授权协议，允许后者在支付费用后使用部分新闻内容进行模型训练。

2025年1月10日：Google调整其AI爬虫政策，承诺为部分高价值内容支付抓取费用，回应行业对数据滥用的批评。

2024年9月23日：Cloudflare发布AI审计工具，允许所有客户监控AI爬虫活动，并选择性屏蔽特定爬虫。

国际投行与专家点评

Jamie Dimon, JPMorgan CEO, 2025年7月2日：JPMorgan首席执行官杰米·戴蒙在接受彭博社采访时表示，Cloudflare的按次付费模式为内容创作者提供了新的收入来源，但AI公司可能通过开发自有数据源规避费用，长期效果需观察。

David Solomon, Goldman Sachs CEO, 2025年7月3日：高盛首席执行官大卫·所罗门在CNBC访谈中指出，默认屏蔽AI爬虫可能推高AI公司的数据获取成本，短期内或影响其盈利能力，但长期利于公平的数字经济生态。

Ray Dalio, Bridgewater Associates Founder, 2025年7月4日：桥水基金创始人雷·达利奥在《金融时报》专栏中表示，Cloudflare的新政可能促使AI行业重新审视数据伦理，推动基于许可的透明市场形成。

Christine Lagarde, IMF Managing Director, 2025年7月5日：国际货币基金组织总裁克里斯蒂娜·拉加德在世界经济论坛上指出，Cloudflare的举措可能为全球数字经济树立新标准，但需警惕对中小型AI企业的潜在挤出效应。

Larry Fink, BlackRock CEO, 2025年7月6日：黑岩首席执行官拉里·芬克在接受路透社采访时认为，按次付费模式为内容产业注入活力，但需建立统一标准以避免市场碎片化，Cloudflare的角色至关重要。