A plataforma deseja que os sites de hospedagem tenham mais controle sobre como as empresas de IA usam seu conteúdo.
nuvemflare Ele anunciou seus planos para bloquear automaticamente rastreadores da web de uso misto que indexam páginas em mecanismos de pesquisa e operam como agentes de IA e professores ao mesmo tempo. Anteriormente, a empresa oferecia a seus clientes a opção de bloquear usuários não autorizados em seus sites para chatbots de IA, mas agora o status da Cloudflare é mais defensivo por padrão.
“Como a maioria das empresas na Internet não são humanas, devemos ir mais longe e agir mais rapidamente para permitir o surgimento de um ecossistema sustentável”, disse Matthew Prince, CEO e cofundador da Cloudflare, em um comunicado. “As novas ferramentas e parcerias da Cloudflare proporcionam aos proprietários de sites maior visibilidade e oportunidades de marketing, além dos benefícios das empresas de IA que têm um foco claro e transparente em clusters. Esperamos que as mudanças padrão propostas incentivem o rastreamento de uso misto para separar a pesquisa do uso e da prática pelo agente.”
O tráfego da Internet mostrou pessoas olhando anúncios por e-mail ou pagando por suas assinaturas, mas a popularidade dos modelos de IA que podem visitar sites em nome do usuário para extrair dados que o sistema pode extrair. A nova abordagem da Cloudflare é uma tentativa de reconstruir o relacionamento de uma forma que seja justa tanto para as empresas de IA quanto para qualquer lugar.
A partir de 15 de setembro de 2026, novos clientes e novas páginas de assinantes existentes da Cloudflare terão, por padrão, “permitido a pesquisa, mas a formação e uso do agente em páginas com anúncios”. Rastreadores de uso misto que não oferecem aos proprietários de sites a opção de escolher se seu site será usado para IA também serão incluídos em páginas com anúncios por padrão. Os usuários com contas gratuitas também mudarão para esses padrões, a menos que antes do prazo final de 15 de setembro, segundo a empresa.
Como parte dessas mudanças, a Cloudflare também introduziu uma nova versão do recurso Pay Per Crawl, lançada em 2025, que permitia que sites de IA fossem bloqueados por padrão, a menos que as empresas pagassem para copiar seu conteúdo. O recurso agora é chamado de Pay Per Use e, em vez de basear os pagamentos no rastreamento das páginas da web, a Cloudflare diz que os proprietários de sites devem ser pagos quando seu conteúdo aparecer nas respostas dos chatbots de IA. O anúncio menciona apenas parcerias com Ceramic.AI e You.com, mas a Cloudflare provavelmente espera que outras empresas de IA aceitem seus clientes.
Além de tentar tornar a relação entre sites e empresas de IA mais equitativa; como TechCrunch notasA Cloudflare também parece ter como alvo indireto o Google. O anúncio da empresa menciona que “o maior mecanismo de busca tem acesso a cerca de 2 vezes mais informações do que as empresas líderes de IA, que continuam difíceis de serem encontradas pelos clientes sem também serem usadas para IA”. O principal rastreador do Google, o Googlebot, também indexa páginas para vários mecanismos de pesquisa e coleta dados para ativar o Gemini e potencializar recursos de IA, como visões gerais de IA e modo AI. O Google permite que os sites optem por um rastreamento separado chamado Google-Extended, que rastreia apenas sites para pesquisas tradicionais, mas se o editor quiser ser incluído no modo AI do evento, mas não quiser que o conteúdo seja instalado nos modelos do Google, eles não têm essa opção. A nova política da Cloudflare é uma tentativa de forçar o Google e outras empresas de uso misto a mudarem sua abordagem.
