OpenAI, Google, Microsoft e Anthropic concordaram em apoiar uma nova maneira para os proprietários de sites evitarem que seu conteúdo seja usado para treinar modelos de inteligência artificial. As duas empresas apoiam o compartilhamento de sinais de exclusão no arquivo robots.txt de um site, que informa aos rastreadores de IA se devem usar seu conteúdo para treinamento.
Tal como a moderna Biblioteca de Alexandria, a Internet é a maior fonte de conhecimento existente da humanidade. Inúmeras pessoas passaram a vida catalogando e carregando toda a história humana para o benefício de todos.
As empresas de IA são um barril de pólvora nesse aspecto. Para treinar e desenvolver melhores capacidades de modelo, as empresas de IA estão constantemente vasculhando todos os cantos da Internet para criar arquivos de dados de treinamento. Juntamente com as mudanças na pesquisa e na forma como as pessoas procuram informações, a IA tem o potencial de se tornar um ponto único de acesso à informação.
Último vídeo deRadar Tecnológico
Mas só porque você tem um site não significa que você deseja que ele seja constantemente invadido por bots que roubam respostas aos quebra-cabeças da sua vida para que as pessoas possam acessá-los em outro lugar.
Felizmente, você não está sozinho. A indignação entre usuários e hosts de sites na Internet levou ao desenvolvimento de maneiras de impedir que empresas de IA coletem dados de seu site.
Assim como colocar fatias de queijo suíço em camadas, esses métodos funcionam melhor para manter o raspador afastado quando usados de forma defensiva. Mas alguns bots maliciosos ainda encontram maneiras de contornar as brechas. Aqui estão algumas maneiras de impedir bots honestos:
1.robô.txt
Este é o ponto crucial Como a OpenAI respeita os sinalizadores anti-web scraping. O arquivo de texto “robots.txt” está localizado no diretório raiz do seu site e fornece orientações sobre como os robôs devem se comportar. Essa pode ser uma maneira útil de fornecer um mapa digital para rastreadores de mecanismos de pesquisa e também pode evitar que os servidores do seu site fiquem sobrecarregados com solicitações de bot.
No entanto, apenas adicionando alguns caracteres a este arquivo, você pode bloquear o acesso de uma grande parte do tráfego de bot ao seu site. Claro, infelizmente, isso só funciona para rastreadores que realmente obedecem às regras do arquivo robots.txt.
A OpenAI estabelece um precedente para outras empresas de IA, acrescentando: “Encorajamos outros fornecedores de IA a respeitar este sinal”.
Existem várias maneiras de gerenciar quais bots específicos você deseja permitir em seu site, mas para bloquear o tráfego de IA, você pode seguir os seguintes passos:
- Abra seu arquivo robots.txt, se não tiver um, use um editor de texto para criar um
- Use header’ para adicionar uma seção ao arquivo#rastreador de inteligência artificial‘
- Para bloquear todos os rastreadores de IA, adicione uma linha abaixo dizendo “proibir:/‘
- Para bloquear rastreadores de IA específicos, como ChatGPT, coloque ‘Agente do usuário: ChatGPT-User‘em linha com’proibir:/‘ abaixo
- Você pode impedir que rastreadores de IA acessem páginas específicas adicionando o URL após “/”. Por exemplo, posso usar regras para impedir que rastreadores de IA acessem minha página de autorProibido: /autor/benedict-collins‘
- Atualize o arquivo robots.txt no arquivo de origem do site
2. Para visualização apenas por usuários
Mas isso traz suas próprias ressalvas, e o Reddit está descobrindo da maneira mais difícil com base no feedback dos usuários. Fornece uma experiência de pesquisa mais fácil para pessoas em qualquer lugar da Web, sem necessidade de conta. Eles podem encontrar as informações de que precisam sem complicações e sem ter que entregar suas informações pessoais a outro site.
Ter que fazer login ou criar uma conta para visualizar o conteúdo da web pode fazer com que as pessoas “saiam” – elas clicam no seu site, descobrem que precisam criar uma conta e, em seguida, saem imediatamente do seu site para encontrar as informações de que precisam em outro lugar. Portanto, se o seu tráfego é importante para você, proceda com cautela.
3. Restrições de IP
Os bots de IA podem usar um único endereço IP para acessar seu site em massa. Serviços de terceiros oferecem essa opção para evitar que o servidor do seu site seja bombardeado com tráfego rápido, mas isso pode ter um custo monetário.
Este método pode ser usado para definir um cronômetro em endereços IP específicos detectados como tráfego de bot. Por exemplo, se um único IP enviar múltiplas solicitações de acesso, você poderá ajustar as configurações para que o IP possa enviar apenas 5 solicitações em 10 segundos.
Mas esteja ciente de que alguns bots de IA ou web scrapers usarão IPs rotativos, alternando entre eles para evitar o bloqueio de um único IP.
4. Código de verificação
Este é um método um tanto antigo de verificação humana com o qual a maioria das pessoas tem uma relação de amor e ódio. Não me importo de contar ônibus ou bicicletas, ou de alinhar a peça correta do quebra-cabeça com seu lugar, mas algumas pessoas veem isso como um ritual humilhante para provar sua humanidade.
Para piorar a situação, alguns modelos de IA são bons o suficiente para resolver problemas de CAPTCHA por conta própria.
Ele pode ajudar a filtrar tentativas implacáveis de web scrapers e bots de IA menos capazes, mas também pode levar a reações adversas dos usuários – especialmente aqueles que têm medo particular de ataques ClickFix, que podem ver CAPTCHAs complexos como uma forma de sequestrar seus dispositivos.
Portanto, use esses métodos com cautela, pois são uma faca de dois gumes. Você pode impedir que bots de IA coletem seus dados, mas isso também pode prejudicar a experiência do usuário.
Siga o TechRadar no Google Notícias e Adicione-nos como sua fonte preferida Receba notícias, análises e opiniões de nossos especialistas em seu feed.
Os melhores laptops para cada orçamento
