Na semana passada, começou um novo movimento de fanworks que visa usar IA generativa para erradicar autores. No entanto, os métodos de detecção implementados são questionáveis e podem expor os escritores de fanfics a uma série de ataques.
Há muito tempo que existe uma aversão generalizada ao uso de Claude, ChatGPT e outras ferramentas de IA. coisa Em comunidades criativas, incluindo o mundo da fanfiction. Leitores e escritores ofereceram dicas sobre como identificar obras que parecem ter sido geradas por IA, citando tudo, desde travessões a símbolos. conceito amplo de prosa roxa. No entanto, no dia 29 de junho, recebi uma ligação de uma conta X anônima. @hotedrivalryai Prometeu uma solução aparentemente mais confiável. Ele postou um skin semelhante a uma extensão do popular repositório de fanfiction Archive of Our Own (AO3), que pretende identificar artefatos de codificação deixados pelo bot Claude da Anthropic.
“Quando uma resposta gerada por Claude é colada diretamente de Claude no AO3, o texto é encapsulado pelo código ‘font-claude-response-body’ inserido por Claude”, diz a conta @heatedrivalryai. “Sua presença indica conclusivamente o uso de Claude.” Quando um usuário visita uma página que contém esse código (como uma obra de fanfiction), todo o fundo do skin fica vermelho.
alguns posto de teste foi publicado no AO3 para que os usuários possam ver se funciona. Quando eu mesmo testei a pele com esses exemplos, a tela rapidamente ficou vermelha e, por precaução, publiquei um conto que Claude gerou para realizar meus próprios experimentos. Uma tela vermelha apareceu ao colar diretamente do chatbot no editor, e a tela vermelha desapareceu ao colar texto que não veio diretamente de Claude (incluindo exatamente a mesma história gerada).
A postagem de Claude Detector veio acompanhada de um exemplo de fanfiction em que o artefato foi descoberto, mas o autor anônimo disse que a intenção era demonstrar o funcionamento do sistema e não “desacreditar ou apontar o dedo para algum usuário em particular”. Mas a comunidade de fanfiction rapidamente tomou medidas para nomear e envergonhar publicamente os autores cujos trabalhos foram sinalizados pela ferramenta, e seus criadores definitivamente não veem a IA como algo positivo. “O Fandom é um espaço exclusivamente conectado e colaborativo. Ele prospera com o elemento humano e o brilho criativo que o impulsiona e se alimenta”, disseram eles. “Se, sem saber, permitirmos que a IA destrua esses espaços, o que restará lá?”
A Anthropic não respondeu ao meu pedido para confirmar se o detector Claude construído em leque funciona conforme descrito. No entanto, a metodologia aqui certamente parece estar correta, e nossos próprios testes confirmam isso. Não há nenhuma razão óbvia para o código de Claude estar na história, a menos que o bot seja usado de alguma forma. No entanto, existem riscos claros de falsos negativos e de generalização excessiva.
A quebra de código só será preservada se o texto for copiado diretamente do Claude para o editor do AO3, portanto não será detectado se for editado no Google Docs ou no Microsoft Word e depois movido para o AO3. Além disso, como alguém que ganha a vida escreve, posso atestar como é perigoso escrever diretamente em um CMS. Alguns autores sinalizados já atualizaram seus trabalhos para remover os artefatos, e trabalhos futuros poderão contornar facilmente a ferramenta.
Por outro lado, as tags não revelam com que frequência Claude foi usado em uma obra específica. Aquela tela escarlate flashbang pode significar que toda a história foi gerada inteiramente pela IA. Ou pode significar que o autor colou algumas frases escritas por humanos em Claude para verificação ortográfica ou tradução e depois as enviou de volta ao AO3.
Para alguns membros do fandom, isso não importava. Qualquer O uso de IA generativa é uma traição imperdoável à comunidade criativa mais ampla. Muitos citaram preocupações sobre o impacto da tecnologia no meio ambiente e como ela é treinada através da raspagem da web aberta, incluindo trabalhos de fãs carregados em plataformas como o AO3.
Esta ferramenta específica tem escopo limitado. O AO3 não é a única plataforma para publicação de trabalhos de fãs, e Claude é apenas um dos muitos modelos de IA. pelo menos alguém afirma Eles escreveram um código separado que pode detectar o uso de “Claude, Deepseek e alguns ChatGPT”, mas não disponibilizaram essa solução publicamente nem explicaram como ela funciona. Perguntei ao Google e à OpenAI se seus modelos deixam artefatos rastreáveis na geração de texto que podem ser detectados por meios semelhantes, mas não obtive resposta.
Na verdade, seria bastante surpreendente se existisse um sistema universalmente confiável. Tenho relatado problemas relacionados à detecção de IA nos últimos anos e, até onde sei, não é É agora uma solução técnica confiável para distinguir entre texto gerado e texto inserido por mãos humanas. Sistemas como C2PA Content Credentials e SynthID do Google fizeram algum progresso na identificação de IA gerada em imagens, vídeo e até mesmo áudio, mas dependem de marcas d’água invisíveis e metadados que não são transferidos para o texto copiado e colado.
As empresas de IA têm todos os incentivos para, pelo menos, resolver o problema internamente.
Esta situação pode mudar no futuro e as empresas de IA têm todos os incentivos para, pelo menos, resolver o problema internamente. Os primeiros modelos foram treinados em textos coletados aleatoriamente na Internet, mas à medida que a escrita humana ficou lotada de contrapartes sintéticas,colapso do modelo”Cenário, a saída será menos precisa.
Mas, por enquanto, a comunidade de fãs ainda depende principalmente de vibrações. A maioria das fanfiction não é julgada por ferramentas como skins do AO3, mas sim pelo que diz, que pode incluir qualquer coisa, desde estruturas de frases específicas (como o infame “Não é X, é Y”) até o uso excessivo de metáforas sofisticadas. (Pelo menos no mundo dos fãs, ninguém fez isso até agora. o banco vira homem.) Mas temos que lembrar disso AI muitas vezes escreve assim Porque é treinado com base no que pessoas reais escreveram. Está tentando nos replicar. Não sou ousado o suficiente para compartilhar meus favoritos do AO3, mas tenho certeza de que nos dias pré-ChatGPT da Internet li algumas fanfics exageradas que não passaram neste duvidoso teste de detecção.
As melhores soluções para distinguir trabalhos de IA no AO3 já estão disponíveis. É um sistema robusto de marcação para o site. “Criado usando IA generativa” A etiqueta existe, e muitos autores a incluem para divulgar o uso de ferramentas como a de Claude. No entanto, exige transparência honesta e, dada a reação, há pouco incentivo para a honestidade. Também vale a pena lembrar que a fanfiction deve ser um hobby, não uma indústria regulamentada.
Com estes esforços para evitar que a IA roube a atenção da verdadeira criatividade impulsionada pelo ser humano, os escritores que não aderem ao que é considerado uma qualidade de escrita aceitável podem tornar-se vítimas inocentes de uma caça às bruxas em curso. Pelo menos um escritor já se envolveu neste caso por causa de outra pessoa em quem confiava. editar meu romance Eu fiz isso com Claude. Portanto, mesmo que a próxima fanfic que você leia pareça um pouco robótica, lembre-se de que pode não ser. na verdade Sendo um produto de robôs.
