Cada vez mais queremos saber: é humano ou é IA? Essa é uma imagem verdadeira? Que música? O que eu vejo? Substack está tentando adicionar alguma clareza à plataforma do notebook parceria com o detector AI Pangram para ajudar os leitores a entender quanta IA eles consomem em todo o conteúdo que publicam na plataforma.
A ferramenta está disponível para todos os assinantes do Substack e funciona em postagens, notas, comentários e respostas às terças-feiras ou após 100 palavras a mais. Os criadores também poderão escanear seus esboços com o Pangram para ver quanta IA foi capturada e até mesmo uma declaração para explicar seu processo de escrita, disse Substack.
Os usuários da Web e do iOS estão experimentando os recursos do Pangram agora, e os usuários do Android terão acesso mais tarde.
Em uma postagem de blog Ao anunciar a nova categoria, o cofundador e CEO da Substack, Chris Best, disse que sua plataforma visa evitar o significado de “pesca na nuvem”, quando um leitor pega conteúdo sem saber que foi gerado por IA.
“Quando os leitores têm que se perguntar se o que estão lendo é verdade, isso mina a confiança na autoridade e ameaça a vida dos escritores – mesmo daqueles que usam ferramentas de IA cuidadosamente para fazer o trabalho em que acreditam”, escreveu Best.
Da CNET: AI Slop está destruindo a Internet. Estas são as pessoas que lutam para salvar
Pangram geralmente aprecia 40% do texto em algumas plataformas de mídia social é IA, geneestimado, com dois terços do impressionante no site de relacionamento LinkedIn. E o agente de crescimento de IA Graphite publicou recentemente um white paper dizendo que a IA agora está escrevendo Tantos artigos online quanto pessoas. Uma pesquisa do Gartner descobriu que 68% das pessoas Eu me pergunto se eles estão contentes em ver o que é verdadee metade dos consumidores critica marcas que não usam IA em seu marketing.
Pois ele mesmo é uma testemunha
Acabei de entrar no Substack recentemente, mas queria conferir a nova ferramenta de detecção Pangram AI. A ferramenta funciona em postagens, notas, comentários e respostas, então decidi usar o log como teste de laboratório. Primeiro, entrei na minha conta Substack e editei uma nova postagem. Copiei e colei o texto de um artigo que escrevi – por mim, não pela IA – em uma postagem do Substack e editei-o.
Poucos minutos depois eu estava ganhando vida. No canto superior direito dos três itens de menu da página vi a opção “Scan for AI text”. Cliquei nele e uma pequena janela apareceu informando com precisão que meu artigo era “Escrito totalmente humano”. Uma linha aparece abaixo dela, indicando a porcentagem de IA, IA ou texto assistido por humanos.
Então peguei a mesma postagem, mas adicionei um parágrafo longo e totalmente gerado por IA que colei do ChatGPT. Quando realizei uma “Varredura de texto de IA”, a ferramenta relatou que 10% do artigo foi escrito por IA, uma estimativa aproximadamente precisa.
Em seguida, editei totalmente a postagem gerada por IA e a varredura foi corretamente identificada como 100% gerada por IA.
Para outro teste, adicionei duas frases geradas por IA a uma postagem que, de outra forma, era de conteúdo puramente humano e sinalizei a varredura como% gerada por humanos. Perto, mas não exatamente certo. Portanto, a ferramenta Pangram funcionou bem para meus experimentos brutos.
Embora eu estivesse bastante satisfeito com o desempenho do sistema de detecção de IA do Substack em meu conteúdo, fiquei desapontado ao saber que um dos meus blogueiros de podcast favoritos aparentemente adotou IA completa em suas últimas postagens. No entanto, outros escritores usaram textos totalmente gerados por humanos.
E quanto aos falsos positivos?
No anúncio, a Optime admitiu que a ferramenta de detecção de IA “não é perfeita”, mas citou pesquisas independentes que encontraram o software Pangram. 97,5% preciso Texto AI totalmente gerado detectado. A Universidade de Maryland descobriu que Pangram foi 99,3% preciso na identificação de “texto humano gerado por IA”, o que basicamente significa conteúdo de IA transcrito ou parafraseado por humanos.
Os redatores de substacks que não usam IA devem estar cientes dos autores erroneamente rotulados como assistidos por IA. Como resultado, o risco de falsos positivos é um problema significativo. Substack disse que os criadores podem escanear seu conteúdo para ver se ele está rotulado como IA enquanto ainda está em forma de rascunho. Se o Pangram identificar o texto de IA errado, o criador poderá relatar o erro ao Substack e remover a varredura falsa.
Para promover maior transparência, os editores podem agora incluir uma declaração “Como fazer” se quiserem que os leitores saibam quanto, se houver, IA foi usada em seu conteúdo. Na melhor das hipóteses, disse ele, Pangram não consegue detectar se a IA estava envolvida na coleta de informações ou como fonte para os textos escritos.
“Não somos contra as pessoas que usam IA para ajudá-las em seu trabalho e achamos que as pessoas deveriam ser livres para escolher quais ferramentas usar para se expressar”, disse Best. “Mas as pessoas precisam saber no que você está se metendo.”
Veja a biografia completa
