Discord reconheceu que um bug em seu sistema de controle de IA baniu falsamente mais de 8.000 usuários ao longo de dois meses depois que imagens inofensivas – incluindo expansões, damas, texturas de jogos, bem como áreas transparentes brancas e cinzas – continham conteúdo malicioso e prejudicial.
A empresa confirmou que o incidente afetou as contas desde maio, com mais 200 usuários banidos no fim de semana antes que sua equipe identificasse e corrigisse o problema. Todas as contas afetadas estão atualmente em processo de restauração.
O incidente destaca um dos desafios crescentes que rodeiam a regulamentação assistida por IA, uma vez que muitas plataformas dependem cada vez mais de sistemas automatizados para identificar conteúdos ilegais ou ofensivos em grande escala.
Em um tópico detalhado XDiscord explicou que seu sistema de segurança automatizado funciona comparando o conteúdo carregado com bancos de dados de materiais nocivos conhecidos. Embora a tecnologia seja capaz de capturar conteúdo, a empresa reconheceu que às vezes pode gerar falsos positivos. Um moderador humano revisará o conteúdo, mas o bug moverá imediatamente o sistema para as contas afetadas.
“Portanto, estamos trabalhando em melhores proteções para que isso não aconteça novamente”, escreveu a empresa.
Nossos sistemas de conteúdo padrão adaptam-no contra materiais nocivos conhecidos. Esse tipo de correspondência de similaridade pode produzir falsos positivos, portanto, um membro da equipe de Confiança e Segurança sempre analisa o conteúdo sinalizado antes de qualquer ação ser tomada.
A moralidade está na mente…
– Suporte Discord (@discord_support) 7 de julho de 2026
Por X e * Redditos usuários declararam que são constantemente impedidos de enviar imagens nas quais desejam padrões quadrados. Vários usuários pensaram que as ferramentas de moderação de IA do Discord haviam se tornado cada vez mais sensíveis aos padrões de grade que usavam anteriormente nas tentativas de ocultar ou ocultar NSFW e conteúdo de abuso infantil de sistemas de detecção automatizados.
Os utilizadores afetados expressaram frustração nas redes sociais, com alguns argumentando que as políticas em curso baseadas exclusivamente na deteção automatizada podem ter consequências graves, especialmente para utilizadores que dependem do Discord para trabalho, comunidades de jogos ou relações sociais de longo prazo.
“Perder uma conta do Discord para algo tão injusto como isso pode ser devastador e afetar seriamente a maioria dos usuários, e todos os dias milhões de usuários são afetados por falsos banimentos de IA. Isso precisa ser interrompido”, disse um usuário X. ele escreveu.
Minha conta foi banida injustamente da sua plataforma devido a um bug na detecção automática das texturas do meu jogo pela IA como CSAM. Preciso que minha conta seja diretor de jogo e uso o Discord para todas as minhas comunicações. Solicitei uma revisão da minha suspensão.@discórdia @discord_support pic.twitter.com/QfAkCIJo6S
– JDBRYANT 🎂 HOJE (@jdbryantdev) 4 de julho de 2026
A discrepância não está apenas em problemas de controle adversos devido a sistemas automatizados. No ano passado, usuários do Instagram e do Facebook relataram suspensões generalizadas que muitos acreditavam terem sido causadas por sistemas de controle de IA. Embora os usuários tenham apontado a automação como a provável culpada, a Meta nunca confirmou oficialmente se a IA foi responsável pelos erros. Agora, o Conselho de Supervisão da Meta está pressionando por maior transparência.
O Tumblr no ano passado também enfrentou reclamações de usuários que afirmaram que suas contas foram suspensas sem explicações claras.
Quando você compra através dos links de nossos artigos, podemos ganhar uma pequena comissão. Isto não afeta a nossa independência editorial.
