A OpenAI passou o ano passado resolvendo ações judiciais de famílias de jovens que morreram após longas interações com o ChatGPT. Agora ele está tentando fornecer aos desenvolvedores que constroem ferramentas sobre seus modelos para evitar criar o mesmo problema.
Empresa foi anunciado na terça-feira que está lançando um conjunto de soluções de código aberto baseadas em segurança disponíveis para ajudar os desenvolvedores a tornar os aplicativos de IA mais seguros para adolescentes. Os planos destinam-se ao uso com o modelo de segurança de código aberto OpenAI, embora possam funcionar também para prompts e outros modelos.
O que as invenções cobrem
Recomenda visar cinco tipos de danos que os sistemas de IA podem facilitar aos utilizadores menores: violência gráfica e conteúdo sexual, imagens e gestos corporais destrutivos, atividades e desafios de risco, dramatizações românticas ou violentas e bens e serviços desatualizados e restritos. Os desenvolvedores desejam incluir esses recursos em seus sistemas, em vez de construí-los do zero, um processo que a OpenAI reconheceu que até mesmo equipes de especialistas muitas vezes falham.
A OpenAI desenvolveu os planos em colaboração com a Common Sense Media, uma influente organização de defesa da saúde infantil, e a omnes.ai, uma consultoria de saúde de IA. Robbie Torney, chefe de IA e análise digital da Common Sense Media, disse que é uma abordagem imediata para estabelecer uma linha de base em todo o ecossistema, que pode ser adaptada e melhorada ao longo do tempo porque os sistemas são abertos.
Tecnologia da UE
As últimas notícias sobre o cenário tecnológico da UE, uma história sobre os sábios do autor Boris e alguma arte de IA questionável. É grátis, toda semana, na sua caixa de entrada. Cadastre-se agora!
O próprio OpenAI enquadrou o problema em termos pragmáticos. Os desenvolvedores, escreveu a empresa em uma postagem que acompanha o lançamento, muitas vezes lutam para traduzir os objetivos de segurança em operações definidas por regras. O resultado é uma variedade de proteções: lacunas na cobertura, aplicação inconsistente ou filtros tão amplos que prejudicam a experiência do usuário para todos.
O contexto é importante aqui
Não há libertação no vácuo. A OpenAI enfrenta pelo menos oito ações judiciais alegando que o ChatGPT contribuiu para a morte de usuários, incluindo Adam Raine, de 16 anos, que morreu em abril de 2025 após meses de intensa interação com o chatbot. Os documentos judiciais revelaram que o ChatGPT mencionou o suicídio mais de 1.200 vezes nas conversas de Raine e em centenas de mensagens contendo o conteúdo de sua dor, mas ele nunca encerrou a sessão nem avisou ninguém. Três mortes adicionais e quatro casos de episódios psicóticos induzidos por IA também resultaram em um processo contra a empresa.
Em resposta a esses casos, a OpenAI introduziu controles parentais e previsão de idade em 2025, e em dezembro seu Model Spec, diretrizes internas que regem o funcionamento de grandes modelos de linguagem, para garantir proteções seguras para usuários menores de 18 anos. Os planos seguros de código aberto anunciados esta semana visam ir além dos próprios produtos da OpenAI e entrar no ecossistema mais amplo.
O chão, não o teto
A OpenAI expressou que os planos não são uma solução abrangente para o desafio de tornar a IA segura para os jovens utilizadores. Eles representam o que a empresa chama de “área significativa para a saúde”, não repleta de proteções que se aplicam aos seus produtos. Distinção das coisas. Nenhum modelo de guarda é impenetrável, como os processos judiciais demonstraram. Os usuários, incluindo adolescentes, muitas vezes encontram maneiras de contornar os recursos de segurança por meio de navegação constante e impulsos criativos.
A abordagem de código aberto é uma aposta de que distribuir políticas básicas de segurança é muito melhor do que deixar cada desenvolvedor reinventar a roda, especialmente equipes menores e empresas independentes que não possuem recursos para construir um sistema de segurança robusto do zero. A eficácia das políticas depende da adoção, de quão agressivos os desenvolvedores as integram e se elas são suportadas contra os tipos de interações adversárias que já expuseram fraquezas nas próprias camadas de segurança do ChatGPT.
Uma questão mais difícil permanece
O que a OpenAI oferece é um comando, uma sugestão fictícia para mostrar ao modelo como se comportar ao interagir com usuários menores. É uma ajuda prática. Mas não aborda um problema estrutural que os reguladores, os pais e os defensores da segurança têm levantado há anos: para que os sistemas de IA sejam sustentáveis, as conversas emocionalmente envolventes com menores podem exigir mais do que o que está prontamente disponível. Eles podem exigir arquiteturas fundamentalmente diferentes ou sistemas de monitoramento externos que ficam completamente fora do modelo.
Por enquanto, porém, existe uma quantidade infinita de conteúdo eletrônico seguro. Não é nada. Se isso é suficiente é uma questão para os reguladores e os seguintes empresários responderão.
