A Anthropic está desenvolvendo um sistema de código aberto para verificar qual modelo de inteligência artificial produziu um determinado resultado, de acordo com um post publicado na terça-feira. Este sistema, Chamado FlashProvevisa fornecer o que os pesquisadores chamam de “inferência comprovável” – uma prova criptográfica que é essencialmente uma garantia matemática de que um determinado resultado vem de um modelo específico. O objetivo é que os usuários confirmem se as respostas que recebem realmente vêm do modelo que pensam estar usando.
Semelhante a Assinatura de e-mail criptografada O FlashProve permite que os destinatários confirmem que uma mensagem é de fato do remetente que afirma ser, evitando assim efetivamente que um impostor tente fazer passar um modelo por outro, mesmo que o impostor seja o laboratório que constrói e administra o modelo. Especificamente, os investigadores sugerem que o sistema poderia ser usado para evitar que as empresas de IA mudassem secretamente para modelos mais baratos para reduzir custos, ou mudassem secretamente para modelos mais caros para inflacionar os seus resultados de desempenho.
FlashProve também pode ser usado para verificar afirmações de terceiros de que uma tarefa específica foi executada por um modelo avançado. “Os desenvolvedores podem alegar que suas bibliotecas de software são verificadas em busca de vulnerabilidades com modelos de segurança cibernética de ponta, ou as empresas podem alegar que seus planos de negócios são aprovados por modelos apropriados”, escreveram os pesquisadores. “Como os usuários podem verificar essas afirmações?”
Para funcionar, o sistema exige que os laboratórios de IA publiquem uma “impressão digital” de cada modelo que lançam, que pode então ser combinada com resultados específicos e verificada criptograficamente. Crucialmente, as impressões digitais não revelam os pesos do modelo, os números internos que definem como ele se comporta, informações que são mantidas em segredo por fabricantes de modelos fechados como Anthropic e OpenAI. Isso significa que os laboratórios podem emitir impressões digitais sem abrir mão de seus ativos mais valiosos, permitindo que o sistema também seja utilizado com modelos comerciais. O sistema também foi projetado para ser leve, para que a verificação possa ser realizada localmente no dispositivo.
Como parte do anúncio, os pesquisadores divulgaram Especificações técnicas detalhadas e o código de trabalho para vários elementos do sistema, que está disponível publicamente Sob uma licença de código aberto no GitHub. As pesquisas sobre o sistema estão em andamento e não há planos de implantação na Anthropic ou em qualquer outro laboratório.
“O objetivo deste artigo de pesquisa é compartilhar o progresso intermediário, não uma agenda de pesquisa completa”, explicaram os pesquisadores no anúncio. “Nossa intenção explícita ao compartilhar isso é permitir que outros vejam o que fizemos, aceitem e melhorem”.
Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isto não afeta a nossa independência editorial.
