Início COMPETIÇÕES O que os cientistas erram com as evidências estatísticas e como consertar

O que os cientistas erram com as evidências estatísticas e como consertar

51
0

A estatística é uma ferramenta importante na ciência que nos ajuda a compreender o que os dados revelam sobre questões importantes. Contudo, o conceito de “evidência estatística” é difícil de definir. O professor Michael Evans, da Universidade de Toronto, explora esta questão complexa no seu último estudo publicado na Enciclopédia 2024.

O campo da estatística preocupa-se com situações em que a quantidade de interesse é desconhecida, os dados são coletados e acredita-se que esses dados contenham evidências de valor desconhecido. A teoria estatística tem dois problemas principais a responder com base nos dados: (i) atribuir um valor razoável à quantidade de interesse juntamente com um grau de precisão da estimativa, e (ii) avaliar se há evidências a favor ou contra um valor assumido da quantidade de interesse. Por exemplo, seria desejável saber se existem evidências a favor ou contra a hipótese da matéria escura com base em medições feitas pelo Telescópio Webb, que tem interesse na estimativa da proporção de pessoas infectadas com Covid-19 que estão gravemente doentes.

Tal como o artigo discute, existem dois grandes temas na forma como estas questões são abordadas: evidências e abordagens de decisão. Uma abordagem probatória concentra-se em garantir que qualquer método estatístico seja baseado em evidências dos dados. Em contraste, a teoria da decisão visa utilizar mecanismos que minimizem perdas potenciais com base numa hipotética ação penal sobre decisões erradas. No entanto, para aplicações científicas, tem sido argumentado que a priorização das evidências nos dados se ajusta confortavelmente ao propósito fundamental da ciência, nomeadamente a determinação da verdade. O artigo do professor Evans o coloca firmemente no campo das evidências.

A seguinte citação da tese estabelece um problema fundamental com a abordagem probatória: “A maioria das análises estatísticas referem-se ao conceito de evidência estatística em frases como “a evidência nos dados sugere” ou “concluímos com base na evidência”. Isto tem sido reconhecido há muito tempo, no entanto, o conceito não foi definido de forma satisfatória, ou pelo menos não foi endossado com uma definição.

Uma questão fundamental da abordagem probatória: como deve ser definida a evidência estatística? Como se pode dizer que um método específico é baseado em evidências sem uma prescrição clara do que constitui evidência estatística? O artigo do Professor Evans analisa as muitas abordagens adotadas ao longo dos anos para abordar esta questão.

Existem alguns métodos estatísticos bem conhecidos usados ​​como expressões de evidências estatísticas. Muitas pessoas sabem como usar valores p para o problema (ii). Existem problemas bem conhecidos com valores p como medidas de evidência estatística, alguns dos quais são revisados ​​no artigo. Por exemplo, há evidências contra uma hipótese e há necessidade de selecionar um alfa de corte para determinar quando o valor p é pequeno o suficiente para sugerir que não há seleção natural para alfa. Além disso, os valores p nunca fornecem evidências a favor de uma hipótese ser verdadeira. O conceito de intervalo de confiança está fortemente relacionado ao valor p e, portanto, apresenta tais deficiências.

Uma tentativa substancial de estabelecer o conceito de evidência estatística como central para o conceito de evidência estatística é discutida no artigo das décadas de 1960 e 70 de Alan Birnabham. Ele encontrou muitas relações interessantes entre princípios que muitos estatísticos subscrevem, como a probabilidade, a suficiência e os princípios condicionais. Birnbaum não conseguiu caracterizar completamente o que é evidência estatística, mas seu trabalho aponta para outra divisão bem conhecida no campo da estatística: o frequentismo e o bayesianismo. Birnbaum recorreu frequentemente a uma definição de evidência estatística. Tanto o valor p quanto o intervalo de confiança são de natureza frequente. Um leitor frequente imagina o problema estatístico em estudo muitas vezes e depois procura os procedimentos estatísticos com melhor desempenho nessa sequência.

Em contraste, uma inferência bayesiana quer depender apenas dos dados observados e não considera tal sequência hipotética. Um custo para a abordagem bayesiana é a exigência de fornecer uma distribuição de probabilidade prévia para a quantidade de interesse que reflita o que o analista acredita sobre o verdadeiro valor dessa quantidade. Depois de analisar os dados, um estatístico bayesiano é forçado a atualizar suas crenças, expressas pela distribuição de probabilidade posterior da quantidade de interesse. Por intuição, é a comparação de crenças anteriores e posteriores que leva a uma definição clara de evidência estatística. Princípio da evidência: Se a probabilidade posterior de um valor específico for maior que a probabilidade anterior correspondente, há evidências de que é um valor verdadeiro e se a probabilidade posterior for menor que a probabilidade anterior, há evidências contra que seja um valor verdadeiro. A evidência nos dados muda as crenças e o princípio da evidência caracteriza isso claramente.

Tal como explicado no artigo do Professor Evans, são necessários elementos adicionais para além do princípio da evidência. Para avaliar e medir a força da evidência, é necessário ordenar os possíveis valores da quantidade de interesse, e uma forma natural de fazer isso é através do índice de confiança relativo: a razão entre a probabilidade posterior de um valor e sua probabilidade anterior. Quando este rácio é superior a 1, há evidências a favor dele, e se for maior, há mais evidências a favor dele, ao passo que quando o rácio é inferior a 1, o rácio de confiança relativo leva a respostas normais tanto para problemas de estimativa como de teste de hipóteses.

Muito é discutido no artigo, inclusive como lidamos com a subjetividade inerente à metodologia estatística, como validação de modelos e verificação de inconsistência de dados prévios. No entanto, o que é mais surpreendente é que a abordagem empírica através da confiança relativa muitas vezes leva a uma resolução entre o Bayesianismo e o Bayesianismo. Parte da história é que a plausibilidade de qualquer suposição deve sempre ser avaliada, o que é feito com frequência. Isto surge na abordagem da crença relacional ao restringir as probabilidades anteriores de obter evidência contra um valor quando este é verdadeiro e evidência a favor do valor quando é falso. Concluindo, a inferência é bayesiana porque reflete crenças e fornece uma definição clara de evidência estatística, ao mesmo tempo que limita frequentemente a fiabilidade das inferências. Ambos desempenham um papel importante na aplicação das estatísticas aos problemas científicos.

À medida que o mundo depende de insights baseados em dados, é cada vez mais importante compreender o que se qualifica como evidência sólida. A pesquisa do Professor Evans fornece uma base cuidadosa para lidar com esta questão premente.

Nota de diário

Evans, M. “Conceito de evidência estatística, raízes históricas e desenvolvimentos atuais.” Enciclopédia 2024, 4, 1201–1216. DOI: https://doi.org/10.3390/encyclopedia4030078

Sobre o autor

Michael Evans Ele é professor de estatística na Universidade de Toronto. Ele recebeu seu Ph.D. da Universidade de Toronto em 1977, com licenças sabáticas passadas na Universidade de Stanford e na Universidade Carnegie Mellon e trabalha lá desde então. Ele é membro da American Statistical Association e atuou como Presidente do Departamento de Estatística 1992–97, Presidente Interino 2022–23 e Presidente da Associação Estatística do Canadá 2013–2014. Ele atuou em diversas funções editoriais: Editor Associado do JASA Theory and Methods 1991-2005, Editor Associado do Canadian Journal of Statistics 1999-2006 e 2017 até o presente, Editor Associado do Journal Bayesian 150-20 e A50-20 2015-2021, o jornal online FACETS (atual) e o New England Journal of (Atual) Subject Matter Editor of Statistics em Ciência de Dados.
A pesquisa de Michael Evans abrange uma ampla gama de metodologias estatísticas, estatísticas computacionais e fundamentos estatísticos. A investigação actual centra-se no desenvolvimento de uma teoria de inferência chamada confiança relativa, baseada numa definição explícita de como medir a evidência estatística. Além disso, sua pesquisa preocupa-se com o desenvolvimento de ferramentas para lidar com críticas à metodologia estatística relacionadas à sua subjetividade inerente. Em 2000, Oxford publicou vários artigos de pesquisa, como Monte Carlo e Métodos Determinísticos (com D. Schwartz), e em 2000, Probabilidade e Estatística: A Ciência da Incerteza (com J. Rosenthal e 2004 2012 2012 Ele também é autor ou co-autor dos livros Monte Carlo e Métodos Determinísticos (com T. Swartz), publicados em 2015 2004 2004 2015 2015 2015 2015 2015 2011 2004). Evidência estatística utilizando confiança relativa publicada pela CRC Press/Chapman and Hall, 2015.

Source link