Teste GRIM

O teste de inconsistência de médias relacionado à granularidade (GRIM) é um teste estatístico simples usado para identificarr inconsistências na análise de conjuntos de dados. O teste baseia-se no fato de que, dado um conjunto de dados contendo N valores inteiros, a média aritmética (comumente chamada simplesmente de média) é restrita a alguns valores possíveis: deve ser sempre expressável como uma fração com um numerador inteiro e um denominador N. Se a média reportada não se enquadra nesta descrição, deve haver um erro em algum lugar; o termo preferido para tais erros é "inconsistências", para enfatizar que a sua origem é, à primeira descoberta, normalmente desconhecida. As inconsistências do GRIM podem resultar de erros tipográficos ou de entrada inadvertida de dados ou de fraude científica. O teste GRIM é mais útil em áreas como a psicologia, onde os pesquisadores normalmente usam pequenos grupos e as medições geralmente são números inteiros. O teste GRIM foi proposto por Nick Brown e James Heathers em 2016, após uma maior consciência da crise de replicação em alguns campos da ciência.

Procedimento

O teste GRIM é simples de realizar. Para cada média relatada em um artigo, o tamanho da amostra (N) é encontrado e todas as frações com denominador N são calculadas. A média é então verificada em relação a esta lista (tendo em conta o fato de que os valores podem ser arredondados de forma inconsistente: dependendo do contexto, uma média de 1,125 pode ser reportada como 1,12 ou 1,13). Se a média não estiver nesta lista, ela será destacada como matematicamente impossível.

Exemplo

Considere um experimento em que um dado honesto é lançado 20 vezes. Cadaa lançamento produzirá um número inteiro entre 1 e 6, e o valor médio hipotético é 3,5. A média dos resultados dos lançamentos é então calculada em conjunto e a média é relatada como 3,48. Isto está próximo do valor esperado e parece apoiar a hipótese. No entanto, um teste GRIM revela que a média reportada é matematicamente impossível: o resultado da divisão de qualquer número inteiro por 20, escrito com 2 casas decimais, deve ter a forma X.X0 ou X.X5; é impossível dividir qualquer número inteiro por 20 e produzir um resultado com “8” na segunda casa decimal.

Interpretação e limitações

Mesmo que os dados falhem no teste GRIM, isso não é automaticamente um sinal de manipulação. Erros na média podem ocorrer inocentemente como resultado de um erro por parte do testador, erros tipográficos, erros de cálculo e programação ou relatórios inadequados do tamanho da amostra. No entanto, pode ser um sinal de que alguns dados foram excluídos indevidamente ou que a média foi ilegitimamente falsificada para fazer com que os resultados pareçam mais significativos.