Cómo manipulan los científicos las investigaciones
por Lars P. Syll
Toda ciencia implica juicio humano y el uso de modelos estadísticos no nos libra de esa necesidad. Al trabajar con modelos mal especificados, el valor científico de datos estadísticos significativos es en realidad cero, ¡aunque tenga conclusiones estadísticas válidas! Los modelos estadísticos y los efectos estadísticamente significativos que de ellos surjan no sustituyen a la ciencia real.
En su forma estándar, una efecto estadísticamente significativo no es el tipo de "prueba severa" que buscamos para confirmar o refutar hipótesis científicas empíricas. Esto es problemático por muchas razones, una de las cuales es que existe una fuerte tendencia a aceptar la hipótesis nula, ya que no se pueden rechazar en el nivel estándar de significancia del 5%. En su forma estándar, el efecto estadísticamente significativo prueba el prejuicio contra nuevas hipótesis al dificultar la refutación de una hipótesis nula.
Y como se muestra una y otra vez cuando se aplica, las personas tienden a leer "no descartado" como "probablemente confirmado". La metodología científica estándar nos dice que cuando solo hay, digamos, un 10% de probabilidad de que el error de muestreo puro pueda explicar la diferencia observada entre los datos y la hipótesis nula, sería más "razonable" concluir que tenemos un caso en el que no se confirma. Especialmente si realizamos muchas pruebas independientes de nuestra hipótesis y todas dan el mismo resultado del 10% como el primero, supongo que la mayoría de los investigadores considerarían que la hipótesis ha sido todavía menos confirmada que antes.
La estadística no sustituye al pensamiento. Nunca debemos olvidar que los parámetros subyacentes que usamos al realizar pruebas de significancia son construcciones de modelos. Nuestros valores p (la probabilidad de que un valor estadístico calculado sea posible dada una hipótesis nula cierta, AyR) no significan casi nada si el modelo es incorrecto. ¡Los efectos estadísticamente significativos no validan los modelos!
En muchas ciencias sociales, los valores p y los efectos estadísticamente significativos de hipótesis nulas (NHST) se utilizan a menudo para extraer conclusiones científicas de gran alcance, a pesar de que, por regla general, se comprenden mal y existen alternativas que son más fáciles de entender y más informativas.
No menos importante es preferir el uso de intervalos de confianza (IC) y tamaños de efecto al enfoque de mezcolanza de Neyman-Pearson-Fisher (un tipo especial de test estadístico, AyR) que tan a menudo practican los investigadores aplicados.
Ejecución de una simulación de Monte Carlo (método estadístico para construir modelos de simulación, AyR) con 100 repeticiones de una muestra ficticia que tiene N = 20 intervalos de confianza del 95%, una población distribuida normalmente con una media = 10 y una desviación estándar de 20, tomando valores p de dos colas en un cero nulo hipótesis, obtenemos IC variables (ya que se basan en desviaciones estándar de muestra variables), pero con un mínimo de 3,2 y un máximo de 26,1, todavía obtenemos una imagen clara de lo que sucedería en una secuencia límite infinita. Por otro lado, los valores p (aunque desde un sentido puramente matemático-estadístico más o menos equivalente a los IC) varían mucho de una muestra a otra, ¡y saltar entre un mínimo de 0,007 y un máximo de 0,999 no le da una pista de lo que sucederá en una secuencia límite infinita!
