Es común definir a la potencia estadística como ‘la probabilidad de rechazar correctamente la H0 cuando hay una asociación real’, donde H0 es la hipótesis nula, a menudo una asociación o tamaño del efecto de cero (Sham & Purcell, 2014). Está determinada por el tamaño del efecto que quieres encontrar ¹, el tamaño de tu muestra (N) y el nivel alpha que normalmente es 0.05, pero puedes establecerlo en lo que quieras (Lakens et al. 2017). Siempre he pensado de la potencia estadística como un valor estático para la investigación.

Pero esto es un error.

I´ve got the power

Digamos que quieres realizar un t-test de muestras independientes y quieres tener una probabilidad del 80 % de encontrar un efecto si es que lo hay². Para captura una ‘d’ de Cohen de 0.5, necesitarás 64 participantes por grupo. La imagen de abajo es la curva de potencia para tu prueba hipotética y es de la Shiny App construida por Daniel Lakens (la puedes encontrar aquí)³.

Como puedes ver, tu prueba no tiene un único valor. Cambia en función del efecto que quieres encontrar. Si quieres encontrar un tamaño del efecto más pequeño pero no puedes cambiar el número de participantes, por ejemplo, tu prueba tendrá menos probabilidad de encontrar un efecto.

La potencia de tu prueba varía en función del tamaño del efecto que estás buscando, así que cambia en un continuo en función de eso (y otras cosas). También cambia por culpa de las diferencias en la variabilidad de tu muestra, independientemente del tamaño del efecto que intentas encontrar⁴. Esta muestra por qué necesitas separar el tamaño del efecto de variabilidad y no añadir juntos hacer los tamaños del efecto estandarizada. La desviación estándar (DE) cambia la variabilidad de investigación. Si una investigación tiene una DE grande (y por lo tanto más variabilidad) la estimación es menor, independientemente del tamaño del efecto que estás buscando.

La potencia de tu prueba no tiene nada qye vercon el tamaño del efecto ‘real’ en la población. Esto es porque la potencia es una medida de la sensibilidad de tu prueba, no lo que pasa en el mundo. Por lo tanto, las investigaciones no ‘tienen’ potencia, porque sólo es una propiedad de la prueba que haces. En resumen: la potencia estadística es un valor hipotético que te ayuda determinar a priori el número de los participantes que necesitas, en función del nivel de alpha y el tamaño del efecto quieres encontrar. Así que una mejor definición es: la potencia estadística es ‘una evaluación de la habilidad de una combinación de una prueba/un diseño para detectar distintas desviaciones hipotéticas de los nulos’ (Morey, 2019).

Bibliografía

Lakens, D. (2017). Distribution of Cohen’s d, p-values, and power curves for an independent two-tailed t-test. Available at: https://lakens.shinyapps.io/p-curves/. [Accessed on: 05/12/2017]

Lakens, D. (2017). How a power analysis implicitly reveals the smallest effect size you care about. Available at: http://daniellakens.blogspot.co.uk/2017/05/how-power-analysis-implicitly-reveals.html [Accessed on: 05/12/2017]

Lakens, D., Adolfi, F. G., Albers, C. J., Anvari, F., Apps, M. A. J., Argamon, S. E., … Zwaan, R. A. (2017, September 18). Justify Your Alpha: A Response to “Redefine Statistical Significance”. Retrieved from psyarxiv.com/9s3y6

Morey, R. (2019) Statistical issues facing the reform movement. Available at: http://richarddmorey.org/content/OpenScienceTrier2019/#1. [Accessed on: 14/03/2019]

Morey, R. & D. Lakens. (2016). Why most of psychology is statistically unfalsifiable. Medium. Available at: https://medium.com/@richarddmorey/new-paper-why-most-of-psychology-is-statistically-unfalsifiable-4c3b6126365a [Accessed on: 11/09/2017]

Sham, P.C. & S.M. Purcell. (2014). Statistical power and significance testing in large-scale genetic studies. Nature Reviews Genetics, 15, 335–346.

Las notas

¹ Mucha gente cree que un análisis de potencia debería estar determinado por el tamaño del efecto “real” o el tamaño del efecto encontró antes en la literatura. Sin embargo, no es correcto. No podemos saber que es el tamaño del efecto “real”, sólo estimaciones, y por culpa el sesgo de publicación los tamaños del efecto de anteriores probablemente están inflados (Morey & Lakens, 2016).

² A menudo este es escrito como quieres tu prueba tener 80%. Pero tu prueba no ‘tiene’ potencia, como Richard Morey explica aquí y aquí.

³ Recomiendo mucho que uses esta herramienta, no sólo es útil para la idea de potencia como una curva pero también la idea de tu tamaño del efecto m´ás pequeño de interés.

⁴ Crédito a Jan Vanhove por señalar esto y crear los gráficos de abajo.