Eva Vivalt – Investigadora y catedrática de la Universidad Nacional Australiana
Los estudios académicos de ciencias sociales a menudo obtienen resultados muy distintos. Para empezar, los errores aleatorios pueden afectar los resultados de un estudio. También puede ser que los investigadores sesguen de manera consciente o inconsciente sus resultados.
Todas estas fuentes de variación han conducido a temores sobe una «Crisis de replicación» en la psicología y otras ciencias sociales relacionadas con los negocios. Dada esta variabilidad, ¿cómo debemos consumir las pruebas?
La respuesta inmediata es no confiar demasiado en ningún estudio. Siempre que sea posible, busca metaanálisis o revisiones sistemáticas que sinteticen los resultados de muchos estudios, pues pueden brindar evidencias más creíbles y en ocasiones sugerir razones por las que los resultados difieren.
Cuando considere cuánto peso darle a un estudio y sus resultados, ponga atención al tamaño de su muestra. Es más probable que los estudios basados en una muestra pequeña no puedan replicarse.
Los estudios pequeños también suelen recurrir a la muestra exacta que arrojará los mayores efectos. De manera más general puede ser útil pensar sobre las cosas que quizá serían diferentes si la intervención se hiciera más grande. Por ejemplo, es poco probable que las intervenciones pequeñas afecten a un mercado amplio, pero si se aumentan, la competencia o los reguladores podrían cambiar su comportamiento en respuesta a ello.
De manera similar, considera las peculiaridades de la muestra, su contexto y la implementación. ¿Cómo llegaron los investigadores a estudiar a las personas, empresas o productos que incluyeron?
Si el estudio evaluaba una intervención, la manera en que esta se implementó es muy importante. También puedes confiar más en los resultados de un estudio si hay un mecanismo causal claro que explique los hallazgos y sea constante en distintos entornos.
Por ultimo: si suena demasiado bien para ser verdad, probablemente lo sea. Esto puede sonar a cliché, pero se basa en un principio de la estadística bayesiana: las declaraciones inusuales requieren una evidencia más sólida para cambiar nuestras creencias o lo que damos por hecho.
