Los estudios populares son menos fiables (dice un estudio científico que se está haciendo bastante popular)

Fake 1909821 1920

Que la ciencia contemporánea es un lío ya lo sabíamos. Ahora, si acaso, tenemos una visión de conjunto sobre lo que estamos haciendo bien y lo que estamos haciendo mal. Y, reconozcámoslo, en el tema del sesgo científico lo estamos haciendo bastante mal.

Un análisis de más de 50.000 estudios científicos ha llegado a una conclusión llamativa: los artículos más citados, los más populares, son (junto con los estudios pequeños y los primeros estudios que encuentran algo) los que más probabilidad tienen de ser falsos.

Más de 50.000 estudios

College Math Papers

El estudio ha sido elaborado por un equipo de la Universidad de Stanford. Ha analizado más de 3000 metaanálisis que, como decía, abarcaban casi 50.000 estudios de más de 22 áreas de investigación. De hecho, eso es lo más interesante de este trabajo: que nos da una perspectiva global del problema.

Hasta ahora, teníamos pequeñas aportaciones limitadas a campos concretos de la ciencia: la psicología, la biología del cáncer, etc. Este análisis nos sitúa ante algo que empezaba a ser evidente: los problemas no son de las ciencias particulares, sino del sistema en su conjunto.

"El taburete de la confiabilidad científica"

Snip 20170321182340

Esto nos da también lo que podríamos denominar "el taburete de la confiabilidad" a la hora de evaluar un estudio científico: cuanto más grande sea la muestra, más fiable; cuanto más aburrido, más fiable; y cuantos más estudios hayan encontrado el mismo fenómeno previamente, más fiable.

Si falla alguna de esas patas, no debería haber problemas: si fallan todas, el mejor consejo es ser muy cauteloso. Esto no quiere decir que el estudio sea mentira, claro. Solo que no debemos lanzar las campanas al vuelo, antes de confirmarlo con todas las de la ley (científica).

No todo son malas noticias

Csiro Scienceimage 1175 Forestry Scientist

Aun así, los investigadores tienen un mensaje positivo: la conclusión principal del estudio "es que no se puede decir que los sesgos estén obstaculizando la ciencia en su conjunto. El efecto de la mayoría de los sesgos es bastante pequeño". Aunque, como ellos mismos reconocen, más de lo esperado.

Sin embargo, y siguiendo la misma lógica, estamos hablando de un solo estudio. Uno que, aunque tiene una muestra descomunal y encuentra efectos que ya habíamos visto otras veces, será muy muy citado (y muy muy popular). La duda está clara, ¿Debemos confiar en él? Yo apuesto a que sí, pero el tiempo lo dirá.