Marco Gutiérrez, estudiante de Economía de la PUCP.
“Econometría” y “honestidad” son palabras que parecen pertenecer a dos mundos distintos: uno de números y otro de valores, así que es lógico preguntarse ¿qué relación podrían existir entre ambas? Más aún, ¿qué tiene que ver la Economía Experimental al respecto?
En los experimentos en Ciencias Sociales, incluyendo a la Economía, los resultados no suelen ser los esperados: uno plantea como hipótesis que “x” afecta positivamente a “y”, pero resulta que “x” no tiene ningún impacto, sino que es “z” la que afecta de esa forma a “y”. Aquí entra en juego la honestidad del investigador, pues podría decir cuál fue su hipótesis inicial y mostrar esos resultados, o cambiar su hipótesis de acuerdo a los resultados obtenidos. A esta última práctica se le conoce como HARking[1], acrónimo en inglés para “plantear una hipótesis después de conocer los resultados”.
Las técnicas que facilitan su realización son muchas y abarcan desde el uso de pruebas de hipótesis hasta el machine learning, por lo que es una práctica comúnmente observada en trabajos experimentales (y en no experimentales), a pesar de que una de las consecuencias más importantes de realizarla es que puede llevar a afirmar que un fenómeno, política o tratamiento tiene un efecto significativo cuando realmente no es así.
Su manifestación ha llegado a tal punto de que, en una investigación de Colin Camerer (uno de los padres de la econometría experimental), se encuentra que de 21 artículos publicados en las revistas Nature y Science, solo fue posible replicar los resultados de 13 (es decir, menos del 62%).
¿Qué motiva a tantos investigadores a realizar esta práctica? La respuesta está en el sesgo de publicación: las revistas de investigación más prestigiosas prefieren publicar trabajos que muestren resultados significativos. Según Kiscinski, Springate y Kontopantelis, la probabilidad de que una investigación con dichos resultados sea publicada es 27% mayor que si no hubiera significancia en sus resultados.
Para solucionar este problema, una de las medidas más fuertes que se han tomado consiste en el pre registro del proyecto de investigación en Economía Experimental. Páginas como el Open Science Framework (OSF) permiten a los investigadores subir sus temas, hipótesis, datos y métodos para sus futuros trabajos de investigación antes de la realización de algún análisis previo. De esa forma, queda un registro de lo que el autor planteó inicialmente en caso decida realizar algún cambio en el producto final. Revistas como el Journal of Development Economics le han dado un mayor grado de seriedad a este tema, al punto de que ahora permiten realizar esta práctica para los trabajos que deseen ser publicados allí.
En Perú, las investigaciones en Economía Experimental todavía se encuentran en una fase muy temprana de desarrollo, por lo que no es un problema que tenga un escenario en el que se pueda manifestar. Sin embargo, es necesario recordar a los futuros investigadores de esta área qué hacer si se encuentran en una situación similar y por qué es necesario tomar a este problema con seriedad.
Para HARking
Kerr, N. (1998). HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review (2)3. Recuperado de https://journals.sagepub.com/do
i/abs/10.1207/s15327957pspr0203_4
Para replicabilidad
Camerer, C. et al. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behavior. Recuperado de https://www.nature.com/articles/s41562-018-0399-z
Para sesgo de publicación
Kicinski, M. (2015). Publication bias in meta-analyses from the Cochrane Database of Systematic Reviews. Statistics in Medicine (34)20. Recuperado de https://www.ncbi.nlm.nih.gov/pubmed/25988604
https://onlinelibrary.wiley.com/doi/abs/10.1002/sim.6525
Para preregistro
“Registered Reports at the Journal of Development Economics”. Berkeley Initiative for Transparency in the Social Sciences. https://www.bitss.org/publishing/rr-jde-about/. Consultado el 17 de enero de 2019.
Open Science Framework. https://osf.io/dashboard. Consultado el 17 de enero de 2019.
[1] Hypothesizing after the results are known.
Fuente de la imagen: ESAN
