Métodos de investigación en psicología: cómo no engañarte a ti mismo

Un titular dice que quienes se paran como un superhéroe durante dos minutos se sienten más valientes y toman más riesgos. Se publicó en 2010 en una buena revista, se enseñó en escuelas de negocios y decenas de millones de personas vieron la charla. Después, estudios más grandes lo intentaron y los resultados sobre hormonas y riesgo no aparecieron. El problema no fue un villano. Fue un método: grupos pequeños, muchas formas de analizar los números y un sistema que solo imprimía el resultado emocionante.

Todo graduado de psicología lleva esta historia en alguna parte de la cabeza, y cambia cómo lee cualquier afirmación sobre la mente. No pregunta primero "¿es verdad?". Pregunta: ¿cómo se midió?, ¿quiénes participaron?, ¿alguien fue asignado al azar?, ¿qué tan grande fue el efecto?, ¿volvería a pasar? Ese hábito es lo que vende una materia de métodos.

La preocupación no es nueva. En 1899 Santiago Ramón y Cajal publicó Reglas y consejos sobre investigación biológica (desde su cuarta edición, en 1916, se titula Reglas y consejos sobre investigación científica: los tónicos de la voluntad), un libro de consejos para jóvenes que quieren investigar. La idea de que hay que formar a quien investiga, no solo darle datos, es más vieja que cualquier crisis de replicación.

Medir lo que no se ve: operacionalizar, confiabilidad y validez

No puedes poner el "estrés", la "inteligencia" o el "apego" en una balanza. Así que el primer paso de todo estudio es operacionalizar: elegir algo que puedas contar y que represente la idea. El estrés se vuelve cortisol en la saliva, o la puntuación en un cuestionario. La inteligencia se vuelve la puntuación en un conjunto de rompecabezas. Cada elección de este tipo es una apuesta a que el número captura la cosa, y la apuesta puede estar equivocada.

Dos palabras juzgan la apuesta. La confiabilidad (o fiabilidad, en España) dice si obtienes el mismo número otra vez: la misma persona, la misma escala, una semana después. La validez dice si el número mide lo que querías. Una báscula de baño que siempre marca 3 kg de más es perfectamente confiable y nada válida para el peso. La confiabilidad es necesaria pero no suficiente, y sin ella nada más funciona, porque el ruido en una medida encoge toda relación que intentes encontrar con ella.

Con confiabilidad 0.7 en las dos medidas, un vínculo real de 0.6 aparece como cerca de 0.42. Un estudio con un cuestionario poco fiable puede dejar de encontrar un efecto real simplemente porque su regla es de goma.

Hay una complicación que importa mucho a quien lee o estudia en español. Un cuestionario que funcionó en inglés no queda validado por el solo hecho de traducirlo: las palabras, los ejemplos y las normas con las que se comparan las puntuaciones pueden cambiar de un país a otro. Por eso la Comisión Internacional de Tests (ITC) publica unas directrices para traducir y adaptar tests, y por eso los instrumentos se vuelven a validar en cada población.

Experimentos y correlaciones: solo la asignación al azar rompe el factor de confusión

Quienes hacen ejercicio dicen sentirse mejor. ¿El ejercicio lo causa? Quizá. O quizá quienes tienen más tiempo libre, mejor salud y menos estrés económico hacen más ejercicio y también se sienten mejor: un factor de confusión. Un estudio correlacional registra lo que la gente ya hace, y no puede distinguir estas historias por muy grande que sea.

Un experimento hace una sola cosa distinta: el investigador decide quién recibe el tratamiento, por azar. Una moneda al aire no puede estar relacionada con el tiempo libre, la salud ni nada más, así que, en promedio, los grupos no difieren en nada salvo el tratamiento. Por eso los experimentos aleatorizados están en la cima de la escalera de la evidencia, y por eso un estudio que solo compara a personas que eligieron cosas distintas debería decir "asociado con", no "causa".

Con un efecto verdadero de cero y un factor de confusión de 0.6, el vínculo observado es de cerca de 0.35, y una lectura ingenua dice que el ejercicio ayuda. Cambia el interruptor a asignación con moneda y cae a más o menos cero, que es la verdad. No siempre se pueden hacer experimentos (no puedes asignar a la gente al duelo ni a la pobreza), así que los psicólogos también usan comparaciones naturales cuidadosas, pero lo dicen cuando no aleatorizaron.

Tamaño del efecto y potencia: ¿qué tan grande es, y podría este estudio siquiera verlo?

"Estadísticamente significativo" solo dice que un resultado sería improbable si no pasara nada. No dice nada sobre el tamaño. Un estudio enorme puede hacer significativa una diferencia trivial; uno pequeño puede pasar por alto una grande. Por eso hoy los artículos informan un tamaño del efecto. El más común para dos grupos es la d de Cohen: la diferencia entre los promedios de los grupos, medida en desviaciones estándar (o desviaciones típicas, en España).

Con d = 0.5 las curvas se superponen en cerca del 80%, y si eliges al azar a una persona de cada grupo, la del grupo más alto va por delante solo cerca del 64% de las veces. Cohen sugirió 0.2, 0.5 y 0.8 como pequeño, mediano y grande, y los propuso como último recurso para cuando no sabes nada mejor sobre tu campo. Un efecto minúsculo puede importar si se aplica a millones de personas; uno mediano puede ser inútil para una sola persona.

La potencia es la probabilidad de que un estudio detecte un efecto que de verdad existe. Depende del efecto real, del tamaño de la muestra y del umbral. Pruébalo. Abajo se hacen miles de estudios inventados sobre el mismo efecto real; los significativos aparecen sombreados.

Con d = 0.5 y 20 personas por grupo, la potencia es solo de cerca de un tercio. Con 64 por grupo es de cerca del 80%, la meta habitual. Ahora fíjate en el segundo número. Cuando el efecto real es pequeño y el estudio es pequeño, los pocos estudios que alcanzan significación son los que se pasaron de largo: con d = 0.2 y 20 por grupo, la potencia es de cerca del 10% y los "ganadores" promedian un efecto cuatro veces mayor que la verdad. Las revistas que solo imprimen a los ganadores imprimen efectos inflados. Es una de las razones por las que las réplicas casi siempre salen más pequeñas.

El p-hacking: los senderos que se bifurcan

Un valor p por debajo de .05 debería ocurrir por suerte una vez de cada veinte cuando no pasa nada. Esa promesa solo vale si decides qué probar antes de mirar. Un investigador con diez medidas de resultado, cuatro maneras de excluir participantes "malos" y la libertad de parar cuando el resultado se ve bien tiene decenas de pruebas entre las cuales elegir, e informa la que funcionó. Simmons, Nelson y Simonsohn mostraron en 2011 que una flexibilidad tan ordinaria podía hacer "significativo" casi cualquier cosa. Andrew Gelman lo llamó el jardín de los senderos que se bifurcan: nadie tiene que hacer trampa, porque cada bifurcación parece razonable en el momento. (El nombre viene del cuento de Borges "El jardín de senderos que se bifurcan", de 1941.)

Con diez resultados independientes, la probabilidad de que al menos uno salga "significativo" es 1 − 0.95¹⁰, cerca del 40%. Con veinte es de cerca del 64%. Mirar los datos después de cada diez participantes y parar en cuanto p baja de .05 da una tasa de falsas alarmas de cerca de una de cada cinco (18% en la simulación) a lo largo de diez miradas. Los resultados reales están correlacionados, así que las cifras reales son un poco menores, pero la lección se mantiene. La cura no son personas más cuidadosas. Es comprometerse con el plan antes.

La crisis de replicación y las reformas que siguieron

Hacia 2011 varias cosas chocaron. Daryl Bem publicó nueve experimentos en una revista líder que afirmaban evidencia de precognición, con métodos corrientes, lo que sugería que los métodos corrientes podían probar lo imposible. Se descubrió que el psicólogo social neerlandés Diederik Stapel había fabricado datos. Y apareció el artículo sobre falsos positivos. Entonces la gente empezó a repetir estudios. En 2015 el Open Science Collaboration, dirigido por Brian Nosek, repitió 100 experimentos publicados: 97 de los originales tenían resultados significativos, mientras que solo cerca del 36% de las réplicas los tuvo, y los efectos de las réplicas promediaron cerca de la mitad del tamaño original. Los estudios cognitivos salieron mejor que los sociales. Eso no dice que el 64% de la psicología sea falso, porque una réplica fallida puede tener poca potencia y los estudios difieren en lo difícil que es repetirlos. Sí dice que los efectos publicados suelen estar inflados.

Los proyectos Many Labs hicieron otra pregunta: ¿aparecen los mismos resultados en muchos sitios? En el primero, en 2014, 10 de 13 efectos se replicaron de forma consistente en 36 muestras, uno débilmente, y dos, el efecto de la bandera y el del dinero, no. Pon a prueba tu idea de lo que se sostuvo.

Las reformas son prácticas. El preregistro consiste en escribir las hipótesis y el plan de análisis antes de que lleguen los datos, lo que elimina las bifurcaciones. Los informes registrados van más lejos: una revista evalúa primero la pregunta y el método, y promete publicar lo que salga, lo que elimina la tentación de imprimir solo a los ganadores; el Center for Open Science cuenta más de 300 revistas que ofrecen el formato. Los datos y materiales abiertos permiten que otros revisen y reutilicen tu trabajo. Las muestras más grandes, los estudios compartidos entre varios laboratorios y la práctica de informar cada tamaño del efecto con su incertidumbre son hoy consejos comunes. No todos coinciden en hasta dónde llegar: algunos sostienen que las reglas estrictas sirven para las pruebas confirmatorias y encajan mal con el trabajo exploratorio o cualitativo, y que arreglar los incentivos importa más que cualquier lista de verificación. Pocos discuten que el campo está mejor revisado que hace una década.

¿Quiénes participan? Las muestras WEIRD

La mayoría de los experimentos reclutan a quien queda más cerca: estudiantes universitarios. En 2010 Joseph Henrich, Steven Heine y Ara Norenzayan revisaron la evidencia en The Weirdest People in the World? y señalaron que los participantes eran abrumadoramente de sociedades Westernas (occidentales), Educadas, Industrializadas, Ricas y Democráticas, una porción pequeña de la humanidad, y que en varias medidas esas personas eran casos atípicos. (En inglés, weird significa "raro", y el acrónimo es un juego de palabras.) El ejemplo clásico es una ilusión visual (la de Müller-Lyer, en Sensación y percepción, 34/21), que engaña más a personas de sociedades industriales que a las de algunas sociedades de pequeña escala. Los resultados sobre juegos de justicia, razonamiento moral y concepto de sí mismo también difieren entre culturas.

El remedio es sencillo: di a quién estudiaste, redacta la afirmación para que coincida, recluta de forma más amplia y desconfía de los "los humanos hacen X" que salen de una muestra de campus. Algunos efectos son universales y otros locales, y sin otras muestras no puedes saber cuál es cuál.

Lo que un graduado ve sin pensarlo

• Un estudio es tan bueno como su regla: una medida con ruido o no válida esconde efectos reales o mide otra cosa.
• "Asociado con" no es "causado por". Solo la asignación al azar elimina un tercer factor oculto.
• Significativo no es importante. Pregunta qué tan grande es el efecto y qué tan incierto.
• Los estudios pequeños son ruidosos, y los que llegan a la imprenta se pasan de largo. Trata un resultado pequeño y aislado como una pista.
• La flexibilidad en el análisis sube sin ruido las falsas alarmas. La pregunta es qué se decidió antes de ver los datos.
• Un resultado es un punto de partida; uno que se repite en varios laboratorios es evidencia.
• Quién fue estudiado limita de quién trata el hallazgo.
• Una réplica fallida es información, no una acusación.

Dónde aparece después

• Psicología social (34/24): la obediencia, el priming y los estudios de grupo son donde la historia de la replicación es más dramática, y las herramientas de arriba deciden en qué puedes seguir confiando.
• Personalidad y diferencias individuales (34/25): la confiabilidad y la validez son todo el negocio de un test, y las afirmaciones sobre heredabilidad dependen del diseño.
• Econometría (34/36) e Investigación de mercados (34/46): la misma lógica de factores de confusión, pruebas A/B y experimentos naturales en otras disciplinas.
• En el mundo: leer una nota sobre "un nuevo estudio", juzgar una afirmación de salud, hacer un experimento de producto o decidir si una terapia tiene evidencia.

Si quieres profundizar

• 📘 Libro de texto. Beth Morling, Research Methods in Psychology: Evaluating a World of Information (W. W. Norton, 5.ª edición; en inglés). Muy usado; está construido para juzgar afirmaciones de las noticias además de diseñar estudios.
• 📘 Libro de texto. Roberto Hernández Sampieri y colaboradores, Metodología de la investigación (McGraw-Hill; en español). Un manual general de metodología de la investigación, escrito originalmente en español.
• 📘 Más ligero. Ben Goldacre, Mala ciencia (Paidós, 2011; traducción de Albino Santos Mosquera). Un recorrido ameno por los trucos con que se tuercen los estudios y las estadísticas, sobre todo en medicina; encaja con las lecciones de esta pieza.
• 📘 Más ligero. Stuart Ritchie, Science Fictions (2020; en inglés). Un relato legible sobre fraude, sesgo, exageración y las reformas.
• 🌐 Texto gratuito. Daniël Lakens, Improving Your Statistical Inferences (en inglés): un libro en línea gratuito sobre tamaños del efecto, potencia y prácticas abiertas.
• 🌐 Curso gratuito. MIT OpenCourseWare 9.00SC, Introduction to Psychology (otoño de 2011, John Gabrieli; en inglés), un curso introductorio completo.