Métodos de investigación en ciencia política: cómo sabe alguien algo de política

En 1998, dos politólogos, Alan Gerber y Donald Green, hicieron algo inusual. Tomaron a unos 30,000 votantes registrados en New Haven, Connecticut, y sortearon quién recibiría una visita a la puerta, una llamada o un volante pidiéndole que votara. Después de la elección comprobaron quién había votado de verdad. Las personas a quienes llegaron los visitadores votaron con una tasa unos 8.7 puntos porcentuales más alta que personas comparables a las que no llegaron; cada volante sumó cerca de medio punto; las llamadas no hicieron nada detectable.

Lo llamativo no es el resultado sino el método. Antes, casi todas las afirmaciones sobre qué hace votar a la gente salían de comparar a quienes habían sido contactados con quienes no, y esos dos grupos difieren en mil cosas. El sorteo eliminó el problema. Casi toda pregunta de la ciencia política tiene esta forma: vemos dos cosas que van juntas y queremos saber si una causa la otra. El curso de métodos es la caja de herramientas para esa pregunta.

Esta pieza explica métodos de investigación; no es asesoría estadística ni jurídica. Los ejemplos con datos inventados lo dicen.

El problema fundamental de la inferencia causal

Supón que un municipio inicia un programa de capacitación para jóvenes y un año después sus participantes ganan más. ¿Lo logró el programa? Para saberlo tendrías que ver a las mismas personas, en el mismo año, sin el programa. Ese mundo no existe. Cada persona se observa bajo una sola condición. Los estadísticos lo llaman el problema fundamental de la inferencia causal: el efecto es la diferencia entre lo que pasó y lo que habría pasado, y lo segundo nunca se ve.

El atajo natural es comparar a quienes recibieron el tratamiento con quienes no. Falla cuando los grupos difieren de una manera oculta que también afecta el resultado: un factor de confusión. Si las personas más motivadas se apuntan al programa, y las motivadas ganan más de todos modos, la comparación le atribuye al programa la motivación. Pruébalo abajo. El rasgo oculto sube el resultado; tú eliges cuánto influye también en quién recibe el tratamiento.

Sin JavaScript: con los valores iniciales, la autoselección hace que el tratamiento parezca sumar cerca de 3.9 cuando la verdad es 2; asignar con una moneda devuelve la estimación a cerca de 2.

Con autoselección y un rasgo oculto fuerte, la estimación queda muy por encima de la verdad. Pasa a la moneda y la respuesta cae cerca de 2 sin importar lo que ajustes, porque el azar no puede estar correlacionado con nada. Esa es toda la lógica del experimento, y todo lo demás en esta pieza es una forma de aproximarlo cuando no puedes lanzar la moneda.

Experimentos y experimentos naturales

Un experimento aleatorizado asigna el tratamiento por sorteo, de modo que en promedio los grupos son iguales en todo, medido o no. El estudio de Gerber y Green de 2000 en la American Political Science Review fue uno de los primeros grandes experimentos de campo en ciencia política; desde entonces los investigadores han sorteado volantes, observadores en las mesas electorales, fondos de desarrollo comunitario y campañas de información, en lugares que van de Benín a Brasil y Uganda. Sus límites son conocidos: no puedes asignar al azar la constitución de un país, muchos tratamientos son poco éticos o imposibles, y un efecto hallado en New Haven en 1998 puede no valer en otro lugar o año.

En América Latina hay un caso célebre donde el propio Estado hizo el sorteo. En 2003 el gobierno federal de Brasil empezó un programa anticorrupción en el que la Controladoría General de la Unión (CGU) elegía por sorteo, cada mes, unas sesenta municipalidades para auditar cómo habían gastado los fondos federales, y los informes se hacían públicos. Claudio Ferraz y Frederico Finan (Quarterly Journal of Economics, 2008) compararon a los alcaldes que buscaban la reelección según si su auditoría se había publicado antes o después de la elección. Cuando la auditoría salía antes, los alcaldes a quienes se les hallaban más irregularidades tenían menos probabilidades de ser reelegidos; cuando salía después de la elección, las tasas de reelección no variaban con el nivel de corrupción. Los autores concluyen que los votantes rechazan la corrupción pero les faltaba la información para castigarla, y que el efecto fue mayor donde había radio local. Aquí el sorteo no lo hizo el investigador sino el programa, y por eso el diseño convence. Para el tema de fondo, mira La corrupción: cómo se mide y qué ha funcionado (18/10).

Cuando no puedes aleatorizar, a veces encuentras un lugar donde el mundo lo hizo por ti: un experimento natural. El estudio de Daniel Posner sobre dos pueblos africanos, los chewa y los tumbuka, es un clásico. Una frontera colonial dividió a cada grupo entre Malaui y Zambia. Sus culturas son esencialmente las mismas a ambos lados, y sin embargo en Malaui son rivales políticos y en Zambia aliados. La diferencia, argumentó Posner, es el tamaño: en Malaui los chewa son cerca del 28 por ciento de la población y los tumbuka el 12 por ciento, lo bastante grandes para formar bloques rivales; en Zambia cada uno es menos del 7 por ciento, demasiado pequeño, así que los políticos los convocan juntos como orientales. La frontera, trazada sin pensar en la política, hizo la asignación. Otro caso, en España: los atentados del 11 de marzo de 2004 en Madrid ocurrieron tres días antes de las elecciones generales, y José Montalvo (Review of Economics and Statistics, 2011) usó esa coincidencia de fechas para preguntar si los atentados cambiaron quién ganó; su conclusión fue que sí tuvieron un efecto importante en el resultado. Un experimento natural vale lo que valga el argumento de que la asignación fue "como al azar", y ese argumento hay que defenderlo caso por caso.

Diferencias en diferencias

Otro enfoque: encuentra un grupo afectado por una política y otro que no, y compara cómo cambió cada uno. El cambio del grupo de comparación sustituye lo que le habría pasado de todos modos al grupo tratado. El ejemplo clásico es el de David Card y Alan Krueger (1994). En abril de 1992 Nueva Jersey subió su salario mínimo de US$4.25 a US$5.05 la hora, mientras que la vecina Pensilvania no. Encuestando restaurantes de comida rápida en los dos estados antes y después, hallaron que el empleo en Nueva Jersey no cayó respecto a Pensilvania; subió ligeramente, en unos 2.75 empleos equivalentes a tiempo completo por restaurante. El hallazgo fue discutido, y los economistas todavía debaten sobre él, pero el diseño se volvió una herramienta estándar. Card compartió el premio Nobel de economía de 2021 en parte por este trabajo.

Aleja la tendencia extra de cero y verás que la estimación se equivoca exactamente en esa cantidad. Los grupos parten de niveles distintos, y eso no importa; lo que importa es si ya se estaban separando. Los investigadores lo revisan graficando varios períodos antes de la política. Si las líneas corren paralelas antes, es creíble que sigan paralelas después; nunca se demuestra.

Regresión discontinua

Algunas reglas crean líneas nítidas: una beca para puntajes sobre 80, un programa para municipios de más de 5,000 habitantes, un escaño para el candidato con más votos. Compara las unidades justo por encima y justo por debajo de la línea y son casi idénticas, así que la línea funciona como un sorteo para las que están cerca. El diseño lo introdujeron Donald Thistlethwaite y Donald Campbell en 1960, para becas y planes de carrera de estudiantes. En ciencia política, David Lee (2008) lo usó para la Cámara de Representantes de Estados Unidos: en distritos donde el demócrata ganó o perdió por un pelo, quién ganó fue casi una moneda al aire, así que comparar esos distritos muestra cuánto vale ganar una vez.

En la región hay un ejemplo con una línea trazada hace siglos. Melissa Dell (Econometrica, 2010) usó el borde del área de la mita minera, el sistema de trabajo forzoso que funcionó en el Perú y Bolivia entre 1573 y 1812, como una línea de discontinuidad: los distritos justo dentro y justo fuera del borde son parecidos en su geografía, y sin embargo hoy los hogares de los distritos que estuvieron dentro consumen alrededor de una cuarta parte menos y su desnutrición crónica infantil es unos 6 puntos porcentuales mayor, según el resumen del artículo. Es la misma historia que se cuenta en Economía política (34/54), vista desde el método.

Debes decidir qué tan ancha es la ventana alrededor de la línea. Una ventana angosta da comparaciones limpias pero pocos puntos, así que la estimación es ruidosa. Una ventana ancha da muchos puntos pero incluye algunos lejos del corte, donde el resultado se curva por otras razones. Prueba los dos extremos.

Los expertos usan versiones refinadas (ajustes ponderados y ventanas elegidas con los datos), pero el compromiso es el mismo. Dos precauciones: la estimación habla solo de las unidades cercanas a la línea, y falla si la gente puede acomodarse a un lado u otro, como cuando funcionarios manipulan un conteo de votos o un puntaje.

Estudios de caso y rastreo de procesos

No toda pregunta tiene cien casos. ¿Por qué triunfó una revolución en particular? ¿Por qué un país evitó la guerra civil? Aquí los investigadores estudian unos pocos casos a fondo. El rastreo de procesos (process tracing) es la disciplina de esto: expones la cadena de hechos que tu teoría predice y buscas evidencia en cada eslabón. Stephen Van Evera (1997) clasificó la evidencia en cuatro tipos, según cómo se comporta un indicio si la teoría es verdadera o falsa. David Collier popularizó el rastreo de procesos en la ciencia política, definiéndolo como el examen sistemático de evidencia diagnóstica.

• Paja al viento (straw in the wind): inclina un poco la creencia, sin ser un respaldo ni una refutación fuertes.
• Aro (hoop): la teoría debe pasarlo. Fallar cuenta mucho en contra; pasar prueba poco.
• Pistola humeante (smoking gun): respaldo fuerte si se encuentra. No encontrarla prueba poco.
• Doblemente decisivo: confirma la teoría y elimina a las rivales si se pasa; la daña gravemente si se falla. Raro.

La disputa principal aquí es vieja y sigue viva. En 1994 Gary King, Robert Keohane y Sidney Verba, en Designing Social Inquiry (en español, El diseño de la investigación social), sostuvieron que la investigación cualitativa debía seguir la lógica de la inferencia cuantitativa. La respuesta de Henry Brady y David Collier en Rethinking Social Inquiry (2004) sostuvo que el trabajo basado en casos tiene sus propias fortalezas, y el rastreo de procesos es parte de esa respuesta. Muchos politólogos hoy combinan ambos: usan una regresión para hallar un patrón y casos para comprobar el mecanismo.

Medir un concepto como la democracia

Antes de poner a prueba si la democracia causa crecimiento, debes decidir qué es la "democracia" y cómo contarla. Las definiciones al estilo de Dahl subrayan las elecciones competitivas y la participación amplia; otras añaden el Estado de derecho, una prensa libre y las libertades civiles. Los grandes conjuntos de datos toman decisiones distintas. Polity, iniciado por Ted Robert Gurr a fines de los años sesenta, puntúa a los Estados de −10 a +10, y considera democracia de 6 a 10. El índice de la Unidad de Inteligencia de The Economist (EIU), publicado por primera vez en 2006, suma 60 indicadores en cinco categorías en una puntuación de 0 a 10 y clasifica a los países en cuatro tipos (democracia plena, democracia defectuosa, régimen híbrido, régimen autoritario). V-Dem, lanzado en 2014, publica más de 470 indicadores sobre siete principios de democracia, desde 1789. Freedom House publica sus propias calificaciones anuales. Coinciden en los extremos y discrepan en el medio, y las discrepancias no son errores: reflejan definiciones distintas. Gerardo Munck y Jay Verkuilen (2002) criticaron varios índices por ser demasiado estrechos o por esconder decisiones sobre ponderaciones. Algunos estudiosos prefieren una regla simple de sí o no, como la que cuenta a un país como democracia solo si el poder ha cambiado de manos de verdad mediante elecciones.

Conviene además no confundir lo que mide cada fuente. El Latinobarómetro, la encuesta de opinión que se hace en países de América Latina, mide lo que piensa la gente (por ejemplo, su apoyo a la democracia); no clasifica regímenes. Un país puede tener un régimen bien calificado por los expertos y ciudadanos poco satisfechos con él, y al revés: son dos preguntas distintas.

Sin JavaScript: un país con elecciones competitivas y sufragio universal pero sin prensa libre, tribunales independientes ni alternancia en el poder cuenta como democracia bajo una regla mínima y no bajo las demás.

Prueba el País C: las elecciones son competitivas y el poder ha cambiado de manos, pero no todos pueden votar. Las reglas discrepan. Cualquier hallazgo sobre "democracia y X" depende de cuál se usó, y por eso los artículos cuidadosos muestran sus resultados con más de una medida.

El debate sobre la replicación

Las ciencias sociales han tenido un ajuste de cuentas sobre si los hallazgos se sostienen. En 2015 la Open Science Collaboration repitió 100 estudios de psicología e informó que cerca del 36 por ciento de las réplicas produjo un resultado estadísticamente significativo, con efectos de más o menos la mitad del tamaño original. La ciencia política ha tenido sus propios casos. En diciembre de 2014 Science publicó un estudio de Michael LaCour y Donald Green que afirmaba que una conversación breve con un visitador gay cambiaba de forma duradera las opiniones sobre el matrimonio entre personas del mismo sexo. En mayo de 2015 David Broockman, Joshua Kalla y Peter Aronow mostraron que los datos eran irregulares y parecían fabricados, y Science retractó el artículo el 28 de mayo de 2015. El caso no fue de un método débil sino de un fraude, y la lección que se sacó fue que los datos y el código deben compartirse para que otros puedan comprobarlos.

El problema más silencioso es la flexibilidad. Un investigador con muchos resultados, subgrupos y maneras de codificar una variable casi siempre puede hallar algo con p por debajo de 0.05. Estudios de resultados publicados en varias ciencias sociales, entre ellas la ciencia política, han informado más hallazgos justo por debajo de la línea de 0.05 de los que daría el azar. Los remedios son preinscribir el plan de análisis antes de ver los datos, revistas que aceptan artículos por sus preguntas y no por sus resultados ("informes registrados") y compartir datos y código. Algunos estudiosos cualitativos han argumentado que las reglas de transparencia hechas para la estadística les calzan mal a las entrevistas y a los archivos, y el campo todavía está resolviéndolo.

Sin JavaScript: con 14 resultados que son todos verdaderamente cero, la probabilidad de que al menos uno parezca significativo es de cerca del 51 por ciento.

Catorce pruebas de nada dan casi las mismas probabilidades de un "hallazgo" que de nada. El umbral más estricto, que divide 0.05 entre el número de pruebas (la corrección de Bonferroni), mantiene las falsas alarmas cerca del 5 por ciento en total, a costa de no detectar efectos reales más pequeños. Nada de esto vuelve inútil a un estudio aislado; significa que un resultado significativo entre muchos intentos merece menos confianza que el mismo resultado de una sola prueba planeada.

Lo que un graduado ve sin pensarlo

• Una correlación es una invitación a preguntar qué más podría producirla. Pregunta quién se autoseleccionó para entrar al grupo.
• Toda afirmación causal esconde un contrafactual: ¿qué habría pasado de otro modo?
• La aleatorización funciona porque el azar no está correlacionado con nada. Todo lo demás es un intento de imitarla.
• Un experimento natural vale lo que valga el argumento de que la asignación fue "como al azar".
• Diferencias en diferencias necesita tendencias paralelas; revisa los años anteriores a la política.
• Cerca de un corte, las unidades se parecen; lejos de él, no. Las ventanas angostas cambian sesgo por ruido.
• Unos pocos casos pueden poner a prueba una teoría si preguntas cómo se vería cada indicio si la teoría fuera falsa.
• "Democracia" es una definición antes que un número. Pregunta qué medida se usó, y qué mide.
• Muchos intentos inflan los hallazgos falsos. Los planes escritos antes de los datos, y los datos abiertos, los desinflan.

Dónde aparece después

• Elecciones, partidos y opinión pública (34/53): los experimentos de campo sobre participación y la regresión discontinua en elecciones reñidas son herramientas estándar ahí.
• Políticas públicas (34/16): evaluar un programa es un problema de inferencia causal; mira el contrafactual en el ejemplo de Progresa.
• Política comparada (34/51): las comparaciones entre países dependen de cómo se miden conceptos como la democracia.
• Econometría (34/36): los mismos métodos con el énfasis del economista.
• Economía política (34/54): los intentos de poner a prueba si "las instituciones causan crecimiento".
• En el mundo: leer una noticia que dice "un estudio encuentra", las encuestadoras y los equipos de campaña que hacen pruebas A/B, y los centros de estudio y los ministerios que piden evidencia antes de gastar.

Si quieres profundizar

• 🌐 Curso gratis, en inglés. MIT OpenCourseWare 17.871, Political Science Laboratory (Charles Stewart, primavera de 2012): aprende investigación política cuantitativa haciendo proyectos con encuestas, comportamiento electoral y evaluación de políticas.
• 🌐 Curso gratis, en español. OCW de la Universidad de Zaragoza: Estadística descriptiva con Excel para grados de Ciencias Sociales: tablas, medidas de dispersión, correlación y regresión lineal simple, la base numérica de todo lo anterior. (La página tiene interfaz en inglés; el contenido del curso está en español.)
• 📘 Texto clásico, en español. Gary King, Robert Keohane y Sidney Verba, El diseño de la investigación social (Alianza Editorial, 2000): la edición en español de Designing Social Inquiry, el libro del debate cuantitativo-cualitativo de arriba.
• 📘 Texto, en inglés. Kevin Kellstedt y Guy Whitten, The Fundamentals of Political Science Research (Cambridge University Press): un primer texto estándar de métodos para la disciplina.
• 📘 Texto, en inglés. Alan Gerber y Donald Green, Field Experiments: Design, Analysis, and Interpretation (Norton, 2012), y Thad Dunning, Natural Experiments in the Social Sciences (Cambridge University Press, 2012).
• 📘 Más suave, en inglés. Joshua Angrist y Jörn-Steffen Pischke, Mastering 'Metrics (Princeton, 2015): la lógica de estos métodos casi sin álgebra.