Aprendizaje y conducta: la sorpresa es la maestra

Te vibra el celular y, antes de que decidas algo, tu mano ya se está moviendo. Suena una canción de tu época escolar y sientes algo que no tiene nada que ver con el lugar donde estás. Jalas la palanca de una máquina expendedora que se tragó tus monedas la semana pasada, y la vuelves a apretar, fuerte, como si eso ayudara.

Nada de esto requirió pensar. Son las huellas de un aprendizaje que ocurre sin que nadie te enseñe: una señal que ahora predice algo, una acción que valió la pena, una recompensa que llegó un poco menos o un poco más de lo esperado. Los psicólogos pensaron antes que esto era un tema de ratas y palomas. Resultó ser la maquinaria que hay debajo de la publicidad, los videojuegos, las adicciones, la crianza, el manejo de un aula e incluso el entrenamiento de agentes artificiales.

Un egresado (o titulado) de esta materia conserva una idea por encima de las demás: el aprendizaje lo impulsa la sorpresa. Cuando el mundo coincide con tu predicción, no se aprende nada. Cuando no coincide, el tamaño de la sorpresa decide cuánto cambias.

Condicionamiento clásico: una señal aprende lo que predice

Iván Pávlov estudiaba la digestión de los perros (un trabajo que le valió el Nobel de Fisiología o Medicina de 1904) cuando notó que los perros empezaban a salivar antes de que llegara la comida, al ver al cuidador o al oír sus pasos. Convirtió la molestia en el experimento. Una señal neutra, como una campana, sonaba repetidamente justo antes de la comida. La comida (el estímulo incondicionado) ya causaba salivación. Después de suficientes emparejamientos, la campana (el estímulo condicionado) la causaba también.

La lectura moderna es menos "asociación por cercanía" y más "la campana se volvió un pronóstico". La señal tiene que ser informativa: si la comida llega igual de seguido sin la campana, la campana sigue sin significar nada, por muchas veces que coincidan (Robert Rescorla, 1968). La biología también pone límites. En un famoso experimento de 1966, John Garcia y Robert Koelling hallaron que las ratas vinculan con facilidad un sabor con una enfermedad posterior, incluso horas después, pero no vinculan con la misma facilidad una luz intermitente y un ruido con la enfermedad. Por eso un solo ostión en mal estado puede acabar con el gusto por los ostiones durante años.

Los humanos hacen lo mismo. El jingle de una marca que anticipaba un buen rato, un sonido ligado a una mala visita al dentista y el nudo en el estómago ante cierta notificación de correo son condicionamiento clásico. La evidencia del aprendizaje del miedo en humanos no es la demostración de 1920 del "pequeño Albert", que tuvo un solo bebé, ningún control adecuado y un desenlace incierto: los investigadores aún discuten la identidad y la salud del niño. El trabajo de laboratorio posterior estableció bien el efecto, con consentimiento y con formas de deshacerlo.

Ese deshacer es la extinción: presenta la campana sin la comida y la respuesta se debilita. La asociación vieja no se borra; la cubre una nueva y competidora, y por eso el miedo puede volver tras una pausa y por eso las terapias basadas en exposición funcionan repitiendo encuentros seguros. (Un adelanto de Psicología clínica, 34/26.)

Condicionamiento operante: las consecuencias moldean lo que haces después

Edward Thorndike (1898) puso gatos en cajas-rompecabezas y los observó tropezar con el pestillo y luego abrirlo más rápido cada vez. Lo llamó la ley del efecto: una acción seguida de un resultado satisfactorio se vuelve más probable. B. F. Skinner (The Behavior of Organisms, 1938) construyó sobre eso una caja en la que se registraban las pulsaciones de palanca de un animal y se premiaban bajo reglas fijadas por el experimentador.

El vocabulario es una trampa, así que aquí va en una tabla. "Positivo" y "negativo" significan añadir o quitar. "Refuerzo" y "castigo" significan que la conducta se vuelve más o menos probable.

	Conducta más probable	Conducta menos probable
Se añade algo	Refuerzo positivo: un elogio tras ordenar	Castigo positivo: un regaño
Se quita algo	Refuerzo negativo: la alarma se apaga cuando te levantas	Castigo negativo: perder tiempo de pantalla

Dos cosas que sabe un graduado. El refuerzo negativo no es castigo; es un escape que premia. Y los efectos del castigo son más débiles y menos fiables de lo que la gente espera: suprime la conducta mientras se aplica y enseña qué evitar, no qué hacer. Enseñar una conducta nueva con un premio funciona mejor que acabar con una vieja con una sanción, y los entrenadores de animales, como los de los libros de Karen Pryor, han construido carreras enteras sobre eso.

Programas de refuerzo: cuándo llega el premio moldea la conducta

En la vida diaria no toda respuesta se premia, y Skinner y Charles Ferster (1957, Schedules of Reinforcement) descubrieron que el patrón de los premios importa tanto como su cantidad. Las cuatro reglas clásicas: una razón fija (cada quinta presión), una razón variable (en promedio cada quinta, pero impredecible), un intervalo fijo (la primera presión pasados diez segundos) y un intervalo variable (la primera presión tras una espera al azar de unos diez segundos). En los registros con animales las formas típicas son: la razón fija da ráfagas y una pausa tras cada premio; la razón variable da un ritmo rápido y constante casi sin pausa; el intervalo fijo da un festón, lento tras el premio y acelerándose al acercarse el momento; el intervalo variable da un ritmo moderado y constante.

Prueba tú las reglas. Esto es una persona tocando, no una paloma, y sabes lo que está pasando, así que tu patrón será distinto del de un animal. Lo que la gráfica sí muestra con honestidad es cada cuánto pagó la regla.

Las tragamonedas (en España, máquinas tragaperras) y muchas notificaciones de apps funcionan como programas de razón variable, una de las razones por las que sujetan tanto la conducta. Los límites honestos: es una analogía tomada de la conducta animal, no una prueba de que un producto concreto cause adicción, y el tamaño del efecto en las personas se discute. Otro dato que conocen los graduados es el efecto de extinción tras refuerzo parcial: la conducta que solo se premió a veces dura más cuando los premios cesan que la premiada siempre, porque el "todavía no hay premio" siempre fue parte del trato.

Aprender es error de predicción: la idea de Rescorla y Wagner

¿Por qué una campana deja de enseñar una vez que predice la comida? Leon Kamin mostró en 1969 que si un animal ya aprendió que una luz predice una descarga, un tono añadido a la luz casi no se aprende, aunque se empareje con la descarga con la misma frecuencia. Es el bloqueo. El tono no añade sorpresa, así que no queda nada por aprender.

En 1972, Robert Rescorla y Allan Wagner pusieron la idea por escrito. En palabras: en cada ensayo, el cambio en la fuerza con que una señal predice el resultado es proporcional al error, la diferencia entre lo que ocurrió y lo que predecían todas las señales presentes juntas.

Un ejemplo numérico: con una tasa de aprendizaje de 0.3 y un resultado de 1, una señal nueva A gana 0.3 en el primer ensayo, luego 0.3 × 0.7 = 0.21 en el segundo, y así sucesivamente, hasta quedar cerca de 0.99 tras diez ensayos. Ahora añade la señal B junto a A, que ya predice 0.99. El error es solo de 0.01 aproximadamente, así que B gana apenas 0.003. Compáralo con B aprendida junto a una A nueva: se reparten la predicción y cada una llega a 0.5.

El modelo es famoso porque es simple y porque se equivocaba de maneras útiles. No explica todos los efectos (la inhibición latente, por ejemplo), y los modelos posteriores añadieron atención y tiempo. Pero la gran idea sobrevivió y se mudó: el aprendizaje sigue la brecha entre la expectativa y el resultado.

La dopamina es una señal de enseñanza, no la química del placer

En los años noventa, Wolfram Schultz registró neuronas de dopamina individuales en monos. Al principio del entrenamiento se disparaban cuando llegaba una recompensa inesperada de jugo. Tras el entrenamiento se disparaban ante la señal que predecía el jugo y ya no ante el jugo mismo. Si el jugo prometido no llegaba, su disparo caía por debajo de la línea base en el momento en que debía llegar. Schultz, Dayan y Montague (1997) mostraron que esto coincide con un error de predicción de la recompensa, la cantidad del aprendizaje por diferencia temporal, una extensión de Rescorla–Wagner al tiempo.

El juguete de abajo usa ese modelo. Cada uno de los seis pasos después de la señal lleva un valor; la señal es cuánto difiere, en cada paso, la recompensa más el siguiente valor de lo que se esperaba. Entrénalo y mira dónde queda la señal.

Con cero ensayos, todo el error está en el premio. Tras suficientes ensayos se ha movido a la señal (cerca de 0.74 en este ajuste, que es el descuento elevado a la sexta potencia) y el premio casi no produce error. Si omites el premio después del entrenamiento, el error en ese momento es fuertemente negativo. Por eso la dopamina se describe mejor como una señal de aprendizaje y deseo que como "la química del placer", el punto de Dopamine Is Not the Pleasure Chemical (en inglés, 01/08). Es una explicación fuerte e influyente, y no la única: los investigadores también vinculan la dopamina con la motivación, el esfuerzo y la saliencia, y el campo discute cuánto de su actividad explica una sola idea de error de predicción.

Los hábitos: conducta que ya no pregunta para qué sirve

Con suficiente repetición en un entorno estable, una acción deja de ser una elección hecha por su resultado y se convierte en una respuesta disparada por el entorno. Los experimentos con roedores (Adams y Dickinson, 1981) lo muestran cuando se vuelve desagradable una recompensa y el animal sigue presionando igual. Qué tan limpiamente se traslada esa división entre control dirigido a metas y control habitual a las personas es tema de debate.

El número más conocido es cuánto se tarda. En un estudio de 2010, Phillippa Lally y colegas pidieron a voluntarios que eligieran una conducta diaria sencilla y calificaran, durante doce semanas, cuán automática les parecía. El tiempo para llegar a una meseta de automatismo promedió 66 días, con un rango de 18 a 254, y faltar un día no perjudicó de forma notable. "Se necesitan 21 días" no tiene tal base; se remonta a un libro de autoayuda, Psycho-Cybernetics (1960), de Maxwell Maltz, según suele contarse.

La lección práctica es la señal. Un hábito se ata a un entorno, así que la misma acción en un lugar nuevo es un nuevo comienzo, y los hábitos más fáciles son los que tienen un disparador claro y repetido.

Aprendizaje por observación: no hace falta que te premien a ti

Las personas y muchos animales aprenden mirando. En los estudios del muñeco Bobo (Bandura, Ross y Ross, 1961), niños en edad de guardería que vieron a un adulto golpear un muñeco inflable tuvieron más probabilidad de golpearlo ellos mismos que quienes vieron a un adulto tranquilo. El trabajo posterior de Bandura subrayó que ver a alguien recibir un premio o un castigo importa (refuerzo vicario), y que las creencias sobre la propia capacidad, que llamó autoeficacia, dan forma a lo que la gente intenta.

Las salvedades honestas: un muñeco no es una persona, los niños pueden adivinar lo que quiere el experimentador, y los estudios muestran imitación en el laboratorio, no que las pantallas causen violencia en el mundo real, tema que la investigación posterior aborda con resultados mixtos y discutidos. Lo que se sostiene es la afirmación básica de que el modelado da forma a la conducta.

Lo que un graduado ve sin pensarlo

• Una respuesta aprendida es un pronóstico: la señal se volvió útil porque predecía algo.
• Aprender necesita sorpresa. Si el resultado era totalmente esperado, nada cambia.
• Los premios enseñan qué hacer mejor de lo que las sanciones enseñan qué no hacer.
• Los premios impredecibles producen la conducta más persistente; "a veces" sujeta más que "siempre".
• La extinción es aprendizaje nuevo puesto sobre el viejo, así que el miedo o el antojo viejo pueden volver.
• La dopamina se parece más a "esto fue mejor o peor de lo esperado" que a "placer".
• Un hábito se ata a una señal y a un entorno, y tarda de semanas a meses, no unos 21 días fijos.
• Las personas aprenden de lo que ven, y por eso los modelos, no los sermones, cambian la conducta.

Dónde aparece después

• Psicología del desarrollo (34/23): el apego, el juego y la crianza pasan por el refuerzo y la imitación, y también las discusiones sobre cuánto puede moldear la experiencia a un niño.
• Psicología clínica (34/26): la terapia de exposición es extinción; la activación conductual es refuerzo; el vínculo del error de predicción con la adicción y la depresión es un área activa de investigación.
• Aprendizaje automático (34/30): el aprendizaje por refuerzo (Sutton y Barto) usa el mismo error de diferencia temporal, y por eso los informáticos y los neurocientíficos leen los artículos de los otros.
• Economía conductual (34/27) y Comportamiento del consumidor (34/29): los programas de lealtad, las apps gamificadas y las "rachas" son programas de refuerzo.
• En el mundo: el adiestramiento de animales, el manejo del aula, el diseño de productos, el tratamiento de adicciones y los consejos de crianza (y la sabiduría popular de desconfiar de ellos).

Si quieres profundizar

• 📘 Libro de texto, en español. Michael Domjan, Principios de aprendizaje y conducta (Cengage, 7.ª edición en español, 2016). El texto estándar con orientación de investigación, fuerte en condicionamiento pavloviano.
• 📘 Libro de texto (en inglés). Paul Chance, Learning and Behavior (Cengage). Una alternativa más legible, con muchos ejemplos cotidianos.
• 📘 Más ligero (en inglés). Karen Pryor, Don't Shoot the Dog! (1984), sobre entrenar con premios, y Sutton y Barto, Reinforcement Learning: An Introduction (MIT Press, gratis en línea), para las mismas ideas desde la informática.
• 🌐 Curso de bajo costo, en español (Coursera). Psicología del Aprendizaje (Universidad de Palermo, en Coursera; con Ricardo Zaidenberg): qué es el aprendizaje, aprendizajes asociativos (condicionamiento clásico y operante) y la teoría sociocognitiva de Bandura. Inscribirse es gratis; el acceso completo a materiales y tareas es de pago, con prueba gratuita. Gratis, en inglés: MIT OpenCourseWare 9.00SC Introduction to Psychology (otoño de 2011).