TEMA 4: CONDICIONAMIENTO OPERANTE Introducción •

• TEMA 4: CONDICIONAMIENTO OPERANTE
• Introducción
El condicionamiento operante constituye uno de los mecanismos de aprendizaje de mayor importancia teórica
y práctica: por una parte, es seguramente el más investigado y mejor comprendido, y por otra es fuente de
algunas de las más significativas aplicaciones de la psicología a problemas concretos.
En una primera aproximación, se diferencia del CC en un aspecto esencial: En el CO, la secuencia de sucesos
depende de la conducta del organismo. En el CC, lo que sucede a lo largo de una sesión está prefijado por el
psicólogo, y la secuencia de estímulos que se administran es independiente de que el organismo responda o
no.
Los mecanismos que hemos estudiado hasta ahora permiten a un organismo aprender acerca de aspectos de su
entorno que no resultan controlables. El CO permite a un organismo aprender a controlar ciertos aspectos del
medio mediante su conducta.
En sentido estricto, el C. Operante es un caso particular de C. Instrumental. El C. Instrumental se refiere a los
mecanismos por los cuales un organismo aprende a dar una respuesta más frecuentemente (o menos) en virtud
de los eventos(o consecuencias) que siguen sistemáticamente a dicha respuesta. El C. Operante se refiere a los
casos en los que dicha respuesta se define como un operante, es decir, en virtud de sus propiedades
funcionales. Sin embargo, la importancia relativa del C.operante es tan grande que a menudo ambos términos
(operante e instrumental) se emplean como sinónimos.
• Antecedentes
• Thorndike:
Interesado en la inteligencia animal, a partir de presupuestos darwinianos, presenta en su tesis doctoral (1898)
un estudio sobre el comportamiento de animales en situaciones−problema muy simples. Utilizando estas
situaciones (mediante las llamadas "cajas−problema") comprueba que los animales aprenden a solucionar el
problema por ensayo y error: al principio, su conducta es caótica y dan con la solución (accionar el
mecanismo de apertura de la caja de forma que puedan salir y alcanzar la comida) por pura casualidad, pero
en sucesivos ensayos el tiempo que tarda el animal en dar la respuesta relevante disminuye de forma
progresiva y sistemática, y las respuestas erráticas se reducen hasta casi desaparecer.
A partir de esta clase de estudios, Thorndike formula en 1911 la Ley del Efecto:
Si una respuesta en una situación estimular dada es seguida por un suceso satisfactorio o placentero, la
relación entre la situación y la respuesta se fortalece, de forma que el organismo tendrá más tendencia a dar
esa respuesta en esa situación. Si por el contrario va seguida de un suceso nocivo o desagradable, la
respuesta tenderá a no darse.
• Primeros conductistas
Desde el punto de vista del conductismo watsoniano, la anterior formulación resultaba muy inadecuada, ya
que se basa en estados internos del organismo ("satisfactorio", "desagradable", etc.) inobservables y dudosos.
Por otra parte, el intento de Thorndike de definir los estados satisfactorios como aquellos que el organismo no
hacía nada por evitar, etc., incurría en circularidades que los críticos señalaron en repetidas ocasiones.
• Skinner
1
En los años 30−40, Skinner, adoptando un marco teórico más amplio, consistente y operativo, reformula la ley
del efecto como "ley de refuerzo":
Ciertos sucesos (refuerzos), cuando siguen consistentemente a una respuesta de un organismo, aumentan su
probabilidad
Desentendiéndose de las interpretaciones asociacionistas y, en gran medida, de los antecedentes estimulares
de la conducta, pone el énfasis en la relación entre la respuesta y los eventos que la siguen consistentemente.
Una de las aportaciones teóricas más significativas de Skinner es la reconceptualización de la respuesta como
"operante", es decir, definida exclusivamente por sus propiedades funcionales (en contraposición a otros
aspectos, como la topografía o la intensidad − ver Tema 1)
Desde el punto de vista de la metodología de investigación, Skinner se decanta por los procedimientos de
operante libre, en contraposición a los de ensayo discreto.
Procedimientos de ensayo discreto:
• El organismo es sometido a sucesivos ensayos, entre los cuales normalmente es necesario manipularlo
físicamente (por ejemplo, volver a meter el gato en la caja problema).
• Son ventajosos para estudiar bastantes cuestiones, pero presentan dos inconvenientes: la manipulación
del organismo puede interferir con el proceso natural de aprendizaje (por ejemplo, si le resulta
estresante); y no nos da ninguna información sobre lo que haría el organismo si pudiera emitir la
respuesta tan a menudo como quisiera (es decir, no podemos utilizar la tasa de R como variable
dependiente).
• Ejemplos de dispositivos: laberintos, corredores, las cajas−problema de Thorndike, etc.
Procedimientos de operante libre:
• Las sesiones no se dividen en ensayos, sino que el O. está en una situación en la que puede emitir la
respuesta en cualquier momento y con cualquier frecuencia.
• Se han mostrado óptimos para el estudio de muchos aspectos generales del C.O.
• El dispositivo más típico es la Caja de Skinner, junto con el registro acumulativo, que permiten
estudiar detalladamente la evolución de la tasa de respuesta bajo las situaciones de aprendizaje.
• El fenómeno/procedimiento básico
El fenómeno nuclear del CO consiste en la implantación de una contingencia entre una respuesta emitida por
un organismo y un suceso ambiental (consecuente o consecuencia) que sigue consistentemente a esa
respuesta. Como resultado, la probabilidad de la respuesta se ve sistemáticamente modificada a medida que la
situación se repite.
[ R. Op. Consecuencia ambiental ] P(R)
En el caso más sencillo, se sitúa a un organimo en una determinada situación controlada (e.g., en una caja de
Skinner y con cierto grado de privación previa de alimento), y se le suministra como consecuente (reforzador)
una cierta cantidad de comida cada vez que emite una respuesta concreta y predeterminada por el psicólogo
(apretar una palanca, picotear un disco, etc.). Se comprueba que la frecuencia de la respuesta elegida aumenta
sistemáticamente a medida que transcurre el tiempo (recuérdese que en esta clase de experimentos, de
"operante libre", no cabe hablar de ensayos propiamente dichos, sino que se trata de una situación contínua en
la que el organismo lleva la iniciativa).
2
• Conceptos principales
• Respuesta
Puede ser cualquier respuesta incluida en el repertorio conductual del organismo, seleccionada arbitrariamente
por el psicólogo.
Operante o respuesta operante: es el caso más frecuente. Se define por los efectos que opera en el ambiente
(de ahí su nombre). Así, por ejemplo, cualquiera de las formas en que un organismo puede accionar una
palanca se consideran como casos de una misma respuesta u operante. Es decir, puede hacerse abstracción de
la topografía concreta de la respuesta (que se ejecute con un miembro u otro, con movimientos diferentes,
etc.), aunque ésto va a depender en cada caso de lo que al psicólogo le interese que el organismo aprenda.
Típicamente, es una respuesta motora voluntaria, aunque puede tratarse también de una respuesta autonómica
o visceral (e.g., aumento de la tasa cardiaca), e incluso de una acción de carácter lingüístico o cognitivo.
• Consecuente, consecuencia
Suceso que afecta sistemáticamente a la probabilidad de la respuesta a la que sigue consistentemente.
Reforzador o refuerzo: es un consecuente que aumenta la frecuencia de R a la que sigue.
Un refuerzo puede ser positivo (p.ej. aparición de un E apetitivo) o negativo (no−aparición o retirada de un E
aversivo).
Castigo: es un consecuente que reduce la frecuencia de R a la que sigue.
Un castigo puede también ser positivo (p.ej. aparición de un suceso aversivo) o negativo (no−aparición o
retirada de un suceso apetitivo).
Es muy importante no confundir un reforzador con un estímulo o suceso agradable. Un estímulo es un
reforzador, por definición, en virtud de su efecto en el aumento de la respuesta a la que sigue, y no por su
supuesta inducción de un estado subjetivo en un organismo
Asimismo, es importante observar que el refuerzo o el castigo no tienen por qué ser necesariamente estímulos
en sentido estricto. Por ejemplo, el permitir o impedir al organismo realizar determinadas conductas pueden
actuar como refuerzos o castigos respectivamente.
• Contingencia
Es la relación estadística entre la emisión de un operante y la administración de una consecuencia. A menudo
se emplea la expresión "contingencias de refuerzo" o "contingencias de reforzamiento" para referirse al
proceso por el cual un organismo ha adquirido una determinada respuesta (e.g. "la presencia de patrones de
retraimiento social que llamamos timidez depende de las contingencias de refuerzo" significa que se atribuye
la frecuencia diferencial de un conjunto de respuestas al vínculo estadístico que han tenido en el historial del
sujeto con cierto tipo de consecuencias).
Por lo tanto, contingencia significa aquí lo mismo que en CC, sólo que ahora se establece entre una respuesta
y un suceso ambiental, en vez de entre dos sucesos ambientales.
• Estímulo discriminativo
Estímulo cuya presencia es informativa sobre la disponibilidad de un consecuente.
3
Es opcional: no tiene por qué haber un E discriminativo explícito.
Se suele denotar ED o E+ a los estímulos que indican la disponibilidad de un consecuente, y E o E− a los
que informan de su no−disponibilidad.
• Respuesta incondicionada
Es la respuesta natural del organismo al reforzador (por ejemplo, la salivación, deglución,etc. en el caso en
que el reforzador es un trozo de alimento).
En general, no juega ningún papel en el condicionamiento operante.
• Adquisición
Procedimiento y proceso en el cual se establece una contingencia entre un operante y un reforzador, de forma
que la frecuencia de aquél aumenta.
Significado análogo al del CC
• Extinción
Procedimiento y proceso en el cual se elimina una contingencia entre un operante y un reforzador, de forma
que la frecuencia de aquél decae.
Significado análogo al del CC
• Moldeado o moldeamiento (shaping)
Consecución gradual de una R que no estaba presente en el repertorio conductual del organismo (o lo estaba
con una probabilidad muy baja) mediante reforzamiento de respuestas que suponen aproximaciones sucesivas
a la R deseada.
Tiene gran importancia práctica, ya que es el principal procedimiento de aprendizaje de Rs nuevas.
• Tipos básicos de condicionamiento operante
Los cuatro tipos básicos de condicionamiento operante se producen como resultado del entrenamiento de un
organismo mediante el establecimiento de una contingencia entre una R. operante y uno de los cuatro
consecuentes básicos.
• Reforzamiento positivo: Administración de un evento siguiendo contingentemente a una R dada, que
tiene como efecto un aumento en la fuerza, la probabilidad o la tasa de ésta. Normalmente se trata de
un estímulo apetitivo o de la posibilidad de realizar una conducta de alta probabilidad..
Ejemplo: cada vez que una rata presiona una palanca (R), se le administra como consecuente un trozo de
comida; se puede observar que la rata cada vez presiona más frecuentemente la palanca
El tipo de CO que resulta de aplicar sistemáticamente reforzadores positivos a una respuesta se conoce como
entrenamiento de recompensa.
• Reforzamiento negativo: Omisión o interrupción de un suceso (típicamente, un E aversivo) de forma
contingente con la emisión de una R, a resultas de lo cual se produce un aumento en la fuerza, la
4
probabilidad o la tasa de ésta.
Ejemplo: cada vez que una rata se desplaza al lado opuesto de la jaula (R), como consecuente se interrumpe
una descarga eléctrica que se le estaba aplicando; se puede observar que la rata cada vez cambia de lado
más frecuentemente.
La aplicación sistemática de reforzadores negativos a una R se conoce como entrenamiento de evitación o
entrenamiento de escape, dependiendo de si el organismo puede mediante la R llegar a prevenir la aparición
del E. aversivo (evitación) o sólo puede interrumpirlo, acortando su duración, una vez administrado (escape)
• Castigo positivo: Administración de un suceso (en el caso típico, un E aversivo) siguiendo
contingentemente a una R dada, que tiene como efecto una disminución en la fuerza, la probabilidad o
la tasa de ésta.
Ejemplo: cada vez que una oveja entra en contacto con la cerca en la que está encerrada (R), como
consecuente se le administra una descarga eléctrica; se puede observar que la oveja cada vez toca menos
frecuentemente la cerca.
La aplicación sistemática de castigos positivos a una R se conoce como entrenamiento de castigo.
Castigo negativo: Omisión o interrupción de un estímulo de forma contingente con la emisión de una R, a
resultas de lo cual se produce una disminución en la fuerza, la probabilidad o la tasa de ésta.
Ejemplo: cada vez que una rata que está recibiendo pequeños fragmentos de comida cada 15 segundos toca
la pared del fondo de la jaula, se le elimina la siguiente administración de comida que correspondiera; se
puede observar que cada vez se acerca menos a dicha pared.
La aplicación sistemática de castigos negativos a una R se conoce como entrenamiento de omisión.
CASTIGO :
REFORZADOR : Tiende
a aumentar la fuerza de la Tiende a disminuir la
fuerza de la R a la que
R a la que sigue
sigue
Reforzamiento positivo
Castigo positivo
Entrenamiento de
recompensa.
Ej. : Administrar comida
POSITIVO : Se administra
tras la respuesta.
un estímulo
R aumenta.
Entrenamiento de
castigo.
Ej. : Administrar descarga
tras la respuesta.
R disminuye.
Se usa una recompensa
Se usa un estímulo
(estímulo o suceso
aversivo
apetitivo).
NEGATIVO :Se omite un Reforzamiento negativo Castigo negativo
estímulo
Entrenamiento de escape Entrenamiento de
omisión
5
Ej. : Detener una descarga Ej. : Se deja de dar comida
eléctrica tras la respuesta al organismo cada vez que
da R.
Entrenamiento de
evitación
• Disminuye
Ej. : Si se da R, omitir una Se usa estímulo apetitivo
descarga que se hubiera
dado en caso contrario.
R aumenta.
Se usa un estímulo
aversivo
• Entrenamiento de recompensa: Principales factores
• Magnitud del reforzador
Aumentos en la cantidad de la recompensa mejoran la actuación.
Aumentos en la calidad producen el mismo efecto. Por ejemplo, usando como reforzador agua azucarada se
mejora el nivel de ejecución respecto al uso de agua pura. Caso extremo: los experimentos de Olds con
estimulación directa de los centros cerebrales del placer.
• Demora de la recompensa
Es el intervalo respuesta−recompensa. Afecta drásticamente al aprendizaje, en el sentido de que a mayor
demora, menos RC. A partir de un determinado punto, el organismo no aprende.
Demoras superiores a unos 30 sg. parecen no producir ya CO, aunque hay variaciones entre especies y
sistemas de respuesta. Por ejemplo: con ratas, laberintos y comida, la demora tolerada por los organismos para
lograr un nivel alto de aprendizaje se sitúa entre 2 sg. y 5 sg.
Sin embargo, en la mayoría de las situaciones se consiguen incluso niveles altos de aprendizaje con demoras
mayores, debido a la acción de claves estimulares (e.g., el 'clic' de la palanca) que actúan como reforzadores
secundarios o reforzadores condicionados (ver más adelante).
• Impulso
Es un constructo teórico que se refiere al estado motivacional del organismo respecto a aquello que vamos a
usar como recompensa.
Se mide en términos de porcentaje del peso perdido, nº de horas de privación de agua, etc.
El resultado general es que la actuación es tanto mejor cuanto mayor es el impulso (más peso perdido, más
horas de privación, etc.), salvo en casos extremos.
• Programas de refuerzo
Hasta ahora hemos considerado sólo el caso en que la realización por parte del organismo de la conducta
elegida va siempre seguida de la consecuencia establecida (la probabilidad del estímulo reforzador dada la
respuesta operante es igual a 1). Esto (que constituye una contingencia total) es lo que se denomina refuerzo
6
continuo
El refuerzo contínuo no es la única (ni la más eficaz) alternativa para el aprendizaje por CO; por el contrario,
constituye sólo un caso muy particular. Los casos en que la relación respuesta−consecuente no es completa (es
decir, no cualquier emisión de la respuesta va seguida del consecuente) se denominan situaciones de refuerzo
parcial (. Es fácil ver que el refuerzo parcial es lo más común en situaciones naturales (ajenas al laboratorio o
la clínica).
Un programa de refuerzo es una regla que especifica exactamente bajo qué condiciones la emisión de la
respuesta va a ser seguida del reforzador.
Los programas de reforzamiento son, según muchos autores, una de las variables independientes más
poderosas de la psicología, en el sentido de que conociendo el programa concreto administrado a un
organismo, se pueden predecir confiablemente muchas cosas respecto a la conducta adquirida.
• Programas básicos.
Los programas básicos (también llamados "simples") pueden ser
De razón: se administra el reforzador sólo tras la emisión de un número determinado de respuestas.
De intervalo: se administra el reforzador a la primera respuesta que se produce una vez transcurrido un
intervalo de tiempo establecido, contado desde el último reforzador.
A su vez, la razón o el intervalo pueden ser
Fijos : con el mismo valor a lo largo de toda la adquisición
Variables: con distintos valores a lo largo de la sesión, que oscilan en torno a un promedio.
Esto da lugar a los cuatro tipos de programas básicos: RF−n, IF−n, RV−n e IV−n, donde n es el valor de la
razón o el intervalo (o su promedio, si es un programa variable).
En la aplicación de un programa de reforzamiento a un organismo que no ha sido objeto de aprendizaje
previo, normalmente se comienza por un proceso de moldeado, luego se sigue con reforzamiento contínuo y
finalmente se va progresivamente aumentando las exigencias hasta llegar al programa deseado.
• Razón fija
Se administra un estímulo reforzador por cada n respuestas. En un programa RF−10, cada décima emisión de
la R va seguida de una recompensa.
Este programa produce una tasa de respuesta típicamente alta y estable. Si la razón es alta, a menudo el
organismo se toma pausas inmediatamente a continuación de la administración del reforzador.
• Razón variable
Los programas de razón variable son especialmente importantes, ya que (dentro de los simples) son los que
más se aproximan a las situaciones naturales.
Un programa RV especifica que el reforzador se administra tras un número de respuestas que varía a cada vez.
Así, por ejemplo, en un RV−5 la recompensa se puede administrar tras 7, 3, 11, 2, 3, 5... respuestas, de forma
7
que el promedio total sea 5 respuestas a lo largo de la sesión.
Los programas RV generan la tasa de respuestas más alta (lo que se manifiesta en el registro acumulativo por
una gran pendiente) y constante (no aparecen pausas, excepto en el caso de razones muy grandes).
• Intervalo fijo
En los programas IF se administra el reforzador a la primera emisión de la respuesta una vez transcurrido un
intervalo desde la anterior emisión del reforzador. Es decir, cada reforzador inicia un intervalo en el cual las
Rs no son recompensadas.
El organismo aprende a anticipar cuándo va a estar disponible el siguiente reforzador, y progresivamente
disminuye su tasa de respuestas al principio del intervalo y la aumenta hacia el final del mismo. Por ello, estos
programas terminan por producir un carácterístico registro acumulativo festoneado:
Los programas IF producen una tasa de respuesta global más baja que los de razón, y menos estable debido a
las variaciones dentro de cada intervalo.
• Intervalo variable
Los programas de intervalo variable son como los anteriores, sólo que el intervalo oscila en torno a un valor
promedio.
Dan lugar a una tasa de respuesta moderada que, globalmente, es más o menos igual que la de IF, pero mucho
más estable. Al no ser predecible por el organismo la duración del intervalo, no hay diferencias locales de tasa
de respuesta (el organismo responde a un ritmo sostenido).
Por este motivo, es un programa idóneo para establecer Rs que se van a emplear como línea base de ulteriores
tratamientos o experimentos (en particular, se emplean muy a menudo como punto de partida para el estudio
de condicionamiento clásico mediante supresión condicionada −ver tema 3).
En líneas generales, cabe formular las siguientes conclusiones sobre los cuatro programas básicos:
1) Los programas de razón dan lugar a tasas de respuesta más altas.
2) Los programas variables dan lugar a tasas de respuestas más estables (contínuas).
3) En general, los resultados de la investigación con los distintos programas son bastante consistentes de unas
especies a otras.
Esquema Tema 4
10
1
8