Las-HSE-en-Cimientos

Anuncio
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Daniela Valencia y Agustina Desalvo
Área de Evaluación de Cimientos
Diciembre, 2019
Para citar este documento:
Fundación Cimientos (2019). Las Habilidades Socioemocionales en Cimientos.
Conceptualización, resultados de su evaluación y nuevos desafíos
https://cimientos.org/wp-content/uploads/2020/11/Las-HSE-en-Cimientos.pdf
1
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Fundación Cimientos
Cimientos es una organización de la sociedad civil creada en 1997 que promueve la
equidad educativa mediante programas que favorecen la permanencia y el egreso de la
escuela secundaria, mejoran la calidad de la educación e impulsan la continuidad
educativa y/o la inserción laboral de jóvenes que viven en contextos vulnerables. Sus
programas se implementan en la Argentina y son replicados en alianza con otras
organizaciones del país y de Uruguay, con la visión de que todos los jóvenes accedan a
oportunidades para construir un futuro mejor a través de la educación.
El Programa Futuros Egresados
Futuros Egresados acompaña a chicos de entre 12 y 18 años y sus familias en situación
de vulnerabilidad social para que puedan terminar la escuela secundaria y proyectar su
futuro con más y mejores oportunidades. Cada uno de los jóvenes recibe una beca
mensual y participa en una tutoría personalizada, a través de la cual se promueve el
desarrollo de habilidades socioemocionales que contribuyen a mejorar su trayectoria
educativa.
El Área de Evaluación
El Área de Evaluación de Cimientos genera y difunde conocimiento sobre problemáticas
educativas en las que Cimientos centra su accionar. De esta manera, acompaña a los
Programas en la comprensión del contexto de intervención, de los resultados alcanzados
y de sus oportunidades de mejora, recuperando los puntos de vista de los participantes y
de otros actores involucrados.
Sobre este informe
Este documento sistematiza los aprendizajes alcanzados a partir del abordaje de las
habilidades socioemocionales (HSE) en el marco del Programa de Futuros Egresados de
Cimientos. Este abordaje partió de estudios evaluativos llevados a cabo en un campo de
gran interés, que generaron valiosos hallazgos y promovieron interesantes debates. En
primer lugar, se define el concepto de HSE, teniendo en cuenta las diversas perspectivas
teóricas. También se aborda el proceso a partir del cual fueron seleccionadas las HSE a
evaluar en el marco del Programa y las técnicas que se implementaron para ello. En
segundo lugar, se describen las dos evaluaciones llevadas a cabo por el equipo de
Evaluación de Cimientos –una entre 2012 y 2014; otra entre 2014 y 2016– teniendo en
cuenta el proceso de implementación y los resultados obtenidos. En tercer lugar, se
describen las limitaciones encontradas en los estudios mencionados. Finalmente, se
abordan una serie de productos que surgieron a partir de la experiencia en evaluación de
HSE, los cuales fueron incorporados en el acompañamiento de PFE: el Currículum
Cimientos, el Fichero Cimientos, la actualización del Manual de Acompañamiento, La
Brújula de habilidades y la Agenda del Estudiante.
2
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Palabras clave: Habilidades socioemocionales; Escuela secundaria; Evaluación de
Programas; Programa Futuros Egresados; Fundación Cimientos.
Abstract
This document systematizes the experience in the approach of socioemotional skills (SES)
within the framework of Programa Futuros Egresados (PFE) of Cimientos. These were
evaluative studies carried out in a field of great interest, which generated valuable findings
and promoted interesting debates. First, the concept of HSE is defined, taking into account
the various theoretical perspectives. The process from which the SESs to be evaluated in
the framework of the Program were selected and the instruments that were implemented
to do so are also addressed. Second, the two evaluations carried out by the Foundation
Evaluation team are described - one between 2012 and 2014; another between 2014 and
2016 - taking into account the implementation process and the results obtained. Third, the
limitations found in those studies are described. Finally, a series of products derived from
the evaluation experience which are now part of PFE monitoring tools, are addressed:
Cimientos’ Curriculum; Fichero Cimientos; the update of PFE Mentoring Manual; La
Brújula de Habilidades; and PFE Student’s Agenda.
Keywords: Socioemotional skills; Secondary School; Programs Evaluation; Programa
Futuros Egresados; Cimientos Foundation.
Agradecimientos
Este documento recoge el trabajo realizado a lo largo del tiempo por un gran equipo de
personas, entre ellas, Ernesto Pais, María Cortelezzi, Aldana Morrone, Anahí Pissinis,
Aldana Neme y Ana Julia Rosales, a quienes agradecemos especialmente.
3
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Índice
1. Introducción ................................................................................................................... 5
2. La definición del objeto y el diseño de la estrategia de evaluación............................... 10
2.1. ¿Qué son las Habilidades Socioemocionales? ...................................................... 10
2.2. ¿Qué habilidades es pertinente evaluar en el contexto de PFE? ........................... 11
2.3. ¿Cómo se evalúan las HSE?................................................................................. 12
3. Las evaluaciones de HSE realizadas por Cimientos .................................................... 15
3.1. La primera evaluación: 2012-2014 ........................................................................ 15
¿Cuáles fueron sus objetivos? .................................................................................. 15
¿Cuál fue el diseño muestral? .................................................................................. 15
¿Qué técnicas se utilizaron? ..................................................................................... 16
¿Cómo se implementó el trabajo de campo? ............................................................ 17
¿Cuáles fueron los principales resultados?............................................................... 18
3.2. La segunda evaluación: 2014-2016 ....................................................................... 19
¿Cuáles fueron sus objetivos? .................................................................................. 19
¿Cuál fue el diseño muestral? .................................................................................. 19
¿Qué técnicas se utilizaron? ..................................................................................... 20
¿Cómo se implementó el trabajo de campo? ............................................................ 21
¿Cuáles fueron los principales resultados?............................................................... 21
3.3. Limitaciones y posibles sesgos ............................................................................. 22
4. Oportunidades para la innovación y el crecimiento ...................................................... 25
4.1 Currículum Cimientos ............................................................................................. 25
4.2 Fichero Cimientos .................................................................................................. 26
4.3 Manual del Acompañamiento ................................................................................. 26
4.4 Agenda del Estudiante ........................................................................................... 26
4.5 Brújula de habilidades ............................................................................................ 27
4.6 Compartir con otros ................................................................................................ 27
4.7 Nuevas líneas de evaluación .................................................................................. 27
5. Reflexiones finales ....................................................................................................... 29
6. Referencias bibliográficas ............................................................................................ 30
4
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
5
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
1. Introducción
En nuestro país, la Ley de Educación Nacional N° 26.206 del año 2006 establece la
obligatoriedad de la escuela secundaria. Esta normativa, sin embargo, no es garantía
suficiente para que los jóvenes permanezcan en la escuela hasta finalizarla o que logren
terminarla en el tiempo estipulado. En efecto, como demuestran algunos estudios
(Binstock y Cerrutti, 2005), el proceso de masificación de la educación media implicó que
en el presente sea sólo una porción minoritaria de la población la que no accede a ella.
No obstante, los resultados alentadores en torno a la evolución de la cobertura no
son tales cuando se considera la eficacia del sistema. Es decir, cuando se observan
los niveles de permanencia y terminalidad. En este sentido, un informe de UNICEF
(UNICEF, 2017) indica que aunque las tasas de asistencia superan el 80%, menos de la
mitad de los jóvenes que ingresan al nivel logran completarlo. Otro informe, elaborado por
CIPPEC alcanza la misma conclusión, estimando que solo el 27% egresa en el tiempo
esperado (CIPPEC, 2019). Además, al considerar el nivel socio económico, se reconoce
una brecha en detrimento de los sectores más desfavorecidos (López et al, 2017). Es
importante advertir que en ese marco se desarrollan las experiencias concretas de los
adolescentes. Y que en el entramado de las prácticas escolares, sociales y culturales,
configuran su subjetividad, moldean sus expectativas y aspiraciones. En este sentido
resulta crucial la participación de adultos significativos, en su crecimiento, desarrollo y
proyección futura.
Atentos a ello, desde 1997 el Programa Futuros Egresados (PFE) de Cimientos se
propone contribuir a la equidad educativa a partir de la implementación de una estrategia
de doble impacto. Por un lado, otorga becas a estudiantes secundarios que provienen de
familias socioeconómicamente vulnerables con el objeto de que puedan solventar las
necesidades derivadas del sistema escolar (traslado, apuntes, etc.); por otro, les ofrece un
acompañamiento educativo personalizado por medio de un equipo de tutores que les
brindan apoyo a lo largo de la trayectoria y fomentan el desarrollo de ciertas habilidades
socioemocionales (HSE). Con este propósito, también desarrolla jornadas de encuentro
zonales para favorecer el intercambio entre participantes, en espacios recreativos y de
reflexión. Todo esto se realiza de manera coordinada con los referentes escolares y con
los responsables adultos de los alumnos, estos últimos, participantes fundamentales del
acompañamiento escolar. De este modo, el programa promueve la permanencia de los
alumnos participantes en la escuela, como así también su promoción escolar y su
egreso efectivo, desarrollando habilidades socioemocionales que favorezcan su
trayectoria escolar y post escolar.
En paralelo, y a través de su área de Evaluación, Cimientos desarrolla estudios sobre sus
programas con el objetivo de medir su impacto así como generar aportes para repensar la
práctica y establecer oportunidades de mejora. En ese sentido, en el año 2012, Cimientos
inició un estudio centrado en la evaluación de la estrategia de acompañamiento educativo
con el fin de ampliar la evaluación de resultados del PFE. En este caso, se propuso
avanzar sobre el objetivo de cuantificar y analizar el impacto del acompañamiento en el
desarrollo de habilidades socioemocionales, de las cuales se conoce por estudios
antecedentes que favorecen experiencias escolares significativas (Rosen, Glennie,
6
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Dalton, Lennon, & Bozick, 2010). Hasta ese momento la incidencia de los resultados del
PFE se había medido únicamente a través de una serie de indicadores cuya meta era dar
cuenta de la eficacia del programa sobre el los niveles de repitencia, promoción efectiva,
abandono y egreso efectivo. En cambio, indicadores orientados a la medición de la
incidencia del programa en otras áreas, como el desarrollo de habilidades sociales
y personales, no habían sido explorados hasta ese momento. Asimismo, la
experiencia acumulada en la implementación del Programa y las evaluaciones de tipo
cualitativo daban indicios de que el PFE dejaba “marcas” en la subjetividad de los
participantes, de acuerdo a los testimonios relevados después de su egreso (Cimientos,
2012). Además, era un tema emergente en la literatura de investigación: el estudio del
Banco Interamericano de Desarrollo (BID) “Desconectados” (Bassi y otros, 2012) junto a
otras investigaciones similares señalaban el poder predictivo de las HSE sobre el nivel
educativo y de ingresos de los individuos (Heckman y Kautz, 2012). Era oportuno, por lo
tanto, realizar una indagación que diera cuenta de estos emergentes y aportara
conocimiento sobre un tema en ciernes, con la novedad de hacerlo con los participantes
de PFE, por lo tanto “en proceso” de desarrollo, a diferencia de las investigaciones
conocidas que lo hacían ex post.
Este desafío que se planteó la organización se tradujo en el trabajo conjunto del equipo
de Evaluación y Ernesto Pais, especialista en evaluación psicológica. El resultado fue el
diseño de un primer estudio que se llevó a cabo a lo largo de tres años consecutivos
(2012, 2013 y 2014) en el que fueron empleadas una serie de técnicas de evaluativas
disponibles en la bibliografía especializada. Todas ellas fueron técnicas de tipo “autoinforme”, en las cuales los evaluados responden un formulario estructurado (ver sección
2.3). Como veremos en el punto 4, estas técnicas presentaron una serie de
inconvenientes que procuraron ser resueltos en una instancia de evaluación posterior a
través de la triangulación con otras técnicas, en este caso, de “performance” (ver sección
2.3) en la que los evaluados responden a una determinada consigna que es
posteriormente evaluada por un especialista. Esta combinación de técnicas para la
evaluación de habilidades socioemocionales se incorporó en una estrategia de evaluación
experimental del impacto de PFE llevada adelante entre 2014 y 2016.
El desarrollo de este camino en la evaluación de HSE propició la sistematización de la
metodología en una serie de instrumentos, tarea encarada internamente con el objetivo de
gestionar nuestro conocimiento. Esa labor llevó a la elaboración de instrumentos tales
como el Currículum Cimientos, el Fichero Cimientos, la Brújula de habilidades, o bien, la
revisión del Manual de Acompañamiento (ver sección 4). El curso de la evaluación siguió
en este sentido, realizando sondeos sobre la adhesión y valoración de estos instrumentos
por parte del equipo de Encargadas/os de Acompañamiento de Cimientos.
En suma, el interés sobre esta dimensión de nuestro impacto llegó para quedarse. Hemos
aprendido mucho en este proceso, y tenemos mucho por seguir aprendiendo. Vale
destacar que al iniciar nuestro abordaje de las habilidades socioemocionales resultaba un
tema desconocido sobre el cual no había experiencia acumulada en nuestro medio.
Actualmente el tema está en agenda, es de interés para muchas organizaciones,
7
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
escuelas, y organismos estatales. Resulta oportuno, entonces, compartir nuestros
aprendizajes, reflexiones e inquietudes, y desde ahí, seguir construyendo.
8
2. La definición del objeto y el diseño
de la estrategia de evaluación
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
2. La definición del objeto y el diseño de la estrategia de
evaluación
2.1. ¿Qué son las Habilidades Socioemocionales?
El propósito de conocer el impacto del PFE en el desarrollo de habilidades
socioemocionales, abrió un campo de estudio nuevo, hasta ese momento inexplorado por
Cimientos. Por ello, uno de los primeros pasos para poner en marcha la evaluación, fue
indagar acerca de las habilidades socioemocionales propiamente dichas y los
instrumentos para su evaluación. Para esto se contó con el asesoramiento de Ernesto
Pais, Licenciado en psicología de la Universidad de Buenos Aires y experto en evaluación
psicométrica.
A partir de la bibliografía entonces disponible, en términos generales y teóricos, las
habilidades aprendidas podían dividirse en dos grupos: cognitivas y “no cognitivas”. Las
primeras referidas a la capacidad de una persona de interpretar, reflexionar, razonar,
pensar de manera abstracta y asimilar ideas complejas, resolver problemas y generalizar
lo que se aprende. Estas habilidades suelen medirse con pruebas de logro
estandarizadas y calificaciones; también con instrumentos que miden el coeficiente
intelectual. Las habilidades “no cognitivas” se refieren a la capacidad que tiene una
persona para relacionarse con otros y consigo misma, comprender y manejar las
emociones, establecer y lograr objetivos, tomar decisiones autónomas y confrontar
situaciones adversas de forma creativa y constructiva (Ortega Goodspeed, 2016).
Cabe aclarar, que la diferenciación entre habilidades cognitivas y “no cognitivas” es una
distinción analítica. De hecho, en la realidad de los individuos esas destrezas no se
encuentran divididas: pocos aspectos de la conducta humana están vacíos de cognición y
entre las HSE hay algunas que son claramente cognitivas. Por ende, el término
comúnmente utilizado -“habilidades no cognitivas”- resulta acotado, motivo por el cual nos
inclinamos por la denominación de estas habilidades como socioemocionales. Estas
habilidades, que incorporan aspectos cognitivos -aunque no intelectuales-, si bien están
con relación a cómo las personas piensan, no refieren a las habilidades que
históricamente se han relacionado con la evaluación del Coeficiente Intelectual (Pais,
2014; Bassi, et.al, 2012; Heckman, Stixrud y Urzua, 2005).
En cuanto a su desarrollo, en las habilidades cognitivas incide en gran medida un
componente genético y el entorno puede influir casi exclusivamente en la primera infancia.
Contrariamente, las habilidades socioemocionales están mayormente afectadas por
el contexto y presentan un período crítico de conformación que llega hasta la
juventud. Por lo tanto, las HSE pueden ser desarrolladas o cambiadas, de allí su
potencial en el contexto educativo. La escuela secundaria resulta crucial para el
desarrollo de estas habilidades y la institución escolar así como los referentes adultos
presentes, resultan actores claves en la promoción de las habilidades para los jóvenes
que transitan esta etapa. Las habilidades socioemocionales son también muy buenos
predictores tanto de performance académica en distintos momentos de la trayectoria
10
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
escolar, como de éxito en el ámbito laboral y económico y en la reducción de conductas
de riesgo. Y allí se encuentra un ejemplo de su clara interrelación.
Históricamente, una de las formas de aproximarse a las habilidades socioemocionales fue
a través del estudio de la personalidad, que ha sido abordada a partir de distintas formas
de acercamiento: los “tipos”, los “rasgos” y los “factores”. Los primeros remiten a la
pertenencia: una persona pertenece a una y sólo una categoría. Así, dada una población,
ésta puede ser descripta a través de una pequeña cantidad de grupos. En este caso se
trabaja con variables cualitativas (Eysenck, 1971). En cuanto al concepto de “rasgos”, fue
definido inicialmente como “una predisposición a conducirse de una forma determinada”
(Allport, 1955). Una definición más actual y completa indica que remiten a la tendencia a
expresar comportamientos de una determinada forma, que esta tendencia es estable en el
tiempo, y que puede ser evaluada, permitiendo esto encontrar diferencias entre las
personas. Hay distintos niveles en los que una persona puede presentar un rasgo, y hay
un número muy amplio de rasgos (Pervin, 1999 y Cloninger, 2003). En este caso, los
valores o puntajes obtenidos son variables continuas, cuantitativas. Finalmente, los
factores implican el agrupamiento de rasgos por correlaciones. En este caso se trata
también de variables continuas (Costa & McCrae, 1992).
Al momento de definir el tipo de acercamiento más apropiado para la evaluación del
impacto del acompañamiento de PFE en el desarrollo de HSE se optó por el de
“rasgos de personalidad”. En este caso, se desestimaron los acercamientos a través de
tipos y factores ya que mientras que el primero se orienta a las clasificaciones
diagnósticas, el segundo requiere la evaluación de una amplia gama de facetas que
hubiera excedido los alcances del estudio.
2.2. ¿Qué habilidades es pertinente evaluar en el contexto de PFE?
Una vez definido el enfoque, fue necesario determinar el conjunto de habilidades
socioemocionales a ser evaluadas. Para esto se tuvo en cuenta, por un lado, la relevancia
de las habilidades en el potencial impacto del programa; por otro, la preeminencia que las
distintas habilidades tuviesen en la bibliografía. Esto último con el objeto de considerar
particularmente aquellas que resultaran mejores pronosticadoras del éxito escolar y postescolar.
Para llevar adelante el primer punto, se trabajó inicialmente con documentos
preexistentes y se realizaron encuentros con los actores del PFE. A partir de la
sistematización de información de investigaciones previas y de la realización de grupos
focales con Encargados/as de Acompañamiento (EAs) y con estudiantes participantes del
PFE, se realizó la selección de habilidades socioemocionales a evaluar en función de su
potencial impacto más allá de los resultados finales en la escuela. En esta instancia, se
identificaron cuatro habilidades, definidas dentro de la intervención del PFE de la siguiente
manera:
a. Organización del tiempo: pensar prioridades, trabajar en el logro de objetivos en un
tiempo determinado y elaborar agendas que permitan trabajar la dimensión del tiempo.
11
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
b. Capacidad de análisis: identificación de logros y dificultades, trabajo sobre la resolución
de problemas, escucha activa y argumentación y trabajo sobre el sentido de la educación
y el esfuerzo.
c. Responsabilidad y compromiso: formulación de propósitos, firma de acta compromiso,
cumplimiento de asistencia y material requerido, orientación en la utilización del dinero.
d. Autoestima: foco en las fortalezas, feedbacks sobre logros, promoción de la
participación en clase, desarrollo de liderazgo y motivación.
Llegado este punto, se destaca el esfuerzo llevado a cabo por el equipo para
operacionalizar las habilidades seleccionadas en variables susceptibles de ser medidas
por técnicas estandarizadas. Asimismo, el riesgo asumido al momento de llevar adelante
la operacionalización a raíz de la posibilidad de perder información en el proceso de
“traducción” de las variables.
2.3. ¿Cómo se evalúan las HSE?
Existe a nivel internacional un creciente acervo de experiencias de evaluación y medición
de las HSE a partir de las técnicas arriba mencionadas y otras similares. En Argentina, sin
embargo, la evidencia empírica sobre la utilización de estas técnicas es limitada. De allí,
la relevancia de la iniciativa encarada por Cimientos que, entre otras cosas, ha contribuido
a generar conocimiento sobre el tema.
Pese a las limitaciones existentes (que se tratarán en la sección 4), y dado que la
evaluación de las HSE se ha nutrido mayormente de las metodologías y herramientas
propias de la evaluación psicológica, fue posible adaptar estas técnicas a la evaluación de
las HSE. Para mejorar la validez y confiabilidad de la evaluación se decidió
seleccionar técnicas estandarizadas y una estrategia de evaluación multimétodo y
multifuente.
Al respecto, una técnica se encuentra estandarizada cuando presenta sustento científico
para su uso (Anastasi & Urbina, 1998; Hogan, 2004). Se entiende que las técnicas que
cuentan con un proceso de estandarización han presentado estudios que dan soporte a
su validez y confiabilidad. Una técnica es válida cuando evalúa lo que pretende evaluar. El
concepto de confiabilidad hace referencia a la consistencia de la técnica (Anastasi &
Urbina, 1998: Hogan, 2004; Tornimbeni et al, 2009).
El segundo punto en cuestión refiere a que el proceso de evaluación sea multimétodo y
multifuente. Desde los comienzos de la evaluación de la personalidad se clasificaron a los
instrumentos de distintas formas: antiguamente se diferenciaron las técnicas en
proyectivas o psicométricas, luego se las llamó proyectivas u objetivas. Si bien
actualmente es algo que aún está en discusión, hay cierto consenso en clasificarlas en
técnicas de performance y técnicas de auto-informe (Meyer y Kurtz, 2006). Esta
diferenciación se sustenta en los métodos de respuesta utilizados. Mientras que en las
técnicas de performance el evaluado responde atribuyendo sentido a un estímulo
12
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
ambiguo; en las de auto-informe el proceso de respuesta implica que el evaluado
responde a una serie de afirmaciones haciendo auto-atribuciones (Bornstein, 2007).
Para mejorar la validez y confiabilidad de la evaluación, es necesario incluir técnicas de
distintos métodos, es decir, técnicas de auto-informe y de performance (Meyer et al,
2001; Meyer, 2002). Existen actualmente algunas evidencias que dan aún mayor soporte
a esta necesidad, y son estudios que utilizan neuroimágenes para diferenciar justamente
los procesos de respuesta. Se ha encontrado a través de estos estudios que las técnicas
de performance, sobre todo aquellas que trabajan con imágenes, generan mayor
activación del hemisferio derecho, amígdala e hipocampo, mientras que en las técnicas de
auto-informe hay predominancia del hemisferio izquierdo (Asari et al, 2010; Hiraishi et al,
2012; Finn, 2012). Sin entrar en detalles, estos estudios tienen claras implicancias al
momento de pensar en las estrategias de una evaluación integral de los aspectos que se
pretenden trabajar.
En cuanto al concepto de multifuente, hace referencia a la inclusión de distintos
informantes en la evaluación. Para el caso específico de las evaluaciones realizadas por
Cimientos se consideró la posibilidad de incluir otras fuentes a partir de incluir nuevos
informantes en los relevamientos (responsables adultos y docentes), pero la idea fue
descartada. Esto, porque se dificultaba entablar contacto con otros informantes, (por
ejemplo, con los padres de los jóvenes que habitualmente no transitan por el espacio
escolar), o porque se dificultaba la identificación de buenos informantes entre los distintos
docentes (ya que como docentes de áreas tienen poco tiempo de contacto con los
adolescentes). Por ello, se decidió trabajar sólo con el alumno como informante.
Hay que mencionar, por último, que la mayoría de los estudios existentes se soportan en
técnicas exclusivamente de auto-informe; si bien estas técnicas resultan adecuadas para
algunas habilidades tales como la Autoeficacia o el Autoconcepto -ya que son
eminentemente autopercepciones- para el resto de las habilidades se requiere incluir
otros métodos tales como las de performance u observacionales (Borghans et al., 2008;
Rosen et al., 2010 y Durlak et al., 2007).
13
3. Las evaluaciones de HSE realizadas
por Cimientos
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
3. Las evaluaciones de HSE realizadas por Cimientos
3.1. La primera evaluación: 2012-20141
¿Cuáles fueron sus objetivos?
Como mencionamos en la introducción, con el propósito de evaluar el impacto de PFE, en
el año 2012 Cimientos inició un estudio centrado en la evaluación de la estrategia de
acompañamiento. Se trató de una evaluación longitudinal (a tres años), con mediciones
periódicas en escuelas secundarias de Argentina. El plan de evaluación se propuso
cuantificar y analizar el impacto de la estrategia de acompañamiento de PFE en el
desarrollo de habilidades que favorecen experiencias escolares significativas. Para
ello, se consideraron los siguientes objetivos:
a. Determinar el nivel promedio de las habilidades de los alumnos de la muestra al
iniciar su participación en el nivel secundario.
b. Verificar si el nivel promedio de las habilidades de los alumnos participantes del
PFE es diferente al de los no participantes luego de un año de participación en el
programa.
c. Monitorear el nivel de las habilidades evaluadas en la muestra de alumnos durante
los tres primeros años del nivel secundario (ciclo básico secundario).
¿Cuál fue el diseño muestral?
La muestra de alumnos participantes del estudio fue intencional ya que fueron
seleccionados en función de una serie de criterios.
En primer lugar se definieron las zonas geográficas según se consideraran estratégicas
desde la perspectiva del desarrollo institucional. Una vez seleccionadas las zonas se
avanzó en la selección de escuelas. Para esto se tuvo en cuenta la concentración
numérica de estudiantes de 1° año del nivel secundario que iniciaban su participación en
el PFE en 2012. También, se consideró que fueran escuelas con secundaria completa (de
1º a 6º año), de distintas jurisdicciones. De esta forma, se definió un grupo de
tratamiento (GT) y un grupo de control (GC), pero sin mediar una asignación aleatoria.
Es decir, se trató de un diseño cuasi-experimental. Se aseguró la comparabilidad entre
ambos grupos en función de su similitud en relación con los siguientes criterios al inicio de
la evaluación: asistencia a la misma escuela y al mismo año escolar, y nivel de
vulnerabilidad socioeconómica2
La muestra inicial estuvo conformada por 182 alumnos ingresantes a 1º año de la
secundaria en 5 escuelas estatales de distintas regiones (3 en el Gran Buenos Aires, 1 en
1
Cabe mencionar que el PFE tiene alcance regional y se implementa en Uruguay desde 2012 y en Colombia
desde 2014. En el año 2012, se decidió llevar adelante también en Uruguay la evaluación sobre el impacto del
acompañamiento educativo en el desarrollo de las habilidades socio-emocionales. El estudio, que se
desarrolló entre 2012 y 2014, tomó como universo al conjunto de estudiantes que asistían al 1er año en el
liceo donde se implementó la experiencia piloto del PFE en ese país.
2
Esto fue medido a partir de un cuestionario estructurado a partir del cual se pudo construir una tipología de
hogares, su clima educativo y condición de hacinamiento.
15
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Santiago del Estero y 1 en Catamarca). Del total de alumnos, 58 iniciaban su tránsito por
la escuela participando del PFE, mientras que 124 no. Así quedaron definidos los grupos
de comparación, GT y GC.
En cuanto a las características sociodemográficas de la muestra, se observó que
convivían en hogares mayoritariamente con presencia de ambas figuras parentales cuya
experiencia educativa alcanzaba la primaria completa o secundaria incompleta. En cuanto
a la propia trayectoria escolar de los alumnos, una cuarta parte de los 182 casos contaba
con experiencias de repitencia escolar durante su trayectoria escolar primaria. En estos
indicadores, los dos grupos (participantes y no participantes de PFE) eran
relativamente homogéneos.
¿Qué técnicas se utilizaron?
Las técnicas de evaluación fueron seleccionadas a partir de ser técnicas
estandarizadas, es decir sustentadas en estudios de validez y confiabilidad. Se
utilizaron técnicas probadas en población adolescente de Argentina. Este punto da cuenta
de algunas limitaciones. En efecto, no resulta la comparación más adecuada teniendo en
cuenta las diferencias de edades (las muestras de estandarización incluyen adolescentes
de distintas edades), así como las diferencias sociales y probablemente culturales de
ambas muestras (las muestras de estandarización incluyen adolescentes con un perfil de
sectores medios) (Dana, 1993). Sin embargo, resulta un artificio que permite la
comparación de los alumnos del PFE con alumnos de edades similares y de la Argentina.
En segundo lugar, se eligieron técnicas de auto-informe en detrimento de las de
performance. Esta decisión se tomó teniendo en cuenta la factibilidad con relación al
tiempo que requiere la administración de unas y otras. Las técnicas de auto-informe son
más apropiadas en una evaluación grupal y requieren menor cantidad de tiempo tanto en
su administración como en la puntuación e interpretación. Finalmente, se decidió evaluar
aquellas dimensiones que estaban más fuertemente en relación con los aspectos
destacados en los relevamientos cualitativos previos del impacto de la estrategia de
acompañamiento: organización del tiempo, capacidad de análisis en un sentido amplio,
responsabilidad y compromiso, y finalmente autoestima. A estos puntos se agregaron
aspectos relacionales, que fueron definidos en la dimensión “Área de las relaciones
interpersonales”. Como conclusión, se planteó llevar adelante la evaluación a través de
técnicas de auto-informe, estandarizadas en la Argentina, y haciendo foco principalmente
en las dimensiones de mayor impacto en la estrategia de la tutoría. Se seleccionaron
tres técnicas que cumplían con todos los criterios anteriormente citados:
Autoconcepto Académico (AA) (Schmidt, Messoulam, & Molina, 2008), LASSI (por sus
siglas en inglés de Learning and Study Strategies Inventory) (Weinstein, Schilte & Palmer,
1988) y MAPS (Pérez, M., Becerra, L., 2010).
Entre las variables relevadas a través de estas técnicas, que operacionalizan las HSE
definidas en el marco de PFE, se encuentran las siguientes:
16
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Dimensión de impacto en la
estrategia de acompañamiento de
PFE
Organización del tiempo
Capacidad de Análisis
Responsabilidad y Compromiso
Autoestima
Área de las relaciones
3
interpersonales
Variables y técnicas que permite su medición
Organización y Planificación (LASSI)
Procesamiento Metódico (MAPS)
Procesamiento Innovador (MAPS)
Habilidades para la preparación de exámenes (LASSI)
Recursos para el aprendizaje (LASSI)
Estrategias de control y consolidación del aprendizaje
(LASSI)
Habilidades para jerarquizar la información (LASSI)
Procesamiento Metódico (MAPS)
Procesamiento Innovador (MAPS)
Motivación (LASSI)
Conducta social discordante (MAPS)
Conducta social concordante (MAPS)
Autoconcepto Global (AA)
Rendimiento (AA)
Autoeficacia (AA)
Conducta social segura (MAPS)
Conducta social insegura (MAPS)
Aceptación activa (MAPS)
Adaptación pasiva (MAPS)
Conducta social distante (MAPS)
Conducta social gregaria (MAPS)
Conducta social segura (MAPS)
Conducta social insegura (MAPS)
Conducta social discordante (MAPS)
Conducta social concordante (MAPS)
¿Cómo se implementó el trabajo de campo?
Una vez definida la muestra y la batería de técnicas, se implementó una estrategia de
relevamiento con dos mediciones en el primer año, y una al cierre de cada año. Entre
cada medición, solo el grupo de alumnos incorporado en PFE fue parte del
acompañamiento educativo.
La realización de cada relevamiento fue coordinado con las escuelas, acordando una
fecha de trabajo de campo y los alumnos participantes. Una vez allí, el equipo de
Cimientos a cargo del relevamiento procedía a administrar de manera grupal los
protocolos de las distintas técnicas. En este sentido, fue un desafío para el relevamiento
las situaciones de ausentismo, salida anticipada, entre otros. Esto se profundizó a lo largo
de los sucesivos años, en tanto la muestra se fue desgranando por situaciones tales como
el cambio de escuela, repitencia y abandono escolar, o bien el cambio de situación de los
alumnos que participaban del PFE. No fueron suficientemente efectivas las estrategias
para mitigar el desgranamiento, como incorporar escuelas y alumnos a la muestra. Por
esto, se prioriza presentar análisis del primer año (donde la estabilidad de la muestra fue
mayor), y al cabo del 3er año de estudio, en función de muestras pequeñas que fueron
3
Si bien esta dimensión no surge del proceso de identificación de habilidades abordadas por el PFE, se
decidió incluirla por ser un área de interés para el encuadre de trabajo de PFE, incluida asimismo en la técnica
MAPS.
17
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
relevadas a lo largo del tiempo manteniendo su status (38 casos de los 58 que integraban
el GT y 33 casos de los 124 que integraron el GC).
¿Cuáles fueron los principales resultados?
A lo largo de las mediciones en los tres años se realizó una comparación intra grupos (es
decir, las variaciones ocurridas con respecto a la línea de base en cada grupo) y entre
grupos (cuál es la distancia entre ambos grupos con relación a esa variación), tomando en
cuenta los casos de la muestra que se mantuvieron estables a lo largo del tiempo. La
evidencia recolectada puede resumirse de la siguiente manera:
1. Se observan cambios estadísticamente significativos a favor de los
estudiantes que participaban del PFE en el Autoconcepto Académico Global,
principalmente en cuanto a la dimensión Autoeficacia. Es decir, en cuanto a
las habilidades relacionadas con el Autoconcepto Académico, los alumnos que
participan del PFE presentan un desarrollo muy por encima de los que no
participan. En el caso de su autopercepción de Rendimiento, la diferencia es
también favorable para los participantes de PFE aunque no alcanza significación
estadística.
2. Se observa una disminución en las HSE relacionadas con las Estrategias y
Hábitos de estudio medidas a través de la técnica LASSI. En particular la habilidad
Organización y Planificación, si bien en las mediciones iniciales resultaba
favorable para el grupo de estudiantes que participaba de PFE (Pais, Cortelezzi,
Valencia, 2013), en la mirada longitudinal, registró una baja general para ambos
grupos si bien comparativamente fue más fuerte en el caso de los participantes.
En este punto, por estar insertos en el PFE, al encontrarse con mayor familiaridad
y exigencia sobre estas estrategias y hábitos, de algún modo se vuelven más
conscientes y cercanas las dificultades que se pueden tener en el desarrollo de las
mismas (ver en sección 3.3 lo relativo al sesgo de referencia).
3. En cuanto a las HSE relacionadas con el área de Relaciones Interpersonales de
los alumnos, las diferencias no resultan significativas, a la vez que tampoco surgen
tendencias claras en sus cambios. Por ejemplo, se aprecia entre los participantes
de PFE una tendencia a la baja de la Condición Activa a la vez que un aumento en
la Condición Gregaria; una baja en la Condición Insegura y una suba en la
Condición Discordante. Todo esto parece venir acompañando los cambios
evolutivos de los adolescentes, en tanto se dan en proporciones similares en
ambos grupos.
Cabe recordar que estos resultados refieren a la evolución de las habilidades en el marco
en los primeros tres años del secundario. Esto representa una etapa desafiante, de
muchos cambios: del comienzo de la secundaria, con su particular régimen académico,
cantidad de materias y métodos de evaluación; cambios en las relaciones sociales,
nuevos compañeros y profesores; también, cambios madurativos propios de su edad. En
este escenario, el acompañamiento de PFE y su impacto en el desarrollo de las
habilidades relacionadas con Autoconcepto Académico, actúa como un “amortiguador” de
los cambios en el contexto de transición y desafíos. Sin embargo, estos resultados
18
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
también traen interrogantes respecto de las habilidades relacionadas con estrategias y
hábitos de estudios, sobre las cuales se tiene foco claro del PFE en el trabajo de
acompañamiento.
3.2. La segunda evaluación: 2014-2016
¿Cuáles fueron sus objetivos?
En el 2014 se inició la “Evaluación de Impacto Experimental del PFE”, desarrollada por un
equipo mixto integrado por miembros del equipo de Cimientos, representantes del Sector
Educación de BID en Argentina y un equipo de especialistas en evaluaciones de impacto
experimental. La relevancia de esta iniciativa está en ser una de las primeras
evaluaciones de estas características en Argentina, que implicó la triangulación de
Cimientos con representantes de un organismo internacional e investigadores
especializados. Las preguntas originales que dispararon la evaluación fueron: 1- ¿Cuál es
el efecto del PFE en el nivel de deserción de los participantes?; 2- ¿Cuál es el efecto del
PFE en el desarrollo de habilidades socio emocionales?; 3- ¿Cuál es el efecto del PFE
sobre la repetición y promoción de los alumnos? Es decir, se buscó medir el impacto del
PFE en dos sentidos: sobre el desempeño escolar (promoción, repitencia, abandono) y
sobre el desarrollo de habilidades socioemocionales. En este punto, se tomó como
antecedentes la experiencia acumulada en materia de evaluación sobre trayectorias
escolares así como la primera evaluación interna con foco en HSE. El diseño fue
longitudinal, también enfocada en los tres primeros años del nivel secundario.
¿Cuál fue el diseño muestral?
Para la definición de la muestra se estableció un número de diez escuelas, como la mejor
alternativa de acuerdo a los cálculos del poder estadístico. La selección de escuelas fue
intencional, guiada por los siguientes criterios de implementación de PFE: ubicación en el
Gran Buenos Aires y localidades de Provincia de Bs. As. aledañas; alta cantidad de
matriculados en 1º año; implementación (presente o reciente) del PFE; preferencia de
escuelas donde no se encontrara un gran grupo de becados en los otros años escolares;
la existencia de socios que renueven becas en esa escuela, o becas vacantes que
puedan asignarse a estas escuelas; prioridad de escuelas de Educación Común (en
detrimento de Escuelas Técnicas) y de gestión estatal (en detrimento de escuelas
parroquiales).
La expectativa de los investigadores era reunir 40 casos por escuela; esto se pudo
alcanzar en algunas escuelas mientras que en otras se realizaron ajustes. En total, se
construyó una muestra de 408 estudiantes de 1° año reclutados mediante una
convocatoria abierta, y mediante un muestreo aleatorio se asignó a 204 casos al Grupo
Tratamiento (GT, que participaría del Programa) y 204 casos al Grupo Control (GC, que
no participaría). A diferencia de la evaluación precedente, los procesos de selección
implementados habitualmente en PFE se pusieron en suspenso, definiendo la
19
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
incorporación de los participantes de la muestra al Programa en función del sorteo arriba
mencionado4.
¿Qué técnicas se utilizaron?
En cuanto a las HSE seleccionadas, se resolvió trabajar con Autoconcepto Académico,
Motivación, Organización y planificación, Autocontrol y Perseverancia. Para la habilidad
de Autoconcepto académico, en base al antecedente, se implementó nuevamente la
técnica de auto-informe “Autoconcepto Académico”. Para la evaluación de Organización y
planificación se utilizó la técnica de auto-informe LASSI (la misma utilizada en la primera
evaluación) y el subtest “Laberintos” del WISC-III (Weschler, 1994). Para abordar la
habilidad Motivación, se utilizó también un subíndice de la técnica LASSI (también
empleada en la primera evaluación). En cuanto a la evaluación de Perseverancia, la
técnica seleccionada para su evaluación fue GRIT-S (Duckworth y Quinn, 2009).
Finalmente, para la evaluación de Autocontrol, se incorporaron a la batería dos
instrumentos: DSIS-C (Tsukayama, Duckworth, y Kim, 2013) y CARAS-R (Thurstone y
Yela, 2001).
En el 2do y el 3er año de implementación de la evaluación se incorporaron nuevas
variables de análisis. Por una parte, en el segundo año de la evaluación, se incorporó la
medición de los comportamientos académicos (academic behaviors), que fueran definidos
por el equipo de investigación como habilidades ejecutivas propias del oficio de alumno,
aquellas que permiten “navegar la escuela”. Para medirlas, se construyó un instrumento
de auto-informe basado en los contenidos trabajados en el acompañamiento del PFE, que
indagaba sobre el comportamiento en tiempo y frente a situaciones escolares. Para esto
se definieron una serie de dimensiones que incluyeron preguntas referidas al último mes.
Las dimensiones fueron las siguientes:
-
Comportamiento escolar proactivo
Comportamiento preventivo sobre tareas para el hogar
Comportamiento correctivo sobre tareas para el hogar
Comportamiento preventivo sobre pruebas
Comportamiento correctivo sobre pruebas
Comportamiento correctivo sobre notas trimestrales
Comportamiento correctivo sobre notas anuales
Comportamiento preventivo sobre ausentismo
Comportamiento correctivo sobre ausentismo
Comportamiento correctivo sobre horas libres
4
Por este motivo, dentro del GT un total de 57 estudiantes resultaban “no elegibles” de acuerdo a los criterios
de selección de PFE vigentes (entre ellos, 27 por ser repitentes o demostrar bajo compromiso con su
escolaridad). Estos estudiantes, de no ser por la asignación mediante sorteo, no habrían sido incorporados al
Programa. Esto introdujo una mayor complejidad para la implementación de la estrategia de acompañamiento:
mayor heterogeneidad de los becados y sus familias, y con esta diversidad, una demanda a los EAs de
objetivos, tiempos y estrategias de trabajo de mayor intensidad, que resultaron en sostenidas alertas sobre la
participación de los estudiantes en el Programa.
20
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Asimismo, en el tercer año, se agregó la medición de rasgos de personalidad (personality
traits) a partir de la implementación del instrumento “Big 5”, inventario utilizado para
evaluar cinco aspectos diferentes: extroversión, complacencia, escrupulosidad,
neuroticismo y receptividad. En este punto, se consideró interesante su incorporación por
la posibilidad de construir información comparable con otros estudios internacionales.
Ahora bien, se consideró de manera descriptiva y complementaria a la evaluación, sin una
expectativa concreta de identificar incrementos como impacto del programa ya que una
premisa central de estos factores es su estabilidad.
¿Cómo se implementó el trabajo de campo?
El trabajo de campo se desarrolló a lo largo de los tres años, con una medición en el
segundo semestre de cada año. En esta evaluación también representó un desafío
relevar la totalidad de los casos, por lo que se reforzó la estrategia, reiterando las visitas a
las escuelas para cada medición, e incorporando una estrategia de relevamiento en
hogares para poder relevar los casos que no conseguíamos captar en las escuelas. A lo
largo del tiempo la proporción de casos relevados en los hogares fue en aumento, en
tanto aumentaba el ausentismo prolongado o bien abandono escolar de algunos
estudiantes. Al tercer año, el relevamiento incluyó un 23% de casos relevados en
hogares, a la vez que no se logró relevar a un 16% del total de la muestra.
El equipo de trabajo contratado para el relevamiento en escuelas se compuso de
estudiantes avanzados de psicología con experiencia en evaluación psicológica. Tuvieron
a su cargo administrar los protocolos de manera grupal, y evaluar las respuestas a las
técnicas de performance. También se contrató un equipo de relevamiento especializado
en relevamiento en los barrios, a cargo de las visitas a hogares.
¿Cuáles fueron los principales resultados?
En base al documento de Ganimian et al (2018) los principales resultados sobre las HSE
fueron:
1. Impacto positivo en los índices que describen los comportamientos académicos
(academic behaviors) relevados mediante la encuesta elaborada por los
investigadores. Se identificaron efectos considerables y consistentes a lo largo de
los dos años evaluados (segundo y tercer año del estudio). También se identificó
que una mayor exposición al programa se relaciona con un mayor desarrollo de
los comportamientos indagados, es decir que cada mes de participación mejora el
resultado en casi todas las dimensiones que integran el índice:
a. Se comportan proactivamente en el contexto escolar
b. Abordan las tareas de manera preventiva
c. Implementan medidas correctivas luego de identificar errores en una tarea
d. Se preparan para las pruebas de manera preventiva
e. Implementan medidas correctivas luego de una mala nota
f. Implementan medidas correctivas luego de desaprobar un trimestre
g. Recuperan preventivamente un día de ausencia
h. Recuperar correctivamente un día de ausencia
i. Aprovechar las horas libres para adelantar tarea o estudiar
21
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
2. Se registró poca evidencia de impacto sobre Autoconcepto Académico,
Autocontrol, Perseverancia y Organización y planificación, esta última habilidad
medida a través de triangular técnicas de auto-informe y de performance; sin
embargo, no se descartan efectos pequeños a moderados –por ejemplo, en el
subíndice que mide Motivación.
3. No se encuentra evidencia de que el programa haya impactado en los rasgos de
personalidad, medidos a través del constructo de los 5 grandes factores (“Big 5”).
Como ya se mencionó anteriormente, esta dimensión de análisis se incorporó al
estudio para comprender si sería posible identificar diferencias como resultado de
la mejora esperada en otras variables, pero sin considerarla una dimensión de
impacto en sí misma.
En síntesis, se observa que el PFE tiene un considerable impacto en lo que podríamos
denominar “oficio del estudiante”, en tanto, a mayor exposición al programa, mayor es el
desarrollo de los comportamientos propios de ese “oficio”. Sin embargo, a diferencia de lo
observado en la primera evaluación (2012-2014) no existe evidencia suficiente que
permita identificar impacto sobre Autoconcepto Académico, y tampoco en Autocontrol,
Perseverancia y Organización y planificación.
3.3. Limitaciones y posibles sesgos
Los estudios precedentes implicaron una oportunidad para la exploración del desarrollo de
las habilidades socioemocionales en el marco de una estrategia de acompañamiento a
estudiantes del nivel secundario de contextos vulnerables. Esto permitió, por un lado,
describir las habilidades con las cuales los alumnos inician sus trayectorias en el nivel. En
este sentido, los estudios desarrollados brindaron la oportunidad de reforzar la
conceptualización, el enfoque de trabajo y la metodología desarrollada por el Programa al
respecto de las Habilidades Socioemocionales. Sus resultados implican un gran valor
para retroalimentar la estrategia de acompañamiento del programa. Por otro lado, se trata
de estudios que implican un aporte teórico-empírico de sumo interés en un campo poco
explorado en nuestro país y representan una oportunidad para brindar aportes sobre un
terreno de importancia creciente en el debate educativo nacional e internacional. Estas
consideraciones, sin duda positivas, no nos eximen de realizar algunas salvedades.
Por un lado, debemos mencionar aspectos referidos a las técnicas de relevamiento
aplicadas, principalmente de auto-informe. En efecto, como señala Angela Duckworth
(2015), las técnicas basadas sólo en la percepción de los individuos no resultan del todo
objetivas, generando resultados sesgados por la subjetividad de los participantes. Se trata
de “sesgos de referencia”, que se originan a partir de que cada respondente otorga
información en función de un marco de referencia propio, que puede ser distinto al de
otros individuos. Esto se ha observado, por ejemplo, en la primera evaluación (2012-2014)
respecto a las HSE de estrategias y hábitos de estudio, que fueron percibidas de manera
deficitaria por quienes participaban en el PFE. En efecto, la misma participación en el
Programa puede estar implicando un marco de referencia diferencial del que se
22
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
formulan los estudiantes en el marco de la escuela. En este sentido, es esperable
que los participantes del Programa sientan una mayor exigencia con respecto a
estas estrategias y hábitos, y que hayan respondido en función de tales exigencias.
Otra de las limitaciones posibles que menciona la autora respecto de las técnicas de autoinforme refiere a las dificultades de los respondentes para interpretar los ítems del
instrumento y para reflejar estados internos, como motivación, en sus respuestas. Por
último, también menciona que estas técnicas fomentan las respuestas que se ajustan a lo
que se percibe como “deseable” por la sociedad.
Por otro lado, respecto a los instrumentos utilizados, además de las limitaciones ya
señaladas respecto de las técnicas de auto-informe, Duckworth menciona otras con
relación a las técnicas de performance. En primer lugar, que el investigador puede realizar
supuestos con relación al significado detrás de las respuestas. Además, las respuestas
pueden no representar el comportamiento habitual del respondente (por la situación
específica que implica la respuesta en un marco evaluativo). Por último, existe lo que
denomina “efecto aprendizaje” que ocurre al aplicar el mismo instrumento en más de una
ocasión. Para nuestro caso, en la segunda evaluación (2014-2016), la misma batería de
instrumentos fue aplicada hasta cuatro veces.
Por último, ambas evaluaciones enfrentaron el desafío de los estudios
longitudinales: la atrición de la muestra. La experiencia de la primera evaluación
(2012-2014) se tuvo en cuenta al encarar la segunda evaluación (2014-2016), ya que la
construcción muestral implicó mayor rigurosidad y control, características propias del
diseño experimental. Sin embargo, un aspecto menos previsto fue la implicancia de la
atrición dentro del Programa, en el sentido de que parte de los casos relevados habían
dejado de participar en el Programa (por cambio de escuela, abandono escolar u otros
motivos) pero que seguían formando parte del GT y del relevamiento (a partir de
complementar el trabajo de campo en las escuelas y en los hogares). De hecho, a fines
de 2016 (tercer y último año de la Evaluación) un 41% del GT había dejado de recibir el
tratamiento en el transcurso de esos años.
23
4. Oportunidades para la innovación y
el crecimiento
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
4. Oportunidades para la innovación y el crecimiento
Otro resultado del recorrido en la evaluación de HSE fue la decisión de encarar las
actividades relativas a la sistematización y diseño metodológico del Programa sobre su
enfoque de HSE. A fines de 2015 Cimientos dispuso un rol a cargo de la Gestión del
Conocimiento, con el objetivo de sistematizar experiencias y contenidos de los programas
documentando y gestionando aprendizajes e innovaciones de interés interno y externo.
Los principales productos desarrollados en este sentido, y líneas de trabajo asociadas,
son los siguientes:
4.1 Currículum Cimientos: consiste en una propuesta curricular dirigida a los
Encargados de Acompañamiento del PFE que aporta una conceptualización y un
esquema de trabajo de acompañamiento con el enfoque de HSE. El desarrollo del mismo
fue puesto a prueba una muestra de EAs en un piloto realizado en 2016, y luego puesto a
disposición con ajustes a la totalidad del equipo a partir de 2017. El Currículum Cimientos
está compuesto por dos partes: el “Mapa de contenidos” y el “Detalle de contenidos”. En
cuanto al primero, se detallan los 3 ejes que estructuran el Currículum Cimientos:



Habilidades Socioemocionales, 5 dimensiones (autoconcepto, responsabilidad y
autonomía, planificación y organización del tiempo, relaciones interpersonales y
toma de decisiones) que actúan como eje principal de organización de los
contenidos, para su utilización en la planificación y la evaluación del
acompañamiento;
Participantes, es el lugar de los actores clave de las tutorías (alumnos, familia y
escuela), no como meros atributos de las actividades (que pueden estar
destinadas y tener como protagonistas a uno/s u otro/s actores clave), sino que
implican una articulación específica de contenidos en función de cada uno;
Contenidos, diferenciados entre “generales” (habilidades básicas a trabajar con
todos los alumnos) y “particulares” (referidos específicamente a determinados
temas y circunstancias propios de la diversidad en las trayectorias escolares de los
alumnos).
Respecto al Detalle de Contenidos, el Currículum Cimientos se desarrolla en apartados
específicos por eje (habilidades, participantes y contenidos), en los que se detallan los
contenidos (generales y particulares) por cada una de las 5 dimensiones de habilidades
socioemocionales. En este detalle se aprecian los siguientes elementos: objetivos,
referencias relativas a los logros que se espera que los alumnos alcancen luego de su
participación en las tutorías, como resultado de las estrategias intencionalmente
planificadas a tal fin (perfil del egresado); actividades sugeridas, acciones sugeridas
para la planificación intencionada y reflexiva por parte del Tutor, con la finalidad de lograr
los objetivos planteados (se complementan con el “Fichero Cimientos”, repositorio online
de actividades que se describe a continuación); indicadores, definición de las evidencias
de desempeño esperadas, elementos observables que permiten establecer una estrategia
de evaluación sobre lo que se espera observar en los alumnos como resultados del
acompañamiento.
25
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
4.2 Fichero Cimientos: es una plataforma online5 que recupera recursos preexistentes y se actualiza constantemente con nuevos aportes colaborativos. Es de acceso
libre, tanto para los Encargados de Acompañamiento del PFE como para el público
general. Está referenciada a la propuesta curricular del Currículum Cimientos. Esta
plataforma es interactiva, y ofrece a los usuarios la posibilidad de subir actividades y
recursos, con su cita correspondiente.
A través del Fichero es posible: a. realizar una búsqueda de actividades de acuerdo a los
ejes organizadores del Currículum (habilidades, contenidos y participantes) además de
otras variables, arrojando un listado de opciones para que el interesado elija las más
adecuada a implementar; b. descargar las actividades completas, con los anexos que
detallan el material necesario a preparar previamente a la realización de la actividad; c.
generar nuevas actividades para compartirlas con otros de forma colaborativa.
4.3 Manual del Acompañamiento: este insumo pre-existente se nutrió con nuevos
aportes referidos al enfoque de HSE. Allí se presenta la metodología de acompañamiento
educativo desarrollada por Cimientos en el marco del Programa Futuros Egresados
orientado al desarrollo de habilidades socioemocionales en la escuela secundaria. En el
manual se describen los actores participantes en el acompañamiento (alumnos, padres,
EAs, escuela), el proceso anual de acompañamiento (modalidad presencial y virtual) y los
contenidos y la planificación del acompañamiento (Currículum, Fichero, Agenda, Brújula
de habilidades).
4.4 Agenda del Estudiante: herramienta que se entrega a cada estudiante
participante del PFE a comienzo del ciclo escolar y de acompañamiento. Está diseñada
para el registro y seguimiento del proceso de acompañamiento por parte de los alumnos,
con el objetivo de desarrollar la responsabilidad y autonomía con relación a su escolaridad
y su participación en el PFE. Se espera que los alumnos registren:






5
la información relevante para su participación en el PFE (datos de su EA, de su
padrino, etc.),
sus calificaciones escolares,
los logros y dificultades identificados en los encuentros mensuales de
acompañamiento,
los propósitos acordados con el EA,
la fecha de su próximo encuentro,
los materiales que debe acercar al próximo encuentro, etc.
De libre acceso mediante el siguiente link: http://cimientos.org/fichero/
26
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Asimismo la Agenda cuenta con hojas en blanco para que el alumno pueda registrar,
libremente y más allá del momento de encuentro con el EA, sus avances, dificultades,
inquietudes, pensamientos y sensaciones con relación a lo trabajado en el
acompañamiento y a su trayectoria escolar. Los EAs utilizan la Agenda para proponer
consignas de trabajo entre encuentros a los alumnos participantes y registrar su
seguimiento. Asimismo, incluye la “Brújula de las Habilidades” para la autoevaluación del
alumno (presentada a continuación).
4.5 Brújula de habilidades: Este instrumento de uso individual de los alumnos
participantes de PFE sirve para que el EA complemente el diagnóstico grupal realizado en
la instancia de planificación. Resulta útil para definir prioridades y acciones, hacer
explícito el camino por recorrer, y realizar un seguimiento permanente de los avances de
los jóvenes. Fue diseñado en base al Currículum Cimientos, ya que toma algunos de los
indicadores definidos para cada contenido como parámetro general para que el EA junto
con el alumno puedan analizar fortalezas y oportunidades de mejora, y colaborar con la
formulación de objetivos definiendo y monitoreando las habilidades prioritarias a trabajar.
Este instrumento propone:



que el alumno realice su autoevaluación, que el EA realice la evaluación del
alumno de acuerdo a su observación y percepción, y que entre ambos conversen
sobre los resultados para lograr una evaluación unificada, objetiva, sincera y
operativa;
que el alumno adquiera conciencia y responsabilidad sobre los contenidos
explícitos a trabajar;
realizar este ejercicio 2 veces al año (inicialmente, luego de 1 o 2 encuentros; y a
fin de año).
4.6 Compartir con otros: Cabe mencionarse que todos estos desarrollos son
compartidos con las organizaciones de la Red Cimientos, las cuales implementan el PFE
siguiendo la metodología de Cimientos. También se han compartido adaptaciones de
estos recursos con organismos estatales, en proyectos de articulación que alcanzaron a
equipos técnicos nacionales y provinciales, directivos y docentes participantes de
instancias de capacitación (manuales de tutoría, propuesta de contenidos sobre desarrollo
de habilidades socioemocionales, herramientas de diseño, gestión, monitoreo y
evaluación de dispositivos de acompañamiento a las trayectorias escolares, entre otros).
Al respecto, se destaca el amplio alcance del Fichero Cimientos. No sólo entre los EAs de
Cimientos, sino también con el público externo, ya que ha recibido visitas de un promedio
de 15.000 nuevos usuarios anuales desde su apertura en 2016, y cuenta con 4500
usuarios frecuentes registrados.
4.7 Nuevas líneas de evaluación: es interés de Cimientos seguir generando
información relativa a nuestra estrategia de trabajo, por lo que en el transcurso de los dos
últimos años se desarrollaron relevamientos específicos con EAs para evaluar la
adopción, uso y valoración de las herramientas mencionadas. Con ese conocimiento se
buscar retroalimentar a la gestión e identificar nuevas oportunidades para mejorar.
27
5. Reflexiones finales
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
5. Reflexiones finales
Este documento buscó recuperar la experiencia acumulada en torno a la evaluación de
HSE, que en sí misma significó una oportunidad interna para formalizar una
conceptualización al respecto, sistematizar la metodología de acompañamiento con este
enfoque, y construir conocimiento para compartir con otros. Se trata, por lo tanto, de un
documento que invita a reflexionar sobre los resultados obtenidos, los procesos y los
métodos en pos de continuar pensando el PFE de Cimientos. Además, de poner en valor
el recorrido de la Fundación en la exploración, análisis y conceptualización de las HSE,
sin precedentes en nuestro contexto, atentos a la importancia que reviste actualmente
este tema en la agenda de política educativa.
Desde el punto de vista de la evaluación nos encontramos con interesantes hallazgos,
como el hecho de que el contexto del inicio del nivel secundario repercute negativamente
en las autopercepciones de los estudiantes, y en ese marco, el PFE ofrece una
oportunidad de “amortiguar” esa caída.
También, que la participación en el Programa puede configurar un marco de referencia
específico a partir del cual los participantes se evalúan con mayor exigencia. Este factor
está presente junto con otros sesgos que la literatura especializada reconoce en torno a
las técnicas de auto-informe, por lo que futuras evaluaciones necesariamente deben
incluir miradas complementarias desde distintos puntos de vista.
La evaluación del desarrollo de habilidades es en sí misma un desafío, si se considera
que los sujetos bajo evaluación son adolescentes, que por su momento vital se
encuentran en un proceso evolutivo de cambio y configuración subjetiva, no siempre lineal
o unidireccional. Esta dimensión de “proceso” nos lleva a otro aspecto, de tipo operativo,
en una evaluación: la dimensión longitudinal. En nuestro caso, tuvo una repercusión sobre
las muestras bajo análisis, por la pérdida de casos e incluso el cambio de status de
muchos jóvenes en relación con el Programa y su intervención.
Por otra parte, al operacionalizar las dimensiones del impacto del acompañamiento de
PFE en base a técnicas estandarizadas y validadas en Argentina, se priorizó la utilización
de los instrumentos más pertinentes para nuestro contexto. En términos de definiciones,
fuimos pragmáticos en adoptar aquellas que traían implícitas, basadas en la literatura
especializada. Sin embargo, el recorrido de la evaluación nos llevó a desarrollar nuestras
propias definiciones plasmadas en el Currículum Cimientos, así como también un
instrumento de evaluación ad hoc para relevar una dimensión más ejecutiva de las
habilidades socioemocionales en el contexto escolar. Los resultados relevados con esa
técnica fueron los más destacados de la evaluación experimental.
Atentos a esto, y a que la evaluación se realiza sobre una estrategia de acompañamiento
personalizado, sigue vigente el desafío de desarrollar una metodología de evaluación que
resulte adecuada a la vez que válida y escalable a la totalidad del Programa,
aprovechando el potencial de las nuevas tecnologías. Tenemos ese norte, y es nuestro
interés avanzar en esa dirección.
29
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
6. Referencias bibliográficas
Allport, G. (1955).Basic Considerations for the Psychology of Personality. Yale: Yale
University Press.
Anastasi, A. & Urbina, S. (1998). Tests psicológicos. México: Prentice Hall.
Asari, T., Konishi, S., Jimura, K., Chikazoe, J., Nakamura, N., Mishayita, Y., & Miyashita,
Y. (2010). Amygdalar enlargement associated with unique perception. Cortex, 46, 94-99.
Bassi, M., Busso, M., Urzúa, S., Vargas J. (2012). “Desconectados Habilidades,
Educación y Empleo en América Latina”. BID.
Binstock, Georgina y Marcela Cerrutti (2005): Carreras truncadas - El abandono escolar
en el nivel medio en la Argentina, UNICEF, CABA.
Borghans, L., Duckworth, A. L., Heckman, J. J., y ter Weel, B. (2008). The economics and
psychology of personality traits. Journal of Human Resources, 43(4), 972–1059.
Bornstein, R. F. (2007). Toward a Process-Based Framework for Classifying Personality
Tests: Comment on. Journal of Personality Assessment, 89(2), 202-207.
CIPPEC (2019). Transformar la educación secundaria. Recuperado de:
https://www.cippec.org/wp-content/uploads/2019/09/MEMO_Educacion_WEB.pdf Consejo
Federal de Educación (2017). Resolución 330/17.
Cimientos (2012). El día después de la escuela: Estudio sobre las trayectorias post
escolares de jóvenes en situación de vulnerabilidad socioeconómica de la provincia de
Buenos Aires. Documento inédito.
Cloninger, S. (2003). Teorías de la Personalidad. Mexico D.F., México: Pearson
Educación.
Costa, P. y McCrae, R. (1992). Revised NEO Personality Inventory (NEO-PI-R) and NEO
Five-Factor Inventory (NEO-FFI) manual. Odessa, FL: Psychological Assessment
Resources.
Dana, R.H. (1993). Multicultural assessment perspectives for professional psychology.
Boston: Allyn & Bacon.
Duckworth, A. L., & Quinn, P. D. (2009). Development and Validation of the Short Grit
Scale. Journal of Personality Assessment, 91(2), 166-174.
Duckworth, A. L., & Yeager, D. S. (2015). Measurement Matters: Assessing Personal
Qualities Other Than Cognitive Ability for Educational Purposes. Educational researcher
(Washington, D.C.: 1972), 44(4), 237–251. doi:10.3102/0013189X15584327
Durlak, J. y Weissberg, R. (2007). The impact of after-school programs that promote
personal and social skills. Chicago, IL: Collaborative for Academic, Social, and Emotional
Learning.
Eysenck, H. J. (1971). Estudio científico de la personalidad. Buenos Aires: Paidos.
30
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Finn, S. (2012). “Implications of Recent Research in Neurobiology for Psychological
Assessment”, en: Journal of Personality Assessment, 94:5, 440-449.
Ganimian, A. J., Barrera-Osorio, F., Biehl, L., & Cortelezzi, M. (2018). Hard cash and soft
skills: Experimental evidence on combining scholarships and mentoring in Argentina. IDB
Technical Note No. IDB-TN-01508. Buenos Aires: Inter-American Development Bank.
Heckman, J. J., Stixrud, J., & Urzua, S. (2006). “The effects of cognitive and noncognitive
abilities on labor market outcomes and social behavior”. En: Journal of Labor
economics, 24(3), 411-482.
Heckman, James y Tim Kautz (2012) “Hard evidence on soft skills”, en Labour Economics,
Elsevier, vol. 19(4), pp. 451-464.
Hiraishi, H., Haida, M., Matsumoto, M., Hayakawa, N., Inomata, S. y Matsumoto, H.
(2012): Differences of Prefrontal Cortex Activity Between Picture-Based Personality Tests:
A Near-Infrared Spectroscopy Study, Journal of Personality Assessment, 94:4, 366-371.
Hogan, T. P. (2004). Pruebas psicológicas. Una introducción práctica. México: Manual
Moderno.
Lopez, N., Operti, R., Vargas Tamez, C. (coord.) (2017). Adolescentes y jóvenes en
realidades cambiantes. Notas para pensar la educación secundaria en América Latina.
Paris:UNESCO. Recuperado de: https://unesdoc.unesco.org/ark:/48223/pf0000247578
Meyer, G., Finn, S., Eyde, L., Kay, G. G., Moreland, K. L., Dies, R. R., Reed, G. M. (2001).
Psychological testing and psychological assessment: A review of evidence and issues.
American Psychologist, 56, 128-165.
Meyer, G. (2002). Implications of information-gathering methods for a refined taxonomy of
psychopathology. En M. G. Bleutler, & M. Malik, Rethinking the DSM: Psychological
perspectives (págs. 69-105). Washinton, DC: American Psychological Association.
Meyer, G. J. y Kurtz, J. E. (2006). Advancing personality assessment terminology: Time to
retire “objective” and “projective” as personality test descriptors. Journal of Personality
Assessment 87 , pp. 223-225.
Ortega Goodspeed, Tamara (2016): Desenredando la conversación sobre habilidades
blandas, CAF y El Diálogo, Washington, DC.
Pais, E. F. (2014). Selección de Instrumentos para la Evaluación de Habilidades
Socioemocionales para Estudiantes de Secundaria en Argentina: Fundamentación para
una Batería de Evaluación. Documento inédito. Buenos Aires: BID.
Pérez, M., Becerra, L. (2010) Inventario de personalidad para adultos MAPS. Material de
cátedra Estadística Aplicada a la Psicología. Buenos Aires: Fac. Psicología. UAI.
Pervin, L. (1999). La ciencia de la personalidad. Madrid: McGraw-Hill.
Rosen, J., Glennie, E., Dalton, B., Lennon, J. y Bozick, R (2010). Noncognitive Skills in
the Classroom: New Perspectives on Educational Research.
31
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
Rosen, J. A., Glennie, E. J., Dalton, B. W., Lennon, J. W., y Bozick, R. N. (2010).
Noncognitive Skills in the Classroom: New Perspectives on Educational Research. RTI
Press publication No. BK-0004-1009. Research Triangle Park, NC: RTI International.
Schmidt, V., Messoulam, N., & Molina, M. (2008). Autoconcepto académico en
adolescentes de escuelas medias: presentación de un instrumento para su evaluación.
Revista Iberoamericana de Diagnóstico y Evaluación Psicológica, 25(1), 81-106.
Thurstone, L. L., & Yela, M. (2001). CARAS. Test de percepción de diferencias (9a ed.).
Madrid: TEA Ediciones.
Tornimbeni, S. et al (2009): La evaluación de las competencias cognitivas para investigar:
situaciones de prueba, en I Congreso Internacional de Investigación y Práctica Profesional
en Psicología XVI Jornadas de Investigación Quinto Encuentro de Investigadores en
Psicología del MERCOSUR. Facultad de Psicología - Universidad de Buenos Aires,
Buenos Aires.
Tsukayama, E, E., Duckworth, A. L., & Kim, B. (2013). Domain-specific impulsivity in
school-age children. Developmental Science.
UNICEF (2017). Posicionamiento sobre adolescencia. Para cada adolescente una
oportunidad, Argentina.
Weinstein, C. E. y Palmer, D. R. (1988). LASSI: The learning and study strategies
inventory. Florida: Publishing Company.
Wechsler, D. (1994). Test de inteligencia para niños WISC-III: manual. BsAs: Paidós.
32
Las Habilidades Socioemocionales en Cimientos
Conceptualización, resultados de su evaluación y nuevos desafíos
33
Descargar