Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Daniela Valencia y Agustina Desalvo Área de Evaluación de Cimientos Diciembre, 2019 Para citar este documento: Fundación Cimientos (2019). Las Habilidades Socioemocionales en Cimientos. Conceptualización, resultados de su evaluación y nuevos desafíos https://cimientos.org/wp-content/uploads/2020/11/Las-HSE-en-Cimientos.pdf 1 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Fundación Cimientos Cimientos es una organización de la sociedad civil creada en 1997 que promueve la equidad educativa mediante programas que favorecen la permanencia y el egreso de la escuela secundaria, mejoran la calidad de la educación e impulsan la continuidad educativa y/o la inserción laboral de jóvenes que viven en contextos vulnerables. Sus programas se implementan en la Argentina y son replicados en alianza con otras organizaciones del país y de Uruguay, con la visión de que todos los jóvenes accedan a oportunidades para construir un futuro mejor a través de la educación. El Programa Futuros Egresados Futuros Egresados acompaña a chicos de entre 12 y 18 años y sus familias en situación de vulnerabilidad social para que puedan terminar la escuela secundaria y proyectar su futuro con más y mejores oportunidades. Cada uno de los jóvenes recibe una beca mensual y participa en una tutoría personalizada, a través de la cual se promueve el desarrollo de habilidades socioemocionales que contribuyen a mejorar su trayectoria educativa. El Área de Evaluación El Área de Evaluación de Cimientos genera y difunde conocimiento sobre problemáticas educativas en las que Cimientos centra su accionar. De esta manera, acompaña a los Programas en la comprensión del contexto de intervención, de los resultados alcanzados y de sus oportunidades de mejora, recuperando los puntos de vista de los participantes y de otros actores involucrados. Sobre este informe Este documento sistematiza los aprendizajes alcanzados a partir del abordaje de las habilidades socioemocionales (HSE) en el marco del Programa de Futuros Egresados de Cimientos. Este abordaje partió de estudios evaluativos llevados a cabo en un campo de gran interés, que generaron valiosos hallazgos y promovieron interesantes debates. En primer lugar, se define el concepto de HSE, teniendo en cuenta las diversas perspectivas teóricas. También se aborda el proceso a partir del cual fueron seleccionadas las HSE a evaluar en el marco del Programa y las técnicas que se implementaron para ello. En segundo lugar, se describen las dos evaluaciones llevadas a cabo por el equipo de Evaluación de Cimientos –una entre 2012 y 2014; otra entre 2014 y 2016– teniendo en cuenta el proceso de implementación y los resultados obtenidos. En tercer lugar, se describen las limitaciones encontradas en los estudios mencionados. Finalmente, se abordan una serie de productos que surgieron a partir de la experiencia en evaluación de HSE, los cuales fueron incorporados en el acompañamiento de PFE: el Currículum Cimientos, el Fichero Cimientos, la actualización del Manual de Acompañamiento, La Brújula de habilidades y la Agenda del Estudiante. 2 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Palabras clave: Habilidades socioemocionales; Escuela secundaria; Evaluación de Programas; Programa Futuros Egresados; Fundación Cimientos. Abstract This document systematizes the experience in the approach of socioemotional skills (SES) within the framework of Programa Futuros Egresados (PFE) of Cimientos. These were evaluative studies carried out in a field of great interest, which generated valuable findings and promoted interesting debates. First, the concept of HSE is defined, taking into account the various theoretical perspectives. The process from which the SESs to be evaluated in the framework of the Program were selected and the instruments that were implemented to do so are also addressed. Second, the two evaluations carried out by the Foundation Evaluation team are described - one between 2012 and 2014; another between 2014 and 2016 - taking into account the implementation process and the results obtained. Third, the limitations found in those studies are described. Finally, a series of products derived from the evaluation experience which are now part of PFE monitoring tools, are addressed: Cimientos’ Curriculum; Fichero Cimientos; the update of PFE Mentoring Manual; La Brújula de Habilidades; and PFE Student’s Agenda. Keywords: Socioemotional skills; Secondary School; Programs Evaluation; Programa Futuros Egresados; Cimientos Foundation. Agradecimientos Este documento recoge el trabajo realizado a lo largo del tiempo por un gran equipo de personas, entre ellas, Ernesto Pais, María Cortelezzi, Aldana Morrone, Anahí Pissinis, Aldana Neme y Ana Julia Rosales, a quienes agradecemos especialmente. 3 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Índice 1. Introducción ................................................................................................................... 5 2. La definición del objeto y el diseño de la estrategia de evaluación............................... 10 2.1. ¿Qué son las Habilidades Socioemocionales? ...................................................... 10 2.2. ¿Qué habilidades es pertinente evaluar en el contexto de PFE? ........................... 11 2.3. ¿Cómo se evalúan las HSE?................................................................................. 12 3. Las evaluaciones de HSE realizadas por Cimientos .................................................... 15 3.1. La primera evaluación: 2012-2014 ........................................................................ 15 ¿Cuáles fueron sus objetivos? .................................................................................. 15 ¿Cuál fue el diseño muestral? .................................................................................. 15 ¿Qué técnicas se utilizaron? ..................................................................................... 16 ¿Cómo se implementó el trabajo de campo? ............................................................ 17 ¿Cuáles fueron los principales resultados?............................................................... 18 3.2. La segunda evaluación: 2014-2016 ....................................................................... 19 ¿Cuáles fueron sus objetivos? .................................................................................. 19 ¿Cuál fue el diseño muestral? .................................................................................. 19 ¿Qué técnicas se utilizaron? ..................................................................................... 20 ¿Cómo se implementó el trabajo de campo? ............................................................ 21 ¿Cuáles fueron los principales resultados?............................................................... 21 3.3. Limitaciones y posibles sesgos ............................................................................. 22 4. Oportunidades para la innovación y el crecimiento ...................................................... 25 4.1 Currículum Cimientos ............................................................................................. 25 4.2 Fichero Cimientos .................................................................................................. 26 4.3 Manual del Acompañamiento ................................................................................. 26 4.4 Agenda del Estudiante ........................................................................................... 26 4.5 Brújula de habilidades ............................................................................................ 27 4.6 Compartir con otros ................................................................................................ 27 4.7 Nuevas líneas de evaluación .................................................................................. 27 5. Reflexiones finales ....................................................................................................... 29 6. Referencias bibliográficas ............................................................................................ 30 4 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos 5 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos 1. Introducción En nuestro país, la Ley de Educación Nacional N° 26.206 del año 2006 establece la obligatoriedad de la escuela secundaria. Esta normativa, sin embargo, no es garantía suficiente para que los jóvenes permanezcan en la escuela hasta finalizarla o que logren terminarla en el tiempo estipulado. En efecto, como demuestran algunos estudios (Binstock y Cerrutti, 2005), el proceso de masificación de la educación media implicó que en el presente sea sólo una porción minoritaria de la población la que no accede a ella. No obstante, los resultados alentadores en torno a la evolución de la cobertura no son tales cuando se considera la eficacia del sistema. Es decir, cuando se observan los niveles de permanencia y terminalidad. En este sentido, un informe de UNICEF (UNICEF, 2017) indica que aunque las tasas de asistencia superan el 80%, menos de la mitad de los jóvenes que ingresan al nivel logran completarlo. Otro informe, elaborado por CIPPEC alcanza la misma conclusión, estimando que solo el 27% egresa en el tiempo esperado (CIPPEC, 2019). Además, al considerar el nivel socio económico, se reconoce una brecha en detrimento de los sectores más desfavorecidos (López et al, 2017). Es importante advertir que en ese marco se desarrollan las experiencias concretas de los adolescentes. Y que en el entramado de las prácticas escolares, sociales y culturales, configuran su subjetividad, moldean sus expectativas y aspiraciones. En este sentido resulta crucial la participación de adultos significativos, en su crecimiento, desarrollo y proyección futura. Atentos a ello, desde 1997 el Programa Futuros Egresados (PFE) de Cimientos se propone contribuir a la equidad educativa a partir de la implementación de una estrategia de doble impacto. Por un lado, otorga becas a estudiantes secundarios que provienen de familias socioeconómicamente vulnerables con el objeto de que puedan solventar las necesidades derivadas del sistema escolar (traslado, apuntes, etc.); por otro, les ofrece un acompañamiento educativo personalizado por medio de un equipo de tutores que les brindan apoyo a lo largo de la trayectoria y fomentan el desarrollo de ciertas habilidades socioemocionales (HSE). Con este propósito, también desarrolla jornadas de encuentro zonales para favorecer el intercambio entre participantes, en espacios recreativos y de reflexión. Todo esto se realiza de manera coordinada con los referentes escolares y con los responsables adultos de los alumnos, estos últimos, participantes fundamentales del acompañamiento escolar. De este modo, el programa promueve la permanencia de los alumnos participantes en la escuela, como así también su promoción escolar y su egreso efectivo, desarrollando habilidades socioemocionales que favorezcan su trayectoria escolar y post escolar. En paralelo, y a través de su área de Evaluación, Cimientos desarrolla estudios sobre sus programas con el objetivo de medir su impacto así como generar aportes para repensar la práctica y establecer oportunidades de mejora. En ese sentido, en el año 2012, Cimientos inició un estudio centrado en la evaluación de la estrategia de acompañamiento educativo con el fin de ampliar la evaluación de resultados del PFE. En este caso, se propuso avanzar sobre el objetivo de cuantificar y analizar el impacto del acompañamiento en el desarrollo de habilidades socioemocionales, de las cuales se conoce por estudios antecedentes que favorecen experiencias escolares significativas (Rosen, Glennie, 6 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Dalton, Lennon, & Bozick, 2010). Hasta ese momento la incidencia de los resultados del PFE se había medido únicamente a través de una serie de indicadores cuya meta era dar cuenta de la eficacia del programa sobre el los niveles de repitencia, promoción efectiva, abandono y egreso efectivo. En cambio, indicadores orientados a la medición de la incidencia del programa en otras áreas, como el desarrollo de habilidades sociales y personales, no habían sido explorados hasta ese momento. Asimismo, la experiencia acumulada en la implementación del Programa y las evaluaciones de tipo cualitativo daban indicios de que el PFE dejaba “marcas” en la subjetividad de los participantes, de acuerdo a los testimonios relevados después de su egreso (Cimientos, 2012). Además, era un tema emergente en la literatura de investigación: el estudio del Banco Interamericano de Desarrollo (BID) “Desconectados” (Bassi y otros, 2012) junto a otras investigaciones similares señalaban el poder predictivo de las HSE sobre el nivel educativo y de ingresos de los individuos (Heckman y Kautz, 2012). Era oportuno, por lo tanto, realizar una indagación que diera cuenta de estos emergentes y aportara conocimiento sobre un tema en ciernes, con la novedad de hacerlo con los participantes de PFE, por lo tanto “en proceso” de desarrollo, a diferencia de las investigaciones conocidas que lo hacían ex post. Este desafío que se planteó la organización se tradujo en el trabajo conjunto del equipo de Evaluación y Ernesto Pais, especialista en evaluación psicológica. El resultado fue el diseño de un primer estudio que se llevó a cabo a lo largo de tres años consecutivos (2012, 2013 y 2014) en el que fueron empleadas una serie de técnicas de evaluativas disponibles en la bibliografía especializada. Todas ellas fueron técnicas de tipo “autoinforme”, en las cuales los evaluados responden un formulario estructurado (ver sección 2.3). Como veremos en el punto 4, estas técnicas presentaron una serie de inconvenientes que procuraron ser resueltos en una instancia de evaluación posterior a través de la triangulación con otras técnicas, en este caso, de “performance” (ver sección 2.3) en la que los evaluados responden a una determinada consigna que es posteriormente evaluada por un especialista. Esta combinación de técnicas para la evaluación de habilidades socioemocionales se incorporó en una estrategia de evaluación experimental del impacto de PFE llevada adelante entre 2014 y 2016. El desarrollo de este camino en la evaluación de HSE propició la sistematización de la metodología en una serie de instrumentos, tarea encarada internamente con el objetivo de gestionar nuestro conocimiento. Esa labor llevó a la elaboración de instrumentos tales como el Currículum Cimientos, el Fichero Cimientos, la Brújula de habilidades, o bien, la revisión del Manual de Acompañamiento (ver sección 4). El curso de la evaluación siguió en este sentido, realizando sondeos sobre la adhesión y valoración de estos instrumentos por parte del equipo de Encargadas/os de Acompañamiento de Cimientos. En suma, el interés sobre esta dimensión de nuestro impacto llegó para quedarse. Hemos aprendido mucho en este proceso, y tenemos mucho por seguir aprendiendo. Vale destacar que al iniciar nuestro abordaje de las habilidades socioemocionales resultaba un tema desconocido sobre el cual no había experiencia acumulada en nuestro medio. Actualmente el tema está en agenda, es de interés para muchas organizaciones, 7 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos escuelas, y organismos estatales. Resulta oportuno, entonces, compartir nuestros aprendizajes, reflexiones e inquietudes, y desde ahí, seguir construyendo. 8 2. La definición del objeto y el diseño de la estrategia de evaluación Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos 2. La definición del objeto y el diseño de la estrategia de evaluación 2.1. ¿Qué son las Habilidades Socioemocionales? El propósito de conocer el impacto del PFE en el desarrollo de habilidades socioemocionales, abrió un campo de estudio nuevo, hasta ese momento inexplorado por Cimientos. Por ello, uno de los primeros pasos para poner en marcha la evaluación, fue indagar acerca de las habilidades socioemocionales propiamente dichas y los instrumentos para su evaluación. Para esto se contó con el asesoramiento de Ernesto Pais, Licenciado en psicología de la Universidad de Buenos Aires y experto en evaluación psicométrica. A partir de la bibliografía entonces disponible, en términos generales y teóricos, las habilidades aprendidas podían dividirse en dos grupos: cognitivas y “no cognitivas”. Las primeras referidas a la capacidad de una persona de interpretar, reflexionar, razonar, pensar de manera abstracta y asimilar ideas complejas, resolver problemas y generalizar lo que se aprende. Estas habilidades suelen medirse con pruebas de logro estandarizadas y calificaciones; también con instrumentos que miden el coeficiente intelectual. Las habilidades “no cognitivas” se refieren a la capacidad que tiene una persona para relacionarse con otros y consigo misma, comprender y manejar las emociones, establecer y lograr objetivos, tomar decisiones autónomas y confrontar situaciones adversas de forma creativa y constructiva (Ortega Goodspeed, 2016). Cabe aclarar, que la diferenciación entre habilidades cognitivas y “no cognitivas” es una distinción analítica. De hecho, en la realidad de los individuos esas destrezas no se encuentran divididas: pocos aspectos de la conducta humana están vacíos de cognición y entre las HSE hay algunas que son claramente cognitivas. Por ende, el término comúnmente utilizado -“habilidades no cognitivas”- resulta acotado, motivo por el cual nos inclinamos por la denominación de estas habilidades como socioemocionales. Estas habilidades, que incorporan aspectos cognitivos -aunque no intelectuales-, si bien están con relación a cómo las personas piensan, no refieren a las habilidades que históricamente se han relacionado con la evaluación del Coeficiente Intelectual (Pais, 2014; Bassi, et.al, 2012; Heckman, Stixrud y Urzua, 2005). En cuanto a su desarrollo, en las habilidades cognitivas incide en gran medida un componente genético y el entorno puede influir casi exclusivamente en la primera infancia. Contrariamente, las habilidades socioemocionales están mayormente afectadas por el contexto y presentan un período crítico de conformación que llega hasta la juventud. Por lo tanto, las HSE pueden ser desarrolladas o cambiadas, de allí su potencial en el contexto educativo. La escuela secundaria resulta crucial para el desarrollo de estas habilidades y la institución escolar así como los referentes adultos presentes, resultan actores claves en la promoción de las habilidades para los jóvenes que transitan esta etapa. Las habilidades socioemocionales son también muy buenos predictores tanto de performance académica en distintos momentos de la trayectoria 10 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos escolar, como de éxito en el ámbito laboral y económico y en la reducción de conductas de riesgo. Y allí se encuentra un ejemplo de su clara interrelación. Históricamente, una de las formas de aproximarse a las habilidades socioemocionales fue a través del estudio de la personalidad, que ha sido abordada a partir de distintas formas de acercamiento: los “tipos”, los “rasgos” y los “factores”. Los primeros remiten a la pertenencia: una persona pertenece a una y sólo una categoría. Así, dada una población, ésta puede ser descripta a través de una pequeña cantidad de grupos. En este caso se trabaja con variables cualitativas (Eysenck, 1971). En cuanto al concepto de “rasgos”, fue definido inicialmente como “una predisposición a conducirse de una forma determinada” (Allport, 1955). Una definición más actual y completa indica que remiten a la tendencia a expresar comportamientos de una determinada forma, que esta tendencia es estable en el tiempo, y que puede ser evaluada, permitiendo esto encontrar diferencias entre las personas. Hay distintos niveles en los que una persona puede presentar un rasgo, y hay un número muy amplio de rasgos (Pervin, 1999 y Cloninger, 2003). En este caso, los valores o puntajes obtenidos son variables continuas, cuantitativas. Finalmente, los factores implican el agrupamiento de rasgos por correlaciones. En este caso se trata también de variables continuas (Costa & McCrae, 1992). Al momento de definir el tipo de acercamiento más apropiado para la evaluación del impacto del acompañamiento de PFE en el desarrollo de HSE se optó por el de “rasgos de personalidad”. En este caso, se desestimaron los acercamientos a través de tipos y factores ya que mientras que el primero se orienta a las clasificaciones diagnósticas, el segundo requiere la evaluación de una amplia gama de facetas que hubiera excedido los alcances del estudio. 2.2. ¿Qué habilidades es pertinente evaluar en el contexto de PFE? Una vez definido el enfoque, fue necesario determinar el conjunto de habilidades socioemocionales a ser evaluadas. Para esto se tuvo en cuenta, por un lado, la relevancia de las habilidades en el potencial impacto del programa; por otro, la preeminencia que las distintas habilidades tuviesen en la bibliografía. Esto último con el objeto de considerar particularmente aquellas que resultaran mejores pronosticadoras del éxito escolar y postescolar. Para llevar adelante el primer punto, se trabajó inicialmente con documentos preexistentes y se realizaron encuentros con los actores del PFE. A partir de la sistematización de información de investigaciones previas y de la realización de grupos focales con Encargados/as de Acompañamiento (EAs) y con estudiantes participantes del PFE, se realizó la selección de habilidades socioemocionales a evaluar en función de su potencial impacto más allá de los resultados finales en la escuela. En esta instancia, se identificaron cuatro habilidades, definidas dentro de la intervención del PFE de la siguiente manera: a. Organización del tiempo: pensar prioridades, trabajar en el logro de objetivos en un tiempo determinado y elaborar agendas que permitan trabajar la dimensión del tiempo. 11 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos b. Capacidad de análisis: identificación de logros y dificultades, trabajo sobre la resolución de problemas, escucha activa y argumentación y trabajo sobre el sentido de la educación y el esfuerzo. c. Responsabilidad y compromiso: formulación de propósitos, firma de acta compromiso, cumplimiento de asistencia y material requerido, orientación en la utilización del dinero. d. Autoestima: foco en las fortalezas, feedbacks sobre logros, promoción de la participación en clase, desarrollo de liderazgo y motivación. Llegado este punto, se destaca el esfuerzo llevado a cabo por el equipo para operacionalizar las habilidades seleccionadas en variables susceptibles de ser medidas por técnicas estandarizadas. Asimismo, el riesgo asumido al momento de llevar adelante la operacionalización a raíz de la posibilidad de perder información en el proceso de “traducción” de las variables. 2.3. ¿Cómo se evalúan las HSE? Existe a nivel internacional un creciente acervo de experiencias de evaluación y medición de las HSE a partir de las técnicas arriba mencionadas y otras similares. En Argentina, sin embargo, la evidencia empírica sobre la utilización de estas técnicas es limitada. De allí, la relevancia de la iniciativa encarada por Cimientos que, entre otras cosas, ha contribuido a generar conocimiento sobre el tema. Pese a las limitaciones existentes (que se tratarán en la sección 4), y dado que la evaluación de las HSE se ha nutrido mayormente de las metodologías y herramientas propias de la evaluación psicológica, fue posible adaptar estas técnicas a la evaluación de las HSE. Para mejorar la validez y confiabilidad de la evaluación se decidió seleccionar técnicas estandarizadas y una estrategia de evaluación multimétodo y multifuente. Al respecto, una técnica se encuentra estandarizada cuando presenta sustento científico para su uso (Anastasi & Urbina, 1998; Hogan, 2004). Se entiende que las técnicas que cuentan con un proceso de estandarización han presentado estudios que dan soporte a su validez y confiabilidad. Una técnica es válida cuando evalúa lo que pretende evaluar. El concepto de confiabilidad hace referencia a la consistencia de la técnica (Anastasi & Urbina, 1998: Hogan, 2004; Tornimbeni et al, 2009). El segundo punto en cuestión refiere a que el proceso de evaluación sea multimétodo y multifuente. Desde los comienzos de la evaluación de la personalidad se clasificaron a los instrumentos de distintas formas: antiguamente se diferenciaron las técnicas en proyectivas o psicométricas, luego se las llamó proyectivas u objetivas. Si bien actualmente es algo que aún está en discusión, hay cierto consenso en clasificarlas en técnicas de performance y técnicas de auto-informe (Meyer y Kurtz, 2006). Esta diferenciación se sustenta en los métodos de respuesta utilizados. Mientras que en las técnicas de performance el evaluado responde atribuyendo sentido a un estímulo 12 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos ambiguo; en las de auto-informe el proceso de respuesta implica que el evaluado responde a una serie de afirmaciones haciendo auto-atribuciones (Bornstein, 2007). Para mejorar la validez y confiabilidad de la evaluación, es necesario incluir técnicas de distintos métodos, es decir, técnicas de auto-informe y de performance (Meyer et al, 2001; Meyer, 2002). Existen actualmente algunas evidencias que dan aún mayor soporte a esta necesidad, y son estudios que utilizan neuroimágenes para diferenciar justamente los procesos de respuesta. Se ha encontrado a través de estos estudios que las técnicas de performance, sobre todo aquellas que trabajan con imágenes, generan mayor activación del hemisferio derecho, amígdala e hipocampo, mientras que en las técnicas de auto-informe hay predominancia del hemisferio izquierdo (Asari et al, 2010; Hiraishi et al, 2012; Finn, 2012). Sin entrar en detalles, estos estudios tienen claras implicancias al momento de pensar en las estrategias de una evaluación integral de los aspectos que se pretenden trabajar. En cuanto al concepto de multifuente, hace referencia a la inclusión de distintos informantes en la evaluación. Para el caso específico de las evaluaciones realizadas por Cimientos se consideró la posibilidad de incluir otras fuentes a partir de incluir nuevos informantes en los relevamientos (responsables adultos y docentes), pero la idea fue descartada. Esto, porque se dificultaba entablar contacto con otros informantes, (por ejemplo, con los padres de los jóvenes que habitualmente no transitan por el espacio escolar), o porque se dificultaba la identificación de buenos informantes entre los distintos docentes (ya que como docentes de áreas tienen poco tiempo de contacto con los adolescentes). Por ello, se decidió trabajar sólo con el alumno como informante. Hay que mencionar, por último, que la mayoría de los estudios existentes se soportan en técnicas exclusivamente de auto-informe; si bien estas técnicas resultan adecuadas para algunas habilidades tales como la Autoeficacia o el Autoconcepto -ya que son eminentemente autopercepciones- para el resto de las habilidades se requiere incluir otros métodos tales como las de performance u observacionales (Borghans et al., 2008; Rosen et al., 2010 y Durlak et al., 2007). 13 3. Las evaluaciones de HSE realizadas por Cimientos Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos 3. Las evaluaciones de HSE realizadas por Cimientos 3.1. La primera evaluación: 2012-20141 ¿Cuáles fueron sus objetivos? Como mencionamos en la introducción, con el propósito de evaluar el impacto de PFE, en el año 2012 Cimientos inició un estudio centrado en la evaluación de la estrategia de acompañamiento. Se trató de una evaluación longitudinal (a tres años), con mediciones periódicas en escuelas secundarias de Argentina. El plan de evaluación se propuso cuantificar y analizar el impacto de la estrategia de acompañamiento de PFE en el desarrollo de habilidades que favorecen experiencias escolares significativas. Para ello, se consideraron los siguientes objetivos: a. Determinar el nivel promedio de las habilidades de los alumnos de la muestra al iniciar su participación en el nivel secundario. b. Verificar si el nivel promedio de las habilidades de los alumnos participantes del PFE es diferente al de los no participantes luego de un año de participación en el programa. c. Monitorear el nivel de las habilidades evaluadas en la muestra de alumnos durante los tres primeros años del nivel secundario (ciclo básico secundario). ¿Cuál fue el diseño muestral? La muestra de alumnos participantes del estudio fue intencional ya que fueron seleccionados en función de una serie de criterios. En primer lugar se definieron las zonas geográficas según se consideraran estratégicas desde la perspectiva del desarrollo institucional. Una vez seleccionadas las zonas se avanzó en la selección de escuelas. Para esto se tuvo en cuenta la concentración numérica de estudiantes de 1° año del nivel secundario que iniciaban su participación en el PFE en 2012. También, se consideró que fueran escuelas con secundaria completa (de 1º a 6º año), de distintas jurisdicciones. De esta forma, se definió un grupo de tratamiento (GT) y un grupo de control (GC), pero sin mediar una asignación aleatoria. Es decir, se trató de un diseño cuasi-experimental. Se aseguró la comparabilidad entre ambos grupos en función de su similitud en relación con los siguientes criterios al inicio de la evaluación: asistencia a la misma escuela y al mismo año escolar, y nivel de vulnerabilidad socioeconómica2 La muestra inicial estuvo conformada por 182 alumnos ingresantes a 1º año de la secundaria en 5 escuelas estatales de distintas regiones (3 en el Gran Buenos Aires, 1 en 1 Cabe mencionar que el PFE tiene alcance regional y se implementa en Uruguay desde 2012 y en Colombia desde 2014. En el año 2012, se decidió llevar adelante también en Uruguay la evaluación sobre el impacto del acompañamiento educativo en el desarrollo de las habilidades socio-emocionales. El estudio, que se desarrolló entre 2012 y 2014, tomó como universo al conjunto de estudiantes que asistían al 1er año en el liceo donde se implementó la experiencia piloto del PFE en ese país. 2 Esto fue medido a partir de un cuestionario estructurado a partir del cual se pudo construir una tipología de hogares, su clima educativo y condición de hacinamiento. 15 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Santiago del Estero y 1 en Catamarca). Del total de alumnos, 58 iniciaban su tránsito por la escuela participando del PFE, mientras que 124 no. Así quedaron definidos los grupos de comparación, GT y GC. En cuanto a las características sociodemográficas de la muestra, se observó que convivían en hogares mayoritariamente con presencia de ambas figuras parentales cuya experiencia educativa alcanzaba la primaria completa o secundaria incompleta. En cuanto a la propia trayectoria escolar de los alumnos, una cuarta parte de los 182 casos contaba con experiencias de repitencia escolar durante su trayectoria escolar primaria. En estos indicadores, los dos grupos (participantes y no participantes de PFE) eran relativamente homogéneos. ¿Qué técnicas se utilizaron? Las técnicas de evaluación fueron seleccionadas a partir de ser técnicas estandarizadas, es decir sustentadas en estudios de validez y confiabilidad. Se utilizaron técnicas probadas en población adolescente de Argentina. Este punto da cuenta de algunas limitaciones. En efecto, no resulta la comparación más adecuada teniendo en cuenta las diferencias de edades (las muestras de estandarización incluyen adolescentes de distintas edades), así como las diferencias sociales y probablemente culturales de ambas muestras (las muestras de estandarización incluyen adolescentes con un perfil de sectores medios) (Dana, 1993). Sin embargo, resulta un artificio que permite la comparación de los alumnos del PFE con alumnos de edades similares y de la Argentina. En segundo lugar, se eligieron técnicas de auto-informe en detrimento de las de performance. Esta decisión se tomó teniendo en cuenta la factibilidad con relación al tiempo que requiere la administración de unas y otras. Las técnicas de auto-informe son más apropiadas en una evaluación grupal y requieren menor cantidad de tiempo tanto en su administración como en la puntuación e interpretación. Finalmente, se decidió evaluar aquellas dimensiones que estaban más fuertemente en relación con los aspectos destacados en los relevamientos cualitativos previos del impacto de la estrategia de acompañamiento: organización del tiempo, capacidad de análisis en un sentido amplio, responsabilidad y compromiso, y finalmente autoestima. A estos puntos se agregaron aspectos relacionales, que fueron definidos en la dimensión “Área de las relaciones interpersonales”. Como conclusión, se planteó llevar adelante la evaluación a través de técnicas de auto-informe, estandarizadas en la Argentina, y haciendo foco principalmente en las dimensiones de mayor impacto en la estrategia de la tutoría. Se seleccionaron tres técnicas que cumplían con todos los criterios anteriormente citados: Autoconcepto Académico (AA) (Schmidt, Messoulam, & Molina, 2008), LASSI (por sus siglas en inglés de Learning and Study Strategies Inventory) (Weinstein, Schilte & Palmer, 1988) y MAPS (Pérez, M., Becerra, L., 2010). Entre las variables relevadas a través de estas técnicas, que operacionalizan las HSE definidas en el marco de PFE, se encuentran las siguientes: 16 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Dimensión de impacto en la estrategia de acompañamiento de PFE Organización del tiempo Capacidad de Análisis Responsabilidad y Compromiso Autoestima Área de las relaciones 3 interpersonales Variables y técnicas que permite su medición Organización y Planificación (LASSI) Procesamiento Metódico (MAPS) Procesamiento Innovador (MAPS) Habilidades para la preparación de exámenes (LASSI) Recursos para el aprendizaje (LASSI) Estrategias de control y consolidación del aprendizaje (LASSI) Habilidades para jerarquizar la información (LASSI) Procesamiento Metódico (MAPS) Procesamiento Innovador (MAPS) Motivación (LASSI) Conducta social discordante (MAPS) Conducta social concordante (MAPS) Autoconcepto Global (AA) Rendimiento (AA) Autoeficacia (AA) Conducta social segura (MAPS) Conducta social insegura (MAPS) Aceptación activa (MAPS) Adaptación pasiva (MAPS) Conducta social distante (MAPS) Conducta social gregaria (MAPS) Conducta social segura (MAPS) Conducta social insegura (MAPS) Conducta social discordante (MAPS) Conducta social concordante (MAPS) ¿Cómo se implementó el trabajo de campo? Una vez definida la muestra y la batería de técnicas, se implementó una estrategia de relevamiento con dos mediciones en el primer año, y una al cierre de cada año. Entre cada medición, solo el grupo de alumnos incorporado en PFE fue parte del acompañamiento educativo. La realización de cada relevamiento fue coordinado con las escuelas, acordando una fecha de trabajo de campo y los alumnos participantes. Una vez allí, el equipo de Cimientos a cargo del relevamiento procedía a administrar de manera grupal los protocolos de las distintas técnicas. En este sentido, fue un desafío para el relevamiento las situaciones de ausentismo, salida anticipada, entre otros. Esto se profundizó a lo largo de los sucesivos años, en tanto la muestra se fue desgranando por situaciones tales como el cambio de escuela, repitencia y abandono escolar, o bien el cambio de situación de los alumnos que participaban del PFE. No fueron suficientemente efectivas las estrategias para mitigar el desgranamiento, como incorporar escuelas y alumnos a la muestra. Por esto, se prioriza presentar análisis del primer año (donde la estabilidad de la muestra fue mayor), y al cabo del 3er año de estudio, en función de muestras pequeñas que fueron 3 Si bien esta dimensión no surge del proceso de identificación de habilidades abordadas por el PFE, se decidió incluirla por ser un área de interés para el encuadre de trabajo de PFE, incluida asimismo en la técnica MAPS. 17 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos relevadas a lo largo del tiempo manteniendo su status (38 casos de los 58 que integraban el GT y 33 casos de los 124 que integraron el GC). ¿Cuáles fueron los principales resultados? A lo largo de las mediciones en los tres años se realizó una comparación intra grupos (es decir, las variaciones ocurridas con respecto a la línea de base en cada grupo) y entre grupos (cuál es la distancia entre ambos grupos con relación a esa variación), tomando en cuenta los casos de la muestra que se mantuvieron estables a lo largo del tiempo. La evidencia recolectada puede resumirse de la siguiente manera: 1. Se observan cambios estadísticamente significativos a favor de los estudiantes que participaban del PFE en el Autoconcepto Académico Global, principalmente en cuanto a la dimensión Autoeficacia. Es decir, en cuanto a las habilidades relacionadas con el Autoconcepto Académico, los alumnos que participan del PFE presentan un desarrollo muy por encima de los que no participan. En el caso de su autopercepción de Rendimiento, la diferencia es también favorable para los participantes de PFE aunque no alcanza significación estadística. 2. Se observa una disminución en las HSE relacionadas con las Estrategias y Hábitos de estudio medidas a través de la técnica LASSI. En particular la habilidad Organización y Planificación, si bien en las mediciones iniciales resultaba favorable para el grupo de estudiantes que participaba de PFE (Pais, Cortelezzi, Valencia, 2013), en la mirada longitudinal, registró una baja general para ambos grupos si bien comparativamente fue más fuerte en el caso de los participantes. En este punto, por estar insertos en el PFE, al encontrarse con mayor familiaridad y exigencia sobre estas estrategias y hábitos, de algún modo se vuelven más conscientes y cercanas las dificultades que se pueden tener en el desarrollo de las mismas (ver en sección 3.3 lo relativo al sesgo de referencia). 3. En cuanto a las HSE relacionadas con el área de Relaciones Interpersonales de los alumnos, las diferencias no resultan significativas, a la vez que tampoco surgen tendencias claras en sus cambios. Por ejemplo, se aprecia entre los participantes de PFE una tendencia a la baja de la Condición Activa a la vez que un aumento en la Condición Gregaria; una baja en la Condición Insegura y una suba en la Condición Discordante. Todo esto parece venir acompañando los cambios evolutivos de los adolescentes, en tanto se dan en proporciones similares en ambos grupos. Cabe recordar que estos resultados refieren a la evolución de las habilidades en el marco en los primeros tres años del secundario. Esto representa una etapa desafiante, de muchos cambios: del comienzo de la secundaria, con su particular régimen académico, cantidad de materias y métodos de evaluación; cambios en las relaciones sociales, nuevos compañeros y profesores; también, cambios madurativos propios de su edad. En este escenario, el acompañamiento de PFE y su impacto en el desarrollo de las habilidades relacionadas con Autoconcepto Académico, actúa como un “amortiguador” de los cambios en el contexto de transición y desafíos. Sin embargo, estos resultados 18 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos también traen interrogantes respecto de las habilidades relacionadas con estrategias y hábitos de estudios, sobre las cuales se tiene foco claro del PFE en el trabajo de acompañamiento. 3.2. La segunda evaluación: 2014-2016 ¿Cuáles fueron sus objetivos? En el 2014 se inició la “Evaluación de Impacto Experimental del PFE”, desarrollada por un equipo mixto integrado por miembros del equipo de Cimientos, representantes del Sector Educación de BID en Argentina y un equipo de especialistas en evaluaciones de impacto experimental. La relevancia de esta iniciativa está en ser una de las primeras evaluaciones de estas características en Argentina, que implicó la triangulación de Cimientos con representantes de un organismo internacional e investigadores especializados. Las preguntas originales que dispararon la evaluación fueron: 1- ¿Cuál es el efecto del PFE en el nivel de deserción de los participantes?; 2- ¿Cuál es el efecto del PFE en el desarrollo de habilidades socio emocionales?; 3- ¿Cuál es el efecto del PFE sobre la repetición y promoción de los alumnos? Es decir, se buscó medir el impacto del PFE en dos sentidos: sobre el desempeño escolar (promoción, repitencia, abandono) y sobre el desarrollo de habilidades socioemocionales. En este punto, se tomó como antecedentes la experiencia acumulada en materia de evaluación sobre trayectorias escolares así como la primera evaluación interna con foco en HSE. El diseño fue longitudinal, también enfocada en los tres primeros años del nivel secundario. ¿Cuál fue el diseño muestral? Para la definición de la muestra se estableció un número de diez escuelas, como la mejor alternativa de acuerdo a los cálculos del poder estadístico. La selección de escuelas fue intencional, guiada por los siguientes criterios de implementación de PFE: ubicación en el Gran Buenos Aires y localidades de Provincia de Bs. As. aledañas; alta cantidad de matriculados en 1º año; implementación (presente o reciente) del PFE; preferencia de escuelas donde no se encontrara un gran grupo de becados en los otros años escolares; la existencia de socios que renueven becas en esa escuela, o becas vacantes que puedan asignarse a estas escuelas; prioridad de escuelas de Educación Común (en detrimento de Escuelas Técnicas) y de gestión estatal (en detrimento de escuelas parroquiales). La expectativa de los investigadores era reunir 40 casos por escuela; esto se pudo alcanzar en algunas escuelas mientras que en otras se realizaron ajustes. En total, se construyó una muestra de 408 estudiantes de 1° año reclutados mediante una convocatoria abierta, y mediante un muestreo aleatorio se asignó a 204 casos al Grupo Tratamiento (GT, que participaría del Programa) y 204 casos al Grupo Control (GC, que no participaría). A diferencia de la evaluación precedente, los procesos de selección implementados habitualmente en PFE se pusieron en suspenso, definiendo la 19 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos incorporación de los participantes de la muestra al Programa en función del sorteo arriba mencionado4. ¿Qué técnicas se utilizaron? En cuanto a las HSE seleccionadas, se resolvió trabajar con Autoconcepto Académico, Motivación, Organización y planificación, Autocontrol y Perseverancia. Para la habilidad de Autoconcepto académico, en base al antecedente, se implementó nuevamente la técnica de auto-informe “Autoconcepto Académico”. Para la evaluación de Organización y planificación se utilizó la técnica de auto-informe LASSI (la misma utilizada en la primera evaluación) y el subtest “Laberintos” del WISC-III (Weschler, 1994). Para abordar la habilidad Motivación, se utilizó también un subíndice de la técnica LASSI (también empleada en la primera evaluación). En cuanto a la evaluación de Perseverancia, la técnica seleccionada para su evaluación fue GRIT-S (Duckworth y Quinn, 2009). Finalmente, para la evaluación de Autocontrol, se incorporaron a la batería dos instrumentos: DSIS-C (Tsukayama, Duckworth, y Kim, 2013) y CARAS-R (Thurstone y Yela, 2001). En el 2do y el 3er año de implementación de la evaluación se incorporaron nuevas variables de análisis. Por una parte, en el segundo año de la evaluación, se incorporó la medición de los comportamientos académicos (academic behaviors), que fueran definidos por el equipo de investigación como habilidades ejecutivas propias del oficio de alumno, aquellas que permiten “navegar la escuela”. Para medirlas, se construyó un instrumento de auto-informe basado en los contenidos trabajados en el acompañamiento del PFE, que indagaba sobre el comportamiento en tiempo y frente a situaciones escolares. Para esto se definieron una serie de dimensiones que incluyeron preguntas referidas al último mes. Las dimensiones fueron las siguientes: - Comportamiento escolar proactivo Comportamiento preventivo sobre tareas para el hogar Comportamiento correctivo sobre tareas para el hogar Comportamiento preventivo sobre pruebas Comportamiento correctivo sobre pruebas Comportamiento correctivo sobre notas trimestrales Comportamiento correctivo sobre notas anuales Comportamiento preventivo sobre ausentismo Comportamiento correctivo sobre ausentismo Comportamiento correctivo sobre horas libres 4 Por este motivo, dentro del GT un total de 57 estudiantes resultaban “no elegibles” de acuerdo a los criterios de selección de PFE vigentes (entre ellos, 27 por ser repitentes o demostrar bajo compromiso con su escolaridad). Estos estudiantes, de no ser por la asignación mediante sorteo, no habrían sido incorporados al Programa. Esto introdujo una mayor complejidad para la implementación de la estrategia de acompañamiento: mayor heterogeneidad de los becados y sus familias, y con esta diversidad, una demanda a los EAs de objetivos, tiempos y estrategias de trabajo de mayor intensidad, que resultaron en sostenidas alertas sobre la participación de los estudiantes en el Programa. 20 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Asimismo, en el tercer año, se agregó la medición de rasgos de personalidad (personality traits) a partir de la implementación del instrumento “Big 5”, inventario utilizado para evaluar cinco aspectos diferentes: extroversión, complacencia, escrupulosidad, neuroticismo y receptividad. En este punto, se consideró interesante su incorporación por la posibilidad de construir información comparable con otros estudios internacionales. Ahora bien, se consideró de manera descriptiva y complementaria a la evaluación, sin una expectativa concreta de identificar incrementos como impacto del programa ya que una premisa central de estos factores es su estabilidad. ¿Cómo se implementó el trabajo de campo? El trabajo de campo se desarrolló a lo largo de los tres años, con una medición en el segundo semestre de cada año. En esta evaluación también representó un desafío relevar la totalidad de los casos, por lo que se reforzó la estrategia, reiterando las visitas a las escuelas para cada medición, e incorporando una estrategia de relevamiento en hogares para poder relevar los casos que no conseguíamos captar en las escuelas. A lo largo del tiempo la proporción de casos relevados en los hogares fue en aumento, en tanto aumentaba el ausentismo prolongado o bien abandono escolar de algunos estudiantes. Al tercer año, el relevamiento incluyó un 23% de casos relevados en hogares, a la vez que no se logró relevar a un 16% del total de la muestra. El equipo de trabajo contratado para el relevamiento en escuelas se compuso de estudiantes avanzados de psicología con experiencia en evaluación psicológica. Tuvieron a su cargo administrar los protocolos de manera grupal, y evaluar las respuestas a las técnicas de performance. También se contrató un equipo de relevamiento especializado en relevamiento en los barrios, a cargo de las visitas a hogares. ¿Cuáles fueron los principales resultados? En base al documento de Ganimian et al (2018) los principales resultados sobre las HSE fueron: 1. Impacto positivo en los índices que describen los comportamientos académicos (academic behaviors) relevados mediante la encuesta elaborada por los investigadores. Se identificaron efectos considerables y consistentes a lo largo de los dos años evaluados (segundo y tercer año del estudio). También se identificó que una mayor exposición al programa se relaciona con un mayor desarrollo de los comportamientos indagados, es decir que cada mes de participación mejora el resultado en casi todas las dimensiones que integran el índice: a. Se comportan proactivamente en el contexto escolar b. Abordan las tareas de manera preventiva c. Implementan medidas correctivas luego de identificar errores en una tarea d. Se preparan para las pruebas de manera preventiva e. Implementan medidas correctivas luego de una mala nota f. Implementan medidas correctivas luego de desaprobar un trimestre g. Recuperan preventivamente un día de ausencia h. Recuperar correctivamente un día de ausencia i. Aprovechar las horas libres para adelantar tarea o estudiar 21 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos 2. Se registró poca evidencia de impacto sobre Autoconcepto Académico, Autocontrol, Perseverancia y Organización y planificación, esta última habilidad medida a través de triangular técnicas de auto-informe y de performance; sin embargo, no se descartan efectos pequeños a moderados –por ejemplo, en el subíndice que mide Motivación. 3. No se encuentra evidencia de que el programa haya impactado en los rasgos de personalidad, medidos a través del constructo de los 5 grandes factores (“Big 5”). Como ya se mencionó anteriormente, esta dimensión de análisis se incorporó al estudio para comprender si sería posible identificar diferencias como resultado de la mejora esperada en otras variables, pero sin considerarla una dimensión de impacto en sí misma. En síntesis, se observa que el PFE tiene un considerable impacto en lo que podríamos denominar “oficio del estudiante”, en tanto, a mayor exposición al programa, mayor es el desarrollo de los comportamientos propios de ese “oficio”. Sin embargo, a diferencia de lo observado en la primera evaluación (2012-2014) no existe evidencia suficiente que permita identificar impacto sobre Autoconcepto Académico, y tampoco en Autocontrol, Perseverancia y Organización y planificación. 3.3. Limitaciones y posibles sesgos Los estudios precedentes implicaron una oportunidad para la exploración del desarrollo de las habilidades socioemocionales en el marco de una estrategia de acompañamiento a estudiantes del nivel secundario de contextos vulnerables. Esto permitió, por un lado, describir las habilidades con las cuales los alumnos inician sus trayectorias en el nivel. En este sentido, los estudios desarrollados brindaron la oportunidad de reforzar la conceptualización, el enfoque de trabajo y la metodología desarrollada por el Programa al respecto de las Habilidades Socioemocionales. Sus resultados implican un gran valor para retroalimentar la estrategia de acompañamiento del programa. Por otro lado, se trata de estudios que implican un aporte teórico-empírico de sumo interés en un campo poco explorado en nuestro país y representan una oportunidad para brindar aportes sobre un terreno de importancia creciente en el debate educativo nacional e internacional. Estas consideraciones, sin duda positivas, no nos eximen de realizar algunas salvedades. Por un lado, debemos mencionar aspectos referidos a las técnicas de relevamiento aplicadas, principalmente de auto-informe. En efecto, como señala Angela Duckworth (2015), las técnicas basadas sólo en la percepción de los individuos no resultan del todo objetivas, generando resultados sesgados por la subjetividad de los participantes. Se trata de “sesgos de referencia”, que se originan a partir de que cada respondente otorga información en función de un marco de referencia propio, que puede ser distinto al de otros individuos. Esto se ha observado, por ejemplo, en la primera evaluación (2012-2014) respecto a las HSE de estrategias y hábitos de estudio, que fueron percibidas de manera deficitaria por quienes participaban en el PFE. En efecto, la misma participación en el Programa puede estar implicando un marco de referencia diferencial del que se 22 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos formulan los estudiantes en el marco de la escuela. En este sentido, es esperable que los participantes del Programa sientan una mayor exigencia con respecto a estas estrategias y hábitos, y que hayan respondido en función de tales exigencias. Otra de las limitaciones posibles que menciona la autora respecto de las técnicas de autoinforme refiere a las dificultades de los respondentes para interpretar los ítems del instrumento y para reflejar estados internos, como motivación, en sus respuestas. Por último, también menciona que estas técnicas fomentan las respuestas que se ajustan a lo que se percibe como “deseable” por la sociedad. Por otro lado, respecto a los instrumentos utilizados, además de las limitaciones ya señaladas respecto de las técnicas de auto-informe, Duckworth menciona otras con relación a las técnicas de performance. En primer lugar, que el investigador puede realizar supuestos con relación al significado detrás de las respuestas. Además, las respuestas pueden no representar el comportamiento habitual del respondente (por la situación específica que implica la respuesta en un marco evaluativo). Por último, existe lo que denomina “efecto aprendizaje” que ocurre al aplicar el mismo instrumento en más de una ocasión. Para nuestro caso, en la segunda evaluación (2014-2016), la misma batería de instrumentos fue aplicada hasta cuatro veces. Por último, ambas evaluaciones enfrentaron el desafío de los estudios longitudinales: la atrición de la muestra. La experiencia de la primera evaluación (2012-2014) se tuvo en cuenta al encarar la segunda evaluación (2014-2016), ya que la construcción muestral implicó mayor rigurosidad y control, características propias del diseño experimental. Sin embargo, un aspecto menos previsto fue la implicancia de la atrición dentro del Programa, en el sentido de que parte de los casos relevados habían dejado de participar en el Programa (por cambio de escuela, abandono escolar u otros motivos) pero que seguían formando parte del GT y del relevamiento (a partir de complementar el trabajo de campo en las escuelas y en los hogares). De hecho, a fines de 2016 (tercer y último año de la Evaluación) un 41% del GT había dejado de recibir el tratamiento en el transcurso de esos años. 23 4. Oportunidades para la innovación y el crecimiento Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos 4. Oportunidades para la innovación y el crecimiento Otro resultado del recorrido en la evaluación de HSE fue la decisión de encarar las actividades relativas a la sistematización y diseño metodológico del Programa sobre su enfoque de HSE. A fines de 2015 Cimientos dispuso un rol a cargo de la Gestión del Conocimiento, con el objetivo de sistematizar experiencias y contenidos de los programas documentando y gestionando aprendizajes e innovaciones de interés interno y externo. Los principales productos desarrollados en este sentido, y líneas de trabajo asociadas, son los siguientes: 4.1 Currículum Cimientos: consiste en una propuesta curricular dirigida a los Encargados de Acompañamiento del PFE que aporta una conceptualización y un esquema de trabajo de acompañamiento con el enfoque de HSE. El desarrollo del mismo fue puesto a prueba una muestra de EAs en un piloto realizado en 2016, y luego puesto a disposición con ajustes a la totalidad del equipo a partir de 2017. El Currículum Cimientos está compuesto por dos partes: el “Mapa de contenidos” y el “Detalle de contenidos”. En cuanto al primero, se detallan los 3 ejes que estructuran el Currículum Cimientos: Habilidades Socioemocionales, 5 dimensiones (autoconcepto, responsabilidad y autonomía, planificación y organización del tiempo, relaciones interpersonales y toma de decisiones) que actúan como eje principal de organización de los contenidos, para su utilización en la planificación y la evaluación del acompañamiento; Participantes, es el lugar de los actores clave de las tutorías (alumnos, familia y escuela), no como meros atributos de las actividades (que pueden estar destinadas y tener como protagonistas a uno/s u otro/s actores clave), sino que implican una articulación específica de contenidos en función de cada uno; Contenidos, diferenciados entre “generales” (habilidades básicas a trabajar con todos los alumnos) y “particulares” (referidos específicamente a determinados temas y circunstancias propios de la diversidad en las trayectorias escolares de los alumnos). Respecto al Detalle de Contenidos, el Currículum Cimientos se desarrolla en apartados específicos por eje (habilidades, participantes y contenidos), en los que se detallan los contenidos (generales y particulares) por cada una de las 5 dimensiones de habilidades socioemocionales. En este detalle se aprecian los siguientes elementos: objetivos, referencias relativas a los logros que se espera que los alumnos alcancen luego de su participación en las tutorías, como resultado de las estrategias intencionalmente planificadas a tal fin (perfil del egresado); actividades sugeridas, acciones sugeridas para la planificación intencionada y reflexiva por parte del Tutor, con la finalidad de lograr los objetivos planteados (se complementan con el “Fichero Cimientos”, repositorio online de actividades que se describe a continuación); indicadores, definición de las evidencias de desempeño esperadas, elementos observables que permiten establecer una estrategia de evaluación sobre lo que se espera observar en los alumnos como resultados del acompañamiento. 25 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos 4.2 Fichero Cimientos: es una plataforma online5 que recupera recursos preexistentes y se actualiza constantemente con nuevos aportes colaborativos. Es de acceso libre, tanto para los Encargados de Acompañamiento del PFE como para el público general. Está referenciada a la propuesta curricular del Currículum Cimientos. Esta plataforma es interactiva, y ofrece a los usuarios la posibilidad de subir actividades y recursos, con su cita correspondiente. A través del Fichero es posible: a. realizar una búsqueda de actividades de acuerdo a los ejes organizadores del Currículum (habilidades, contenidos y participantes) además de otras variables, arrojando un listado de opciones para que el interesado elija las más adecuada a implementar; b. descargar las actividades completas, con los anexos que detallan el material necesario a preparar previamente a la realización de la actividad; c. generar nuevas actividades para compartirlas con otros de forma colaborativa. 4.3 Manual del Acompañamiento: este insumo pre-existente se nutrió con nuevos aportes referidos al enfoque de HSE. Allí se presenta la metodología de acompañamiento educativo desarrollada por Cimientos en el marco del Programa Futuros Egresados orientado al desarrollo de habilidades socioemocionales en la escuela secundaria. En el manual se describen los actores participantes en el acompañamiento (alumnos, padres, EAs, escuela), el proceso anual de acompañamiento (modalidad presencial y virtual) y los contenidos y la planificación del acompañamiento (Currículum, Fichero, Agenda, Brújula de habilidades). 4.4 Agenda del Estudiante: herramienta que se entrega a cada estudiante participante del PFE a comienzo del ciclo escolar y de acompañamiento. Está diseñada para el registro y seguimiento del proceso de acompañamiento por parte de los alumnos, con el objetivo de desarrollar la responsabilidad y autonomía con relación a su escolaridad y su participación en el PFE. Se espera que los alumnos registren: 5 la información relevante para su participación en el PFE (datos de su EA, de su padrino, etc.), sus calificaciones escolares, los logros y dificultades identificados en los encuentros mensuales de acompañamiento, los propósitos acordados con el EA, la fecha de su próximo encuentro, los materiales que debe acercar al próximo encuentro, etc. De libre acceso mediante el siguiente link: http://cimientos.org/fichero/ 26 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Asimismo la Agenda cuenta con hojas en blanco para que el alumno pueda registrar, libremente y más allá del momento de encuentro con el EA, sus avances, dificultades, inquietudes, pensamientos y sensaciones con relación a lo trabajado en el acompañamiento y a su trayectoria escolar. Los EAs utilizan la Agenda para proponer consignas de trabajo entre encuentros a los alumnos participantes y registrar su seguimiento. Asimismo, incluye la “Brújula de las Habilidades” para la autoevaluación del alumno (presentada a continuación). 4.5 Brújula de habilidades: Este instrumento de uso individual de los alumnos participantes de PFE sirve para que el EA complemente el diagnóstico grupal realizado en la instancia de planificación. Resulta útil para definir prioridades y acciones, hacer explícito el camino por recorrer, y realizar un seguimiento permanente de los avances de los jóvenes. Fue diseñado en base al Currículum Cimientos, ya que toma algunos de los indicadores definidos para cada contenido como parámetro general para que el EA junto con el alumno puedan analizar fortalezas y oportunidades de mejora, y colaborar con la formulación de objetivos definiendo y monitoreando las habilidades prioritarias a trabajar. Este instrumento propone: que el alumno realice su autoevaluación, que el EA realice la evaluación del alumno de acuerdo a su observación y percepción, y que entre ambos conversen sobre los resultados para lograr una evaluación unificada, objetiva, sincera y operativa; que el alumno adquiera conciencia y responsabilidad sobre los contenidos explícitos a trabajar; realizar este ejercicio 2 veces al año (inicialmente, luego de 1 o 2 encuentros; y a fin de año). 4.6 Compartir con otros: Cabe mencionarse que todos estos desarrollos son compartidos con las organizaciones de la Red Cimientos, las cuales implementan el PFE siguiendo la metodología de Cimientos. También se han compartido adaptaciones de estos recursos con organismos estatales, en proyectos de articulación que alcanzaron a equipos técnicos nacionales y provinciales, directivos y docentes participantes de instancias de capacitación (manuales de tutoría, propuesta de contenidos sobre desarrollo de habilidades socioemocionales, herramientas de diseño, gestión, monitoreo y evaluación de dispositivos de acompañamiento a las trayectorias escolares, entre otros). Al respecto, se destaca el amplio alcance del Fichero Cimientos. No sólo entre los EAs de Cimientos, sino también con el público externo, ya que ha recibido visitas de un promedio de 15.000 nuevos usuarios anuales desde su apertura en 2016, y cuenta con 4500 usuarios frecuentes registrados. 4.7 Nuevas líneas de evaluación: es interés de Cimientos seguir generando información relativa a nuestra estrategia de trabajo, por lo que en el transcurso de los dos últimos años se desarrollaron relevamientos específicos con EAs para evaluar la adopción, uso y valoración de las herramientas mencionadas. Con ese conocimiento se buscar retroalimentar a la gestión e identificar nuevas oportunidades para mejorar. 27 5. Reflexiones finales Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos 5. Reflexiones finales Este documento buscó recuperar la experiencia acumulada en torno a la evaluación de HSE, que en sí misma significó una oportunidad interna para formalizar una conceptualización al respecto, sistematizar la metodología de acompañamiento con este enfoque, y construir conocimiento para compartir con otros. Se trata, por lo tanto, de un documento que invita a reflexionar sobre los resultados obtenidos, los procesos y los métodos en pos de continuar pensando el PFE de Cimientos. Además, de poner en valor el recorrido de la Fundación en la exploración, análisis y conceptualización de las HSE, sin precedentes en nuestro contexto, atentos a la importancia que reviste actualmente este tema en la agenda de política educativa. Desde el punto de vista de la evaluación nos encontramos con interesantes hallazgos, como el hecho de que el contexto del inicio del nivel secundario repercute negativamente en las autopercepciones de los estudiantes, y en ese marco, el PFE ofrece una oportunidad de “amortiguar” esa caída. También, que la participación en el Programa puede configurar un marco de referencia específico a partir del cual los participantes se evalúan con mayor exigencia. Este factor está presente junto con otros sesgos que la literatura especializada reconoce en torno a las técnicas de auto-informe, por lo que futuras evaluaciones necesariamente deben incluir miradas complementarias desde distintos puntos de vista. La evaluación del desarrollo de habilidades es en sí misma un desafío, si se considera que los sujetos bajo evaluación son adolescentes, que por su momento vital se encuentran en un proceso evolutivo de cambio y configuración subjetiva, no siempre lineal o unidireccional. Esta dimensión de “proceso” nos lleva a otro aspecto, de tipo operativo, en una evaluación: la dimensión longitudinal. En nuestro caso, tuvo una repercusión sobre las muestras bajo análisis, por la pérdida de casos e incluso el cambio de status de muchos jóvenes en relación con el Programa y su intervención. Por otra parte, al operacionalizar las dimensiones del impacto del acompañamiento de PFE en base a técnicas estandarizadas y validadas en Argentina, se priorizó la utilización de los instrumentos más pertinentes para nuestro contexto. En términos de definiciones, fuimos pragmáticos en adoptar aquellas que traían implícitas, basadas en la literatura especializada. Sin embargo, el recorrido de la evaluación nos llevó a desarrollar nuestras propias definiciones plasmadas en el Currículum Cimientos, así como también un instrumento de evaluación ad hoc para relevar una dimensión más ejecutiva de las habilidades socioemocionales en el contexto escolar. Los resultados relevados con esa técnica fueron los más destacados de la evaluación experimental. Atentos a esto, y a que la evaluación se realiza sobre una estrategia de acompañamiento personalizado, sigue vigente el desafío de desarrollar una metodología de evaluación que resulte adecuada a la vez que válida y escalable a la totalidad del Programa, aprovechando el potencial de las nuevas tecnologías. Tenemos ese norte, y es nuestro interés avanzar en esa dirección. 29 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos 6. Referencias bibliográficas Allport, G. (1955).Basic Considerations for the Psychology of Personality. Yale: Yale University Press. Anastasi, A. & Urbina, S. (1998). Tests psicológicos. México: Prentice Hall. Asari, T., Konishi, S., Jimura, K., Chikazoe, J., Nakamura, N., Mishayita, Y., & Miyashita, Y. (2010). Amygdalar enlargement associated with unique perception. Cortex, 46, 94-99. Bassi, M., Busso, M., Urzúa, S., Vargas J. (2012). “Desconectados Habilidades, Educación y Empleo en América Latina”. BID. Binstock, Georgina y Marcela Cerrutti (2005): Carreras truncadas - El abandono escolar en el nivel medio en la Argentina, UNICEF, CABA. Borghans, L., Duckworth, A. L., Heckman, J. J., y ter Weel, B. (2008). The economics and psychology of personality traits. Journal of Human Resources, 43(4), 972–1059. Bornstein, R. F. (2007). Toward a Process-Based Framework for Classifying Personality Tests: Comment on. Journal of Personality Assessment, 89(2), 202-207. CIPPEC (2019). Transformar la educación secundaria. Recuperado de: https://www.cippec.org/wp-content/uploads/2019/09/MEMO_Educacion_WEB.pdf Consejo Federal de Educación (2017). Resolución 330/17. Cimientos (2012). El día después de la escuela: Estudio sobre las trayectorias post escolares de jóvenes en situación de vulnerabilidad socioeconómica de la provincia de Buenos Aires. Documento inédito. Cloninger, S. (2003). Teorías de la Personalidad. Mexico D.F., México: Pearson Educación. Costa, P. y McCrae, R. (1992). Revised NEO Personality Inventory (NEO-PI-R) and NEO Five-Factor Inventory (NEO-FFI) manual. Odessa, FL: Psychological Assessment Resources. Dana, R.H. (1993). Multicultural assessment perspectives for professional psychology. Boston: Allyn & Bacon. Duckworth, A. L., & Quinn, P. D. (2009). Development and Validation of the Short Grit Scale. Journal of Personality Assessment, 91(2), 166-174. Duckworth, A. L., & Yeager, D. S. (2015). Measurement Matters: Assessing Personal Qualities Other Than Cognitive Ability for Educational Purposes. Educational researcher (Washington, D.C.: 1972), 44(4), 237–251. doi:10.3102/0013189X15584327 Durlak, J. y Weissberg, R. (2007). The impact of after-school programs that promote personal and social skills. Chicago, IL: Collaborative for Academic, Social, and Emotional Learning. Eysenck, H. J. (1971). Estudio científico de la personalidad. Buenos Aires: Paidos. 30 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Finn, S. (2012). “Implications of Recent Research in Neurobiology for Psychological Assessment”, en: Journal of Personality Assessment, 94:5, 440-449. Ganimian, A. J., Barrera-Osorio, F., Biehl, L., & Cortelezzi, M. (2018). Hard cash and soft skills: Experimental evidence on combining scholarships and mentoring in Argentina. IDB Technical Note No. IDB-TN-01508. Buenos Aires: Inter-American Development Bank. Heckman, J. J., Stixrud, J., & Urzua, S. (2006). “The effects of cognitive and noncognitive abilities on labor market outcomes and social behavior”. En: Journal of Labor economics, 24(3), 411-482. Heckman, James y Tim Kautz (2012) “Hard evidence on soft skills”, en Labour Economics, Elsevier, vol. 19(4), pp. 451-464. Hiraishi, H., Haida, M., Matsumoto, M., Hayakawa, N., Inomata, S. y Matsumoto, H. (2012): Differences of Prefrontal Cortex Activity Between Picture-Based Personality Tests: A Near-Infrared Spectroscopy Study, Journal of Personality Assessment, 94:4, 366-371. Hogan, T. P. (2004). Pruebas psicológicas. Una introducción práctica. México: Manual Moderno. Lopez, N., Operti, R., Vargas Tamez, C. (coord.) (2017). Adolescentes y jóvenes en realidades cambiantes. Notas para pensar la educación secundaria en América Latina. Paris:UNESCO. Recuperado de: https://unesdoc.unesco.org/ark:/48223/pf0000247578 Meyer, G., Finn, S., Eyde, L., Kay, G. G., Moreland, K. L., Dies, R. R., Reed, G. M. (2001). Psychological testing and psychological assessment: A review of evidence and issues. American Psychologist, 56, 128-165. Meyer, G. (2002). Implications of information-gathering methods for a refined taxonomy of psychopathology. En M. G. Bleutler, & M. Malik, Rethinking the DSM: Psychological perspectives (págs. 69-105). Washinton, DC: American Psychological Association. Meyer, G. J. y Kurtz, J. E. (2006). Advancing personality assessment terminology: Time to retire “objective” and “projective” as personality test descriptors. Journal of Personality Assessment 87 , pp. 223-225. Ortega Goodspeed, Tamara (2016): Desenredando la conversación sobre habilidades blandas, CAF y El Diálogo, Washington, DC. Pais, E. F. (2014). Selección de Instrumentos para la Evaluación de Habilidades Socioemocionales para Estudiantes de Secundaria en Argentina: Fundamentación para una Batería de Evaluación. Documento inédito. Buenos Aires: BID. Pérez, M., Becerra, L. (2010) Inventario de personalidad para adultos MAPS. Material de cátedra Estadística Aplicada a la Psicología. Buenos Aires: Fac. Psicología. UAI. Pervin, L. (1999). La ciencia de la personalidad. Madrid: McGraw-Hill. Rosen, J., Glennie, E., Dalton, B., Lennon, J. y Bozick, R (2010). Noncognitive Skills in the Classroom: New Perspectives on Educational Research. 31 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos Rosen, J. A., Glennie, E. J., Dalton, B. W., Lennon, J. W., y Bozick, R. N. (2010). Noncognitive Skills in the Classroom: New Perspectives on Educational Research. RTI Press publication No. BK-0004-1009. Research Triangle Park, NC: RTI International. Schmidt, V., Messoulam, N., & Molina, M. (2008). Autoconcepto académico en adolescentes de escuelas medias: presentación de un instrumento para su evaluación. Revista Iberoamericana de Diagnóstico y Evaluación Psicológica, 25(1), 81-106. Thurstone, L. L., & Yela, M. (2001). CARAS. Test de percepción de diferencias (9a ed.). Madrid: TEA Ediciones. Tornimbeni, S. et al (2009): La evaluación de las competencias cognitivas para investigar: situaciones de prueba, en I Congreso Internacional de Investigación y Práctica Profesional en Psicología XVI Jornadas de Investigación Quinto Encuentro de Investigadores en Psicología del MERCOSUR. Facultad de Psicología - Universidad de Buenos Aires, Buenos Aires. Tsukayama, E, E., Duckworth, A. L., & Kim, B. (2013). Domain-specific impulsivity in school-age children. Developmental Science. UNICEF (2017). Posicionamiento sobre adolescencia. Para cada adolescente una oportunidad, Argentina. Weinstein, C. E. y Palmer, D. R. (1988). LASSI: The learning and study strategies inventory. Florida: Publishing Company. Wechsler, D. (1994). Test de inteligencia para niños WISC-III: manual. BsAs: Paidós. 32 Las Habilidades Socioemocionales en Cimientos Conceptualización, resultados de su evaluación y nuevos desafíos 33