Descargar Presentación - Coloquio internacional sobre enseñanza
Anuncio
SEGUNDO Y TERCER NIVEL DE EVALUACIÓN DE PROGRAMAS DE CAPACITACIÓN JUDICIAL: PROPUESTA BASADA EN UNA EXPERIENCIA DE LA ACADEMIA JUDICIAL DE CHILE Second and third level assessment of judicial training programs: Proposal based upon the experience of the Judicial Academy of Chile Alberto Merino Lefenda Juez, Tribunal de Juicio Oral en lo Penal de Osorno RESUMEN La evaluación de programas de capacitación es una actividad central en el ciclo de capacitación judicial. El marco teórico utilizado mayoritariamente para su desarrollo es el modelo de cuatro niveles propuesto por Kirkpatrick. Siguiendo dicho modelo, las actividades de evaluación se han focalizado generalizadamente en los dos primeros niveles: Reacción y Aprendizaje. Por su parte, los niveles de Comportamiento y Resultado han sido abordados tímidamente a nivel judicial, principalmente debido a su complejidad. Este artículo propone una evaluación del impacto sobre el aprendizaje y comportamiento de los jueces, basándose en aspectos del programa de capacitación para capacitadores judiciales de Chile. ABSTRACT The assessment of training programs is a central activity in the cycle of judicial training. The theoretical framework mostly used for such a purpose is the four level model proposed by Kirkpatrick. Following this model, evaluation activities have generally focused upon the two first levels: Reaction and Learning. In turn, the levels of Behaviour and Results have been timidly addressed by judiciaries, due to their complexity. This paper proposes a way to assess the impact upon learning and behaviour of judges, based on aspects of the Chilean training for judicial trainers program. 1 I. INTRODUCCIÓN El proceso de capacitación judicial puede ser visto como un ciclo circular en que las diversas etapas se retroalimentan y complementan para producir un impacto positivo en la organización judicial. De esta forma, la planificación y diseño de un curso provechoso debe ser antecedida por un adecuado estudio de las necesidades concretas de capacitación que se pretende atender, aspecto en que Latinoamérica ha exhibido históricamente claras debilidades (Hammergren 1998). De igual forma, la ejecución del programa de capacitación debería dar lugar posteriormente a un proceso serio de evaluación de la actividad y sus efectos a fin de determinar si los objetivos inicialmente trazados y las necesidades de capacitación identificadas fueron adecuadamente abordadas. La experiencia internacional muestra que esta etapa tiende a ser ejecutada de forma relativamente superficial. Así por ejemplo, un estudio reciente sobre buenas prácticas de capacitación judicial de la Comisión Europea (2014) indica que precisamente en el área de evaluación es donde se observa un menor número de iniciativas destacables (p. 28). Sin embargo, a pesar de las dificultades que la evaluación de la capacitación judicial presenta, lo deseable es que dicha evaluación se efectúe y que los resultados obtenidos sean utilizados para alimentar nuevamente el proceso de estudio de las necesidades de capacitación, produciéndose de esta forma un ciclo virtuoso en que las diversas fases del proceso de capacitación se complementan (Armytage 1996, 2005). Diagrama 1: Ciclo de la capacitación judicial (Armytage 1996, p.222) 2 Este artículo propone una aproximación a la evaluación de la capacitación judicial en el nivel de aprendizaje y también en aquel en que posiblemente ofrece mayor complejidad, como es la evaluación de la transferencia del conocimiento adquirido en una actividad de capacitación hacia el comportamiento efectivo del juez. En otras palabras, interesa aquí explorar formas para determinar si las actividades de capacitación continua de los jueces producen o no un verdadero impacto en su comportamiento judicial. Para desarrollar una propuesta concreta, el artículo expone el marco teórico que se usa generalizadamente en el mundo para la evaluación de programas de capacitación judicial, desarrollado por Donald y James Kirkpatrick (2006), utilizando dicho marco para situar y contextualizar la propuesta que se plantea. Posteriormente el artículo expone algunas dificultades que ofrece la evaluación de la capacitación de jueces, y someramente algunos métodos utilizados en el mundo para evaluar el impacto de la capacitación judicial sobre su comportamiento, indicando cómo la propuesta que ofrece este artículo se diferencia de los mecanismos utilizados tradicionalmente para tal efecto. En la última parte del artículo se explican los principales aspectos del programa de capacitación para capacitadores que actualmente aplica la Academia Judicial de Chile, exponiendo particularmente el modelo de evaluación que este programa utiliza. Finalmente, se propone una adaptación de dicho modelo, para su uso de forma más generalizada, en distintos programas de capacitación judicial y como complemento de otros mecanismos igualmente necesarios. Como conclusión se resaltan los beneficios potenciales de la propuesta, en cuanto permitiría efectuar una evaluación de aprendizaje, pero también una evaluación indirecta del impacto sobre el comportamiento de los jueces. Ello, sin necesidad de aplicar instrumentos altamente complejos. Más aún, el modelo de evaluación que se plantea, en cuanto se basa en el trabajo directo de los evaluados en sus respectivos entornos de trabajo, refuerza el proceso de aprendizaje propiamente tal, y promueve la motivación hacia el cambio, basada en la auto-determinación de los propios jueces. II. MARCO TEÓRICO PARA LA EVALUACIÓN DE PROGRAMAS DE CAPACITACIÓN JUDICIAL Como se anticipó, el modelo más utilizado para la evaluación de programas de capacitación continua es aquel desarrollado por Donald Kirkpatrick a partir de los años 3 60’. Este modelo ha sido objeto de numerosas críticas y variaciones (ver Pineda Herrero & Ciraso Calí 2012), sin embargo, debido a su simplicidad se ha mantenido como el marco mayoritariamente aplicado en diversas áreas, incluyendo la judicial (ver European Comission 2014; Goldstein & Tull 2013; Edwards 2013; Pineda Herrero & Ciraso Calí 2012; Épineuse 2008; Basarab & Root 1992). El modelo de Kirkpatrick distingue cuatro niveles, cada uno con distintos objetivos y metodologías. En primer lugar, en el nivel de reacción se mide la opinión de los participantes en el programa y su nivel de satisfacción con el mismo. En este ámbito se incluyen aspectos relativos a la calidad de los expositores, la pertinencia de los temas abordados, la comodidad del recinto en que se realiza el curso, etc. La metodología utilizada es en general simple e.g. aplicación de cuestionarios al final de la actividad. El segundo nivel del modelo mide el nivel de aprendizaje de los participantes en términos de conocimientos adquiridos, habilidades desarrolladas o actitudes asumidas. En este caso, la evaluación normalmente reviste mayor complejidad, requiriendo en lo posible mediciones previas a la actividad de capacitación y posteriores a la misma. Tales mediciones pueden consistir en pruebas escritas, encuestas o bien, ejercicios prácticos. El tercer nivel del modelo de Kirkpatrick mide el efecto de la capacitación sobre el comportamiento de los participantes, una vez que han retornado a sus lugares de trabajo. La evaluación en este nivel es necesariamente más compleja y costosa, requiriendo tiempo para que el cambio de comportamiento se asiente y la aplicación de un procedimiento que en general descansa en encuestas o entrevistas. Tales instrumentos pueden aplicarse tanto al sujeto que asistió a la capacitación, como a su entorno laboral inmediato: pares, subordinados o superiores, intentando detectar la transferencia efectiva de los contenidos aprendidos al comportamiento en el entorno laboral. Finalmente, el modelo distingue la evaluación del resultado de la capacitación, el aspecto más complejo del proceso, en cuanto se refiere a los efectos concretos de la capacitación sobre la organización y los procesos de trabajo. En otras palabras, se trata de determinar si la capacitación ha generado cambios efectivos y tangibles, para lo cual se requiere normalmente de una investigación que aplique diversas metodologías, orientadas a identificar evidencias de tales cambios (Kirkpatrick & Kirkpatrick 2006, pp.27–70). Los cuatro niveles de la evaluación de capacitación continua pueden graficarse utilizando una pirámide. En la base se ubica el nivel de reacción, reflejando que en este ámbito la evaluación de programas de capacitación se practica de manera generalizada 4 en diversos escenarios, incluyendo el judicial. Los niveles superiores aumentan progresivamente la complejidad de la evaluación y por tanto, los sistemas judiciales tienden a efectuar evaluaciones limitadas en tales ámbitos, incluso omitiendo las evaluaciones más complejas de comportamiento o de resultado. 4. Resultado 3.Comportamiento 2. Aprendizaje 1. Reacción Diagrama 2: Pirámide de los niveles de evaluación de Kirkpatrick Es importante destacar que la distinción entre distintos niveles no implica necesariamente diferenciar según importancia. Al contrario, es recomendable realizar evaluaciones en todos los niveles de manera complementaria. Particularmente, sería un grave error omitir la evaluación de los dos primeros niveles, de reacción y aprendizaje, a fin de medir directamente cambios de comportamiento. En efecto, es inapropiado asumir que el tercer nivel comprende los dos primeros y por lo mismo, una estrategia de ese tipo podría conducir a conclusiones equivocadas. Así por ejemplo, es posible que un programa de capacitación cumpla las expectativas de los participantes y que el aprendizaje se produzca efectivamente, pero que no obstante ello, no exista un cambio de comportamiento real en el entorno de trabajo. Ello podría deberse a factores ajenos al programa de capacitación propiamente tal, lo que sin embargo no podría ser pesquisado en el caso señalado, por no haberse evaluado el programa de capacitación en primer lugar. Al respecto, cabe destacar que la transferencia efectiva del nuevo conocimiento al entorno de trabajo depende de numerosos factores, algunos de los cuales pueden ser abordados por el programa de capacitación, como la motivación del individuo para adoptar un cambio de comportamiento o el conocimiento específico de qué hacer y cómo implementar el cambio. Sin embargo, otros factores son normalmente ajenos a los programas de capacitación, como por ejemplo, el efecto del clima laboral o la disponibilidad de recompensas intrínsecas (internas e.g. la sensación de satisfacción u orgullo ante un logro) o extrínsecas (externas al individuo e.g. reconocimiento de superiores o pares, o recompensa económica) vinculadas al cambio de comportamiento (Kirkpatrick & Kirkpatrick 2006, pp.23–24). 5 En relación con lo anterior, la literatura especializada aborda de manera más específica los factores de transferencia de conocimientos, habilidades o actitudes adquiridos en un programa de capacitación continua, hacia el entorno de trabajo. Al respecto, Burke y Hutchins (2007) ofrecen una revisión de la literatura que aborda el tema distinguiendo tres grupos de factores de transferencia propuestos por diversos autores: 1) Las características del alumno/trabajador/juez. En este grupo se ubican aspectos tales como: a) la habilidad cognitiva individual; b) la auto-eficacia o juicio que tienen los individuos acerca de su competencia para enfrentar un desafío; c) la motivación, referida al interés de los participantes por aplicar en un contexto real los conocimientos aprendidos.; d) la personalidad, en cuanto engloba una serie de atributos que pueden limitar o facilitar la posibilidad de transferir los conocimientos adquiridos al plano práctico; e) la percepción de utilidad o valor que se asocia a la capacitación; y f) las variables de carrera, en cuanto se ha establecido que la percepción de impacto positivo de la capacitación en la carrera del participante puede incidir en la motivación para aplicar los conocimientos adquiridos. 2) El diseño y ejecución del programa de capacitación. En este grupo se ubican los siguientes factores: a) el estudio de necesidades de capacitación; b) el establecimiento de objetivos específicos de aprendizaje; c) la relevancia de los contenidos abordados para el entorno de trabajo del participante; d) las estrategias y métodos de enseñanza, etc. 3) La influencia del ambiente de trabajo. En esta categoría se mencionan factores tales como: a) el vínculo estratégico entre la actividad de capacitación y los objetivos de la organización; b) El clima de transferencia, en cuanto al apoyo en el contexto de trabajo para la incorporación de nuevos conocimientos; c) el apoyo de superiores y pares, siendo el apoyo de estos últimos más significativo que el de los primeros; d) la oportunidad para aplicar los conocimientos adquiridos; y e) la necesidad de rendir cuentas sobre la aplicación de los conocimientos adquiridos en la capacitación, sea ante la organización, superiores o en el entorno cultural. De acuerdo a lo anterior, un programa de evaluación aplicable al nivel de comportamiento del participante en una capacitación, debería considerar en qué medida la actividad de capacitación continua se adecúa a las particularidades de los participantes y de la organización, ofreciendo un programa apto para promover la transferencia de conocimientos adquiridos al entorno laboral y minimizar los obstáculos 6 a dicha transferencia. Precisamente en tal sentido razona un enfoque particular para la evaluación del efecto de la capacitación sobre el comportamiento de los jueces, basado en una metodología indirecta, a través de la identificación y valoración de los factores condicionantes de la aplicación de los aprendizajes al lugar de trabajo. En este caso se intenta obtener información acerca de los factores negativos y positivos que inciden en la transferencia de aprendizajes adquiridos (Pineda Herrero & Ciraso Calí 2012). De esta forma, ante la dificultad de detectar cambios de comportamiento concretos de los participantes, la evaluación se concentra en los factores que facilitan u obstaculizan tales cambios, permitiendo realizar inferencias acerca de la posibilidad de que aprendizajes adquiridos hayan sido efectivamente transferidos. Este mecanismo indirecto de evaluación se diferencia del más tradicional, por el cual se intenta identificar efectivos cambios de comportamiento, fundamentalmente mediante encuestas o entrevistas ex-post a los participantes. III. PANORAMA GENERAL DE LA EVALUACIÓN DE PROGRAMAS DE CAPACITACIÓN JUDICIAL En términos generales, la evaluación de la capacitación judicial ofrece dificultades particulares. Además de las complejidades metodológicas propias de la actividad evaluadora, existen otras dificultades derivadas de la naturaleza subjetiva del trabajo judicial, del principio de independencia judicial y del largo plazo que en general requieren los cambios en organizaciones judiciales (International Network to Promote the Rule of Law 2007). En tal sentido, la adopción de conocimientos y la instalación de nuevos comportamientos no debe interferir los procesos individuales sobre los cuales se asienta la independencia del juez. De esta forma, deben en general evitarse evaluaciones demasiado prescriptivas, así como vincular el resultado de las evaluaciones con consecuencias para la carrera del juez, sean directas o indirectas, que tiendan en definitiva a comprometer la independencia que debe imperar en el trabajo judicial. Por otro lado, es necesario tener presente que el impacto global de la capacitación es incremental y por lo mismo, de largo aliento. En consecuencia, los resultados de un programa de capacitación no son usualmente de alto impacto o de gran visibilidad inmediata. En efecto, un buen programa de capacitación es aquel que logra producir un aprendizaje que en definitiva se transfiere al trabajo judicial, lo que en el mediano o 7 largo plazo, en conjunto con otras iniciativas o factores, podría reflejarse en un impacto de mayor alcance sobre el sistema judicial propiamente tal. La evaluación de programas de capacitación ha sido un aspecto del proceso de formación continua que ha sido relativamente descuidado por los diversos sistemas judiciales. En general, la base para la actividad evaluativa en la mayoría de los países ha consistido en cuestionarios completados por los jueces al final de las sesiones de capacitación, cuyos resultados son analizados con el ánimo de decidir posibles cambios en el contenido, materiales o relatores de actividades futuras. Así, en la generalidad de los casos no se desarrollan procesos para evaluar en mayor profundidad el impacto y efectividad de la capacitación, lo que requiere necesariamente de un compromiso mayor en tiempo, recursos y disposición a aceptar resultados eventualmente negativos (Thomas 2006, p.40). No obstante lo anterior, en el último tiempo se vienen desarrollando algunas iniciativas novedosas que intentan desarrollar una evaluación de mayor profundidad, incluso en el nivel de reacción a la capacitación, que ha sido el usualmente abordado por los sistemas judiciales. Así por ejemplo, en la evaluación de dicho nivel, escapa a la lógica mayoritaria de los cuestionarios y encuestas de satisfacción, una iniciativa desarrollada en Bélgica, donde en ciertos programas de capacitación, uno de los participantes es designado al inicio como secretario o informador1. Esta persona tiene la misión de recabar y resumir en un informe las opiniones de los demás participantes acerca del curso y las sugerencias que deseen plantear. Al final de la actividad el informe debe ser aprobado por todos los participantes y entregado al organismo capacitador. Esta práctica ha sido considerada excelente –best practice- en el entorno Europeo, en cuanto mejora las posibilidades de obtener información de calidad respecto de la reacción de los participantes. De forma similar, respecto de la medición de aprendizaje, se ha destacado una metodología implementada en Holanda, donde al final de la actividad los participantes realizan una presentación en la cual deben ilustrar y demostrar lo que aprendieron. Posteriormente, se les entregan diplomas de logro por parte de pares participantes en la actividad, quienes deben exponer un breve discurso relativo al progreso del participante a quien se entrega el diploma. Esta práctica, aún incipiente, ha sido calificada como promisoria a nivel Europeo (European Comission 2014, p.108). 1 Rapporteur es la expresión utilizada en los documentos publicados en idioma inglés. 8 Por otra parte, las evaluaciones de comportamiento y resultado, esto es, de los niveles 3 y 4 en el modelo de Kirkpatrick, son mayoritariamente desarrolladas mediante un estudio post-capacitación, en que se recomienda en general realizar encuestas o entrevistas con los participantes en la capacitación, pero también con sus pares y superiores. Todo ello después de dejar pasar un tiempo desde la capacitación (Kirkpatrick & Kirkpatrick 2006; Basarab & Root 1992). En esta línea, el Instituto Europeo de Administración Pública desarrolla evaluaciones, además de las usuales de nivel 1 y 2, utilizando encuestas practicadas entre dos a cuatro meses después de la capacitación. Con tales instrumentos se intenta determinar si los participantes han tenido la oportunidad de aplicar los conocimientos adquiridos en su trabajo, si a consecuencia de ello han experimentado una mejoría en la calidad de su trabajo y si existen elementos que mejorar en la capacitación (European Comission 2014, p.110). Un enfoque similar se ha comenzado recientemente a aplicar en los Tribunales de Inglaterra y Gales, donde se ha diseñado un sistema de evaluación de largo plazo, basado en entrevistas con los participantes en capacitaciones, entre tres y seis meses después del programa, a fin de determinar si la capacitación influyó efectivamente en sus trabajos y pidiéndoles ejemplos específicos de aquello (Cooper 2013). En ambos casos se trata de experiencias de evaluación del nivel 3 de Kirkpatrick, relativo al cambio de comportamiento de los jueces capacitados. Finalmente en cuanto a las evaluaciones de nivel 4, relativas al resultado del proceso de capacitación y su impacto sobre el sistema judicial, las evaluaciones son de alta complejidad y se basan en estudios que utilizan generalmente triangulación de metodologías. Una aproximación a este tipo de evaluaciones se observa en Estonia, donde una unidad del Poder Judicial se encarga de realizar análisis de prácticas judiciales en diversas áreas. En algunos casos se han identificado necesidades de capacitación en estos estudios, motivando la implementación de programas de formación continua para atender tales necesidades. Algunos años después de la aplicación de tales programas de capacitación, un nuevo análisis de prácticas judiciales ha podido determinar la existencia de cambios generalizados de conducta de los tribunales, claramente vinculados al proceso provocado por el sistema de análisis, demostrando con ello el impacto del programa de capacitación (European Comission 2014, p.111). En el mismo ámbito de evaluación, pero con un enfoque más tradicional, en el contexto de los Tribunales de Salud Mental de Inglaterra y Gales, en 2012 se ejecutó una investigación general del proceso de capacitación, el cuál entregó datos 9 relativos a las necesidades de capacitación, a la reacción y aprendizaje de los participantes; y también evidencia de resultados exitosos del sistema de capacitación aplicado por estas unidades jurisdiccionales (Holdsworth 2013). Frente al panorama general descrito, en este artículo se propone una aproximación distinta a las señaladas, la que permitiría abordar el nivel 2, de aprendizaje, y de manera indirecta también el nivel 3, de comportamiento de los jueces. Como se explicó en la sección anterior, tal evaluación indirecta es posible si se determinan los factores que en un caso concreto favorecen la transferencia de conocimientos aprendidos a la práctica judicial en el entorno de trabajo, y también aquellos factores que obstaculizan tal transferencia. En la medida que se haya evaluado adecuadamente el aprendizaje de los jueces, el proceso de evaluación de nivel 3 debe entonces orientarse a establecer si persisten obstáculos personales, u otros propios de la capacitación aplicada, o emanados del ambiente de trabajo; que impidan aplicar los conocimientos, habilidades o actitudes adquiridas en el programa de formación continua. Si no existen tales impedimentos, o si han sido minimizados o eliminados por el proceso de capacitación, entonces se puede inferir que aquellos conocimientos asentados deberían transferirse naturalmente al trabajo cotidiano. La conveniencia de aplicar esta metodología indirecta radica en que se disminuyen los sesgos implícitos en la auto-evaluación que se solicita a los jueces con los mecanismos más utilizados; y más claramente, en el ahorro significativo de los recursos requeridos para efectuar una gran cantidad de entrevistas y evaluaciones ex-post que suponen los sistemas propuestos tradicionalmente (Pineda Herrero & Ciraso Calí 2012). En el año 2011 se generó en España un mecanismo de evaluación en el sentido que se viene señalando, el cual fue denominado FET, o modelo de Factores para la Evaluación indirecta de Transferencias. Este modelo distingue diez factores de transferencia de conocimientos adquiridos: a) relacionados con el individuo y sus intenciones de aplicar el conocimiento i.e. aprendizaje logrado, satisfacción con el curso, motivación para transferir; b) el programa aplicado i.e. pertinencia u orientación a las necesidades del trabajo; y c) el entorno laboral i.e. posibilidades de transferencia en el entorno específico, apoyo de pares, apoyo de superiores, rendición de cuentas de la aplicación del conocimiento. El estudio en un caso concreto de estos factores de transferencia permitiría anticipar o predecir el éxito o no de una capacitación en cuanto a la posibilidad de aplicación real del conocimiento adquirido por los jueces que participen en el programa (Pineda Herrero & Ciraso Calí 2012). 10 IV. EL PROGRAMA DE CAPACITACIÓN PARA CAPACITADORES DE LA ACADEMIA JUDICIAL DE CHILE Y SU SISTEMA DE EVALUACIÓN Desde el año 2012, con apoyo del Instituto Judicial de Canadá, la Academia Judicial de Chile viene implementando cambios metodológicos en su programa de perfeccionamiento o de formación continua que incorporan los principios de la educación de adultos. Bajo el nuevo esquema se fomenta el aprendizaje de pares mediante trabajo con metodologías activas, grupales, guiadas por jueces entrenados como facilitadores y con apoyo de académicos externos sólo en aspectos puntuales (Academia Judicial 2012). La implementación de esta reforma ha requerido la formación de un número importante de jueces para actuar como facilitadores capaces de crear y aplicar metodologías novedosas, guiar debates y motivar a los participantes en programas de formación continua. Como consecuencia, el programa de capacitación para capacitadores ha venido desarrollándose de manera constante desde el año 2012 hasta la fecha, a fin de permitir la expansión de la nueva metodología en el marco del programa de perfeccionamiento de la Academia Judicial. En dicho contexto, los participantes del curso de capacitación para capacitadores tienen la tarea de crear un curso de perfeccionamiento en todas sus etapas, desde la definición del tema, los objetivos y las metodologías. En particular se les entrena en la aplicación del ciclo de aprendizaje de Kolb para el diseño de un curso orientado al aprendizaje experiencial (Academia Judicial 2015, p.23). Diagrama 3: Ciclo de Aprendizaje de Kolb 11 De acuerdo a lo anterior, a los jueces participantes se les entregan elementos para la identificación de requerimientos de capacitación, objetivos de enseñanza e hitos de aprendizaje. El curso se desarrolla en tres talleres: En los dos primeros se diseña un curso de aprendizaje activo por parte de equipos de participantes. En el último taller este curso es impartido a otros miembros del Poder Judicial, como un curso efectivo de capacitación, bajo la supervisión de un equipo de la Academia Judicial. La ejecución satisfactoria da a los equipos participantes la posibilidad de ejecutar el mismo curso en una nueva oportunidad y de ser finalmente acreditados como capacitadores judiciales (Academia Judicial 2015, p.23). Lo interesante de esta experiencia para efectos del presente artículo es la modalidad de evaluación que se utiliza en el marco de la capacitación para capacitadores. Se trata aquí de una evaluación basada en la puesta en práctica efectiva de los conocimientos adquiridos. En efecto, la certificación no se produce después de una prueba de conocimientos o de una disertación, sino que tras observar el desempeño de los participantes en su rol de capacitadores en un entorno real, con jueces reales en proceso de formación continua. Este método tiene la virtud de que facilita la consolidación de los conocimientos adquiridos al ponerlos en práctica, permitiendo a los evaluadores identificar indicadores concretos de aprendizaje de los participantes en el curso de capacitación para capacitadores. Se trata en este caso de una evaluación original del nivel 2 identificado por Kirkpatrick, que entrega evidencia sólida del aprendizaje de los contenidos entregados por la actividad de formación. Más aún, el mecanismo de evaluación se basa en la idea de poner en aplicación los conocimientos en un entorno real, generando discusiones y reflexión en un equipo de pares que deben concordar en una manera de utilizar los conocimientos y habilidades adquiridas en los talleres de capacitación. De esta forma se evalúa también el nivel 3, esto es la transferencia de los conocimientos a la práctica. V. PROPUESTA DE UN ESQUEMA DE EVALUACIÓN PARA PROGRAMAS DE CAPACITACIÓN JUDICIAL EN LOS NIVELES 2 Y 3 DEL MODELO DE KIRKPATRICK La propuesta que se desarrolla a continuación se fundamenta en dos aspectos fundamentales discutidos en las secciones precedentes: 12 1. La obtención de indicadores concretos de aprendizaje y de transferencia o comportamiento se facilita mediante evaluaciones prácticas en que los participantes puedan poner en juego los conocimientos adquiridos. Esto puede ocurrir poniendo en práctica los nuevos conocimientos en un entorno real o bien sometiendo la aplicabilidad de los nuevos conocimientos a discusión ante pares. Todo ello es visible en la experiencia del programa de capacitación para capacitadores de la Academia Judicial de Chile. 2. La evaluación indirecta de transferencia de conocimientos al entorno de trabajo permite evaluaciones eficaces y de menor costo que una evaluación tradicional basada en encuestas ex-post practicadas a los participantes de la formación continua, a sus pares y superiores. De esta forma, siguiendo el modelo descrito por Pineda y Ciraso (2012), es posible evaluar los factores que facilitan u obstaculizan la adopción de un nuevo comportamiento i.e. la aplicación de nuevos conocimientos, de nuevas habilidades o actitudes, impulsados desde el proceso de formación continua. De esta forma, la ausencia o minimización de obstáculos a la transferencia de conocimientos adquiridos permite inferir que dicha transferencia ocurrirá naturalmente. Un tercer aspecto considerado en el diseño de la propuesta se desprende de una metodología de capacitación en cascada aplicada en diversos entornos y particularmente en sectores de los Tribunales de Inglaterra y Gales. En dicho contexto, los Tribunales del trabajo han diseñado un mecanismo para replicar los contenidos entregados en programas de capacitación. De esta forma, los participantes en el programa son seleccionados según distribución geográfica: uno de cada zona geográfica, los que asisten a un curso presencial con la obligación de volver a sus ciudades y organizar un seminario de transferencia de los conocimiento a otros jueces, promoviendo así la discusión entre pares y minimizando los costos de la formación continua (Rostant 2013). Mezclando los ingredientes anteriores, la propuesta de este artículo es la siguiente: 1. Aplicar el modelo de evaluación propuesto a capacitaciones presenciales en que concurran representantes de zonas geográficas, sean ciudades, provincias o territorios jurisdiccionales. Estas capacitaciones deben orientarse a presentar nuevos conocimientos para discutir su aplicación práctica, promover el desarrollo y utilización de nuevas habilidades, o fomentar la adopción de nuevas actitudes en algún área del desempeño judicial. 13 2. La concurrencia de estos representantes está sujeta a la condición de que implementen, con cierto apoyo material de la Academia Judicial2, un seminario a nivel local una vez que retornen a sus lugares de origen. En lo posible, asistirán a este seminario jueces de distintos tribunales del territorio e idealmente de distintas ciudades dentro de la misma zona jurisdiccional. Ello, en el ánimo de promover una discusión con pares que no sean únicamente aquellos con los que existe una relación laboral diaria. De esta forma, la exigencia en la elaboración del seminario se eleva, considerando que los participantes serán variados y no necesariamente conocidos. 3. Durante la capacitación inicial, se solicitará a cada representante que diseñe el seminario antes mencionado, según pautas proporcionadas por la Academia Judicial, especificando los temas acotados que se expondrán, las metodologías que se utilizarán y en lo posible, los ejercicios que permitirán promover una discusión provechosa con sus pares. El seminario deberá tener un objetivo acotado a los contenidos centrales que se pretende difundir y no deberá ser una mera réplica de la capacitación recibida por el representante de cada zona. Ello sería por lo demás impracticable, desde que se dispondrá únicamente de unas tres a cuatro horas para la ejecución del seminario en que se aborden temas tratados en profundidad anteriormente, en un curso de dos o tres días. 4. Como parte esencial del seminario en cascada, se deberá presentar por el grupo participante un producto final basado en la discusión de los contenidos centrales sometidos a discusión en el grupo y de los eventuales obstáculos para la aplicación del nuevo conocimiento, además de las posibilidades reales de implementar cambios basados en los conocimientos, habilidades o actitudes que se promueven con la capacitación. En este escenario debe existir apertura total para discutir la procedencia de introducir cambios, los problemas que se visualizan, las adaptaciones posibles o las objeciones al cambio de cualquier naturaleza etc. Sería deseable que este producto final se presente en un informe escrito según una pauta relativamente esquemática en que el grupo entregue su opinión sobre los contenidos en discusión y además se identifiquen los elementos principales que faciliten u obstaculicen la transferencia y aplicación concreta del nuevo conocimiento. Idealmente, se podría solicitar también a los grupos grabar un video de 5 a 10 minutos de duración en que todo el grupo exponga someramente sus conclusiones, dando cuenta así del desarrollo efectivo de la actividad. 2 Este apoyo puede consistir en materiales de trabajo y papelería, financiamiento de coffee break, tramitación de permisos para asistir al seminario por media jornada laboral, apoyo en el diseño de metodologías etc. 14 En cuanto actividad evaluativa, el seminario final que se solicitaría implementar a los participantes en el curso o programa de formación continua podría ofrecer elementos concretos para evaluar los niveles 2 de aprendizaje y 3 de comportamiento, siguiendo la terminología de Kirkpatrick. Respecto de la evaluación de nivel 2, cabe señalar los siguiente: La implementación de un seminario post-curso, en cascada, por parte de los representantes, ofrece una oportunidad de consolidar los conocimientos adquiridos y de generar una reflexión de mayor profundidad al respecto. El informe grupal que sea entregado al final de la actividad dará cuenta del nivel de debate promovido por el representante encargado del seminario, de las ideas puestas en juego por el mismo y en definitiva, de la comprensión cabal o parcial de los conocimientos que se pretendía entregar, de las habilidades que se esperaba desarrollar o de las actitudes que se permitiría fomentar. Desde luego, no debe esperarse que el informe indicado contenga un set de respuestas correctas. Al contrario, lo deseable sería contar con un catálogo de situaciones complejas o debatibles, de decisiones o acuerdos producidos conjuntamente y de eventuales diferencias de opinión. La riqueza del debate, reflejada en un informe final breve y preciso debería dar cuenta con bastante claridad: primero, del aprendizaje del representante que asista a la capacitación inicial, a partir de su capacidad para traspasar las ideas centrales del curso inicial a sus colegas en el seminario posterior; y segundo, del aprendizaje del grupo participante en el seminario. En lo referido a la evaluación de nivel 3 o de comportamiento, sin perjuicio de las ideas centrales discutidas en grupo respecto de las posibilidades de aplicación del conocimiento adquirido, el informe final debería contemplar una sección de mayor profundidad redactada por el representante del grupo de manera individual. Este participante, quien asistió a la capacitación inicial bajo evaluación, debería basarse en la discusión grupal para analizar los factores de transferencia del conocimiento adquirido en la capacitación inicial y su réplica. Ello, a fin de detectar aspectos concretos que puedan incidir positiva o negativamente en eventuales cambios de comportamiento de los jueces involucrados, permitiendo inferir las posibilidades reales de transferencia de los conocimientos adquiridos hacia comportamientos concretos. El informe redactado por el representante revelará la perspectiva de éste respecto de las posibilidades de transferencia del conocimiento adquirido, aportando elementos para la evaluación final de la capacitación inicialmente ejecutada. 15 Al momento de definir los requerimientos que se plantearán para su análisis e inclusión en el informe final, sería posible recurrir al catálogo de factores de transferencia ofrecido por Burke y Hutchins (2007), quienes agrupan tales factores en tres grupos: 1. Características de los participantes del seminario. En este ámbito los autores han distinguido los siguientes aspectos: a) Habilidad cognitiva de los participantes: En esta área no debería solicitarse evaluación o discusión alguna en el marco del seminario, por no tratarse de una variable que sea manejable por el sistema de capacitación continua. b) Nivel de autoeficacia de los participantes, entendida como la auto-percepción sobre la competencia para alcanzar objetivos: En este aspecto, es posible solicitar al representante del grupo una opinión respecto de los temores del grupo frente a un cambio complejo y su capacidad para enfrentar situaciones nuevas. El programa inicial al que asista este representante deberá ser enfocado de forma positiva, aportando ejemplos de estrategias concretas y simples para alcanzar el logro de algún objetivo vinculado al programa. Todo ello ha sido mencionado en diversos estudios como factores que refuerzan la percepción de autoeficacia (ver Burke & Hutchins 2007, pp.266–267). c) Motivación para llevar a efecto la transferencia de conocimientos: En este aspecto el representante deberá identificar elementos que disminuyen la motivación de miembros del grupo para aplicar un cambio y aquellos que por el contrario les incentivan a adoptarlo. En el curso inicial al que asista el representante deberán enfatizarse los factores institucionales que justifican el cambio o mejoramiento que se incentiva con la capacitación. Ello, intentando que este representante pueda replicar dicha mirada en su seminario y así promover crecientes grados de internalización de la conducta esperada mediante una discusión positiva entre pares con ánimo de superación. Es necesario considerar que los incentivos intrínsecos generados en un entorno positivo de compromiso profesional se han vinculado a mayores niveles de transferencia de conocimientos al plano práctico, y por otra parte, la motivación externamente regulada i.e. basada en premios o castigos inmediatos, produce efectos muy limitados en la motivación y más aún, en el caso de profesionales de alto nivel, pueden incluso provocar desmotivación o distorsiones de comportamiento e.g. cumplir sólo formalmente con lo exigido para obtener un bono o premio (Gagne & Deci 2005; Deci et al. 1991; Doménech Pascual 2008; Bagues & Esteve-Volart 2010). En 16 consecuencia, en el marco del programa, deberá evitarse el uso de factores extrínsecos absolutos, esto es, desvinculados de la capacitación propiamente tal, para incentivar la participación de jueces en el programa propuesto. Así, es factible pensar en incentivos extrínsecos relacionados con la formación continua, como por ejemplo, ofrecer a jueces que lleven a cabo la actividad adecuadamente, la posibilidad de ser inscritos en otros seminarios de la Academia Judicial que sean de interés general para los jueces. Por otro lado, la propuesta descansa en el aporte activo que deben realizar los jueces representantes, respecto de quienes se efectúa la evaluación en primer lugar, al solicitarles el diseño y ejecución de un seminario en cascada. Este elemento implica un factor motivacional natural, en cuanto entrega elementos al Juez para sentir que su aporte es relevante y necesario, reforzando la motivación con base en la autonomía y autodeterminación de ese Juez (Ryan & Deci 2000). De esta forma, la ejecución del programa propuesto intenta incidir positivamente en la motivación del Juez que actúa como representante, para que desarrolle un compromiso profesional intrínseco que en definitiva pueda facilitar su aplicación del conocimiento adquirido. d) Personalidad de los participantes: Al igual que en lo relacionado con el factor de habilidades cognitivas, las variables en este ámbito presentan una complejidad que escapa a las posibilidades del programa de capacitación, por lo que no debería ser materia de evaluación. e) Percepción de utilidad de las actividades de capacitación implementadas para aplicar el cambio de comportamiento: En este ámbito el representante deberá exponer su visión respecto de los elementos que se le aportaron en la capacitación a la que asistió, de los que desarrolló en la organización posterior del seminario, y de los que recogió de los participantes en el mismo. También puede indicar los requerimientos adicionales de capacitación que se puedan plantear respecto del tema por los participantes en el seminario final en cascada. Se trata aquí fundamentalmente de evaluar si el representante siente haber adquirido los conocimientos, habilidades o reforzado las actitudes que se proponen en el programa, o también si ha desarrollado una postura crítica fundada respecto de lo mismo. La evidencia obtenida permitirá determinar la suficiencia del modelo de capacitación propuesto o la necesidad de reforzar el mismo con nuevas actividades. f) Finalmente deben considerarse variables de la carrera judicial y el trabajo propiamente tal. En este aspecto, el representante deberá identificar posibles aspectos de la carrera de los jueces y de la organización de su trabajo, que pudieran incidir en la 17 adopción de nuevos comportamientos. Por ejemplo, efectos del comportamiento esperado en la carga de trabajo, o en la organización de la agenda del Tribunal. 2. Diseño y ejecución de la capacitación. En este ámbito los autores mencionan, entre otros, los siguientes factores de transferencia: a) Efectiva evaluación de necesidades de capacitación: Este aspecto puede incidir en la pertinencia de la capacitación ofrecida y con ello en las posibilidades de motivar nuevos comportamientos. El análisis debe ser ejecutado a priori por la propia Academia Judicial, sin perjuicio de que en el informe final el representante aporte su visión respecto de la existencia real de necesidades de capacitación en el área de que se trata; y de eventuales necesidades nuevas de capacitación que puedan surgir. Estos datos servirán no sólo para evaluar el resultado de las actividades, sino también para adoptar decisiones sobre acciones sucesivas. b) Claridad en los objetivos de aprendizaje: Al respecto, el seminario inicial deberá definir con claridad los objetivos ante los participantes. Más aún, al entregarse a los representantes la pauta de requerimientos del seminario que deberán ejecutar, se individualizarán los objetivos centrales de la actividad en cuanto a los contenidos y aprendizajes esperados. En este sentido, debe existir un esfuerzo de síntesis para permitir que tales objetivos puedan ser desarrollados por los representantes en un seminario de 3 a 4 horas de duración. Tal claridad y precisión facilitará de acuerdo a la literatura la aplicación efectiva de los conocimientos adquiridos. c) Relevancia de los contenidos tratados: En este aspecto, el representante deberá informar si los contenidos que le fueron aportados y que ha debido replicar de forma concentrada en un seminario, son relevantes para la función y particularmente para enfrentar una necesidad de los jueces, de los Tribunales o del sistema de justicia. La percepción que el representante tenga será aquí alimentada también por las opiniones que emanen de los participantes en el seminario final. d) Estrategias de enseñanza y métodos utilizados: La capacitación inicial debería basarse en las nuevas metodologías implementadas por la Academia Judicial, de aprendizaje activo, basadas en principios de la enseñanza de adultos (Academia Judicial 2015, p.23). En tal sentido, la Academia Judicial ha desarrollado ya una experiencia y conocimiento propio respecto de las metodologías que mejor funcionan. Lamentablemente, no existen estudios empíricos que demuestren con solidez la eficacia de las metodologías activas respecto de la transferencia de los conocimientos adquiridos 18 a un comportamiento concreto (Burke & Hutchins 2007, p.276). Sin embargo, las ventajas que en general se atribuyen a tales metodologías permiten al menos intuir que ofrecen buenas posibilidades de éxito en dicho proceso. Por otro lado, se deberá solicitar a los representantes que al implementar el seminario final apliquen metodologías activas, dirigidas a la discusión y reflexión en grupo. En tal sentido, una metodología para guiar las discusiones que ha sido evaluada en cuanto a sus efectos positivos sobre la transferencia de conocimientos a la práctica, implica usar ejemplos basados en el error. De esta forma, se exponen situaciones en que se generan problemas o dificultades al no aplicar los conocimientos, habilidades o actitudes que se pretende instalar. A partir de estos ejemplos se generan dinámicas de discusión o diálogo. Diversos estudios han demostrado que el uso de esta técnica facilita la adopción de un nuevo comportamiento, basado en la capacitación referida (Burke & Hutchins 2007, p.277). En consecuencia, el representante deberá identificar en su informe los ejemplos utilizados para motivar discusiones, aportando con ello elementos para evaluar indirectamente la transferencia de conocimientos respecto de si mismo y del grupo que asista al seminario final. 3. Influencia del entorno laboral. Al respecto, los autores mencionan, entre otros, los siguientes factores de transferencia: a) Vínculo estratégico entre objetivos organizacionales y la actividad de capacitación: Al respecto, se ha estimado que las posibilidades de aplicar los conocimientos recibidos en la capacitación se incrementa si estos conocimientos están vinculados a un objetivo de la organización que los miembros de la misma conocen y eventualmente comparten (Burke & Hutchins 2007, p.280). De existir tales objetivos organizacionales, la capacitación ofrecida y el seminario posterior deberían vincularse con claridad a los mismos. De esta forma, en el informe final el representante deberá indicar si se ha logrado generar una discusión respecto de los contenidos del seminario y los objetivos organizacionales. La claridad en el punto entregará luces respecto de la percepción del representante y también del grupo participante en el seminario final. b) Existencia de un clima de proclive a la transferencia: En este punto se debe pedir al representante que basándose en la discusión generada en el seminario cascada, identifique aspectos del clima laboral que favorezcan la innovación u obstaculicen la adopción de cambios. En este caso, el representante alimentará su informe con visiones de pares diversos, lo que le permitirá entregar un panorama más o menos general del 19 impacto que pudiese tener el clima laboral en los efectos de la capacitación. Dicha información permitirá evaluar posibles cambios futuros que incorporen la variable de clima laboral de manera más específica si fuere necesario. Por otro lado, en caso de identificarse un obstáculo en esta área, el organismo encargado de capacitación contará con elementos para argumentar sobre las dificultades de transferencia de conocimientos a la práctica, obstaculizando el éxito de la capacitación continua. c) Apoyo de pares y superiores: Existe abundante apoyo empírico respecto de que este factor es altamente relevante como factor de transferencia de los conocimientos adquiridos en la capacitación hacia la práctica cotidiana (Burke & Hutchins 2007, p.281). En este ámbito debería pedirse al representante que en su informe final se identifiquen dificultades concretas en esta línea, incorporando las visiones de los participantes al seminario. Sería deseable además que en el marco del programa de capacitación se ejecuten medidas para tratar de minimizar eventuales obstáculos a la transferencia, por la vía de dar a conocer el trabajo del representante que participó en el programa ante su entorno laboral directo. Quizás enviar el informe final aprobado por la Academia Judicial al Tribunal de dicho Juez podría servir para que sus colegas valoren el trabajo y eventualmente manifiesten su apoyo o interés. Con ello se podría concretar una forma de recompensa que Kirkpatrick y Kirkpatrick (2006) identifican como favorable para motivar cambios: el reconocimiento de pares (p. 24). VI. CONCLUSIONES El presente artículo ofrece una propuesta concreta para la evaluación de programas de capacitación continua en el sistema judicial, en los niveles 2 y 3 del modelo de Kirkpatrick (2006). Al respecto, los siguientes aspectos resultan destacables: 1. La propuesta se basa desde la perspectiva teórico en el modelo de Kirkpatrick (2006), en cuanto distingue cuatro niveles en que se puede evaluar programas de formación continua. La experiencia internacional demuestra que los sistemas judiciales evalúan de manera relativamente consistente el nivel 1, de reacción y con menor intensidad el nivel 2 de aprendizaje. En este caso, se propone un mecanismo para evaluar el nivel 2 y también el nivel 3, de comportamiento. Para esto último, considerando el escaso desarrollo a nivel internacional y lo costoso de efectuar evaluaciones complejas basadas en entrevistas múltiples, se propone utilizar una 20 metodología de evaluación indirecta, en que se evalúen los factores de transferencia del conocimiento adquirido al nivel práctico. De esta forma, es posible realizar inferencias razonables acerca de la aplicación por los jueces de los conocimientos, habilidades o actitudes aportadas en capacitación, si se determina que no existen obstáculos concretos para ello o se minimizan los mismos. 2. El artículo ofrece un panorama general de experiencias de evaluación aplicadas a programas de capacitación judicial en el mundo. Posteriormente describe en términos generales el programa de capacitación para capacitadores de la Academia Judicial de Chile y particularmente el sistema de evaluación, basado en la aplicación de los conocimientos recibidos en el programa, en el diseño y ejecución de un nuevo curso de capacitación real, con participantes también reales. 3. Se utiliza también como referencia el sistema de capacitación en cascada, según el cual se diseña un programa al cual acuden representantes de una ciudad, sector o territorio jurisdiccional, debiendo posteriormente organizar una actividad en sus lugares de origen, replicando la actividad de capacitación ante sus pares. 4. Finalmente se propone un sistema de evaluación en que los distintos representantes deben organizar un seminario en sus lugares de origen, con posterioridad a la capacitación y con apoyo de la Academia Judicial, en el cual deberán transmitir los aspectos esenciales de la capacitación recibida. Para ello se deberá diseñar el seminario aplicando metodologías participativas basadas en discusión de pares. Para permitir la evaluación se deberá presentar por el grupo un informe final breve en que se sinteticen las conclusiones arribadas y un video breve con una presentación grupal de 5 minutos. Estos instrumentos servirán para evaluar el aprendizaje del grupo, pero particularmente del representante encargado de presentar los contenidos y fomentar la discusión. En efecto, probablemente la manera en que más se aprende sea enseñando, por lo que una discusión fructífera en el marco del seminario final reflejará necesariamente la adquisición sólida de conocimientos, habilidades o actitudes por el representante. 5. También en cuanto al informe, el representante deberá redactar una segunda parte del mismo de manera individual, efectuando una análisis sintético de los factores de transferencia que inciden en la aplicabilidad de conocimientos, habilidades y actitudes adquiridos en el programa de capacitación, los cuales fueron detallados en las secciones precedentes. Este análisis se debe basar en la discusión que se mantenga con el grupo que participe del seminario final, pero reflejará en definitiva las impresiones del representante. De acuerdo a ello, será posible evaluar las posibilidades de 21 transferencia y aplicación de los conocimientos por parte del representante en primer término, a la luz de los obstáculos que se puedan identificar, y secundariamente, del grupo que interviene en el seminario. 6. Finamente, cabe destacar que el instrumento de evaluación será el informe final evacuado por el representante y el grupo participante en el seminario. Sin embargo, no es posible reducir el proceso meramente a un reporte que funcione como evaluación académica tradicional. El proceso ofrece la posibilidad no sólo de evaluar, sino además de difundir conocimientos más ampliamente, ofreciendo a los jueces participantes oportunidades de desarrollo y con ello, fuentes de motivación distintas y de mayor fortaleza que la lógica de premios o castigos, o de buenas o malas notas, que tiende a primar cuando se piensa en evaluaciones. Asimismo, el sistema plantea una alternativa que debiese ser menos onerosa y compleja que la práctica extensiva de entrevistas ex-post. Evidentemente, esta propuesta no sustituye otras formas de evaluación igualmente necesarias, debiendo entenderse como un elemento más de evaluación, aplicable a ciertos casos y de manera complementaria con otros mecanismos. BIBLIOGRAFÍA Academia Judicial, 2012. Reporte Academia Judicial, Santiago. Available at: http://www.academiajudicial.cl/flip4/index.html [Accessed May 1, 2014]. Academia Judicial, 2015. Reporte Academia Judicial, Armytage, L., 1996. Educating judges: towards a new model of continuing judicial learning, The Hague: Kluwer Law International. Armytage, L., 2005. Training of judges: Reflections on principle and international practice. European Journal of Legal Education, 2(1), pp.21–38. Bagues, M. & Esteve-Volart, B., 2010. Performance Pay and Judicial Production: Evidence from Spain. Available at: http://dept.econ.yorku.ca/~berta/research/judges.pdf [Accessed March 27, 2013]. Basarab, D.J. & Root, D.K., 1992. The Training Evaluation Process, Dordrecht: Springer Netherlands. Available at: http://link.springer.com/10.1007/978-94011-2940-4 [Accessed July 15, 2016]. 22 Burke, L.A. & Hutchins, H.M., 2007. Training Transfer: An Integrative Literature Review. Human Resource Development Review, 6(3), pp.263–296. Cooper, J., 2013. Entrevista con el Director de capacitación para Tribunals del Judicial College de Inglaterra y Gales. Deci, E.L. et al., 1991. Motivation and education: The self-determination perspective. Educational psychologist, 26(3–4), pp.325–346. Doménech Pascual, G., 2008. La Perniciosa Influencia de las Retribuciones Variables de los Jueces sobre el Sentido de sus Decisiones. Indret: Revista para el Análisis del Derecho, (3), p.569. Edwards, M.F., 2013. Evaluation of Continuing Judicial Education Programmes: Reaction, Learning Acquisition/Retention & Behaviour Changes. Judicial Education and Training, 1(1). Épineuse, H., 2008. Evaluation de la Formation des Magistrats en France et en Europe, Institute des Hautes Études sur la Justice. European Comission, 2014. Study on Best Practices in training of judges and prosecutors, European Union. Gagne, M. & Deci, E.L., 2005. Self-determination theory and work motivation. Journal of Organizational Behavior, 26(4), pp.331–362. Goldstein, A. & Tull, C., 2013. Judicial Education Program Evaluation. Hammergren, L., 1998. Judicial Training and Justice Reform, Washington: Center For Democracy And Governance Bureau For Global Programs, Field Support, And Research US Agency For International Development. Available at: http://pdf.usaid.gov/pdf_docs/pnacd021.pdf [Accessed August 13, 2014]. Holdsworth, R., 2013. Entrevista con el encargado de capacitación de los Tribunales de Salud Mental de Inglaterra y Gales. International Network to Promote the Rule of Law, 2007. Masuring the Impact of Judicial Training, Kirkpatrick, D.L. & Kirkpatrick, J.D., 2006. Evaluating training programs: the four levels, San Francisco, CA: Berrett-Koehler. Available at: http://www.books24x7.com/marc.asp?bookid=11864 [Accessed June 10, 2014]. Pineda Herrero, P. & Ciraso Calí, A., 2012. Evaluación de la formación continua en la Escuela del Poder Judicial. Revista de Educación y Derecho, (5). Available at: http://www.raco.cat/index.php/RED/article/viewArticle/255110/0 [Accessed July 15, 2016]. Rostant, P., 2013. Entrevista a Juez Encargado de Programas de Capacitación en Tribunales del Trabajo del Circuito de Sheffield, Inglaterra. 23 Ryan, R.M. & Deci, E.L., 2000. Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American psychologist, 55(1), pp.68–78. Thomas, C., 2006. Review of Judicial Training and Education in Other Jurisdictions, Report prepared for the Judicial Studies Board< http://www. ucl. ac. uk/laws/judi cial-institute/docs/Judicial_Training_Report. pdf>[18 de fevereiro de 2012]. Available at: http://wwws-c.ucl.ac.uk/laws/sociolegal/docs/Review_of_Judicial_Train.pdf [Accessed December 9, 2013]. 24
