Presentación de PowerPoint - Centro de Medición MIDE UC
Anuncio
La Experiencia de Chile en PIAAC Francisca Donoso (NPM) Alejandra Gallardo (NDM) Claudia Matus (NSM) Centro de Estudios – DIPLAP Agosto 2016 I. OBJETIVOS DE LA PRESENTACIÓN Presentar los distintos aspectos de PIAAC para invitar a más actores a utilizar esta fuente de información. ESTRUCTURA PRESENTACIÓN ¿Qué es PIAAC? Conceptualización de competencias asociados Resultados relevantes para Chile Consideraciones muestrales Futuras actividades y factores II. ¿QUÉ ES PIAAC? Programa para la Evaluación Internacional de las Competencias de los Adultos. Es el más amplio e innovativo estudio internacional sobre competencias de adultos: Amplía la gama de competencias evaluadas: comprensión lectora, razonamiento matemático, resolución de problemas en contextos informáticos. Recolecta de una amplia gama de información, que entre otros incluye: Auto-evaluación de las competencia que se utilizan en el trabajo y en otros contextos. Historial educativo y laboral (formal e informal) Aplicación por medio de computador portátil (o papel si se requiere). Resultados comparables en el tiempo y entre países participantes. Aplicaciones previas: IALS y ALL Chile participó de la segunda ronda de IALS (1997-1999) Gran déficit de competencias en la población adulta. Entre un 50% y 57% no entiende lo que lee y es capaz de realizar solo inferencias básicas utilizando material impreso. . Puntaje promedio componente cuantitativo por nivel de escolaridad más alto alcanzado en la población de 16 a 65 años Desempeño de los universitarios chilenos igual o inferior al desempeño de quienes no completaron la secundaria en otros países ¿Quiénes participan? Alemania, Australia, Austria, Flandes (Bélgica), Canadá, Corea, Dinamarca, España, Estados Unidos, Estonia, Finlandia, Francia, Irlanda, Italia, Japón, Noruega, Países Bajos. Roda 1: 2011 - 2012 Polonia, República Eslovaca, República Checa, Inglaterra (Reino Unido), Irlanda del Norte (Reino Unido), Suecia, Chile, Chipre, Federación Rusa, Eslovenia, Grecia, Israel, Nueva Zelanda, Turquía, Yakarta (Indonesia), Lituania y Singapur. Roda 2: 2014 - 2015 Batería instrumentos extensos en tiempo Cuestionario Antecedentes - Demográficos - Educacionales - Laborales - Uso de competencias (cognitivas, sociales, físicas, aprendizaje) 45 minutos Tamaño muestra: Encuesta en hogares Evaluación Directa Comprensión lectora. - Componentes de lectura - Razonamiento matemático - Resolución de problemas en contextos informáticos. - 60 minutos Modalidad: Al menos 5.115 adultos entre 15 y 65 años. A través de computadores portátiles provistos por los entrevistadores Representatividad a nivel nacional. Modo alternativo de papel y lápiz para quienes no cuentan con habilidades computacionales III. CONCEPTUALIZACION DE COMPETENCIAS Y FACTORES ASOCIADOS 1. CUESTIONARIO DE ANTECEDENTES • El desarrollo del cuestionario de antecedentes fue supervisado por el PIAAC Background Questionnaire Expert Group. Los principios que guiaron la selección de los ítems incluidos en el cuestionario consideran: • ser relevante a los objetivos de la evaluación • medir conceptos con una fuerte base teórica, que se hubieran medido en otros estudios y fueran comparables entre países. • maximizar la comparabilidad con las encuestas relacionadas, como IALS y ALL. • se evitaron preguntas pertinentes a pequeños subgrupos. • y se consideró una duración máxima de 45 minutos. • Se pidió a los países participantes adaptar las preguntas para reflejar circunstancias nacionales en ámbitos tales como el nivel educacional y la participación, la participación en la fuerza laboral y el empleo • Además los países tuvieron la oportunidad de añadir un pequeño número de ítems "nacionales", los que se esperaba no añadieran más de cinco minutos a la duración promedio del cuestionario. El cuestionario de antecedentes recogió información en cinco áreas principales: • Características y antecedentes de los encuestados • Edad, género • Hogar y estructura familiar • Idioma • Inmigración • Contexto social • Localización de la Residencia • Resultados educativos y nivel de participación • Experiencia educacional • Estudios actuales • Estudios incompletos • Estudios formales en los últimos 12 meses • Cursos no-formales en los últimos 12 meses • Actividades no-formales mas recientes • Volumen de participación en educación y formación en los últimos 12 meses • Barreras para la formación y educación • Estilos de aprendizaje • Status de la fuerza de trabajo y el empleo • Actividad actual (ILO) • Historia laboral • Trabajo actual • Trabajo más reciente (si está desempleado) • Participación social y salud • Confianza • Eficacia política • Trabajo voluntario • Salud auto-percibida • Uso de habilidades • Se recopiló información sobre las actividades relacionadas con el uso, en el trabajo y en la vida cotidiana, de las habilidades evaluadas en la encuesta (lectura, matemática y uso de las TIC), y sobre las competencias genéricas requeridas en su trabajo (interacción, aprendizaje, organización y planificación y actividad física). • Además, se preguntó a los encuestados si sus habilidades y formación se ajustan a los requerimientos de su trabajo y si tienen autonomía sobre aspectos clave de su desempeño en el trabajo. • Se recogió información tanto para encuestados con trabajo actual como para los que habían tenido un trabajo en los 12 meses anteriores. A este último grupo se le pidió dar información acerca de su más reciente trabajo. 2. EVALUACIÓN DIRECTA Una evaluación de las competencias clave de procesamiento de información • son necesarias para la integración y la participación plenas en el mercado laboral, la educación y la formación, y la vida social y ciudadana. • son altamente transferibles, dado que son relevantes en muchos contextos sociales y situaciones de trabajo. • "se pueden aprender" y, por lo tanto, están sujetas a la influencia de la política educativa. • constituyen una base para el desarrollo de habilidades cognitivas de orden superior, tales como el razonamiento analítico, y son esenciales para el acceso y la comprensión de los dominios específicos de conocimiento. • son relevantes en toda la gama de contextos de la vida, desde la educación, pasando por el trabajo y la vida familiar hasta la interacción con las autoridades públicas. En el contexto de la Evaluación Internacional de las Competencias de Adultos (PIAAC), no se hace ningún intento de diferenciar competencia y habilidad, y se utilizan los términos de manera intercambiable. Ambos términos refieren a la capacidad de un individuo para actuar adecuadamente en una situación dada. Ambos implican la aplicación de conocimiento (explícito y/o tácito), el uso de herramientas, estrategias y rutinas cognitivas y prácticas, y ambas implican creencias, disposiciones y valores (por ejemplo, actitudes). Una concepción de competencia orientada al uso • Los adultos leen o tratan de resolver los problemas con el fin de hacer las cosas y lograr ciertos objetivos en una variedad de contextos. En consecuencia, el foco de la evaluación de competencias de los adultos no está en el dominio de ciertos contenidos (ej, vocabulario u operaciones aritméticas) o estrategias cognitivas sino en la capacidad de recurrir a estos contenidos y estrategias para llevar a cabo con éxito las tareas de procesamiento de información en una variedad de situaciones del mundo real. La importancia de la información contextual • Además de estimar el nivel y la distribución de competencia en la población, la Encuesta de competencias de los adultos busca para proporcionar información que permita a los responsables políticos y otros para comprender mejor la relación entre la habilidades medidas y los resultados económicos y sociales, y los factores relacionados con la adquisición, mantenimiento, desarrollo y la pérdida de habilidades. Es por esto que la evaluación de las competencias se complementa con información sobre el uso de las habilidades cognitivas medidas y ciertas habilidades genéricas en el trabajo y en otros contextos. Tal como se describió en el cuestionario de antecedentes. Dominio como un continuo • Las competencias evaluadas se entienden en un continuo de dominio. Los individuos son considerados competentes en mayor o menor grado en la competencia en cuestión en oposición a ser "competente" o "no competente". En otras palabras, no existe un umbral que separa a los que tienen la competencia en cuestión de aquellos que no lo hacen. • Las escalas de medición describen gradaciones en la complejidad de la tareas de procesamiento de información. Los resultados se representan en una escala que va de 0 a 500 puntos. • Cada una de las tres escalas de competencia se dividió en "niveles de competencia", definidos por rangos de puntuación en particular y el nivel de dificultad de las tareas dentro de estos intervalos. Los descriptores proporcionan un resumen de los tipos de tareas que los adultos pueden completar con éxito en un rango particular. • Se definen seis niveles de competencia para comprensión lectora y razonamiento matemático (niveles 1 a 5 más “debajo del Nivel 1”) y cuatro para la resolución de problemas en contextos informáticos (niveles 1 a 3 más “debajo del Nivel 1”) 3. COMPETENCIAS EVALUADAS Los marcos conceptuales de las competencias evaluadas en PIAAC, fueron desarrollados por un grupo de expertos internacional y se describen en mayor detalle en el documento «Literacy, Numeracy and Problem Solving in Technology-Rich Environments: Framework for the Survey of Adult Skills” (OECD, 2012). Los marcos definen y describen lo que se mide. En cada caso, se identifican tres dimensiones principales: • Contenido: corresponde a las herramientas, conocimientos, representaciones y problemas cognitivos que constituyen el corpus de lo que los adultos deben responder o usar. • Estrategias cognitivas: son los procesos que los adultos deben poner en juego para responder o utilizar un contenido determinado de forma adecuada. • Contexto: constituyen las diferentes situaciones en las que los adultos tienen que leer, demostrar razonamiento matemático y resolver problemas. Comprensión lectora Definición Contenido Es la capacidad de comprender, evaluar, utilizar y participar con textos escritos para participar en la sociedad, para lograr las metas de uno, y para desarrollar el conocimiento y las capacidades del individuo. Diferentes tipos • de texto. Los textos son • caracterizado por su medio (impreso o digital) y por su formato: • Textos • continuos o en prosa • Textos discontinuos o de documentos • Textos mixtos • Textos múltiples Abarca una serie de habilidades desde la decodificación de palabras escritas y oraciones a la comprensión, interpretación y evaluación de textos complejos. La información sobre las habilidades de los adultos con bajos niveles de competencia es proporcionada por la evaluación de componentes de la lectura como: conocimientos de vocabulario, capacidad de procesar significado a nivel de oración y fluidez en la lectura de fragmentos de texto. Estrategias Acceder e identificar Integrar e interpretar (relacionar partes del texto unas con otras) Evaluar y reflexionar Contextos • • • • Relacionad o al trabajo Personal Sociedad y comunidad Educación y formación Tipo de medio Número de ítems Porcentaje Textos impresos 36 62% Textos digitales 22 38% Contexto Número de ítems Porcentaje Relacionado al trabajo 10 17% Personal 29 50% Sociedad y comunidad 13 23% Educación y formación 6 10% Estrategia cognitiva Número de ítems Porcentaje Acceder e identificar 32 55% Integrar e interpretar 17 19% Evaluar y reflexionar 9 26% Razonamiento matemático Definición Contenido Estrategias Contextos Es la capacidad de acceder, usar, interpretar y comunicar información e conceptos matemáticos con el fin de gestionar demandas matemáticas en una gama de situaciones en la vida adulta. Contenido matemático: • Cantidad y número • Dimensión y forma • Patrones, relaciones y cambio • Datos y azar Representaciones de información matemática: • Objetos e imágenes • Números y símbolos • Presentaciones visuales (ejemplo, diagramas, mapas, gráficos, tablas) • Textos • Presentaciones de base tecnológica • • Con este fin, esta competencia implica manejar una situación o resolver un problema en un contexto real, respondiendo A contenido / información / ideas Matemáticas representadas en múltiples formas. • • • Identificar, localizar o acceder Usar (ordenar, contar, estimar, calcular, medir modelar) Interpretar, evaluar y analizar Comunicar • • • Relacionado al trabajo Personal Sociedad y comunidad Educación y formación Contenido matemático Número de ítems Porcentaje Datos y azar 12 21% Dimensión y forma 16 29% Patrones, relaciones y cambio 15 27% Cantidad y número 13 23% Contexto Número de ítems Porcentaje Relacionado al trabajo 13 23% Personal 25 45% Sociedad y comunidad 14 25% Educación y formación 4 7% Estrategia cognitiva Número de ítems Porcentaje Identificar, localizar y acceder 3 5% Actuar y usar 34 61% Interpretar, evaluar y analizar 19 34% Resolución de problemas en contextos informáticos Definición Contenido Estrategias Es la capacidad de utilizar la tecnología digital, herramientas comunicacionales y redes para adquirir y evaluar información, comunicarse con otros y realizar tareas prácticas. Tecnología: • Dispositivos de hardware • Aplicaciones de software • Comandos y funciones • Representaciones ( ejemplo texto, gráficos, vídeos) Tareas: • Complejidad intrínseca • Claridad del enunciado del problema • La evaluación se centra en la habilidades para resolver problemas con propósitos personales, laborales y cívicos mediante la definición de objetivos y planificación, y accediendo y usando la información a través computadores y redes informáticas. • • • Contextos Establecer • metas y monitorear • el progreso • Planificar Adquirir y evaluar información Usar información Relacionado al trabajo Personal Sociedad y comunidad Dimensión cognitiva Número de ítems Establecer metas y monitorear el progreso 4 Planificar 7 Adquirir y evaluar información 8 Usar información 6 Dimensión tecnológica Número de ítems Web 7 Hoja de cálculo 4 E-mail 9 Contexto Número de ítems Relacionado al trabajo 8 Personal 4 Sociedad y comunidad 2 IV. PRINCIPALES RESULTADOS Selección de resultados relevantes para Chile, extraídos de la publicación Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) Se presentan los resultados en cuatro apartados: 1. 2. 3. 4. Resultados generales Factores asociados al desarrollo de competencias Uso de habilidades en el trabajo Beneficios de invertir en habilidades Los principales resultados de Chile se presentarán en comparación con el promedio OCDE, Grecia, Turquía y Polonia. Estos países, si bien son disímiles entre sí, fueron seleccionados en función de su similitud con Chile en relación al: PIB per cápita a precios del 2005. • Producto Interno Bruto (PIB) 70.000 60.000 per cápita. • Porcentaje de población 50.000 2014 1995 1970 adulta con educación 40.000 30.000 superior. 20.000 • Expansión de la educación 10.000 superior en los últimos 30 0 años. Fuente: Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) 1. RESULTADOS GENERALES Chile obtiene bajos puntajes en las competencias comprensión lectora y razonamiento matemático. Puntaje promedio en comprensión lectora y razonamiento matemático. + 48 • El promedio de países OCDE tiene un puntaje promedio 48 puntos mayor en comprensión lectora y 57 puntos mayor en razonamiento matemático. CHILE 254 252 267 260 227 219 220 206 • Turquía, Grecia y Polonia obtienen puntajes promedio superiores a Chile 268 263 + 57 P ROM E D IO T URQUÍA GRECIA P OLON IA OCD E Comprensión Lectora Razonamiento Matemático Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) En comparación a IALS (1998) se observa: • Polonia ha aumentado notablemente sus resultados de 232 puntos promedio en IALS a 267 puntos promedios en PIAAC. P ROM E D IO OCD E CHILE IALS 1998 232 220 223 267 270 266 • El bajo desempeño de Chile en comprensión lectora se ha mantenido constante en los últimos 17 años (220 puntos) pese al aumento del PIB per cápita y de la población con educación superior. Comparación puntaje promedio en comprensión lectora entre IALS (1998) y PIAAC (2014) P OLON IA PIAAC 2014 Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) CHILE 35% 19% 26% 37% 41% 1% 5% 10% 12% 11% 13% 19% 27% 40% 35% 34% 46% 53% 2% Grecia, Polonia y el promedio de países OCDE concentran la mayor parte de su población adulta en los niveles 2 y 3. Desempeño en comprensión lectora. 32% 53% de los adultos chilenos se encuentra en nivel de desempeño bajo, mientras que en el promedio OCDE sólo el 19% se encuentra en el nivel de desempeño bajo. P ROM E D IO OCD E Bajo o en nivel 1 T URQUÍA Nivel 2 GRECIA Nivel 3 P OLON IA Nivel 4 ó 5 Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) 38% 31% 24% 25% 8% 6% 1% 2% CHILE 13% 11% 23% 29% 33% 33% 32% 40% 50% 62% 10% Grecia, Polonia y el promedio de países OCDE concentran la mayor parte de su población adulta en los niveles 2 y 3. Desempeño en razonamiento matemático. 26% 62% de los adultos chilenos se encuentra en nivel de desempeño bajo, mientras que en el promedio OCDE sólo el 23% se encuentra en el nivel bajo de desempeño. P ROM E D IO OCD E Bajo o en nivel 1 T URQUÍA Nivel 2 GRECIA Nivel 3 P OLON IA Nivel 4 ó 5 Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) Desempeño en resolución de problemas en contextos informáticos. 83% de la población adulta en Chile declara tener experiencia en el uso del computador, porcentaje superior a Polonia y Turquía, pero inferior al promedio de países OCDE. 52% 48% 43% 36% 35% 31% 31% 24% 18% 17% 19% 17% 15% 7% 8% 14% 11% 11% 10% 5% CHILE 19% PROMEDIO OCDE 8% 7% 2% 3% TURQUÍA GRECIA Sin experiencia en pc Opta por papel Bajo o en nivel 1 Nivel 2 y 3 POLONIA Falla en el uso de pc Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) 2. FACTORES ASOCIADOS AL DESARROLLO DE COMPETENCIAS El factor con mayor incidencia en el desempeño en las competencias evaluadas es el nivel educativo. 245 258 297 210 254 227 235 254 273 292 264 231 254 219 Diferencia: 77 puntos 177 En chile, los adultos con educación superior obtienen en promedio 77 puntos más en comprensión lectora que los adultos con educación media incompleta. Diferencia mayor que países OCDE, Grecia y Turquía Puntaje promedio en comprensión lectora por nivel educativo. CHILE P ROM E D IO OCD E Educación Media Incompleta GRECIA P OLON IA Educación Media Completa T URQUÍA Educación Superior Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) En Chile y Turquía hay grandes brechas generacionales, a diferencia del promedio de países OCDE, Grecia y Polonia. 73% 62% 65% PROMEDIO OCDE 16-24 años 25-34 años TURQUÍA 35-44años GRECIA 45-54 años 10% 14% 17% 24% 29% 37% 39% 14% 14% 17% 21% 28% CHILE 23% 25% 28% 25% 30% 48% 51% 53% 39% 42% En Chile, la población entre 16 y 24 años, tiene un desempeño significativamente mejor que la población adulta en comprensión lectora. Los adultos entre 55 y 65 años tienen un desempeño particularmente bajo. Porcentaje de adultos con bajo desempeño en compresión lectora por edad. POLONIA 55-64 años Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) 49% 20% 29% 49% 11% 17% 33% 48% 34% 49% 34% 11% 15% 21% P ROM E D IO T URQUÍA OCD E 16-24 años 25-34 años 35-44años 68% 71% 74% 62% 69% 51% 29% 17% CHILE 82% 85% Gráfico 8: Porcentaje de adultos que falla o no tiene experiencia en el uso de computador por edad 9% En Chile, las diferencias por edad para la resolución de problemas en contextos informáticos son mayores que en las restantes competencias. Un 69% de los adultos entre 55 y 65 años falla o no tiene experiencia en el uso del computador versus sólo un 9% de los jóvenes entre 16 y 24 años. GRECIA P OLON IA 45-54 años 55-64 años Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) 3. USO DE LAS HABILIDADES EN EL TRABAJO En Chile, a pesar de tener un bajo puntaje en comprensión lectora, los trabajadores declaran hacer un uso de la lectura en el trabajo cercano al promedio OCDE. Contrario a Grecia, Polonia y Turquía. Puntaje promedio en comprensión lectora y uso de la lectura en trabajadores. Chile Promedio OCDE Uso de Lectura 2,5 2,7 2,3 2,4 2,0 Comprensión Lectora 224 273 253 272 233 Grecia Polonia Turquía Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) En Chile la diferencia en el uso de habilidades tecnológicas en el trabajo entre los individuos con educación superior y educación media es del 24%, superando al promedio OCDE e inferior a los países de comparación Grecia, Turquía y Polonia. Diferencias por nivel educacional en el uso de habilidades en el trabajo. Educación superior versus educación media completa. Lectura 11% Promedio OCDE 10% Escritura 13% 9% 25% 15% 35% Matemáticas 11% 6% 16% 16% 6% Chile Grecia Polonia Turquía 23% 23% 29% Uso de TIC 24% 17% 35% 44% Resolución de 4% 8% 6% 16% Problemas Nota: Diferencias ajustadas por competencias, horas trabajadas y ocupación. Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) 43% 16% 4. BENEFICIOS DE INVERTIR EN HABILIDADES En Chile y Turquía la relación del salario con los años de estudio es más fuerte que en los países comparados, indicando que un aumento de 3,4 años de educación implica un aumento salarial de 21%. Efecto de los años de educación, desempeño en comprensión lectora y uso de la lectura en el trabajo, sobre los salarios. Promedio Chile Grecia Polonia Turquía OCDE Desempeño en 7% * 6% * 1% 6% * 5% compresión lectora Años de educación 21% * 14% * 11% * 18% * 21% * Lectura en el trabajo 13% * 10% * 8% * 12% * 9% * Nota: Coeficientes ajustados por edad, sexo, condición de extranjero. *Efecto significativo dentro del país Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) 25% 16% 11% CHILE PROMEDIO OCDE GRECIA POLONIA TURQUÍA -4% Esta información es relevante considerando la convivencia política a nivel nacional, sobretodo recordando que un 53% de los adultos tiene bajo desempeño. Diferencia porcentual neta entre adultos con alto y bajo desempeño que reportan altos niveles de eficacia política. 39% El desempeño en las competencias evaluadas se relaciona con otros resultados no económicos En Chile, los adultos con alto desempeño en comprensión lectora tienen mayor probabilidad de reportar altos niveles de efectividad política. Efecto no significativo en Turquía Fuente: Elaboración propia a partir de Skills Matter: further results from the Survey of Adult Skills (OECD, 2016) Se destacan los siguientes puntos: • En promedio los jóvenes y adultos chilenos obtienen un bajo desempeño en las competencias evaluadas. El 48% de las personas encuestadas tiene bajo desempeño en comprensión lectora y razonamiento matemático, es decir solo pueden completar con éxito tareas básicas. • La población más joven (16 a 24 años) tiene un mejor desempeño que el resto de la población adulta. • El nivel educativo alcanzado es un buen predictor del desempeño de las competencias evaluadas y del uso de habilidades en el trabajo. • Los resultados de este estudio dan cuenta de la necesidad de seguir avanzando en mejoras al sistema educativo chileno, entendiendo esto como un desafío país y abordándolo desde la implementación de políticas públicas a largo plazo. • El Ministerio de Educación, en sus diversas unidades está comprometido con generar una política consistente de educación de adultos con programas, recursos y orientaciones para esta modalidad educativa, como también con la seguir avanzando en materia de calidad y acceso a la educación superior. V. CONSIDERACIONES MUESTRALES 1. Prueba de Logro en contexto no escolar 2. Tamaño y Diseño de la Muestra 3. Pesos Complejos 4. Valores Plausibles 1. Prueba de Logro en Contexto No Educacional • PIACC mide comprensión lectora, razonamiento matemático y resolución de problemas en contextos informáticos, a una población objetivo internacional “personas no institucionalizadas de 16 a 65 años residente en el país independiente de su nacionalidad, ciudadanía o idioma que hable”. • Es una prueba de logro educacional fuera del contexto escolar, lo que implica muchos desafíos metodológicos que no están presentes en los estudios educacionales tradicionales. • La encuesta requiere expansión a la población objetiva del país por lo que es una encuesta de hogares. Al no existir un marco muestral de hogares se utilizan marcos muestrales de viviendas. Se utilizaron los marcos muestrales de viviendas del Instituto Nacional de Estadísticas, que contienen más de 4 millones de viviendas. De estos marcos se excluyeron las áreas de difícil acceso (ADA) que albergan a aproximadamente el 0,1% de la población objetivo. • Marco Muestra de Viviendas Urbano 2008 • Marco Muestra de Viviendas Rural 2002 2. Tamaño y Diseño de la Muestra • El tamaño muestral para cada país participante se obtiene considerando: • El número de dominios cognitivos examinados y su variabilidad • El número de idiomas en los cuales se tomarán las pruebas • El número de dominios (o grupos de interés) a los cuales se quiere reportar resultados • De estudio de la primera ronda el consorcio encargado de la calidad técnica del estudio determinó que al menos se debían disponer de 5000 casos por país si se aplicaban las 3 pruebas en un idioma. • El diseño muestral utilizado fue probabilístico multietápico. • En primera etapa se seleccionaron comunas con probabilidad proporcional a su población urbana/rural (25/10) según las proyecciones poblacionales 2012. • Parte Urbana: El Marco muestral urbano está constituido por manzanas (de viviendas). Dentro de la parte urbana de las comunas seleccionadas se seleccionó manzanas de manera estratificada con afijación proporcional. Dentro de cada manzana seleccionada, se seleccionó sistemáticamente aproximadamente un 20% de las viviendas. • Parte Rural: El marco muestral rural está compuesto de secciones que agrupan a aproximadamente 50 viviendas. Dentro de la parte rural de las comunas seleccionadas se seleccionaron las secciones con probabilidad proporcional al número de viviendas que contenía. Las viviendas se seleccionaron sistemáticamente de la misma manera que en la parte urbana. 3. Pesos Complejos • El diseño muestral considerado induce distintas probabilidades de selección de las viviendas y por consiguiente distintas factores de expansión (que son los inverso de la probabilidad de selección). • Las encuestas de hogares en general presentan problemas de: • No elegibilidad • No rechazo • No respuesta (no-contacto por ejemplo) • Por lo anterior, se verifica la elegibilidad de las viviendas realizando antes de la selección de éstas una enumeración para distinguir las viviendas ocupadas habitacionalmente de las viviendas usadas para otros fines. • Pero la elegibilidad (pertenencia a la población objetivo) de las personas que habitan las viviendas seleccionadas sólo se puede verificar una vez hecho el contacto. • Asimismo dada la naturaleza del estudio el porcentaje de rechazo se espera que sea no menor. • Por estos motivos se seleccionaron 9019 viviendas ocupadas. Objetivo Muestra Representativa a nivel nacional Diseño probabilístico, estratificado y poli-etápico 5.115 casos Unidades Primaria : 25 comunas con probabilidad proporcional a su población urbana y 10 con probabilidad proporcional a su población rural Unidad Secundaria: Manzana/Secciones: proporcional a su tamaño Unidad Terciaria : 9.019 viviendas habitadas Tasa de Respuesta 5.212 casos logrados CBA: 62,7% PBA: 37,3% Tasa respuesta esperada: - Screener: 75% - CI/BQ: 85% -Assessment: 95% Tasa de respuesta lograda: - Screener: 79,5% - CI/BQ: 86,1% - Assessment: 98,1% 4. Valores Plausibles • No todas las personas seleccionadas de cada vivienda contestan todas ni las mismas preguntas. Para la estimación del puntaje individual se utiliza la técnica de valores plausibles (PV) que estima el nivel de puntaje que tendría una persona generando su distribución de puntajes posibles a posteriori, usando como información a priori sus respuestas, un modelo de regresión latente basado en sus respuestas al cuestionario de contexto y un modelo poblacional para cada país. En PIACC se genera 10 PV por persona y escala. • De esta manera las fuentes de variabilidad del estudio son por un lado, la determinada por la muestra compleja de personas (y por otra la proveniente de las pruebas mismas. Ambas fuentes se combinan para determinar la variabilidad de los estimadores que se desea calcular usando técnicas de re-muestreo. VI. ACTIVIDADES FUTURAS Y EN CURSO 1. Ronda 3: • Periodo: 2016 – 2019 • Participantes: Ecuador, Hungría, Kazajstán, México, Perú y Estados Unidos. 2. Nuevo ciclo de PIAAC: • Agendado para el año 2018 3. Eventos: • International Conference on PIAAC and PIAAC-Longitudinal (Abril de 2017 en Alemania) Call for paper: 30 de Septiembre y 31 de Octubre. VII. REFERENCIAS OECD (2016), Skills Matter: Further Results from the Survey of Adult Skills, OECD Skills Studies, OECD Publishing, Paris. http://dx.doi.org/10.1787/9789264258051-en OECD (2016), The Survey of Adult Skills: Reader’s Companion, Second Edition, OECD Skills Studies, OECD Publishing, Paris. http://dx.doi.org/10.1787/9789264258075-en OECD (2012), Literacy, Numeracy and Problem Solving in Technology-Rich Environments: Framework for the OECD Survey of Adult Skills, OECD Publishing. http://dx.doi.org/10.1787/9789264128859-en Información general sobre PIAAC: http://www.oecd.org/skills/piaac/ BBDD: http://vs-web-fs-1.oecd.org/piaac/puf-data PIAAC data explorer: http://piaacdataexplorer.oecd.org/ide/idepiaac/ VII. CONTACTOS Francisca Donoso (NPM) [email protected] Alejandra Gallardo (NDM) [email protected] Claudia Matus (NSM) [email protected] Gracias!! MINISTERIO DE EDUCACIÓN Centro de Estudios - DIPLAP 08 / 2016 La Experiencia de Chile en PIAAC Francisca Donoso (NPM) Alejandra Gallardo (NDM) Claudia Matus (NSM) Centro de Estudios – DIPLAP Agosto 2016 ► ► Diapositiva 16 ►
