Diapositiva 1 - Centro de Medición MIDE UC

Seminario:
En escenarios de incertidumbre:
Medir para tomar decisiones.
Jorge Manzi
Director MIDE UC
¿Por qué es central la medición y evaluación
para las organizaciones?
¿Usted se ha preguntado alguna vez…?
• ¿Por qué sigo manteniendo una alta tasa de reclamos por
desconocimiento técnico de mis ejecutivos si todos han
aprobado las pruebas de conocimiento que les aplicamos?
• Cuando se evalúa el desempeño, ¿por qué el 90% de los
colaboradores obtienen una evaluación de desempeño muy
buena o excelente y esto no se refleja en los resultados de la
empresa?
• ¿Por qué los resultado de los factores evaluados en una
encuesta de clima organizacional son tan parecidos?
¿Por qué es central la medición y evaluación
para las organizaciones?
Para:





Contar con indicadores precisos respecto de aquello que se
evalúa.
Incrementar la eficacia y eficiencia a través de la
identificación de líneas bases, definir áreas e indicadores de
mejora, hacer ajustes, etc. de modo de orientarse a la mejora
continua.
Identificar grado de alineación con la planificación del
negocio.
Orientarse al aprendizaje y en consecuencia al
mejoramiento de la gestión, clima, conocimientos, etc.
Incrementar la responsabilización (accountability) de
procesos y áreas por los resultados.
¿Por qué es central la medición y evaluación
para las organizaciones?
Para:



Diagnosticar el nivel de logro y caracterización de
un aspecto en particular.
Comparar algún aspecto de la empresa consigo
misma en diferentes momentos del tiempo. Realizar dicha
comparación con otras empresas (mercador rubro,
etc.).
Determinar conocimientos, comportamientos y
percepciones de los colaboradores de modo
estructurado y comparable. Evaluación
estandarizada.
¿En qué se diferencia la
medición de la evaluación?
•
•
•
Medición: asignación de números a
cualidades observables o no observables de
objetos de interés.
Evaluación: juicio integrativo acerca de las
cualidades del objeto de interés.
Por tanto, la medición es un insumo para la
evaluación.
¿Qué hay que tener presente al medir y al evaluar?

La medición es siempre un proceso de inferencia a
partir de la evidencia del desempeño:



tomamos muestras de desempeños (respuestas a
preguntas) para inferir atributos.
Los resultados de la medición son estimaciones acerca
de cualidades de una persona (lo que sabe, siente,
cree, juzga o es capaz de hacer).
Toda medición tiene limitaciones (error o sesgo de
medición). Las buenas mediciones minimizan esas
limitaciones.


Error: variaciones aleatorias (por ejemplo: variaciones en el
desempeño de una persona dependiendo del momento del día en
que sea evaluada).
Sesgo: variaciones sistemáticas (por ejemplo, el grado de
severidad que puede tener un juez al analizar evidencias del
desempeño de una persona).
Fuentes de error
• Variaciones en el desempeño de una persona
cuando se la expone a un conjunto de itemes
(por ejemplo, forma de un test), en relación a
otra forma del test
• Fluctuaciones en el desempeño de la persona
en el tiempo
• Inconsistencia en la puntuación que se asigna
a la persona ante un mismo desempeño (por
ejemplo, si es juzgada por distintos jueces)
¿QUÉ TIRADOR PREFERIRÍA?
Tirador A
Tirador B
Tirador C
Confiabilidad y Validez
• La confiabilidad expresa nuestra capacidad
para minimizar el error de medición. Se
expresa en una escala que va de 0 (100%
error) a 1 (0% error).
• Usos de la confiabilidad
– ¿Cuánto podemos predecir un nuevo desempeño
a partir de un instrumento?
– Estimación de la magnitud del error de medición
Altamente Confiable
Inconfiable
Predicción de un nuevo
desempeño
• Si la confiabilidad es alta (.9), podemos
predecir aproximadamente el 80% de nuevos
desempeños
• Si la confiabilidad es moderada (.7), podemos
predecir solo el 50% de nuevos desempeños
Estimación del error de
medición
• La confiabilidad nos indica el grado en que los
puntajes de un individuo pueden fluctuar
entre distintas mediciones. Con alta
confiabilidad se reducen las fluctuaciones.
• Pero aun mediciones altamente confiables
presentan fluctuaciones importantes:
Ejemplo con pruebas
de admisión a universidades
Magnitud del error de medición
según confiabilidad
• En una prueba como la PSU (confiabilidad .93)
– Banda del error: 30 puntos
– Si la confiabilidad fuera .8, sería de 50 puntos
– Si la confiabilidad fuera .7, sería de 70 puntos
Validez: los cambios en su
conceptualización
• Hasta los 80:
¿Mide este test lo que intenta medir?
• Desde los 80:
¿Qué me dice un puntaje X acerca de la persona?
¿Qué tipo de inferencias puedo hacer acerca de la
persona a partir de sus resultados?
¿Cuán confiado estoy acerca de estas evidencia?
Validez: la definición actual
(APA-AERA-NCME)
• La validez es el grado en que toda la evidencia
acumulada apoya la interpretación de los
puntajes de un test para los usos que se le
darán.
Confiable pero no válido
Confiable y Válido
¿Cómo deben ser mis mediciones y evaluaciones?
Calidad
Medición y
evalución
Toma de
decisiones
Cómo desarrollamos y usamos
instrumentos para optimizar
confiabilidad y validez
• Sobre el desarrollo de los instrumentos:
– Teniendo claro lo que se quiere medir (buenas
especificaciones iniciales)
– Construyendo buenos itemes o tareas de
desempeño.
– Evitando o corrigiendo sesgos en los itemes
– Seleccionando o adaptando los itemes o tareas
(mediante aplicaciones de campo)
Cómo desarrollamos y usamos
instrumentos para optimizar
confiabilidad y validez
• Sobre el uso de los instrumentos:
– Aplicándolos en forma estandarizada (instrucciones
claras, aplicadores calificados, etc.)
– Cumpliendo rigurosamente los compromisos de
confidencialidad y uso de los puntajes (ética de la
medición)
– Calculando adecuadamente los puntajes
Cómo desarrollamos y usamos
instrumentos para optimizar
confiabilidad y validez
• Sobre el uso de los instrumentos:
– Comunicando los resultados en forma efectiva (y
monitoreando la comprensión que se tiene de la
información comunicada)
– Estudiando continuamente la validez de los
instrumentos (incluyendo las consecuencias
esperadas y no esperadas de su uso)
Seminario:
En escenarios de incertidumbre:
Medir para tomar decisiones.
Jorge Manzi
Director MIDE UC