Los protocolos verbales

El Papel de La metacognición en
el proceso de solución de
problemas.
Presenta: Dr. Carlos Argelio Arévalo Mercado
Contexto
•  Dificultades en el aprendizaje de la programación.
•  Altos Porcentajes de Reprobación
Materia: Programación I, Lic. en Tecnologías de Información 2006 - 2012
2
Herramientas para apoyar el aprendizaje de la
programación
3
Elementos involucrados en el aprendizaje
de la programación y la resolución de problemas
4
Metacognición
n 
El concepto de Metacognición se describe como la forma en que una
persona tiene conciencia de:
¨ 
La identificación del tipo de problema a resolver,
¨ 
las estrategias de solución que aplica al problema específico,
¨ 
la planeación y modificación de dichas estrategias respecto al estado
de avance hacia la solución,
¨ 
la percepción de los límites de su propio conocimiento.
5
Protocolos verbales
n 
Los protocolos verbales fueron propuestos como un método para
estudiar el contenido de la memoria de corto plazo de las personas
en el proceso de resolver problemas (Ericsson y Simon 1993)
n 
Los protocolos verbales son útiles para mostrar el proceso cognitivo
de una persona al resolver problemas: las estrategias, modelos
mentales y ajustes que ésta utiliza.
6
Proceso de grabación de protocolos verbales (IGUAL)
Seleccionar
un problema de
programación
Editar (segmentar) y
transcribir
el protocolo verbal en el
sistema
Seleccionar al
Programador
participante
Preparar el
Entorno de
Grabación
Grabar el protocolo verbal
del programador mientras
resuelve el problema
Visualizar y estudiar
el protocolo verbal
(Estudiante)
Agregar notas
explicativas al protocolo
7
Recomendaciones para grabar protocolos verbales
n 
n 
Van Someren, et al, (1994) hacen algunas recomendaciones prácticas para que las
grabaciones de protocolos verbales sean utilizables:
¨ 
El entorno debe prepararse para que el participante se sienta cómodo.
¨ 
La instrucción esencial es “Desarrolla la tarea y di en voz alta lo que pase por tu
mente”. Evitar frases tales como “dime lo que piensas”
¨ 
El experimentador puede dar la oportunidad de realizar una práctica previa de
ejemplo.
¨ 
El experimentador debe participar lo menos posible. De hecho, éste debe interferir
solamente cuando el sujeto pare de hablar, en cuyo caso, éste debe decir al sujeto que
“siga hablando”
En estudios dentro de la disciplina de las ciencias cognitivas, los protocolos verbales
son tratados como datos a ser analizados. Nuestra propuesta consiste en que éstos
pueden usarse como material de apoyo para el aprendizaje.
8
Lecciones aprendidas al grabar protocolos
n 
n 
Al trabajar con programadores y profesores grabando protocolos verbales,
nos dimos cuenta que:
¨ 
Algunas veces se interpretaba la sesión de grabación como si fuese
una lección o clase.
¨ 
Se solicitó tiempo para practicar el problema presentado
¨ 
Cometimos errores al seleccionar algunos problemas demasiado
sencillos…y otros demasiado complejos
Estas situaciones se corrigieron posteriormente, pero deben tenerse en
cuenta para que la eficacia y calidad del protocolo sean aceptables
9
Sistema visualizador de
Protocolos verbales
10
Visualizador de protocolos verbales
http://aprende.igualproject.org/protocols/
11
Editor de protocolos
12
Visualizador de protocolos verbales
http://aprende.igualproject.org/protocols/
13
Algunos resultados
experimentales
14
Estudio controlado, 2010
Suma de
cuadrados
Entre grupos
Cuadrado de
medias
df
61.549
1
61.549
Dentro de grupos
257.781
36
7.161
Total
319.330
37
Calificación
Final
grupo EXP
N
Válidos
Faltantes
Media
Mediana
Moda
Desviación Estándar
Varianza
Asimetría
Error estándar de asimetría
Curtosis
Error estándar de curtosis
18
2
6.3389
7.5000
3.30(a)
2.99257
8.955
-.499
.536
-1.412
1.038
F
8.596
Calificación
Final grupo
TRAD
Sig.
.006
Dos grupos de estudiantes
principiantes de programación
(Métodos tradicionales Vs. Uso de
visor de protocolos)
20
0
3.7900
3.7000
2.30
2.35683
5.555
.689
.512
.443
.992
15
Estudio exploratorio, primer semestre 2012
Uso libre y tarea obligatoria
Uso guiado en laboratorio y
libre
Uso libre
Grupo
Registros de tiempo de uso por grupos. Fase exploratoria
Media
Mediana
Mínimo
Máximo
Desv. Est.
LTI
ISC
ITSG
0:59:05
0:23:11
1:17:38
Ln Tiempo de Uso LTI
Ln Tiempo de Uso ISC
Ln Tiempo de Uso ITSG
0:21:29
0:12:05
0:46:26
0:00:29
0:01:52
0:05:41
Kolmogorov-Smirnova
Estadístico
gl
Sig.
.172
.141
.100
12
12
12
4:41:48
3:23:48
5:17:44
1:17:53
0:43:12
1:28:28
Shapiro-Wilk
Estadístico
gl
*
.200
.200*
.200*
.947
.946
.992
12
12
12
Sig.
.598
.579
1.000
16
Estudio cuasi-experimental, segundo semestre 2012
Comparación de medias (ANOVA) de resultados de examen.
Suma de
gl
Media
F
cuadrados
cuadrática
Inter-grupos
Intra-grupos
Total
11.049
24782.111
24793.160
1
52
53
11.049
476.579
.023
Sig.
.880
Correlación entre tiempo de uso y calificación. Grupo experimental
Tiempo de uso
Examen
Correlación de Pearson
Sig. (bilateral)
N
Correlación de Pearson
Sig. (bilateral)
N
Tiempo de uso
Examen
1
22
.423*
.050
22
.423*
.050
22
1
22
*. La correlación es significativa al nivel 0,05 (bilateral).
Grupo
Estadística Descriptiva. Calificaciones obtenidas, grupos experimental y de control
n
Promedio
Desv. Estándar
Mediana
Mínimo
Experimental (LTI)
Control (ISC)
22
36
54.45
52.31
22.94
24.25
55.10
55.48
7.50
2.96
Máximo
84.93
97.43
17
Algunas conclusiones
18
Algunas conclusiones…
n 
n 
n 
Bajo condiciones controladas, el grupo que usó el visor
de protocolos tuvo un mejor rendimiento que el grupo de
control
Bajo condiciones no controladas, el aspecto
motivacional influye en el rendimiento de los estudiantes
al observar la correlación que existió entre calificación y
tiempo de uso.
El patrón de distribución log-normal encontrado
puede ser la manifestación de la percepción intuitiva de
que en todo grupo, siempre hay un número pequeño
de estudiantes aplicados y motivados.
19
En escenarios de estudio reales…la motivación es
factor
20
Similitudes con otras plataformas
n 
Khan Academy
¨  [Some] “Design Guidelines for Teaching Programming
Talkthroughs”:
n  Use of Talkthroughs
n  Make beginners mistakes
n  Build strong mental models
n  Make beginners mistakes
n  Reduce mental overhead
n 
MIT Open courseware
¨  “Lecture Sequences”
21
Agradecimientos
22