Anexo 6. Pruebas de usabilidad

Anexo 6. Pruebas de usabilidad
A continuación se muestra la prueba que se realizó a los tres calificadores seleccionados.
PRUEBA DE USABILIDAD PARA EL SISTEMA DE APOYO PARA IDENTIFICACION Y
ESTIMACION DE VOLUMETRIA DE NODULOS PULMONARES.
Esta prueba permite conocer el grado de usabilidad y satisfacción que la aplicación proporciona al
usuario. Se darán una serie de instrucciones para que el usuario realice, con el fin de verificar las
funciones que posee el sistema.
INSTRUCCIONES:
El sistema es básicamente una aplicación para interactuar con imágenes de TAC (tomografía axial
computarizada) de tórax, con el fin de encontrar regiones candidatas que puedan ser nódulos (masa
pulmonar menor de 3 cm de diámetro). Las funciones básicas de la aplicación son visualizar e
interactuar con las imágenes, visualizar el histograma de la imagen con o sin máscara, realizar el
algoritmo paso a paso para encontrar los candidatos, ver un modelo en tres dimensiones de los
pulmones, el árbol vascular y los candidatos y finalmente una herramienta para verificar el volumen
aproximado de cada candidato junto con su ubicación en la imagen.
Las siguientes son instrucciones para verificar el funcionamiento de la aplicación.
1) Abrir aplicación.
2) Abrir un archivo de imagen DICOM.
3) Cambiar la visualización para ver cada una de las vistas.
4) En cada una de las vistas cambiar el corte y verificar el panel de vista del volumen. De igual
forma cambiar el contraste de la imagen en cada uno de los cortes y verificar el cambio en la
vista del volumen.
5) Interactuar con la vista de volumen.
6) Realizar el algoritmo paso a paso para encontrar candidatos de nódulos.
7) Verificar los datos de la imagen y el paciente.
8) Visualizar un histograma con y sin máscara.
9) Visualizar e interactuar con el modelo en tres dimensiones.
10) Verificar el volumen y ubicación de cada región candidata.
11) Cerrar la aplicación.
Luego de realizada la prueba se pide la siguiente evaluación a los usuarios.
Calificador: Luis Guillermo Torres.

Seleccione en una escala de 1 a 5 (1: Poco útil, 5: Muy útil).
1 2 3 4 5
1. ¿Es de utilidad la aplicación?
X
2. El uso de las opciones de visualización de cada una de las
3 vistas coronal, transversal, sagital.
X
3. El uso de la opción de visualización de la combinación de
los tres planos (sagital, coronal, transversal) en una sola
imagen.
X
Observaciones
No indica coordenadas
y/o
número
de
candidatos o datos
relevantes
con
el
paciente.
4. Visualización de datos de la imagen DICOM y de paciente
en el panel de "Data".
Solamente el nombre,
genero,
fecha
e
información sobre las
imágenes.
X
5. La ventana de histograma.
X
6. El uso de máscaras en la visualización del histograma.
X
7. El uso de controles para visualizar el rango de valores
deseado en la ventana de histograma.
X
8. El cambio de tipo de grafico en la venta de histograma.
X
9. Poder visualizar las imágenes que ya se han hecho en el
algoritmo.
X
10. Pedir el radio de la mediana al usuario.
X
11. Recortar la imagen en el procedimiento de obtención de
mediastino.
X
12. El control para seleccionar el umbral de cada una de las
imágenes para encontrar candidatos.
X
13. La herramienta de volumetría.
X
14. Visualizar la localización en dos dimensiones del
candidato seleccionado.
X
Es más útil el 3D
15. Visualizar el modelo en tres dimensiones donde se
muestra la ubicación del candidato junto con el pulmón y el
árbol vascular.
X
16. Observar las imágenes de pulmones, árbol vascular y
segmentación de candidatos en la herramienta "3D view".
X
17. Cambiar la opacidad de cada una de las imágenes en la
herramienta "3D View".
X
 Seleccione en una escala de 1 a 5 su grado de acuerdo o desacuerdo. (1. Total desacuerdo,
2.En desacuerdo, 3. Indiferente, 4.De acuerdo, 5.Total acuerdo)
1 2 3 4 5
Observaciones
Las opciones “Set Intensity”,
“Set Eigenvalues” y “Set
Bothat” requieren hacer clic en
otros botones similares en
todas las ocasiones. Se sugiere
que con solo un botón se realice
las dos acciones.
Otro comentario es que sería de
utilidad colocar números al lado
de las opciones para conocer el
orden que se debe seguir.
1. El sistema en general es de fácil uso.
X
Se sugiere ventana que indique
que el proceso se está llevando
a cabo y bloquee las acciones
del usuario para evitar múltiples
inputs. (Ideal si se cuenta con
tiempo estimado)
2. Los iconos de la barra de herramientas son
intuitivos y le dicen que función cumple cada uno.
Si bien el tooltip ayuda, no es
claro el acceso al algoritmo.
X
3. El color, tamaño y forma de los iconos es
adecuado.
X
3. La visualización de colores (RGB) en el fondo de
cada uno de los planos, ayuda a reconocerlos
fácilmente.
Sin embargo, hay mucho uso de
rojos y verdes que pueden
perjudicar a alguien con
X dificultad tipo daltonismo
4. El uso de los controles de cambio de corte en cada
uno de los planos es preciso e intuitivo.
X
5. El cambio en el contraste de la imagen usando el
mouse es de fácil uso.
X
6. Observar el cambio en la vista de volumen a
medida que se cambia uno de los cortes de un plano
lo hace una herramienta de navegación importante.
X
7. La organización de las 4 vistas (sagital, coronal,
transversal y volumen) es agradable.
X
8. La organización de los botones, cuadros de texto y
etiquetas es agradable en el panel de Algoritmo.
X
9. La organización de los botones para observar cada
una de las imágenes es la correcta.
X
10. Es intuitivo realizar paso a paso el algoritmo sin
cometer errores.
Recalcando el comentario del
orden de pasos
X
11. La división de la pantalla principal al momento de
seleccionar la herramienta de "Algoritmo", "Datos" y
"Volumetría", le ayuda a visualizar las imágenes
mientras realizan cambios.
X
12. Al observar la imagen tridimensional en la
herramienta "3D View", se pueden observar colores
agradables y acordes con la imagen que representan.
X
13. El uso de la opacidad en la herramienta "3D
View" le ayuda a identificar mejor las estructuras.
En el caso de solo “vessels” se
incluye la columna vertebral.
Sin embargo, se entiende la
X estructura pulmonar
14. La visualización del volumen que ocupa una
región candidata y las coordenadas donde se
encuentra dicha región, le ayudan a identificarla
fácilmente en la imagen.
X
15. El uso de la herramienta de histograma le ayuda
a identificar umbrales para seleccionar en el
desarrollo del algoritmo.
X
16. La interacción que tiene con la imagen es
intuitiva.
17. La interacción que tiene con el modelo en tres
dimensiones es intuitiva.
 Responda las siguientes preguntas:
Se requiere guía para el cambio
de brillo/contraste
X
X
¿Usaría esta aplicación para ver
imágenes DICOM y encontrar
candidatos de nódulos pulmonares?
Sí, me parece adecuado el despliegue tanto en 2D como en 3D.
¿Por qué?
Sin embargo, considero que la vista en 3D es más adecuada
¿Qué opina sobre la precisión de los
controles de selección?
Los controles son adecuados, en pocos casos es necesario
realizar el ingreso de forma manual.
Es un sistema muy completo y de alto valor para el médico. Sin
embargo, puede llegar a necesitar una guía para utilizarlo de
En general, ¿Que opina sobre el
forma correcta. Se recomienda un bue manual de usuario o
sistema?
ayuda dentro de la misma herramienta mediante la indicación
de pasos o mensajes de ayuda.
Qué opina de la interacción con las
diferentes imágenes.
¿Qué cambios le haría al sistema?
Me parece adecuada la interacción
Adicional a los anteriores, hago énfasis en el cambio de la
necesidad de oprimir dos botones para seleccionar los
algoritmos de segmentación. Personalmente lo reduciría a solo
uno pues siempre se requiere oprimir los dos (no hay un caso
donde sólo se oprima uno) lo que facilita obviar el segundo clic.
Si es posible, agregar la pantalla de progreso de procesamiento
y cambiar colores pensando en usuarios con daltonismo.
Si bien el panel “Data” es interesante desde el punto de vista
técnico del análisis de imágenes, personalmente, preferiría que
le diera datos al médico sobre el paciente.
Calificador: Leonardo Florez Valencia.

Seleccione en una escala de 1 a 5 (1: Poco útil, 5: Muy útil).
1 2
3
4
1. ¿Es de utilidad la aplicación?
Observaciones
X
2. El uso de las opciones de visualización de cada una
de las 3 vistas coronal, transversal, sagital.
X
3. El uso de la opción de visualización de la
combinación de los tres planos (sagital, coronal,
transversal) en una sola imagen.
X
4. Visualización de datos de la imagen DICOM y de
paciente en el panel de "Data".
X
5. La ventana de histograma.
X
6. El uso de máscaras en la visualización del
histograma.
X
7. El uso de controles para visualizar el rango de
valores deseado en la ventana de histograma.
Es mejor el “zoom” sobre el
histograma
X
8. El cambio de tipo de grafico en la venta de
histograma.
X
9. Poder visualizar las imágenes que ya se han hecho
en el algoritmo.
X
10. Pedir el radio de la mediana al usuario.
X
11. Recortar la imagen en el procedimiento de
obtención de mediastino.
5
X
A un usuario clínico se le
debería presentar algunos
valores y su interpretación
“física”
Esto hace parte del algoritmo,
en la aplicación final no tiene
mucho sentido.
12. El control para seleccionar el umbral de cada una
de las imágenes para encontrar candidatos.
Ver observación “10”
X
13. La herramienta de volumetría.
X
14. Visualizar la localización en dos dimensiones del
candidato seleccionado.
X
15. Visualizar el modelo en tres dimensiones donde
se muestra la ubicación del candidato junto con el
pulmón y el árbol vascular.
X
16. Observar las imágenes de pulmones, árbol
vascular y segmentación de candidatos en la
herramienta "3D view".
X
17. Cambiar la opacidad de cada una de las imágenes
en la herramienta "3D View".
X
 Seleccione en una escala de 1 a 5 su grado de acuerdo o desacuerdo. (1. Total desacuerdo,
2.En desacuerdo, 3. Indiferente, 4.De acuerdo, 5.Total acuerdo)
1 2 3
4
1. El sistema en general es de fácil uso.
X
2. Los iconos de la barra de herramientas son
intuitivos y le dicen que función cumple cada uno.
X
3. El color, tamaño y forma de los iconos es
adecuado.
X
3. La visualización de colores (RGB) en el fondo de
cada uno de los planos, ayuda a reconocerlos
fácilmente.
X
5
Observaciones
4. El uso de los controles de cambio de corte en cada
uno de los planos es preciso e intuitivo.
X
5. El cambio en el contraste de la imagen usando el
mouse es de fácil uso.
Pero no el gesto no es coherente
X entre las vistas 2D-3D
6. Observar el cambio en la vista de volumen a
medida que se cambia uno de los cortes de un plano
lo hace una herramienta de navegación importante.
X
7. La organización de las 4 vistas (sagital, coronal,
transversal y volumen) es agradable.
X Es “estándar”, eso es suficiente
8. La organización de los botones, cuadros de texto
y etiquetas es agradable en el panel de Algoritmo.
9. La organización de los botones para observar cada
una de las imágenes es la correcta.
X
Un control estilo “combobox”
sería más adecuado.
X
10. Es intuitivo realizar paso a paso el algoritmo sin
cometer errores.
X
11. La división de la pantalla principal al momento
de seleccionar la herramienta de "Algoritmo",
"Datos" y "Volumetría", le ayuda a visualizar las
imágenes mientras realizan cambios.
X
12. Al observar la imagen tridimensional en la
herramienta "3D View", se pueden observar colores
agradables y acordes con la imagen que representan.
X
13. El uso de la opacidad en la herramienta "3D
View" le ayuda a identificar mejor las estructuras.
X
14. La visualización del volumen que ocupa una
región candidata y las coordenadas donde se
encuentra dicha región, le ayudan a identificarla
fácilmente en la imagen.
15. El uso de la herramienta de histograma le ayuda
a identificar umbrales para seleccionar en el
desarrollo del algoritmo.
16. La interacción que tiene con la imagen es
intuitiva.
17. La interacción que tiene con el modelo en tres
dimensiones es intuitiva.
 Responda las siguientes preguntas:
X
Están muy “lejos”
X
Para quienes tienen experiencia
con la visualización de
X imágenes médicas
X
¿Usaría esta aplicación para ver
imágenes DICOM y encontrar
candidatos de nódulos pulmonares?
¿Por qué?
Sí, porque permite una carga y visualización rápida
¿Qué opina sobre la precisión de los
controles de selección?
Es adecuada
En general, ¿Que opina sobre el
sistema?
Es correcto para realizar una visualización rápida y para
entender los pasos del algoritmo de segmentación
Qué opina de la interacción con las
diferentes imágenes.
¿Qué cambios le haría al sistema?
Es estándar
Para el seguimiento de algoritmo, es adecuado. Para un uso más
genérico, debería ser más orientado a una arquitectura de
servicios (de interacción, visualización y procesamiento) que se
adicionen a medida que se necesiten
Calificador: Pablo Alexander Reyes.

Seleccione en una escala de 1 a 5 (1: Poco útil, 5: Muy útil).
1 2 3 4 5
1. ¿Es de utilidad la aplicación?
x
2. El uso de las opciones de visualización de cada una
de las 3 vistas coronal, transversal, sagital.
x
3. El uso de la opción de visualización de la
combinación de los tres planos (sagital, coronal,
transversal) en una sola imagen.
x
4. Visualización de datos de la imagen DICOM y de
paciente en el panel de "Data".
x
5. La ventana de histograma.
En algunos ambientes médicos
no se usa mucho el histograma
x
6. El uso de máscaras en la visualización del
histograma.
x
7. El uso de controles para visualizar el rango de
valores deseado en la ventana de histograma.
x
8. El cambio de tipo de grafico en la venta de
histograma.
x
9. Poder visualizar las imágenes que ya se han hecho
en el algoritmo.
10. Pedir el radio de la mediana al usuario.
11. Recortar la imagen en el procedimiento de
obtención de mediastino.
12. El control para seleccionar el umbral de cada una
de las imágenes para encontrar candidatos.
Observaciones
x
x
Colocar opciones y una que
diga recomendada
x
x
Colocar opciones y una que
diga recomendada
13. La herramienta de volumetría.
X Colorear
14. Visualizar la localización en dos dimensiones del
candidato seleccionado.
X
15. Visualizar el modelo en tres dimensiones donde se
muestra la ubicación del candidato junto con el pulmón
y el árbol vascular.
X
16. Observar las imágenes de pulmones, árbol vascular
y segmentación de candidatos en la herramienta "3D
view".
X
17. Cambiar la opacidad de cada una de las imágenes
en la herramienta "3D View".
x
 Seleccione en una escala de 1 a 5 su grado de acuerdo o desacuerdo. (1. Total desacuerdo,
2.En desacuerdo, 3. Indiferente, 4.De acuerdo, 5.Total acuerdo)
1 2 3 4 5
1. El sistema en general es de fácil uso.
Observaciones
Colocar ayudas o descripciones
sobre los botones
x
2. Los iconos de la barra de herramientas son
intuitivos y le dicen que función cumple cada uno.
X
3. El color, tamaño y forma de los iconos es
adecuado.
X
3. La visualización de colores (RGB) en el fondo
de cada uno de los planos, ayuda a reconocerlos
fácilmente.
X
4. El uso de los controles de cambio de corte en
cada uno de los planos es preciso e intuitivo.
X
5. El cambio en el contraste de la imagen usando
el mouse es de fácil uso.
X
6. Observar el cambio en la vista de volumen a
medida que se cambia uno de los cortes de un
plano lo hace una herramienta de navegación
importante.
X
7. La organización de las 4 vistas (sagital, coronal,
transversal y volumen) es agradable.
X
8. La organización de los botones, cuadros de texto
y etiquetas es agradable en el panel de Algoritmo.
Creo que debería haber más de esto
X en el algoritmo
9. La organización de los botones para observar
cada una de las imágenes es la correcta.
X
10. Es intuitivo realizar paso a paso el algoritmo
sin cometer errores.
Se podría pensar en una opción
semiautomática de solo las
coordenadas de pulmones y run!
X
11. La división de la pantalla principal al momento
de seleccionar la herramienta de "Algoritmo",
"Datos" y "Volumetría", le ayuda a visualizar las
imágenes mientras realizan cambios.
X
12. Al observar la imagen tridimensional en la
herramienta "3D View", se pueden observar
colores agradables y acordes con la imagen que
representan.
X
13. El uso de la opacidad en la herramienta "3D
View" le ayuda a identificar mejor las estructuras.
X
14. La visualización del volumen que ocupa una
región candidata y las coordenadas donde se
encuentra dicha región, le ayudan a identificarla
fácilmente en la imagen.
X
15. El uso de la herramienta de histograma le
ayuda a identificar umbrales para seleccionar en el
desarrollo del algoritmo.
X
16. La interacción que tiene con la imagen es
intuitiva.
x
17. La interacción que tiene con el modelo en tres
dimensiones es intuitiva.
 Responda las siguientes preguntas:
x
¿Usaría esta aplicación para ver
imágenes DICOM y encontrar
candidatos de nódulos pulmonares?
¿Por qué?
Si, si tuviese la oportunidad
¿Qué opina sobre la precisión de los
controles de selección?
Es adecuada
En general, ¿Que opina sobre el
sistema?
Qué opina de la interacción con las
diferentes imágenes.
¿Qué cambios le haría al sistema?
Creo que es bueno y tiene opciones de mejora
Es adecuada
Dar etiquetas de ayuda en el algoritmo, una opción
semiautomática, poder colocar la imagen final (candidatos)
sobre la original.