1 PROJECTE MUPA – UOC RESULTATS DEL SEGON TEST D’USUARIS Maig 2003 2 Índex: 1- Metodologia utilitzada en aquesta 6a fase: 2on Test amb usuaris a) Definició dels perfils d’usuari b) Disseny de les tasques proposades c) Dissenys dels formularis PRE i POST test d) Laboratori d’usabilitat e) Realització del les tasques f) Realització dels formularis PRE i POST test g) Exploració de les dades obtingudes del test 2- Descripció dels resultats per tasques Anàlisi del Escenari 1: Plana d’inici del Campus Virtual UOC. Tasca 1: Anar a buscar un missatge nou que ha enviat el professor dels teus estudis al tauler. Tasca 2: Has rebut un missatge a la teva bústia de SD amb unes indicacions concretes. Llegeix-lo i segueix les indicacions. Anàlisi del Escenari 2: Les Aules. Tasca 3: Tenim un dubte o consulta a realitzar a “Suport docència”, on aniries a fer la consulta? Tasca 4: Detectes que un alumne ha lliurat totes les PAC’s menys la darrera, llavors et vols posar en contacte amb el “Tutor” de l’alumne, com ho faries? Tasca 5: On buscaries un avís d’alguna novetat que afecta específicament a un consultor 3- Resultats dels formularis PRE i POST test 4- Anàlisi numèric dels test d’usuaris 3 1- Metodologia utilitzada en aquesta 6 a fase del projecte a) Definició dels perfils d’usuari En aquesta fase del projecte, el primer pas va ser la definició dels perfils dels usuaris que interactuarien amb les maquetes proposades. Van sorgir dos perfils, els quals especifiquem a continuació: PERFIL 1: (Novell) - Que sigui CONSULTOR. Cap experiència amb el nou Campus de la UOC (Primer semestre). Població: Barcelona o rodalies. PERFIL 2: (Expert) - Que sigui CONSULTOR. - Tingui experiència amb el nou Campus de la UOC, i també amb el campus vell. - Població: Barcelona o rodalies. Com es pot observar, només es van tenir en compte tres variables, com són: - El perfils dins la UOC. L’experiència amb la interfície avaluada. La variable geogràfica de Població. El segon pas, va ser convidar als usuaris a la realització dels test. Cal destacar el canvi en el procés de reclutació d’usuaris en aquesta segona sessió de test, degut a la experiència negativa de la primera sessió de tests d’usuaris. En aquesta segona fase de test, la reclutació la va realitzar una persona amb un perfil administratiu, això va descarregar de feina al responsable del projecte facilitant l’evolució del projecte. El nombre d’usuaris avaluats en aquest 2on test d’usuaris és el següent, tres usuaris del perfil 2 i un del perfil 1. 4 b) Disseny de les tasques proposades El disseny de les tasques proposades es va realitzar desprès d’analitzar els resultats dels test Heurístic i en paral·lel amb la implementació de les maquetes utilitzades en el test d’usuaris. Els criteris que es van tenir en compte per redactar les tasques proposades van ser els següents: - Tasques que realitzen habitualment els CONSULTORS. Analitzar les millores (canvis) proposades en les noves maquetes. Possibles millores proposades pels usuaris, un cop ja han interactuat amb la maqueta. El temps possible de cada tasca. D’aquí van sorgir cinc tasques proposades per a la realització dels test d’usuaris, que són les següents: Tasca 1: Anar a buscar un missatge nou, que ha enviat el professor dels teus estudis al tauler. Tasca 2: Has rebut un missatge a la teva bústia de SD amb unes indicacions concretes. Llegeix-lo i segueix les indicacions. Tasca 3: Tenim un dubte o consulta a realitzar a “Suport docència”, on aniries a fer la consulta? Tasca 4: Detectes que un alumne ha lliurat totes les PAC’s menys la darrera, llavors et vols posar en contacte amb el “Tutor” de l’alumne, com ho faries? Tasca 5: On buscaries un avís d’alguna novetat que afecta específicament a un consultor? El temps estimat per a la realització de les tasques era: TASCA/TEMPS TASCA 1 1 minuts TASCA 2 3 minuts TASCA 3 1 minuts TASCA 4 1:30 minuts TASCA 5 1:30 minuts 5 c) Disseny dels formularis PRE i POST test c.1) Formulari PRE test d’usuaris El disseny d’aquest formulari va en relació amb les dades que es volien obtenir, que en aquest cas només eren dades personals i dades tècniques de l’usuari. També es va fer firmar un paper a l’usuari on se li comunicava: LA POLÍTICA DE CONFIDENCIALITAT I PROTECCIÓ DE DADES DE CARÀCTER PERSONAL FACILITADES PELS USUARIS A LA UNIVERSITAT OBERTA DE CATALUNYA (UOC). Degut a que en el test d’usuaris capturem tant vídeo con àudio del usuari. c.2) Formulari POST test d’usuaris El disseny d’aquest formulari va en relació amb les dades que es volien obtenir, que en aquest cas era el grau de satisfacció desprès de la realització del test d’usuaris. Aprofitant que teníem a l’usuari, també se li van fer cinc preguntes al respecte de com li havia semblat el test, i el tracte amb el monitor de test, el resultats d’aquestes preguntes no sortiran reflectits en aquest document, però serveixen per anar millorant l’experiència d’usuari. 6 d) Laboratori d’usabilitat Els test d’usuaris s’han avaluat amb dos PC’s on es recullen les dades en local. Concretament es capturen: PC1: - La navegació del “Escriptori” amb el programa Camtasia Studio (www.techsmith.com ). PC2: - Les representacions facials i la veu de l’usuari amb una WebCam. Les característiques tècniques dels PC’s són les següents: HARDWARE: - Pentium III (450MHZ). HD 6 GB. 256 MB RAM. 1 Monitor de 17’’. 1 targeta gràfica. 2 targeta de so. Altaveus. Mouse + Teclat. Disquetera. Lector de CD. Micròfon de casc. Webcam amb micròfon intern. SOFTWARE: - Windows 98, Windows XP. Connexió Intranet UOC. Drivers Webcam. Camtasia Studio. El navegador utilitzat per a la realització del test d’usuaris ha sigut l’Internet Explorer 6.0. La velocitat de transmissió utilitzada era la xarxa interna UOC. Tots els test es van realitzar en Català. 7 e) Realització de les tasques La direcció i monitorització del test la va executar la mateixa persona, el monitor de test. El monitor de test És l’encarregat de donar la benvinguda a l’usuari, explicar-li una mica com va el laboratori i el perquè de la webcam, comentar a l’usuari els objectius del test. Un cop començat el test, el monitor és l’encarregat d’anar llegint a l’usuari les tasques a realitzar amb les maquetes i recordar a l’us uari que ha d’anar explicant tots els passos que va fent veu alta. Durant la realització del test, el monitor de test anava apuntat els problemes o comentaris de l’usuari. El monitor de test és l’encarregat de analitzar les dades obtingudes dels test d’usuaris, ajudant-se amb les observacions rebudes de dos o tres observadors. 8 f) Realització dels formularis PRE i POST test f.1) Formulari PRE test d’usuaris Aquest formulari es feia omplir a l’usuari abans de la realització de les tasques amb la maqueta, ja que se li feia firmar “LA POLÍTICA DE CONFIDENCIALITAT I PROTECCIÓ DE DADES DE CARÀCTER PERSONAL FACILITADES PELS USUARIS A LA UNIVERSITAT OBERTA DE CATALUNYA (UOC).” Se li donava aproximadament cinc minuts per omplir-lo, i se li permetia realitzar qualsevol pregunta o suggeriment. f.2) Formulari POST test d’usuaris Aquest formulari es feia omplir a l’usuari un cop finalitzada la realització de les tasques amb la maqueta. Se li dona aproximadament cinc minuts per omplir el formulari, però el temps es pot allargar si es comencen a discutir algun punt del test, al ser preguntes obertes. 9 g) Exploració de les dades obtingudes al test En aquesta fase del projecte es segueix la mateixa rutina que en la primera sessió de test d’usuaris (Fase 4 del p rojecte MUPA – UOC). Les dades obtingudes en el test d’usuaris són analitzades pel monitor de test que avalua tota la informació amb el visionat dels vídeos capturats tant del Escriptori com els vídeos capturats de la Webcam amb l’ajuda del programa Usability Logger (http://www.usabletools.com/). Les variables quantitatives avaluades van ser les següents: ? Time on tasks (Temps en cada tasca). ? Task completion (% de la tasca completada). ? Categories 10 2- Descripció dels resultats per tasques Tasca1 : Anar a buscar un missatge nou que ha enviat el professor dels teus estudis al tauler. Dels 4 usuaris que realitzen el test, els quatre realitzen amb èxit aquesta tasca, tots van destacar la bandereta vermella com una ajuda per destacar els missatges nous. Tots van comentar que actualment aquesta tasca la realitzen mitjançant la bústia personal o els grups de treball. Tot els usuaris destaquen aquesta nova aplicació com a una millora important, i que facilitarà molt la comunicació entre consultors d’una mateixa assignatura i els seu professor (coordinador). imatge de l’accés directe a la SALA DELS ESTUDIS. 11 Tasca 2: Has rebut un missatge a la teva bústia de SD amb unes indicacions concretes. Llegeix-lo i segueix les indicacions. Aquesta tasca consistia en llegir un missatge de Suport Docència a la teva bústia personal, on t’indicava que havies d’utilitzar una aplicació que es trobava dins de l’Aula, l’aplicació en concret era la de revisió d’examen. Amb aquesta tasca es volia avaluar dues coses: a) Si anirien a buscar aquesta aplicació a l’Aula, o per el contrari farien valer la seva experiència al Campus i anirien directament a Suport Docència que és on es trobava actualment. b) Si han aconseguit arribar a l’Aula, a quina pestanya de l’Aula anirien a buscar l’aplicació. a) Aconsegueixen entrar a l’Aula? Els quatre usuaris entenen el missatge de Suport Docència i van directament a l’Aula. b) A quina pestanya de l’Aula van a buscar l’aplicació de revisió d’exàmens? Els quatre usuaris van a buscar l’aplicació de revisió d’examen a la nova pestanya Aplicacions d’un consultor. Cal destacar que un usuari ho va aconseguir finalment, però es va sobrepassar dels temps donat per aquesta tasca, per això se li puntua amb un 50% de la tasca completada. 12 Els quatre usuaris testats, valoren molt positivament la integració de les Aplicacions d’un consultor dins de l’aula. imatge de l’Aula . Remarcar en negreta l’opció activa en el període del semestre: Tots els usuaris que han aconseguit trobar l’aplicació la troben fàcilment ja que està amb un estil negreta enfront de les altres aplicacions, això facilita molt la cerca. Conclusions de la Tasca 2: S’ha solucionat el problema que va sorgir en el primer test d’usuaris, ens referim al títol de la nova pestanya. Vam arribar a la conclusió que el nom de Consultoria era massa general. En aquesta nova maqueta es va substituir el nom de la pestanya per Aplicacions d’un consultor. Podem veure que s’ha aconseguit un radi d’èxit del 100%. 13 Anàlisi del Escenari 2: Les Aules. Se’ls hi demana als usuaris que naveguin una mica per l’Aula i comentin si troben algun canvi respecte a la seva Aula. Informació del títol i el número de l’Aula: Cap del usuaris és capaç de diferenciar en quin número d’Aula està dins de l’Aula. Cap es dona conte de que la informació del numero de l’Aula es troba en el “Bread Crums”. imatge del “Bread Crums”. Això pot provocar que un Consultor amb més d’una Aula de la mateixa assignatura, tingui problemes per diferenciar-les. S’hauria de remarcar o posicionar en un altre lloc més preferència el número de l’Aula. Respecte al títol de l’Aula, tots el troben, però hi ha una queixa general de que no es veu fàcilment, tot i que es troba en una posició preferencial de l’Aula. Aquest problema ja va sorgir en el Test Heurístic i en el 1er Test d’usuaris, on es va destacar que la cromàtica utilitzada per representar el títol de l’Aula no era l’idoni. imatge del títol de l’Aula 1. 14 Tasca 3 : Tenim un dubte o consulta a realitzar a “ Suport docència”, on aniries a fer la consulta? Dos dels quatre usuaris utilitzen l’enllaç “Atenció de consultes per a Docents“, per enviar una consulta a Suport Docència, i entenen perquè serveix. Els altres dos, van a Suport Docència. imatge de l’enllaç Atenció de consultes per a Docents. Conclusions de la Tasca 3: Si valorem aquest resultats amb el del primer test, també són satisfactoris. Recordem que molts dels usuaris en el primer test no entenien que volia dir l’enllaç de “Enviar un missatge al SUCD”, això s’ha solucionat canviant el títol d’aquesta opció per “Atenció de consultes per a docents“. Els dos usuaris que han utilitzat la opció de Atenció de consultes per a docents, han valorat molt positivament que s’afegís aquest enllaç dins de l’Aula. Sobretot per als Consultors nous, que són els que poden tenir més problemes. Els altres dos usuaris han decidit anar a fer la consulta a Suport Docència, que també seria un camí vàlid, tot i que en els resultats numèrics s’ha valorat com tasca no completada, perquè el que s’estava analitzant era el nou enllaç afegit de Atenció de consultes per a docents. 15 Tasca 4: Detectes que un alumne ha lliurat totes les PAC’s menys la darrera, llavors et vols posar en contacte amb el “Tutor” de l’alumne, com ho faries? Tres dels quatre usuaris realitzen la tasca satisfactòriament. Els usuaris van trobar la informació utilitzant l’aplicació “Consulta dels estudiants d’un consultor/a i del seu tutor/a” des de la nova pestanya de Aplicacions d’un consultor. L’únic usuari que no va realitzar amb èxit la tasca, va argumentar que no sabia quina era la relació Consultor/Tutor dins la UOC. 16 Tasca 5: On buscaries un avís d’alguna novetat que afecta específicament a un c onsultor? Aquesta era la tasca més problemàtica de la primera sessió de test d’usuaris. Es va arribar a la conclusió de que no era una bona opció afegir les Novetats Suport Docència a l’apartat Novetats i Notícies de la plana d’inici del Campus Virtual. La nova proposta va ser, afegir un accés directe amb estructura d’Aula per a Suport Docència, com es pot observar en la següent imatge. imatge de l’accés directe a Suport Docència. I afegir les Novetats Suport Docència al Tauler de Suport Docència. 17 Conclusions de la Tasca 5: Amb aquestes noves propostes s’ha aconseguit que tres dels quatre usuaris realitzin la tasca amb èxit. A més, cal afegir que els tres usuaris que han realitzat la taca amb èxit han comentat que seria una bona eina per centralitzar els missatges que reben tant de Suport Docència, Alumnes, correu personal, etc. A continuació mostrarem els resultat numèrics obtinguts del test d’usuaris: 18 Time On Tasks (in seconds) (Temps en cada tasca) TASCA TASCA 2 1 (1 min) (3 min) 60seg 180seg TASCA 3 (1min) 60seg TASCA TASCA 5 4 (1:30 (1:30 min) min) 90seg 90seg Anàlisi del Escenari 1 : Plana d'inici del Campus Virtual UOC Anàlisi del Escenari 2 : Les Aules Total USUARI 1 21 91 37 45 368 118 425 1105 USUARI 2 13 118 43 53 41 345 126 739 USUARI 3 21 311 90 89 42 328 281 1162 USUARI 4 17 238 12 203 6 333 343 1152 Total 72 758 182 390 457 1124 1175 Nota: Els resultats d’aquesta taula s’han de valorar amb mesura, ja que la variable que s’està calculant (el temps), així ho requereix. Hi ha tasques que poden variar considerablement respecte al temps estimat per ella, això es degut a possibles interrupcions de l’usuari en forma de preguntes cap al monitor de test. 19 Time On Tasks (in seconds) (Temps en cada tasca) 20 Time On Tasks (in seconds) (Temps en cada tasca) MITJA 21 Task Completion (in percentage) (% de la tasca completada) TASCA 1 TASCA 2 TASCA TASCA TASCA Anàlisi del Anàlisi del (1 min) (3 min) 3 (1min) 4 (1:30 5 (1:30 Escenari 1 : Plana Escenari 2 : Les 60seg) 180seg 60seg min) min) d'inici del Campus Aules 90seg 90seg Virtual UOC Total USUARI 1 USUARI 2 USUARI 3 USUARI 4 100 100 100 100 100 100 50 100 100 0 0 100 100 100 0 100 0 100 100 100 100 100 100 100 100 100 100 100 Total 400 350 200 300 300 400 400 600 600 450 700 Nota: Com es pot veure en aquesta taula de resultats, només s’han tingut en compte les tasques aconseguides amb un 100% d’èxit completat. S’ha pres aquesta restricció per poder veure clarament on podíem trobar els problemes d’usabilitat. Només en el cas de Usuari3/Tasca2 s’ha puntuat un 50% de la tasca realitzada per sobrepassar el temps estimat, tot i que es va aconseguir la realització de la tasca. Els valors d’aquesta taula estan reforçats amb els resultats qualitatius obtinguts i comentats amb anterioritat. 22 Task Completion (in percentage) (% de la tasca completada) 23 Task Completion (in percentage) (% de la tasca completada) MITJA 24 Categories problema general Torna inici usuari parlant saps on estàs? USUARI 1 0 2 2 0 2 19 2 3 30 USUARI 2 0 2 3 0 3 16 1 2 27 USUARI 3 0 4 0 1 4 15 1 5 30 USUARI 4 0 2 2 0 2 14 1 3 24 Total 0 10 7 1 11 64 5 13 Pensant Frustració Llegint scroll finestra Total Nota: Aquestes dades són orientatives, el seu valor dins d’aquest document és informatiu. No podem extreure’n conclusions viables d’elles. 25 Conclusions finals Si es comparen els resultats obtinguts en les dues sessions de tests d’usuaris, podem observar que els resultats en aquesta segona sessió han esta molt més satisfactoris. Si comparem les dues tasques més problemàtiques del 1er test, que van ser: ? Tasca 2: Afegir una nova pestanya a l’Aula amb les aplicacions necessàries per un consultor. ? Tasca 5: Situació dins la plana d’inici del Campus de les novetats i notícies específiques pel perfil Consultor. Podem observar tant en els resultats qualitatius com en els quantitatius com s’han millorat els resultats. Si parlem de la Tasca 2, s’ha passat de 1 usuari sobre 7 possibles que va realitzar la tasca amb èxit, a 3,5 sobre 4 usuaris en la segona sessió de test. Si parlem de la Tasca 5, s’ha passat de 0 usuari sobre 7 possibles que va realitzar la tasca amb èxit, a 3 sobre 4 usuaris en la segona sessió de test. També cal destacar que s’ha millorat la Tasca 1 que ha aconseguit un èxit del 100% en tots els usuaris testats. La Tasca 2,3 més o menys s’ha mantingut amb els mateixos resultats que la primera sessió de tests, ja que no van ser tasques problemàtiques. 26 FI DEL DOCUMENT Realitzat per : David Rodríguez Gabaldón [email protected]