Abans de començar

Els qüestionaris són una tècnica exploratòria que ens permet recollir informació mitjançant les respostes que proporcionen les persones usuàries. Es tracta, doncs, d’una bateria de preguntes dissenyades per a obtenir informació sobre una realitat que volem descobrir amb cert nivell de profunditat i detall.

Per aquest motiu es poden inscriure en diferents fases dins d’un procés de disseny centrat en les persones, ja que ofereixen respostes sobre com utilitzen les persones usuàries un producte interactiu.

Per tant, l’ús de qüestionaris pot venir donat per diferents aspectes que poden situar-se a les diferents fases del procés de disseny centrat en les persones. Per exemple, es poden utilitzar qüestionaris en les fases més inicials d’investigació per a recollir dades sobre les persones per a les quals estem dissenyant una solució o per a contrastar quantitativament dades obtingudes mitjançant l’ús d’alguna tècnica qualitativa com pot ser l’entrevista. Tot i això, el seu ús més habitual és durant la fase d’avaluació, ja sigui per a descobrir la satisfacció global de l’ús del producte/servei per part de la persona usuària o per a recollir-ne aspectes relacionats amb la utilitat, ús i usabilitat.

Preparació

Definir els objectius de la investigació

Abans d’iniciar el disseny de les preguntes cal tenir clar quins són els objectius de la investigació que es durà a terme, és a dir, quina és la informació que necessitem obtenir. Aquesta reflexió inicial determina el tipus de qüestionari que caldrà utilitzar, la tipologia de preguntes a utilitzar, la redacció d’aquestes, l’ordre, la distribució i la mostra que cal que respongui a les nostres preguntes.

Així, doncs, el primer que cal fer és definir la hipòtesi de la investigació i, a partir d’aquesta, respondre les següents preguntes:

  • Quin és l’objectiu de la investigació?
  • Quina és la informació necessària per a comprovar la hipòtesi?
  • Quines són les dades més rellevants que necessitem obtenir?
  • Quines són les dades complementàries que necessitem o podem obtenir?

Definició de la mostra, la logística i la distribució del qüestionari

Un cop està ben definit el punt anterior, cal definir qui ha de respondre a les preguntes del qüestionari, tenir clar quin és el marge d’error que pot tenir el nostre qüestionari en funció del nombre de persones que l’hagin de respondre i planificar quin serà el mitjà pel qual respondran les persones usuàries, així com quan ho faran i com se’ls farà arribar.

No té sentit, per exemple, preguntar a la persona usuària si li agrada una aplicació just quan l’acaba de descarregar o demanar-li que valori el procés de compra d’un comerç electrònic si encara no l’ha utilitzat. De la mateixa manera que cal decidir en quin moment es presentarà el qüestionari a la persona usuària, cal decidir el format que se li farà arribar: correu electrònic, notificació automàtica, trucada telefònica, etc.

Tots aquests detalls determinaran el disseny posterior de les preguntes, ja que afectaran la durada i llargada del qüestionari, així com la redacció dels enunciats i, fins i tot, la tria de programari específic per a crear i distribuir el qüestionari. Quines són les dades complementàries que necessitem o podem obtenir?

Triar el qüestionari a utilitzar

Qüestionaris estandarditzats

Per al mesurament de la usabilitat i satisfacció subjectiva de la usabilitat, hi ha qüestionaris estandarditzats que faciliten la tasca d’avaluació d’una interfície. Generalment aquests qüestionaris s’utilitzen després de la realització d’un test amb persones usuàries, sigui per a orientar un redisseny o per a avaluar un nou disseny abans de treure’l al mercat.

Els avantatges que tenen aquests qüestionaris és que ja tenen preestablertes les preguntes i les mètriques que s’usen per a analitzar-los. Per contra, no ens permeten adaptar les preguntes al producte/servei concret que estiguem investigant, per la qual cosa val la pena reflexionar bé sobre el moment exacte en què val la pena apostar per un qüestionari estandarditzat.

SUS (system usability scale)
El qüestionari SUS té com a propòsit proporcionar un test ràpid i fàcil de completar i puntuar que permeti avaluar la usabilitat percebuda per part de les persones usuàries. D’aquesta manera també és possible establir comparacions entre sistemes. El qüestionari SUS és dels més utilitzats per a recollir informació després d’un test de tasques, ja que les seves 10 preguntes estan orientades a descobrir les sensacions percebudes per la persona usuària durant la utilització d’un sistema interactiu. Cada pregunta té una escala de l’1 al 5 com a resposta, on 1 és “Completament d’acord” i 5 “Completament en desacord”. La persona usuària ha de respondre a totes les preguntes.

Preguntes del qüestionari SUS:

  • Crec que m’agradarà usar sovint aquest sistema.
  • He trobat el sistema innecessàriament complex.
  • He pensat que el sistema és fàcil d’utilitzar.
  • Crec que necessitaria el suport d’un expert per a recórrer el sistema.
  • He trobat les diverses possibilitats del sistema bastant ben integrades.
  • He pensat que hi havia massa inconsistència en el sistema.
  • Imagino que la majoria de les persones aprendrien molt ràpidament a utilitzar el sistema.
  • He trobat el sistema molt incòmode d’usar.
  • M’he sentit molt confiat en el maneig del sistema.
  • Necessito aprendre moltes coses abans de manejar amb comoditat el sistema.

L’escala del qüestionari SUS, basada en l’estil Likert, permet tractar les dades de manera que el resultat final és un valor únic que representa una mesura composta de la usabilitat del sistema global estudiat. D’aquesta manera cal destacar que les puntuacions independents no són significatives per si mateixes, ja que cal calcular la puntuació global.

Per a calcular el resultat cal fer una suma de les contribucions de cada punt, tenint en compte que cada punt valdrà entre 0 i 4. Cal aplicar aquesta regla per a obtenir les contribucions de cada punt:

Per als punts 1, 3, 5, 7 i 9 cal restar-ne 1 a la posició de l’escala.

Per als punts 2, 4, 6, 8 i 10 cal sumar-ne 1 a la posició de l’escala.

Un cop tenim el valor total mitjançat la suma de totes les contribucions, multipliquem el resultat per 2,5 i així obtindrem el valor global del SUS, un resultat entre 0 i 100.

L’escala d’usabilitat del sistema no és diagnòstica; per tant, només aporta una puntuació per a entendre si la usabilitat global d’un sistema s’ha percebut com a bona o no.

La puntuació mitjana de l’escala és de 68. Si la puntuació és inferior a 68, significa que és molt probable que hi hagi problemes greus amb la usabilitat que cal identificar i solucionar. Una puntuació superior a 68 es considera positiva, però denota que hi ha alguna mancança en la usabilitat. Així doncs, sempre cal acompanyar el SUS d’una anàlisi qualitativa per a contextualitzar i entendre les dades.

El SUS és d’ús lliure sempre que se n’esmenti la font: Copyright Digital Equipment Corporation, 1986.

Altres qüestionaris
Hi ha molts altres qüestionaris estandarditzats centrats en la usabilitat i satisfacció, alguns amb llicències lliures i gratuïtes i altres que cal adquirir per a poder ser utilitzats:

  • SUMI (software usability measurement inventory). El SUMI és un qüestionari que permet avaluar la qualitat d’un conjunt de programari. És molt útil per a avaluar productes i comparar-los amb versions anteriors. L’inconvenient que presenta és que es compon d’un total de 50 preguntes. L’avantatge principal és que amb la resposta d’entre 12 i 30 persones usuàries ja hi ha prou mostra per a obtenir resultats interessants.
  • MUMMS (measuring the usability of multi-media systems). El MUMMS té el mateix objectiu que el SUMI, però la diferència principal és que inclou cinc subescales:
    • Una centrada en la mesura de les respostes emocionals de la persona usuària.
    • Una en el grau del control que sent la persona usuària.
    • Una en el grau d’eficiència amb la qual la persona usuària creu que pot aconseguir els seus objectius mitjançant la interacció.
    • El nivell d’ajuda i assistència que proporciona el sistema.
    • La facilitat d’aprenentatge que percep la persona usuària.
  • SUPRQ (standardized used experience percentile rank questionnaire). El SUPRQ és un qüestionari de 8 preguntes que permet mesurar la qualitat de l’experiència de la persona usuària d’un producte interactiu. Per a fer-ho, se centra en quatre dimensions del producte interactiu: usabilitat, credibilitat, satisfacció i aparença. Les respostes també es configuren en una escala Likert de l’1 al 5, on 1 és “Molt en desacord” i 5 “Molt d’acord”. Disposa d’una eina que s’inclou amb la llicència (no és un qüestionari d’accés lliure) que permet calcular els valors per cada dimensió i fer comparativa dins la seva base de dades.

Hi ha altres qüestionaris estandarditzats que val la pena conèixer:

  • CSUQ (computer system usability questionnaire)
  • ASQ (after-scenario questionnaire)
  • CUSI (computer user satisfaction inventory)
  • USE (usefulness, satisfaction, and ease of use)
  • ISONORM 9241/10
  • PUEU (perceived usefulness and ease of use)

Dissenyar el nostre propi qüestionari: tipologia de preguntes

Cal destacar que l’ús dels qüestionaris sol respondre a la necessitat d’obtenir informació que volem tractar de manera pràcticament automàtica. Així, doncs, és rellevant conèixer les característiques que han de tenir les preguntes a formular i tenir capacitat per a triar a cada moment la tipologia de pregunta que millor s’escau al tipus d’informació que es vol obtenir.

Preguntes obertes
Són les preguntes en les quals permetem a les persones usuàries que escriguin les seves respostes. Permeten obtenir matisos i detalls, però alhora resulten difícils d’automatitzar, ja que no es poden tabular.

Preguntes tancades
Són preguntes que ofereixen opcions de respostes tancades, és a dir, ofereixen les diferents alternatives que pot respondre la persona usuària. Permeten el tractament automàtic de les dades obtingudes, però si no es dissenyen les respostes possibles pensant en totes les opcions existents, poden provocar biaixos i pèrdua de riquesa. Cal tenir present que si són respostes d’opció única, les alternatives han de ser excloents entre elles. En canvi, si són preguntes d’opció múltiple, cal delimitar el nombre mínim i màxim d’opcions que pot seleccionar la persona usuària. Un altre aspecte a tenir en compte quan es dissenyen les respostes és que no han de seguir cap ordre concret, ja que les persones usuàries tenen tendència a respondre les primeres opcions que llegeixen que s’adeqüin al que cerquen. Per tant, s’ha d’evitar l’ús de l’ordre alfabètic i s’ha d’intentar usar un programari que permeti barrejar les respostes als diferents participants del qüestionari (opcions aleatòries). Per últim, un nombre massa elevat de respostes possibles també comportarà problemes a les persones usuàries. Idealment no haurien d’existir més de 7 possibles alternatives.

Preguntes en bateria
Són preguntes que es formulen per a realitzar-les de forma seqüencial en funció de la resposta que la persona usuària seleccioni a la pregunta anterior. D’aquesta manera es pot aprofundir en un tema concret. Cal plantejar-les bé per a evitar que la persona usuària se senti perduda o arribi a un punt de no retorn. Els salts lògics i les diferents ramificacions que puguin existir en una successió s’han de planificar i provar abans de llançar el qüestionari al públic.

Preguntes d’avaluació
Són preguntes en les quals demanem a la persona usuària que valori un aspecte o la totalitat d’un producte o servei. Generalment s’utilitza una escala de caràcter numèric o una valoració qualitativa. En aquestes preguntes cal evitar oferir un valor numèric o opció qualitativa intermèdia, ja que les persones usuàries tendiran a donar aquell valor. Així doncs és preferible una escala del 0 al 5 que de l’1 al 5, per exemple.

Mètode de Likert
També se l’anomena mètode d’avaluacions sumàries. L’escala de Likert és aquella on la persona usuària indica el seu grau d’acord o desacord sobre un conjunt d’enunciats o declaracions. És una de les escales més utilitzada en el disseny de qüestionaris en investigacions de ciències socials, ja que permet anar més enllà de la dicotomia “Sí/No” i amb ella es pot obtenir informació sobre opinions, percepcions i comportaments. Les escales Likert es poden utilitzar per recollir informació relacionada amb la satisfacció, la usabilitat, l’opinió sobre una novetat, les percepcions sobre l’ús d’un producte o servei, etc.

Per a elaborar preguntes amb elements Likert de resposta, cal plantejar enunciats positius i negatius sobre la mateixa temàtica, ja que així podrem detectar si es donen incongruències en les respostes. Cal tenir en compte en aquest punt que és recomanable convertir els enunciats en preguntes, ja que les declaracions tenen el risc de provocar que les persones usuàries responguin que hi estan d’acord, per no provocar el biaix de consentiment. Aquest fenomen és comú en enquestes i qüestionaris quan hi ha declaracions absolutes o molt òbvies i provoca que les persones usuàries tinguin tendència a respondre que estan d’acord amb un aspecte.

Exemple:

“Ha resultat fàcil utilitzar el cercador d’aeroports?”

“Ha estat difícil seleccionar els aeroports?”

Generalment, s’utilitzen 5 elements de resposta: “Totalment en desacord”, “En desacord”, “Ni d’acord ni en desacord”, “D’acord” i “Totalment d’acord”. D’aquesta manera es mesura l’actitud positiva, negativa i neutral que tenen les persones usuàries cap a una situació o element explicitat en un enunciat.

Per a obtenir informació tan concreta i acurada com sigui possible quan s’utilitza una escala d’aquest tipus cal tenir present que els enunciats i/o preguntes han de ser tan específiques com es pugui. Per exemple, si es vol preguntar sobre el procés de reserva d’un vol en una aplicació, és més recomanable fer preguntes específiques per cada fase del procés que no una de genèrica sobre el procés en conjunt.

De la mateixa manera, cal triar amb molta cura els adjectius que formaran part de l’escala, si és que s’opta per utilitzar paraules textuals. Les respostes han d’incloure paraules descriptives que facilitin la comprensió de cada element de l’escala. De fet, encara que s’utilitzin valors numèrics per a l’escala, és recomanable incloure una referència textual per a la qual les persones usuàries identifiquin clarament el rang positiu, negatiu i neutre de cada opció de resposta.

Desenvolupament / execució

Aspectes a tenir en compte en la construcció de qüestionaris

Tot i existir qüestionaris estandarditzats, ja hem vist que no sempre responen a les necessitats d’investigació concretes; per tant, és important saber quin qüestionari triar en cada moment, així com dissenyar els nostres propis qüestionaris.

Hi ha alguns aspectes que cal considerar en el moment de dissenyar un qüestionari, atès que poden afectar l’èxit o fracàs en el moment d’aconseguir respostes. Cal tenir present que durant la resposta de la persona usuària no tenim visibilitat; així que cal plantejar qüestionaris que resultin fàcils i no requereixin un esforç més elevat del que ja suposa. A més, cal tenir present que les persones usuàries, quan responen qüestionaris, generalment volen donar les respostes tan acurades com sigui possible a la seva experiència.

A continuació se’n detallen algunes recomanacions:

  • Cal que el qüestionari sigui tan breu i concret com sigui possible, ajustat a la quantitat d’informació que necessitem i que pot tenir la persona usuària.
  • S’ha de dissenyar el qüestionari pensant en la persona que l’ha de completar. Així doncs, cal que les preguntes siguin clares i concises, però també les possibles respostes.
  • Cal indicar sempre si les preguntes són obligatòries o opcionals, preferentment amb un text i no només amb el símbol estàndard de l’asterisc (*). De la mateixa manera, cal especificar si les preguntes tenen resposta múltiple i quin és el nombre màxim d’opcions que es poden triar en aquests casos.
  • Les preguntes seran vàlides sempre que no portin lloc a biaixos mitjançant induccions o valoracions en el mateix enunciat. Han de ser neutrals. Per aquest motiu els enunciats no han de presentar paraules que després s’incloguin a les possibles respostes o dobles negacions. La millor manera de començar una pregunta que pot portar aquest tipus de problemàtiques és “Què penses de…?”.
  • Tant els enunciats de les preguntes com les diferents opcions de resposta han de ser curtes. Les persones usuàries no haurien de llegir dues vegades per recordar ni la pregunta ni les opcions.
  • Si el qüestionari és purament quantitatiu, val la pena incloure preguntes negatives per a evitar el fenomen del quick finger, és a dir de la resposta ràpida de la persona usuària.
  • Per a aconseguir un nombre elevat de respostes cal limitar el nombre de preguntes, no és recomanable que un qüestionari requereixi més de 7 minuts per a ser contestat.
  • Si el nombre de preguntes a plantejar és molt extens, val la pena fer la reflexió de si es pot dividir el qüestionari en dos. És millor dos qüestionaris de 10 preguntes ràpides de respondre en dos moments diferents de l’experiència de la persona usuària que un sol formulari de 20 preguntes.
  • Es recomana plantejar una seqüència de preguntes en què les preguntes més senzilles per a la persona usuària estiguin a l’inici i la dificultat creixi a mesura que s’avança.
  • L’ordre de les preguntes ha de ser lògic segons les temàtiques o categories que es plantegin. Es recomana agrupar per categories i afinitats per tal de situar la persona usuària i reduir-li l’esforç cognitiu.
  • Cal equilibrar el nombre de preguntes obertes i tancades que s’inclouen. Les persones usuàries tenen tendència a abandonar els qüestionaris que només inclouen preguntes obertes.
  • Cal identificar quins són els millors punts per a fer un salt de pàgina.
  • És recomanable mostrar en tot moment el progrés del qüestionari, ja sigui oferint el nombre total de preguntes i el número de la pregunta que s’està responent o oferint el percentatge de preguntes completades.
  • Cal introduir opcions de “Prefereixo no respondre” per a aquelles preguntes que poden afectar temes personals o delicats, sobretot si es tracta de preguntes obligatòries, atès que la no existència d’aquesta opció pot provocar que hi hagi persones que abandonin el procés de resposta.
  • Cal introduir opcions obertes d'”Altres” per a garantir que cobrim totes les respostes possibles.
  • Cal introduir opcions de “No aplica” o “No ho utilitzo” en aquelles preguntes que ho puguin requerir, per a evitar que les persones usuàries facin respostes falses perquè no tenen l’opció que realment els cal.
  • Si cal introduir paràgrafs explicatius o introductoris, cal destacar-los de manera que la persona usuària ho identifiqui com a informació rellevant. Si no, el més probable és que no ho llegeixi.
  • Es recomana provar el qüestionari i revisar-lo abans de distribuir-lo entre les persones usuàries.
  • Si s’utilitza programari específic, es recomana emprar una eina que permeti registrar les respostes no finalitzades. D’aquesta manera, a part d’aconseguir informació, es pot valorar en quin punt del qüestionari hi ha més abandonaments.
  • De la mateixa manera que cal dissenyar molt bé les preguntes, cal tenir present l’aspecte gràfic del qüestionari. Un qüestionari atractiu gràficament té més possibilitats d’obtenir respostes.

Anàlisi / Resultats

Problemes habituals

Els problemes habituals que es poden trobar en el moment d’analitzar els resultats d’un qüestionari se solen evitar si es realitza un bon pretest que permeti comprovar la viabilitat i efectivitat del qüestionari.

A continuació es detallen les tipologies de problemes més comuns:

Errors d’estructura
Es donen errors d’estructura quan el qüestionari és massa llarg o el disseny visual d’aquest en dificulta la llegibilitat i la interacció. Hem de tenir present des de quins dispositius pretenem que les persones usuàries responguin a les nostres preguntes i assegurar-nos que la totalitat del qüestionari es pot respondre correctament. També cal calcular el temps que requereix el fet de completar-lo en la seva totalitat. Aquests aspectes relatius al format i la durada són els que poden provocar més abandonament durant el procés de resposta.

Errors d’especificitat
Els errors d’especificitat tenen relació amb els objectius de la investigació i ocorren quan un aspecte clau de la informació que volem obtenir no està inclosa en el qüestionari. Així, obviant aquella temàtica o dimensió estem obtenint informació imprecisa sobre un punt concret que pot provocar que arribem a conclusions esbiaixades. Per exemple, si el nostre qüestionari fa referència al procés de reserva d’una habitació d’hotel i no preguntem sobre la política de cancel·lació, no estem mesurant sobre un aspecte que és clau per a les persones usuàries.

Errors de mesurament
Els errors de mesurament estan generalment provocats per un mal disseny de les preguntes del qüestionari, ja sigui per l’ús del llenguatge utilitzat o per aspectes relacionats amb l’ordre de les preguntes i les respostes. Molts dels errors de mesurament es poden evitar si es tenen en compte els consells comentats a l’anterior apartat sobre la construcció de preguntes: neutralitat de les preguntes, ordenació lògica, evitar biaixos relacionats amb aspectes socials i personals, oferir totes les opcions de resposta possible, etc. També cal tenir en compte aspectes relacionats amb la usabilitat.

Interpretació dels resultats

Cal tenir en compte que els resultats que s’obtenen en un qüestionari, per si sols, no poden aportar una significança prou vàlida per a extreure’n conclusions, així que cal comparar les dades sempre amb altres mesuraments o amb informació extreta mitjançant altres tècniques d’investigació.

Mitjançant els qüestionaris, generalment obtindrem informació quantitativa sobre satisfacció, ús, opinions i comportament i també podem obtenir informació qualitativa si hem donat opcions de preguntes obertes.

La interpretació de les dades ens permet trobar patrons de comportament i buscar els perquès existents darrere d’aquests. Generalment cal un ull entrenat, coneixedor dels models mentals associats a la investigació que estem portant a terme.

Exemples

Typeform
Disposa de versió gratuïta que permet fer enquestes i qüestionaris variats. Per a opcions més elaborades (salts lògics, concatenació de preguntes, etc.), cal tenir una llicència de pagament. Destaca el seu disseny i adaptació multidispositiu. https://www.typeform.com/

Surveymonkey
També disposa de versió gratuïta i inclou la possibilitat d’utilitzar qüestionaris plantilla. Tanmateix, en la versió gratuïta hi ha restriccions que dificulten el treball posterior amb les dades obtingudes. https://www.surveymonkey.com/

Google Forms
L’eina de Google és de les més conegudes i utilitzades i té com a principal avantatge la integració amb els fulls de càlcul, així com amb altres eines. Tanmateix, quant al disseny i configuració és una de les eines més limitades i presenta algunes dificultats per a l’elaboració de bons qüestionaris. https://www.google.es/intl/ca/forms/about/

Hotjar
Hotjar és una solució d’analítica web que té com a avantatge principal la integració de tota la informació en una sola plataforma: mapes de calor, estudis de conversió i seguiment de navegació, enquestes, formularis, etc. Es tracta d’una de les eines més utilitzades professionalment. N’hi ha una versió gratuïta per a estudiants. https://www.hotjar.com/

Referències

CALVO-FERNÁNDEZ RODRÍGUEZ, A.; ORTEGA SANTAMARÍA, S.; VALLS SAEZ, A. «Mètodes d’avaluació amb usuaris». http://openaccess.uoc.edu/webapps/o2/bitstream/10609/12921/9/Usabilitat_Mòdul3_%20Mètodes%20d¿avaluació%20amb%20usuaris.pdf

CALVO-FERNÁNDEZ RODRÍGUEZ, A.; ORTEGA SANTAMARÍA, S.; VALLS SAEZ, A. «Métodos de evaluación con usuarios». http://openaccess.uoc.edu/webapps/o2/bitstream/10609/12922/9/Usabilidad_Módulo3_Métodos%20de%20evaluación%20con%20usuarios.pdf

Tips to create qualitative surveys: https://www.nngroup.com/articles/qualitative-surveys/

Errores en las preguntas de los cuestionarios: http://www.torresburriel.com/weblog/2018/12/18/errores-las-preguntas-los-cuestionarios/

Preguntas abiertas y cerradas en encuestas online: http://www.torresburriel.com/weblog/2018/10/23/preguntas-abiertas-cerradas-encuestas-online/

Likert Scale: https://www.surveymonkey.com/mp/likert-scale/

Errores en cuestionarios online: https://www.legridd.com/ux-errores-en-cuestionarios-online-i-2/

SUPR-Q: A Comprehensive Measure of the Quality of the Website User Experience: http://uxpajournal.org/supr-q-a-comprehensive-measure-of-the-quality-of-the-website-user-experience/