Definir los objetivos de la investigación
Antes de iniciar el diseño de las preguntas hay que tener claro cuáles son los objetivos de la investigación que se llevará a cabo, es decir, qué información necesitamos obtener. Esta reflexión inicial determina el tipo de cuestionario que se deberá usar, la tipología de preguntas a utilizar, la redacción de estas, la orden, la distribución y la muestra que debe responder a nuestras preguntas.
Así pues, lo primero que debemos hacer es definir la hipótesis de la investigación y, a partir de esta, responder a las siguientes preguntas:
- ¿Cuál es el objetivo de la investigación?
- ¿Cuál es la información necesaria para comprobar la hipótesis?
- ¿Cuáles son los datos más relevantes que necesitamos obtener?
- ¿Cuáles son los datos complementarios que necesitamos o podemos obtener?
Definición de la muestra, la logística y la distribución del cuestionario
Una vez está bien definido el punto anterior, hay que definir quién debe responder a las preguntas del cuestionario, tener claro cuál es el margen de error que puede tener nuestro cuestionario en función del número de personas que lo tengan que responder y planificar cuál será el medio por el cual responderán las personas usuarias, así como cuándo lo harán y cómo se les hará llegar.
No tiene sentido, por ejemplo, preguntar a la persona usuaria si le gusta una aplicación justo cuando la acaba de descargar o pedirle que valore el proceso de compra de un comercio electrónico si todavía no lo ha utilizado. Del mismo modo que hay que decidir en qué momento se presentará el cuestionario a la persona usuaria, hay que decidir el formato en el que se le hará llegar: correo electrónico, notificación automática, llamada telefónica, etc.
Todos estos detalles determinarán el diseño posterior de las preguntas, puesto que afectarán a la duración y longitud del cuestionario, así como a la redacción de los enunciados e, incluso, la elección de software específico para crear y distribuir el cuestionario. ¿Cuáles son los datos complementarios que necesitamos o podemos obtener?
Elegir el cuestionario que utilizaremos
Cuestionarios estandarizados
Para la medición de la usabilidad y la satisfacción subjetiva de la usabilidad, hay cuestionarios estandarizados que facilitan la tarea de evaluación de una interfaz. Generalmente estos cuestionarios se utilizan después de la realización de un test con personas usuarias, sea para orientar un rediseño o para evaluar un nuevo diseño antes de sacarlo al mercado.
Las ventajas de estos cuestionarios es que ya tienen preestablecidas las preguntas y las métricas que se usan para analizarlos. Por el contrario, no nos permiten adaptar las preguntas al producto/servicio concreto que estemos investigando, por lo cual debemos reflexionar bien sobre el momento exacto en que merece la pena apostar por un cuestionario estandarizado.
SUS (System Usability Scale)
El cuestionario SUS tiene como propósito proporcionar un test rápido y fácil de completar y puntuar que permita evaluar la usabilidad percibida por parte de las personas usuarias. De este modo también es posible establecer comparaciones entre sistemas. El cuestionario SUS es de los más utilizados para recoger información después de un test de tareas, puesto que sus diez preguntas están orientadas a descubrir las sensaciones percibidas por la persona usuaria durante el uso de un sistema interactivo. Cada pregunta tiene una escala del 1 al 5 como respuesta, donde 1 es «Completamente de acuerdo» y 5 «Completamente en desacuerdo». La persona usuaria debe responder a todas las preguntas.
Preguntas del cuestionario SUS:
- Creo que me gustará usar a menudo este sistema.
- He encontrado el sistema innecesariamente complejo.
- He pensado que el sistema es fácil de utilizar.
- Creo que necesitaría el apoyo de un experto para recorrer el sistema.
- He encontrado las variadas posibilidades del sistema bastante integradas.
- He pensado que había demasiada inconsistencia en el sistema.
- Imagino que la mayoría de las personas aprenderían muy rápidamente a usar el sistema.
- He encontrado el sistema muy incómodo de usar.
- Me he sentido muy confiado en el manejo del sistema.
- Necesito aprender muchas cosas antes de manejar con comodidad el sistema.
La escala del cuestionario SUS, basada en el estilo Likert, permite tratar los datos de forma que el resultado final es un valor único que representa una medida compuesta de la usabilidad del sistema global estudiado. De este modo, cabe destacar que las puntuaciones independientes no son significativas por sí mismas, puesto que hay que calcular la puntuación global.
Para calcular el resultado debe hacerse una suma de las contribuciones de cada punto, teniendo en cuenta que cada punto valdrá entre 0 y 4. Hay que aplicar esta regla para obtener las contribuciones de cada punto:
Para los puntos 1, 3, 5, 7 y 9 debe restarse 1 a la posición de la escala.
Para los puntos 2, 4, 6, 8 y 10 debe sumarse 1 a la posición de la escala.
Una vez tenemos el valor total mediante la suma de todas las contribuciones, multiplicamos el resultado por 2,5 y así obtendremos el valor global del SUS, un resultado entre 0 y 100.
La escala de usabilidad del sistema no es diagnóstica; por lo tanto, solo aporta una puntuación para entender si la usabilidad global de un sistema se ha percibido como buena o no.
La puntuación mediana de la escala es de 68. Si la puntuación es inferior a 68, significa que es muy probable que haya problemas graves con la usabilidad que deben identificarse y solucionarse. Una puntuación superior a 68 se considera positiva, pero denota que hay alguna carencia en la usabilidad. Así pues, siempre hay que acompañar el SUS de un análisis cualitativo para contextualizar y entender los datos.
El SUS es de uso libre siempre que se mencione su fuente: Copyright Digital Equipment Corporation, 1986.
Otros cuestionarios
Hay otros muchos cuestionarios estandarizados centrados en la usabilidad y la satisfacción, algunos con licencias libres y gratuitas y otros que hay que adquirir para poder ser utilizados:
- SUMI (Software Usability Measurement Inventory). El SUMI es un cuestionario que permite evaluar la calidad de un conjunto de software. Es muy útil para evaluar productos y compararlos con versiones anteriores. El inconveniente que presenta es que se compone de un total de cincuenta preguntas. La ventaja principal es que con la respuesta de entre doce y treinta personas usuarias ya muestra suficiente para obtener resultados interesantes.
- MUMMS (Measuring The Usability of Multi-Media Systems). El MUMMS tiene el mismo objetivo que el SUMI, pero la diferencia principal es que incluye cinco subescalas:
- Una centrada en la medida de las respuestas emocionales de la persona usuaria.
- Una centrada en el grado del control que siente la persona usuaria.
- Una centrada en el grado de eficiencia con la que la persona usuaria cree que puede conseguir sus objetivos mediante la interacción.
- El nivel de ayuda y asistencia que proporciona el sistema.
- La facilidad de aprendizaje que percibe la persona usuaria.
- SUPRQ (Standardized Used Experience Percentile Rank Questionnaire). El SUPRQ es un cuestionario de ocho preguntas que permite medir la calidad de la experiencia de la persona usuaria de un producto interactivo. Para hacerlo, se centra en cuatro dimensiones del producto interactivo: usabilidad, credibilidad, satisfacción y apariencia. Las respuestas también se configuran en una escala Likert del 1 al 5, donde 1 es «Muy en desacuerdo» y 5 «Muy de acuerdo». Dispone de una herramienta que se incluye con la licencia (no es un cuestionario de acceso libre) que permite calcular los valores para cada dimensión y hacer comparativa dentro de su base de datos.
Hay otros cuestionarios estandarizados que merece la pena conocer:
- CSUQ (Computer System Usability Questionnaire).
- ASQ (After-Scenario Questionnaire).
- CUSI (Computer User Satisfaction Inventory).
- USE (Usefulness, Satisfaction, and Ease of Use).
- ISONORM 9241/10.
- PUEU (Perceived Usefulness and Ease of Use).
Diseñar nuestro propio cuestionario: tipología de preguntas
Cabe destacar que el uso de los cuestionarios suele responder a la necesidad de obtener información que queremos tratar de forma prácticamente automática. Así pues, es relevante conocer las características que deben tener las preguntas que hay que formular y tener capacidad para elegir en cada momento la tipología de pregunta que mejor cuadra con el tipo de información que se quiere obtener.
Preguntas abiertas
Son las preguntas en las que permitimos que las personas usuarias escriban sus respuestas. Permiten obtener matices y detalles, pero a la vez resultan difíciles de automatizar, puesto que no se pueden tabular.
Preguntas cerradas
Son preguntas que ofrecen opciones de respuestas cerradas, es decir, ofrecen las diferentes alternativas que puede responder la persona usuaria. Permiten el tratamiento automático de los datos obtenidos, pero si no se diseñan las respuestas posibles pensando en todas las opciones existentes, pueden provocar sesgos y pérdida de riqueza. Hay que tener presente que si son respuestas de opción única, las alternativas deben ser excluyentes entre ellas. En cambio, si son preguntas de opción múltiple, hay que delimitar el número mínimo y máximo de opciones que puede seleccionar la persona usuaria. Otro aspecto que debe tenerse en cuenta cuando se diseñan las respuestas es que no deben seguir ningún orden concreto, puesto que las personas usuarias tienen tendencia a responder las primeras opciones que leen que se adecúen a lo que buscan. Por lo tanto, se debe evitar el uso del orden alfabético y se tiene que intentar usar un software que permita mezclar las respuestas en los diferentes participantes del cuestionario (opciones aleatorias). Por último, un número demasiado elevado de respuestas posibles también comportará problemas a las personas usuarias. Idealmente no tendrían que haber más de siete posibles alternativas.
Preguntas en batería
Son preguntas que se formulan para realizarlas de forma secuencial en función de la respuesta que la persona usuaria seleccione en la pregunta anterior. De este modo se puede profundizar en un tema concreto. Hay que plantearlas bien para evitar que la persona usuaria se sienta perdida o llegue a un punto de no regreso. Los saltos lógicos y las diferentes ramificaciones que puedan existir en una sucesión se tienen que planificar y probar antes de lanzar el cuestionario al público.
Preguntas de evaluación
Son preguntas en las que pedimos a la persona usuaria que valore un aspecto o la totalidad de un producto o servicio. Generalmente se utiliza una escala de carácter numérico o una valoración cualitativa. En estas preguntas hay que evitar ofrecer un valor numérico u opción cualitativa intermedia, puesto que las personas usuarias tenderán a dar aquel valor. Así pues, es preferible una escala del 0 al 5 que del 1 al 5, por ejemplo.
Método de Likert
También se denomina método de evaluaciones sumarias. La escala de Likert es aquella donde la persona usuaria indica su grado de acuerdo o desacuerdo sobre un conjunto de enunciados o declaraciones. Es una de las escalas más utilizadas en el diseño de cuestionarios en investigaciones de ciencias sociales, puesto que permite ir más allá de la dicotomía «Sí/No» y con ella se puede obtener información sobre opiniones, percepciones y comportamientos. Las escalas Likert se pueden utilizar para recoger información relacionada con la satisfacción, la usabilidad, la opinión sobre una novedad, las percepciones sobre el uso de un producto o servicio, etc.
Para elaborar preguntas con elementos Likert de respuesta, hay que plantear enunciados positivos y negativos sobre la misma temática, puesto que así podremos detectar si se dan incongruencias en las respuestas. Debe tenerse en cuenta en este punto que es recomendable convertir los enunciados en preguntas, puesto que las declaraciones tienen el riesgo de provocar que las personas usuarias respondan que están de acuerdo, para no provocar el sesgo de consentimiento. Este fenómeno es común en encuestas y cuestionarios cuando hay declaraciones absolutas o muy obvias y provoca que las personas usuarias tengan tendencia a responder que están de acuerdo con un aspecto.
Ejemplo:
«¿Ha resultado fácil utilizar el buscador de aeropuertos?»
«¿Ha sido difícil seleccionar los aeropuertos?»
Generalmente, se utilizan cinco elementos de respuesta: «Totalmente en desacuerdo», «En desacuerdo», «Ni de acuerdo ni en desacuerdo», «De acuerdo» y «Totalmente de acuerdo». De este modo se mide la actitud positiva, negativa y neutral que tienen las personas usuarias hacia una situación o elemento explicitado en un enunciado.
Para obtener información tan concreta y cuidadosa como sea posible cuando se utiliza una escala de este tipo hay que tener presente que los enunciados y/o las preguntas deben ser tan específicas como se pueda. Por ejemplo, si se quiere preguntar sobre el proceso de reserva de un vuelo en una aplicación, es más recomendable hacer preguntas específicas por cada fase del proceso que no una genérica sobre el proceso en conjunto.
Del mismo modo, hay que elegir con mucho cuidado los adjetivos que formarán parte de la escala, si es que se opta por utilizar palabras textuales. Las respuestas tienen que incluir palabras descriptivas que faciliten la comprensión de cada elemento de la escala. De hecho, aunque se usen valores numéricos para la escala, es recomendable incluir una referencia textual con la que las personas usuarias identifiquen claramente el rango positivo, negativo y neutro de cada opción de respuesta.
