Comparatif des tests utilisateurs à distance et des tests en laboratoire

De nombreuses études ont été menées pour comparer l'efficacité des méthodes de test d'utilisabilité à distance ou test utilisateur à distance notamment celle de Chalil Madathil, K. (2010). Remote Usability Testing: A New Approach Facilitated by Virtual Worlds. (Master dissertation, Clemson University).

Nous avons décidé de rappeler dans cet article une partie de l'état de l'art de cette étude qui indique que les 2 approches sont similaires : le temps de réalisation des tâches, le taux d'achèvement des tâches, le nombre de problèmes d'utilisabilité identifiés, leurs types et leurs sévérités ne présentent pas de différence significative ; ce qui démontre l'intérêt des tests utilisateurs à distance dans une logique de test et d'optimisation des interfaces et notamment des sites Web.

Etude de Hartson et al. (1996)

Dans une étude préliminaire, Hartson et al. (1996) ont comparé les tests d'utilisabilité traditionnels en laboratoire avec des tests en mode vidéoconférence en utilisant les pages du serveur Kodak comme l'interface à tester. Dans l'approche à distance, une connexion téléphonique avait été utilisée pour faciliter la communication de la voix et les questionnaires subjectifs ont été transmis par courriel aux utilisateurs distants.

Les résultats de leur étude suggèrent que l'évaluation à distance en utilisant la vidéoconférence est possible et permet de produire des résultats similaires à l'approche du laboratoire traditionnel.

Livres :

Acheter le livre : The UX Book: Process and Guidelines for Ensuring a Quality User Experience

[clear]

Acheter le livre : Developing User Interfaces

[clear]

Référence : Hartson, H. R., Castillo, J. C., Kelso, J., & Neale, W. C. (1996). Remote evaluation: The network as an extension of the usability laboratory. Paper presented at the CHI '96 : Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Vancouver, British Columbia, Canada. 228-235.

Etude de Tullis et al. (2002)

Une étude similaire a été menée par Tullis et al. (2002) dans laquelle les tests ont été effectués à distance sur le lieu de travail du participant sans observation en temps réel. L'approche traditionnelle a impliqué 8 utilisateurs et l'approche à distance 29. Dans l'approche à distance, un courriel a été envoyé incluant un lien vers le site Web expliquant le but de l'étude.

Les participants ont utilisé 2 fenêtres, la première représentant la tâche à accomplir et la 2ème le prototype de l'application à tester. Les actions de l'utilisateur étaient automatiquement enregistrées et analysées. Ils ont également reçu un questionnaire subjectif d'évaluation de la difficulté de chaque tâche.

Les données analysées incluaient notamment les taux de succès et d'achèvement des tâches, les délais d'achèvement des tâches, des verbatims subjectives et les problèmes d'utilisabilité identifiés. Les résultats de l'étude indiquent que le temps de réalisation des tâches et le taux d'achèvement des tâches des 2 approches sont similaires.

Livres :

Acheter le livre : Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics

[clear]

Acheter le livre : Beyond the Usability Lab: Conducting Large-scale Online User Experience Studies

[clear]

Référence : Tullis, T., Fleischman, S., McNulty, M., Cianchette, C., and Bergel, M. (2002). An empirical comparison of lab and remote usability testing of web Sites. In Proc. UPA 2002, Usability Professional's Association.

Etude de Brush et al. (2004)

Pour identifier les différences de l'expérience qualitative du point de vue du participant et de l'animateur, Brush et al. (2004) comparent les tests synchrones d'utilisabilité à distance avec la méthode conventionnelle de tests en laboratoire avec un plug-in du logiciel Eclipse comme interface à tester. Parmi les 20 participants, 8 ont été invités à effectuer la tâche dans les 2 scénarios pour faciliter la comparaison intra-groupe.

La méthode distante a été facilitée en utilisant un programme basé sur le partage d'écran et la communication audio a été transmise à travers une connexion téléphonique. L'étude a révélé qu'il n'y avait aucune différence significative dans le nombre de problèmes d'utilisabilité identifiés, leurs types et leurs sévérités. Les participants ont estimé que leur contribution à la refonte de l'interface ont été à peu près la même dans les 2 conditions. Les animateurs ont pensé que l'effort nécessaire pour se préparer pour les études à distance était plus grande mais la méthodologie de recrutement des sujets plus facile.

Pendant l'étude, les animateurs ont indiqué qu'il était facile d'observer les problèmes dans l'état à distance via le partage d'écran en complément d'un changement dans le ton de la voix du participant pour sentir sa frustration.

Livre :

Acheter le livre : Ubiquitous Computing Fundamentals

[clear]

Référence : Brush, A. J. B., Ames, M., & Davis, J. (2004). A comparison of synchronous remote and local usability studies for an expert interface. Paper presented at the CHI '04: CHI '04 Extended Abstracts on Human Factors in Computing Systems, Vienna, Austria. 1179-1182.

Etude de Thompson et al. (2004)

Thompson et al. (2004) ont comparé une approche physique et à distance afin d'identifier des outils et des méthodologies appropriées et efficaces pour les environnements de test à distance. Dans l'approche à distance, des logiciels fournissant la capacité de partage d'écran ou la capacité de capture d'écran ont été utilisés.

S'agissant de test synchrone, un téléphone équipé de haut-parleur est utilisé pour communiquer avec les participants distants. Les participants en laboratoire et à distance ont été invités à effectuer 5 fonctionnalités identiques de recherche et d'achat. Les résultats suggèrent qu'il n'y avait pas de différence significative entre le temps d'accomplissement et le nombre d'erreurs relevées.

Référence : Thompson, K. E., Rozanski, E. P., & Haake, A. R. (2004). Here, there, anywhere: Remote usability testing that works. Paper presented at the CITC5 '04: Proceedings of the 5th Conference on Information Technology Education, Salt Lake City, UT, USA. 132-137.

Etude de Bartek & Cheatham (2003)

Bien que les résultats des 2 approches sont similaires, les inconvénients des études à distance comprennent :

• la perte de contrôle sur l'environnement de test du participant,
• les feedback visuels limités,
• les questions de sécurité des sessions,
• la facilité d'utilisation et de connexion

Référence : Bartek, V., & Cheatham, D. (2003). Experience remote usability testing, part 1. and 2. 2003.

La liste des avantages liées à ces tests est au moins aussi grande et certains avantages ont été répertoriés dans notre article 10 raisons de préférer les tests utilisateurs à distance aux tests en laboratoire dont notamment :

• la rapidité d'exécution et d'intégration dans une méthode agile
• le faible coût comparativement à une méthode en laboratoire
• la géolocalisation des testeurs
• l'exécution des tests sur une machine au plus près des conditions réelles d'usage
• etc.

Dray et al. (2004), suggèrent que «bâtir la confiance avec des évaluations à distance peut être un véritable défi", en particulier dans les tests à distance internationaux, où la dynamique interpersonnelle de l'évaluation doit être gérée notamment au travers des barrières culturelles et linguistiques.

Référence : Dray, S., & Siegel, D. (2004). Remote possibilities ? : International usability testing at a distance. Interactions, 11(2), 10-17.