Étude Comparative des Tests Utilisateurs à Distance et en Laboratoire

Cet article est un compte rendu libre de la publication de recherche de Tom Tullis et de son équipe afin de montrer qu’il existe une corrélation entre les résultats des tests utilisateurs à distance avec ceux des tests utilisateurs physiques en laboratoire et ainsi de valider l’importance des solutions décentralisées de test en crowdsourcing comme Testapic. La plupart des problèmes d’utilisabilité et d’ergonomie ont été identifiés dans les 2 méthodes ; les résultats montrant une grande corrélation entre les 2 techniques. En général, les résultats mettent en évidence que les informations collectées grâce aux 2 méthodes sont similaires. Chaque méthode présente un certains nombres d’avantages et d’inconvénients relatifs aux problèmes d’utilisabilité identifiables et identifiés.

Introduction

Cette publication présente les résultats de 2 expériences permettant de comparer les résultats de test d’utilisabilité en laboratoire et de tests réalisés à distance. Les tests en laboratoire rassemblent conventionnellement un faible nombre de participants. Les testeurs se déplacent dans un laboratoire et réalisent, sous la surveillance d’un modérateur, une série de tâches face à une application ou un prototype. Le budget nécessaire pour la réalisation de ces tests est assez important. Le test à distance permet au testeur de participer à l’évaluation à distance en utilisant son navigateur classique. Aucun déplacement et aucune modération n’est alors nécessaire pour l’exécution de ces tests.

Approche et Protocole de test

• Les tests ont été distribués au testeur par email.
• Les tâches à réaliser ont été présentés aux testeurs dans la partie haute du navigateur pour les tests à distance préservant le reste de la fenêtre pour la navigation dans le site à tester. La saisie des commentaires s’effectue dans cette partie haute du navigateur. Une fois la tâche et les commentaires complétés, l’utilisateur passe à la tâche suivante et ce jusqu’à la fin du test.

NB : les conditions de test sont similaires à celles proposées sur Testapic.

Étude et Résultats

Expérience 1

• 17 tâches à réaliser étaient proposées aux testeurs.
• Il était demandé à chaque utilisateur de fournir un retour subjectif sur les interfaces testées.
• Les utilisateurs étaient récompensés en tickets de cinéma gratuits.

Test en laboratoire

• Les tests en laboratoire ont duré environ 1h30 par testeur.
• Le modérateur présent lors des tests reportait le comportement des testeurs et les conditions de test notamment le temps de réalisation des tâches.

Test à distance

Pour les tests à distance, 38 participants ont été choisis pour participer et 29 sont allés au bout du test (24% de taux d’abandon). Les résultats des commentaires des testeurs étaient ensuite analysés par une équipe indépendante qui déterminait le succès ou l’échec de la tâche.

Résultats

Comparatif des taux de réussite et d’échec entre les méthodes de test en laboratoire et test à distance

Il apparaît que 60% des testeurs en laboratoire ont accompli l’ensemble des tâches contre 64% pour les tests utilisateurs à distance ; avec un facteur de corrélation de 0.70 entre les 2 échantillons. Ces résultats ont permis aussi d’identifier les tâches les plus difficiles à réaliser.

Comparatif des temps de réalisation des tâches entre les méthodes de test en laboratoire et test à distance

Le temps moyen passé par tâche par les testeurs en laboratoire est de 147 secondes contre 164 pour les testeurs à distance. Le facteur de corrélation des temps de réalisation des tâches est de 0.65 entre les méthodes de test en laboratoire et test à distance. Avec les tests en laboratoire, 26 problèmes d’utilisabilité ont été détectés contre 16 pour les tests utilisateurs à distance dont 11 problèmes sont similaires dans les 2 méthodes.

Discussion

• Les résultats montrent une forte corrélation entre les 2 séries de tests.
• La richesse des commentaires des tests utilisateurs à distance a été soulignée notamment grâce à l’anonymat procuré par le test à distance ; le testeur est ainsi plus enclin à critiquer ouvertement.

Expérience 2

• Le but de cette 2ème série d’expériences était de valider les découvertes des 1ères expériences et de déterminer les raisons de certaines légères divergences.
• 13 tâches à réaliser étaient proposées aux testeurs.
• Il était demandé à chaque utilisateur de fournir un retour subjectif sur les interfaces testées.
• Les utilisateurs étaient aussi récompensés en tickets de cinéma gratuits comme pour la 1ère série de tests.

Test en laboratoire

8 utilisateurs ont passé ce test.

Test à distance

88 utilisateurs ont passé le test utilisateur à distance. Aucun des testeurs en laboratoire n’a pu effectuer le test à distance pour éviter toute interférence sur les résultats.

Résultats

Figure - Comparatif des taux de réussite et d’échec entre les méthodes de test en laboratoire et test à distance.

Il apparaît que 76% des testeurs en laboratoire mais aussi à distance ont accompli l’ensemble des tâches ; avec un facteur de corrélation de 0.98 entre les 2 échantillons. Ces résultats sont donc très similaires.

Figure - Comparatif des temps de réalisation des tâches entre les méthodes de test en laboratoire et test à distance.

Le temps moyen passé par tâche par les testeurs en laboratoire est de 155 secondes contre 161 pour les testeurs à distance. Le facteur de corrélation des temps de réalisation des tâches est de 0.94 entre les méthodes de test en laboratoire et test à distance. Avec les tests en laboratoire, 9 problèmes d’utilisabilité ont été détectés contre 17 pour les tests utilisateurs à distance dont 7 problèmes sont similaires dans les 2 méthodes.

Discussion

Ces résultats montrent des taux de corrélation très proche de 1 ce qui permet de mettre en évidence qu’il existe une très forte similitude entre les résultats fournis par ces 2 méthodes d’évaluation. Bien que chaque test a permis de détecter les problèmes majeurs d’utilisabilité ; de façon intéressante, dans cette série de tests, c’est le test utilisateur à distance qui a permis de détecter le plus grand nombre de problèmes d’utilisabilité.

Conclusion

• Le comportement des testeurs est similaire pour les tests en laboratoire et les tests utilisateurs à distance avec des taux d’accomplissement et des temps de réalisation très similaires.
• Les utilisateurs à distance ont fourni un contenu écrit très riche.
• L’un des avantages du test utilisateur à distance réside dans la diversité des profils de testeurs identifiables et dans la capacité à mettre en place très rapidement ce type de test sans infrastructure dédiée.
• Chaque test permet de détecter la plupart des problèmes d’utilisabilité.

Il apparait finalement que chaque technique apporte des résultats complémentaires ; que les tests soient effectués en laboratoire ou à distance. Ces 2 méthodes peuvent donc être intéressantes à systématiser dans la démarche de conception Web selon le stade de développement, le budget et les impératifs de temps.

Mots clefs

Test d’utilisabilité, évaluation, test utilisateur à distance, utilisabilité web, test Internet.

Référence

Télécharger le rapport complet : [download id="4906"] Tom Tullis, Stan Fleischman, Michelle McNulty, Carrie Cianchette, and Marguerite Bergel, An Empirical Comparison of Lab and Remote Usability Testing of Web Sites, 2002 Photo : Copyright UXAlliance