Effets d’ordre dans les tests utilisateurs à distance
Effets d’ordre dans les tests utilisateurs à distance
Les biais d’ordonnancement, ou effets d’ordre, font partie de notre quotidien chez Testapic et peuvent influencer dangereusement les conclusions des tests utilisateurs lorsqu’il s’agit de comparer plusieurs versions de pages web ou d’applications mobiles.
Nous avons par conséquent jugé utile de vous rédiger un article spécifique pour l’occasion. Au programme, un tour d’horizon des concepts clés et une mise en contexte avec nos solutions et astuces pour maîtriser ces biais et améliorer la qualité de vos études !
Test monadique vs test monadique séquentiel
On parle de test de type monadique lorsqu’il s’agit de présenter un unique produit A à un silo de testeurs et un produit B à un second silo, de collecter leurs retours sur différents aspects du produit testé puis d’identifier celui qui a suscité de plus d’engouement.
Le test monadique séquentiel consiste quant à lui à faire tester successivement les deux produits A et B. Ici un seul silo de testeurs suffit puisque chacun d’entre eux teste et répond aux questions sur le produit A, puis fait de même avec le produit B. Il est courant de leur demander ensuite explicitement lequel des deux produits A ou B ils ont préféré.
Bien que plus complète, l’un des inconvénients de cette démarche séquentielle est un temps de réalisation du test plus long, et l’introduction par la même occasion d’un certain nombre de biais pouvant être occasionnés par la fatigue/lassitude qui s’accroît avec l’avancement du test, par le conditionnement généré par les premiers contenus/produits présentés, ou bien liés à l’évolution de conditions extérieures pendant le test (luminosité, bruit, température, ...). Ces biais entrent dans la catégorie des “effets d’ordre”, et peuvent avoir un impact significatif sur les résultats de l’étude.
Pour plus de détails sur les avantages et inconvénients de ces deux méthodes, vous pouvez vous référer à cette publication détaillée sur le sujet. [1]
Effets d’ordre
Les effets d’ordre sont une catégorie de biais générés par l’ordonnancement des questions d’une étude ou à l’ordre des réponses proposées pour chaque question (ou dans le domaine médical, à l’ordonnancement de traitements administrés aux patients). Ce phénomène est bien connu dans la littérature scientifique [2] [3] [4] [5] et peut être mis en évidence lors de tests en “double” monadique séquentiel avec deux silos de testeurs : un silo teste les produits A puis B et le second les produits B puis A. Il est possible dans ce cas de mettre en évidence une préférence systématique des testeurs pour le premier ou le second produit testé.
Les effets d’ordre sont difficiles à maîtriser car ils peuvent être occasionnés par divers facteurs (voir plus haut), tous difficilement contrôlables. Il est néanmoins possible de s’en affranchir (au moins en partie) en combinant les résultats des deux études A → B et B → A, à condition que la taille de l’échantillon soit suffisante pour les deux silos.
Et chez Testapic ?
Chez Testapic, notre solution de tests utilisateurs à distance n’est pas immunisée contre les effets d’ordre.
Nous proposons à nos clients, via notre plateforme, de réaliser des tests en “double” monadique séquentiel en découpant une étude en plusieurs “sous-tests”, chaque sous-test correspondant à un ordonnancement différent des questions et/ou visuels testés et associé à son propre silo de répondants.
Nous préconisons à minima 100 répondants par silo/groupe pour nos tests quantitatifs. L’agrégation des réponses des différents sous-tests permet ensuite de tirer des conclusions robustes en limitant les biais générés par l’ordonnancement des questions.
Nos protocoles de tests intègrent par ailleurs un tri aléatoire des réponses proposées à chaque testeur, une manière efficace de limiter les effets d’ordre au sein même de chaque question.
La preuve par la pratique !
Fin 2019, nous avons réalisé pour Veepee (anciennement vente-privee.com) une étude comparative sur plusieurs visuels d’emails : trois types d’emails ont été présentés chacun leur tour en deux versions, la version actuelle (old) et un nouvelle version en phase de prototypage (new). L’étude visait à évaluer le design et l’organisation des éléments sur les deux versions de chaque e-mail pour valider ou non les nouveaux prototypes.
L’étude a été décomposée en deux silos avec un ordonnancement différent de la présentation des e-mails : un silo old → new visionne et répond aux questions concernant les anciens e-mails en premier, tandis que le second silo new → old visionne d’abord les nouveaux prototypes.
Les résultats de cette étude, au-delà des conclusions apportées au client sur la valeur ajoutée de ses nouveaux prototypes, ont eu la particularité de mettre en valeur l’effet d’ordre sur certains types de réponses, notamment lorsque l’on demande aux testeurs de décrire l’organisation des éléments présents dans les différents types d’e-mails :
Test utilisateur - e-mail 1
Test utilisateur - e-mail 2
Test utilisateur - e-mail 3
Une telle analyse en “double” monadique séquentiel prend ici tout son sens car la combinaison des deux silos lors de la phase d’analyse des résultats permet de limiter ce biais d’effet d’ordre et de répondre avec pertinence aux objectifs fixés par le client.
Pour conclure...
J’espère que les quelques enseignements que nous avons partagés ici et qui font partie de notre quotidien chez Testapic vous auront été utiles et vous aideront à vous méfier de cet effet d’ordre dans les tests utilisateurs mais aussi de manière plus générale dans tous types d’enquêtes / sondages / expérimentations.
Merci pour votre attention et à bientôt sur notre blog !
Articles
Techniques de tests de produits
[1] Morin-Delerm, Sophie. (1999). Les techniques de tests de produits. Essai de classification et de clarification.
Effets d’ordre des questions
[2] SAM G. McFARLAND, Effects of Question Order on Survey Responses, Public Opinion Quarterly, Volume 45, Issue 2, SUMMER 1981, Pages 208–215
[3] Strack F. (1992) “Order Effects” in Survey Research: Activation and Information Functions of Preceding Questions. In: Schwarz N., Sudman S. (eds) Context Effects in Social and Psychological Research. Springer, New York, NY
Effets d’ordre des réponses
[4] ON A. KROSNICK, DUANE F. ALWIN, AN EVALUATION OF A COGNITIVE THEORY OF RESPONSE-ORDER EFFECTS IN SURVEY MEASUREMENT, Public Opinion Quarterly, Volume 51, Issue 2, SUMMER 1987, Pages 201–219
[5] Schwarz N., Hippler HJ., Noelle-Neumann E. (1992) A Cognitive Model of Response-Order Effects in Survey Measurement. In: Schwarz N., Sudman S. (eds) Context Effects in Social and Psychological Research. Springer, New York, NY
Articles internet
http://psychology.iresearchnet.com/social-psychology/social-psychology-research-methods/order-effects/
https://www.statisticshowto.datasciencecentral.com/order-effects/
Published by :