Formatifs VS sommatifs : la bataille des tests d’utilisateurs

Comme le disait Steve Jobs :

Design is not just what it looks like and feels like. Design is how it works.

Même si le légendaire chef de file s'est exprimé sur la nécessité de rendre le design fonctionnel et utilisable, il est toujours traité comme une simple partie esthétique du processus de développement.

Peu importe ce qui est développé, qu'il s'agisse d'un logiciel, d'un site web ou d'une app, la convivialité de la conception est l'un des paramètres pris en considération pour mesurer le succès d'une plateforme. Et lorsqu'il s'agit de mesurer la convivialité, il n'y a rien de mieux que le test d'utilisabilité.

Source: Dilbert.com

Ces test d'utilisabilité peuvent être de 2 sortes, souvent mises en concurrence : les tests formatifs et sommatifs. Lequel est le plus important au cours du processus de développement ? La seule façon de le savoir est de comparer et de comprendre les différences entre les deux types de tests.

Qu'est-ce qu'une évaluation formative d'utilisabilité ?

Utilisée au cours des premières étapes du processus de conception et de développement, la méthode formative permet d'identifier les problèmes liés à la conception de l'interface et des parcours.

Considéré comme un excellent outil pour déterminer les caractéristiques de conception qui sont utiles et celles qui ne le sont pas, les tests utilisateurs formatifs influencent fortement les décisions de conception que vous prendrez au sujet de votre produit. Menés sur une dizaine d'utilisateurs, les tests formatifs sont effectués principalement pour concevoir une bonne expérience utilisateur (UX) pour votre produit / service.

A mesure que les testeurs découvrent de plus en plus de problèmes dans la conception du produit, des itérations successives d'améliorations vont se mettre en place . Les données recueillies au cours des sessions de test formatif sont de nature observationnelle et portent sur la qualité de la conception, d'où le nom de test qualitatif d'utilisabilité.

Qu'est-ce qu'une évaluation sommative d'utilisabilité ?

Les tests utilisateurs sommatifs permettent une évaluation indirecte de la facilité d'utilisation de la conception. Le groupe de testeurs dans cette situation se voit confier une tâche et, sur la base de leurs performances, le quotient d'utilisabilité des éléments de conception est mesuré.

Les tests utilisateurs sommatifs sont effectués un peu avant ou après le lancement du produit sur le marché. Portant sur un groupe plus important (une centaine de testeurs), les données recueillies portent davantage sur la quantité que sur la qualité de la conception. Par exemple : quel est le pourcentage d'utilisateurs qui pourraient utiliser le produit sans se heurter à un obstacle ? C'est pourquoi les tests sommatifs sont également appelés tests utilisateur quantitatifs.

La différence entre les deux : formation et synthèse

Il est désormais évident que les tests utilisateurs formatifs et sommatifs présentent des différences significatives. Que l'on considère la configuration de l'étude, les méthodes d'analyse ou les différents types de données résultant des 2 types de tests, il existe de nombreuses différences que nous avons développées ci-dessous.

À quelles questions répondent-ils ?

La principale différence entre les tests utilisateurs formatifs et sommatifs réside dans les questions auxquelles ils répondent.

Les tests utilisateurs formatifs ou qualitatifs répondent aux questions du pourquoi et du comment. Ce test est effectué au cours des premières étapes du processus de conception et permet de comprendre pourquoi quelque chose ne fonctionne pas. Lorsque les utilisateurs effectuant le test se retrouvent bloqués, ils cherchent à expliquer pourquoi ils se sont retrouvés bloqués ou freinés et, après avoir trouvé cette raison, apportent des solutions pour corriger le tir.

Les tests sommatifs ou quantitatifs, par contre, répondent à la question du combien. Des tests quantitatifs sont effectués auprès d'un grand nombre d'utilisateurs et les données recueillies permettent d'évaluer la facilité d'utilisation du produit. Grâce à l'étude sommative, l'équipe de développement peut mesurer quel pourcentage d'utilisateurs a eu des difficultés à effectuer une action donnée. Ces données quantitatives aident à re-concevoir l'interface en fonction des besoins des utilisateurs.

Quand sont-ils utilisés ?

Même si les deux tests sont effectués pour comprendre et améliorer la convivialité de la conception, ils peuvent être réalisés à différentes étapes du processus de développement.

Des tests formatifs ou qualitatifs sont effectués dès les premières étapes de la conception et du développement. Il est plus efficace d'effectuer des tests formatifs pendant la conception du produit pour voir si les principaux éléments de conception construits fonctionnent ou non. Des tests formatifs sont également effectués lorsque les Designers disposent d'un produit minimum viable (MVP) ou de simples maquettes animées (prototypes). Avec les premiers tests formatifs, les designers peuvent lancer sur le marché un produit doté d'une conception fonctionnelle.

Les études sommatives ou quantitatives sont traditionnellement plutôt réalisées lorsque le produit est déjà terminé et lancé sur le marché. Ce processus concerne davantage l'évaluation de la conception que l'amélioration de la conception. Avec les tests de conception quantitatifs, les Designers cherchent à savoir si les éléments de conception qu'ils ont approuvés avec les tests utilisateurs qualitatifs fonctionnent pour le grand public. Les tests sommatifs peuvent être coûteux, et c'est pourquoi tant d'entreprises hésitent à effectuer ces tests sur leurs plateformes en ligne. Mais les données quantitatives sont d'une grande importance statistique et donnent un aperçu sérieux de l'efficacité de la conception sur la base d'utilisateurs ciblés.

Testapic permet d'intégrer des tests qualitatifs (formatifs) et quantitatifs (sommatifs) à chaque étape de la vie d'une interface. De nombreux tests sommatifs sont ainsi intégrés dès les phases préliminaires, en complément des tests qualitatifs, pour apporter une approche quanti et ainsi quantifier les attentes des utilisateurs.

Quels objectifs atteignent-ils ?

De même qu'ils répondent à des questions complémentaires, ces deux tests répondent à des objectifs différents :

Source : NN/Group

Un processus de refonte commence par l'évaluation de l'interface existante, c'est pourquoi dans l'image ci-dessus, la première étape du processus de refonte est sommative (couplée potentiellement avec une approche formative). Une fois l'existant évalué, les données collectées révéleront ce qui ne va pas et les domaines dans lesquels les utilisateurs ont le plus de difficultés. Sur cette base, nous en arrivons à la deuxième étape, où nous procéderons à des tests utilisateurs qualitatifs pour déterminer les éléments de conception à ajouter / enlever / modifier à la plateforme.

Une fois la plateforme redesignée, les 2 tests sont répétés pour s'assurer que la nouvelle conception fonctionne bien. Ce processus illustre bien les objectifs des deux tests : alors que les tests sommatifs permettent de collecter un grand nombre de données et d'évaluer ce qui a été conçu, les tests formatifs permettent de collecter rapidement des données pendant le processus de conception.

Différence de méthodologie

C'est la méthodologie des 2 types de tests d'utilisabilité qui les rend si différents l'un de l'autre. Même si de l'extérieur, les deux études traitent de l'expérience des utilisateurs (UX), c'est la manière dont elles sont recueillies qui fait toute la différence.

La méthodologie des 2 tests repose sur trois piliers :

• le nombre de participants,
• la flexibilité des conditions de l'étude,
• le protocole utilisé.

Pour les tests qualitatifs ou formatifs, le nombre de participants est limité, la plupart ne préférant pas dépasser 5 ou 10 utilisateurs. Les conditions d'étude sont extrêmement flexibles. Les données sont collectées par le biais d'un protocole de réflexion à voix haute, dans lequel les utilisateurs interagissent avec un site ou app et donnent leur avis verbalement.

Les tests sommatifs comptent au minimum 30 utilisateurs effectuant les mêmes tâches. Les conditions d'étude sont strictement maintenues / réplicables. Les données recueillies par le biais des tests quantitatifs sont statistiques et, en général, il n'y a pas de protocole de réflexion à voix haute. Les données recueillies par le biais de tests utilisateurs sommatifs ont une marge d'erreur plus fine que les tests utilisateurs formatifs.

Quels sont les résultats ?

Les données qualitatives aident le designer à trouver les forces et les faiblesses de la conception. Aussi utiles que soient ces données, elles ne sont pas encore concrètes. Les résultats des tests formatifs reposent sur un petit nombre de personnes qui ne sont pas représentatifs de l'ensemble des utilisateurs finaux. En outre, les résultats des tests qualitatifs sont basés sur l'expertise et les connaissances des designers et reposent sur la manière dont ils interpréteront les irritants identifiés.

L'étude quantitative a des résultats concrets. Le processus implique un grand nombre d'utilisateurs, ce qui permet de mieux représenter l'ensemble d'une population. Le donnée est collectée de manière moins arbitraire, ce qui permet d'appliquer des méthodes d'évaluation statistique sur la compréhension et la gradation des problèmes rencontrés par les utilisateurs. .

Conclusion

Même s'ils sont très différents, les tests quantitatifs et qualitatifs sont donc largement complémentaires. C'est pourquoi, sauf cas spécifique, les 2 types de tests utilisateurs sont nécessaires pour améliorer la conception. Chez Testapic, nous observons ainsi que parmi les centaines de tests lancés chaque année, 90% cumulent une dimension sommative et formative.

Librement traduit de l'article : Formative VS Summative : The user testing battle

Icons : comments by dilayorganci from the Noun Project - chart by Andrejs Kirma from the Noun Project