Comment tester un chatbot ou un voicebot ?

Depuis les années 50 et le test de Turing (IA fondée sur la faculté d'une machine à imiter la conversation humaine), l'homme s'intéresse à la manière dont un programme / un robot peut donner à l'Homme l'illusion d'un dialogue sensé.

Dans son test, Turing s'intéresse à la capacité d'un utilisateur à dire - à l'aveugle - si la personne avec qui il engage des conversations est un ordinateur ou un humain. Si l'utilisateur n'en est pas capable, on peut considérer que le logiciel de l’ordinateur a eu une apparence sémantique humaine et a donc réussi le test.

Emergence et opportunités des bots

Le 1er chatbot, nommé ELIZA, conçu par un professeur du MIT, simule un psychothérapeute. ELIZA reformule les affirmations des patients sous forme de questions grâce à un système de reconnaissance de mots-clés sans pour autant construire pour le moment des réponses utiles aux patients.

En 2005, l’IA Watson conçue par IBM est capable de répondre à des questions formulées en langage naturel.

Début 2010, Apple, Google, Amazon, Microsoft lancent leurs propres interfaces utilisateur : Siri, Google Now, Alexa et Cortana.

Depuis 2016 et l'intégration du bot store au sein de Facebook Messenger, les entreprises identifient cet outil d'interaction homme-machine comme une aubaine : permettre aux +3 milliards d'utilisateurs de FB Messenger d'accéder à leurs services / produits via une intelligence artificielle. C'est le début de l'accélération du développement des agents conversationnels sur de multiples supports : sites web, mobile ou apps.

En 2017, 80% des entreprises projettent d’investir ou d’en installer un sur leur site ou page Facebook d’ici 2020. (Source : étude Oracle de janvier 2017)

En 2019, Google avance que 20% des recherches effectuées sur son moteur sont des recherches vocales. Ceci s'accompagne d'une augmentation du taux d'équipement des foyers : des dizaines de millions d'assistants vocaux domestiques comme Google Home ou Amazon Echo se sont vendues dans le monde en quelques années.

De nombreuses projections estiment que ce chiffre (20%) va augmenter significativement en 2020 et dans les années à venir.

En 2019, Testapic a d'ailleurs rencontré ses premières demandes pour réaliser des tests utilisateur sur des chatbots et des voicebots.

Intérêt d’un chatbot ou d’un voicebot

Les bots permettent globalement de réaliser trois grands objectifs :

• Le Lead Generation c’est-à-dire la qualification et la génération du lead
• Le Conversational Commerce : transformer le lead, faciliter le processus d’achat du consommateur en le renseignant de manière instantanée et personnalisée
• Le Customer Care qui est défini par l’intervention auprès des clients en phase de SAV (désengorger les hotlines et recentrer la relation client sur des tâches à plus forte valeur ajoutée) et favoriser le cross-sell/up-sell

Ces enjeux étant directement liés à des problématiques business, il est important de faire les bons choix concernant la mise en place de ces outils en particulier sur les aspects techniques, graphiques et sémantiques.

Quel est le profil de l'utilisateur de bot en 2020 ?

Avec le développement des chatbots sur Messenger, et leur intégration sur de nombreuses sites ou apps, il est difficile de définir un profil type d'utilisateurs de chatbot ; certains utilisateurs ayant eu recours à des chatbots probablement sans s'en rendre compte.

En 2019, pour les entreprises équipées d’un bot, le chatbot est le bot mis en place à 63% des cas ; contre 29% pour le voicebot et 8% pour le callbot. (Source : Observatoire des chatbots)

Ainsi, en 2019, en France, on estime qu'il existe près de 2 millions d'utilisateurs d'enceintes à commande vocale. Agé de 39 ans en moyenne, l'utilisateur d'enceintes intelligentes est plus jeune que la moyenne des internautes, il appartient davantage aux CSP+ et vit dans un foyer d'au moins 3 personnes. (Sources Médiamétrie)

Caractéristiques testables sur un chatbot / voicebot

UI d'un chatbot

De nombreux acteurs tels que Pages Jaunes ou Oui.SNCF ont opté pour la transparence avec les utilisateurs en octroyant une apparence robotisée à leur chatbot. En effet, les comportements humains diffèrent lorsque les utilisateurs s’adressent à une "machine" plutôt qu’à un humain. La conscience des utilisateurs qu’ils interagissent un robot leur confère une certaine distance émotionnelle.

Figure 1. Exemple de chatbot sur le site de Oui.SCNF

Il est possible de tester / évaluer notamment :

• la visibilité du bot au sein du reste de l'interface,
• l'appétence de l'utilisateur pour interagir avec le bot,
• le niveau d'humanisation de l'UI du chatbot,
• la perception des utilisateurs face à ce chatbot,
• leur niveau de conscience d'une interaction avec une machine,
• ...

Sémantique du chatbot

Cet aspect robotisé de l'UI du chatbot n'implique pas que le chatbot doit parler comme un robot. Bien au contraire. La compréhension du langage naturel et un mode d'expression dans ce même langage naturel sont des qualités essentielles de la performance d'un chatbot / voicebot.

Les outils de compréhension en langage naturel utilisent le texte saisi par les utilisateurs pour comprendre leurs intentions afin que le bot y réponde de manière pertinente. Le NLU (Natural Language Understanding / Compréhension du langage naturel) extrait l’intention et l’entité de l'input utilisateur pour y apporter une réponse cohérente.

Il est possible de tester / évaluer notamment :

• Les questions de l'utilisateur :
  • le niveau de compréhension du bot perçue par l'utilisateur,
  • le mode d'expression des utilisateurs (mots clés, structure phrasée...),
• Les réponses du bot :
  • la qualité de l'expression naturelle lors de la réponse du bot (richesse et exactitude lexicale),
  • le niveau de pertinence de la réponse du bot,
  • la satisfaction utilisateur liée à la réponse fournie par le bot,
  • ...

Fonctionnalités du chatbot / voicebot

Selon le niveau de simplicité / complexité des bots, ces derniers peuvent intégrer un certain nombre de fonctionnalités. On peut ainsi apporter des critères d'évaluation ou s'interroger entre autres sur :

• Comment apporter un feedback d'une conversation particulièrement pertinente ?
• Au contraire, que doit faire un utilisateur si les réponses fournies par le bot ne lui apportent pas satisfaction ?
• Que faire si le bot ne sait pas répondre à la question ?
• Que faire si le bot ne comprend pas la question de l'utilisateur ?
• Comment reporter / faire remonter un problème d'interaction avec le bot ? (et éviter l'effet de questions / réponses en boucle avec le bot par exemple)
• Quel est l'impact du bruit ambiant dans la compréhension d'un voicebot ?
• Quelle est la distance acceptable d'interaction avec le voicebot ?
• Quels sont les niveaux de compréhension et pertinence des feedbacks visuels / auditifs du voicebot ?
• ...

Figure 2. Chatbot sur le site Pages Jaunes (en bas à droite)

Dispositif de test utilisateur d'un chatbot ou d'un voicebot

Comme dans une grande majorité de nos tests utilisateurs, Testapic préconise la complémentarité d'une approche qualitative + quantitative. Les derniers tests utilisateurs réalisés ont par exemple porté sur :

• 20 utilisateurs en test vidéo / audio : 10 utilisateurs sur ordinateur et 10 sur mobile
• 200 utilisateurs en test questionnaire : 100 utilisateurs sur ordinateur et 100 sur mobile

Voici des exemples de retours disponibles suite à des tests quantitatifs (graphiques + verbatims) et qualitatifs (vidéo de la navigation + commentaires vocaux).

Figure 3. [TEST UTILISATEUR QUANTITATIF - QUESTIONNAIRE] Réponses à un test utilisateur mené sur 100 participants suite à leur expérience d'interaction avec le bot sur le site desktop de Pages Jaunes 

Vidéo 1. [TEST UTILISATEUR QUALITATIF - VIDEO / AUDIO] Exemple d'interaction d'un utilisateur avec le voicebot Google Home - Incompréhension de la question de l'utilisateur (confusion entre LAVAL et LA HAVANE 😂 puis question non comprise)

Vidéo 2. [TEST UTILISATEUR QUALITATIF - VIDEO / AUDIO] Exemple d'interaction d'un utilisateur avec le chatbot sur le site mobile de Pages Jaunes

Conclusion et projections

Avec déjà +20% de requêtes passant par le vocal, il est probable qu'une grande partie des interactions Homme-Machine passera bientôt par des chat ou des voicebots. Ce marché est encore en train de se structurer et les IA de se structurer. Le champ des possibles en recherche utilisateur est donc encore vaste et offre de belles perspectives pour les annonceurs et concepteurs afin de proposer des expériences utilisateurs plus riches au travers de ces nouveaux médias de communication avec leurs utilisateurs finaux.

Icone : Chatbot by Oksana Latysheva from the Noun Project