Les indicateurs de performance des chatbots que chaque équipe devrait mesurer

La beauté (et parfois le fardeau) des agents virtuels réside dans le fait qu’ils ne sont jamais terminés. Vous et vos chatbots conversationnels pouvez toujours apprendre quelque chose de nouveau, que vous les ayez lancés hier ou il y a 5 ans. Cependant, pour découvrir les bonnes informations et être en mesure de mettre en œuvre des changements qui ont un impact réel, il faut examiner les bons aspects de la performance.

Pour vous aider à tirer le meilleur parti des performances de votre bot et de l’expérience de vos clients, nous avons dressé une liste des indicateurs essentiels de performance des chatbots que vous devez connaître et être en mesure de surveiller pour évaluer et améliorer les performances des chatbots.

Lorsque vous essayez de mesurer l’efficacité de vos chatbots conversationnels, il y a des métriques et puis il y a des métriques. Ces quatre indicateurs clés du chatbot, qui peuvent tous être contrôlés facilement grâce à Calabrio Bot Analytics, sont indispensables pour améliorer les performances de votre bot.

Mesurer l’expérience d’un client lorsqu’il interagit avec un chatbot peut s’avérer difficile. D’une part, le retour d’information explicite est rare et souvent négatif. Par ailleurs, les enquêtes fournissent généralement une vision très étroite de l’engagement réel. Cela s’explique par plusieurs raisons : la participation tend à être faible, de sorte que vous travaillez souvent avec un échantillon de petite taille. De plus, ceux qui participent ne sont pas toujours authentiques dans leurs réponses (s’ils sont incités à le faire, par exemple), ce qui introduit des biais involontaires.

Pour comprendre l’expérience client et mesurer la satisfaction sans recourir à des enquêtes, Calabrio a mis au point unscore d’expérience botstandard (BES) qui peut être utilisé pour n’importe quel bot. Cet ICP crucial du chatbot prend en compte toutes les conversations des clients pour produire un score impartial et une vision plus précise de la satisfaction globale des clients. Cette note mesure uniquement l’expérience et non l’efficacité du robot.

La mesure BES commence avec un score de 100 et diminue chaque fois qu’il y a un signal d’engagement négatif au sein du bot. Les signaux négatifs utilisés dans le BES sont les suivants :

• Il y a répétition du bot lorsque le bot se répète pour quelque raison que ce soit au cours d’une conversation.
• La paraphrase du client se produit lorsque le client utilise une requête similaire deux fois ou plus au cours d’une conversation.
• L’abandon se produit lorsque le client quitte la conversation en cours de route et n’atteint pas le point d’arrivée du robot.
• Le sentiment négatif est détecté à l’aide d’un modèle de sentiment basé sur l’intelligence artificielle.
• Un retour d’information explicite négatif est reçu au cours de la conversation.
• Des injures sont présentes dans la conversation.
• Le client a utilisé le mot “agent” (ou un terme similaire) plus d’une fois au cours d’une conversation. Notez que le fait d’utiliser le terme “agent” une fois et d’être renvoyé directement à l’échelon supérieur n’est généralement pas une mauvaise expérience.

Le BES est basé sur une analyse de toutes les conversations sur une période donnée et réduit le score pour les signaux d’expérience négative qui sont communs à tous les agents virtuels. Si une conversation comporte un signal négatif, elle reçoit un score de 75, si elle comporte deux signaux négatifs, un score de 50, et si elle comporte trois signaux ou plus, un score de zéro. Une note est attribuée à toutes les conversations et la moyenne est utilisée.

L’utilisation de cette formule pour toutes les conversations au cours d’une période donnée permet d’obtenir un score d’expérience client très clair. De plus, la décomposition du score d’engagement des robots par motif de contact avec le client le rend exploitable.

L’indicateur suivant le plus important pour tout programme de robot est la fréquence à laquelle le robot peut satisfaire les besoins du client sans qu’il soit nécessaire de faire appel à un agent en chair et en os. C’est ce que nous appelons lescore d’automatisation des robots (BAS).

Le BAS est une mesure binaire qui détermine si la conversation était entièrement automatisée ou non. Contrairement au Bot Experience Score, le BAS n’est pas une mesure de l’expérience en tant que telle, mais plutôt de l’efficacité du bot dans l’accomplissement des tâches.

D’après notre expérience, après avoir analysé les performances de nombreux robots, la mesure la plus précise de l’automatisation est obtenue à l’aide d’une formule qui prend en compte les signaux négatifs.Par conséquent, le score d’automatisation des robots commence par toutes les conversations au cours d’une période donnée et est réduit en fonction des signaux négatifs. Les signaux négatifs utilisés dans le BAS sont les suivants :

• Le client n’a pas atteint le point d’arrivée du bot, qui est l’une des étapes finales du parcours du bot.
• Le client s’est adressé à un agent en direct pour quelque raison que ce soit.
• Le client a soumis un commentaire négatif explicite, quel qu’il soit.
• Le robot a enregistré un faux positif.
• Le client a demandé un agent en utilisant n’importe quel mot ressemblant à un “agent”, mais n’a pas été dirigé vers un agent.
• Un “mauvais confinement” s’est produit lorsque la conversation n’a pas été escaladée, mais qu’il s’agissait d’un sujet que le robot n’est pas en mesure d’automatiser de manière efficace.

Si une conversation comporte l’un des signaux négatifs de la liste ci-dessus, elle est considérée comme n’étant pas automatisée.

L’utilisation de cette formule pour toutes les conversations au cours d’une période donnée permet d’obtenir une mesure très claire de l’automatisation. Ces données peuvent également être évaluées en fonction des motifs de contact afin de fournir des informations plus détaillées sur l’évaluation des performances du chatbot et des informations exploitables. Avec ce score négatif, vous obtenez non seulement une vision très conservatrice de l’efficacité des robots, mais il devient aussi rapidement évident que des mesures peuvent être prises pour augmenter les taux d’automatisation globaux.

Dans le secteur des centres de contact, le coût par appel est un indicateur clé de performance typique qui met en lumière les performances globales et l’efficacité du centre d’appel. Cependant, les robots jouant un rôle de plus en plus important dans les organisations actuelles, il est essentiel que les centres d’appels comprennent le coût de chaque conversation automatisée et puissent aller au cœur du retour sur investissement de l’automatisation.

Le coût par conversation automatisée peut sembler aussi simple que de diviser les coûts de la plateforme du bot et les frais de licence par le nombre total de conversations automatisées. Toutefois, cette approche ne tient pas compte d’importants facteurs liés à la performance ; par exemple, si l’engagement d’un bot répond réellement aux besoins du client, ou s’il l’a incité à passer à un canal plus coûteux – un chat en direct ou un agent – entraînant une augmentation du coût global.

En fin de compte, une plateforme d’analyse de chatbot devrait tenir compte de trois facteurs principaux lors du calcul du coût par conversation automatisée :

1. Frais de plate-forme, y compris les licences et la mise en œuvre
2. Volume de la conversation
3. Automatisation. Au-delà du simple confinement, l’automatisation prend en compte la capacité d’un robot à répondre véritablement à la demande d’un client sans répétition, transitions excessives ou escalades.

Comment comprendre ce qui se passe lorsqu’une conversation virtuelle aboutit à un agent en chair et en os ? Selon toute vraisemblance, vous aurez besoin de l’aide de l’intelligence artificielle pour y voir plus clair. Calabrio Bot Analytics calcule de manière unique un score d’expérience de l’agent qui examine les signaux dans les données de conversation telles que l’abandon de l’agent, le temps d’attente, le temps de traitement et le sentiment pour offrir une surveillance globale et une vision locale de la performance globale ainsi que des sujets individuels qui bénéficieraient de l’automatisation.

Les indicateurs clés de performance du chatbot décrits ci-dessus peuvent s’avérer essentiels pour comprendre et améliorer les performances du bot. Cependant, ils sont loin d’être les seuls disponibles pour les équipes qui disposent des bonnes analyses. Les indicateurs de réussite des chatbots suivants peuvent aider les équipes à se concentrer sur les problèmes les plus infimes afin d’apporter des améliorations supplémentaires.

Le taux de faux positifs est une mesure du taux de classification incorrecte d’un énoncé par le modèle alors que celui-ci lui accorde un niveau de confiance élevé. Il s’agit d’un taux difficile à mesurer, qui repose sur un modèle NLP parallèle indépendant. Toutefois, des taux de faux positifs plus faibles signifient généralement que la compréhension du langage naturel (NLU) mise en place pour un chatbot est de bonne qualité.

La répétition des bots est utilisée dans le Bot Experience Score (BES), mais c’est aussi une bonne mesure indépendante de la performance pour tous les bots conversationnels. En théorie, un agent virtuel ne devrait jamais se répéter, mais cela arrive régulièrement. La capacité d’identifier et de traiter ces occurrences conduira à des améliorations rapides.

Dans presque toutes les situations, le retour d’information négatif est multiplié par le retour d’information positif. Le taux de feedback positif est le taux de feedback positif divisé par le nombre total de feedbacks (positifs, négatifs, neutres) afin d’obtenir un taux plus utile.

Le taux de NLU est une mesure courante dans le secteur des agents virtuels. Il s’agit simplement d’une mesure du taux auquel un classificateur peut faire correspondre un énoncé à une intention connue à un niveau de confiance donné.

Maintenant que vous connaissez les indicateurs les plus importants à surveiller pour le chatbot, comment le faire concrètement ?

De nombreuses plateformes de robots sont alignées sur la conception et le développement des robots, mais n’offrent pas un niveau d’analyse qui permette de mesurer en profondeur et avec impact les performances des robots.

C’est là qu’intervient le logiciel d’analyse des robots. Alors qu’une plateforme de chatbot mature fournira facilement tous les événements et signaux nécessaires pour produire les scores, une solution d’analyse de chatbot avancée comme Calabrio Bot Analytics sera en mesure de fournir l’image la plus claire de la qualité du bot.

Découvrez comment notre plateforme Bot Analytics peut vous aider à mieux comprendre les performances des chatbots et des voicebots. Réservez dès aujourd’hui une démonstration pour voir Bot Analytics en action.