Le Net Promoter Score (NPS) est une méthode simple pour mesurer la satisfaction client de manière globale. Mais encore faut-il l’appliquer correctement. Nous découvrons régulièrement, au travers des audits de satisfaction client que nous réalisons, que les résultats sont faussés par des outils non maîtrisés. L’exemple que nous vous présentons aujourd’hui provient de Lufthansa. L’erreur commise dans la mise en Å“uvre du NPS ne saute pas aux yeux, mais elle entache quand même la crédibilité des résultats. Nous terminons cet article en présentant les 2 types d’erreurs les plus fréquemment rencontrées dans le design des questionnaires de satisfaction client.
NPS : utilisation par Lufthansa
La capture d’écran ci-dessous vous montre une formulation de type NPS envoyée à un client de Lufthansa. L’intitulé de la question (en allemand) correspond bien à celui qui avait été formulé par Reichheld : « quelle est la probabilité que vous recommandiez Lufthansa à un ami ou à un collègue ? ».
Même si vous ne parlez pas allemand, il y a 2 aspects qui diffèrent des NPS que l’on a l’habitude de voir :
- l’échelle du NPS est inversée : la note maximale (10 : très probable) est à gauche de l’échelle et la note minimale (0 : très improbable) à droite.
- une couleur verte a été utilisée pour délimiter la zone des « promoteurs » (notes 9 et 10) et une couleur rouge pour celle des détracteurs (0 à 6).
En délimitant ainsi les zones entre promoteurs et détracteurs, Lufthansa introduit au mieux une incertitude, au pire un biais.
Quels sont les problèmes du NPS tel qu’utilisé par Lufthansa ?
Dans ce paragraphe nous analysons les 2 erreurs que nous avons relevées dans l’utilisation du NPS par Lufthansa.
Inversion de l’échelle du NPS
Inverser l’échelle n’est en soi pas une erreur. C’est même une bonne pratique lorsqu’un répondant est soumis à un questionnaire complexe. Inverser l’échelle permet en effet de vérifier que le répondant est attentif en vérifiant qu’il ne coche pas toujours les mêmes réponses (à gauche de l’échelle, au milieu ou à droite). L’inversion de l’échelle est particulièrement pertinente lorsqu’une même question est posée à deux endroits du questionnaire : cela permet de vérifier la consistance des réponses.
Dans le cas du NPS, cette inversion ne nous semble donc pas indispensable.
Ajout des couleurs à l’échelle du NPS
L’ajout de couleurs au NPS est une tout autre histoire. En délimitant ainsi les zones entre promoteurs et détracteurs, Lufthansa introduit au mieux une incertitude, au pire un biais. Les couleurs signalent en effet inconsciemment au répondant ce qui est bien (en vert) et ce qui est mal (en rouge). A l’échelle du NPS, volontairement neutre, se superpose donc une grille de lecture qui va orienter les réponses. Une conséquence directe sera sans doute que les réponses 7 et 8 seront moins nombreuses. Les répondants chercheront en effet à se « positionner » par rapport à leur satisfaction ou insatisfaction. Ne parlons même pas du choix du gris (couleur neutre par exemple) pour les choix relevant de la catégorie « neutre ».
Cette modification du NPS est donc une erreur grossière qui entache la mesure de la satisfaction client et la rend non fiable. Cette erreur rentre dans la catégorie plus large des « biais de persuasion » que nous retrouvons dans de nombreuses entreprises lors de nos audits.
Satisfaction client : pourquoi tant d’erreurs ?
Comme nous l’indiquions en préambule, nous réalisons de nombreux audits de satisfaction client et constatons parfois des erreurs majeures et toujours des erreurs mineures.
Au-delà de cette différence en termes de gravité, il y a 2 types d’erreurs qui peuvent survenir dans le cadre de la mise en place d’un instrument de mesure de la satisfaction client :
- l’erreur de formulation qui introduit un biais et augmente la marge d’erreur
- l’erreur de conception qui invalide les résultats en orientant de manière plus ou moins volontaire les réponses. Cette erreur est gravissime et a été théorisée par Goodhart.
Nous vous rassurons tout de suite, la plupart des erreurs que nous mettons en exergue chez nos clients sont du premier type. Les personnes qui ont conçu les questionnaires de satisfaction ne possédaient pas toutes les connaissances techniques pour éviter les erreurs. Involontairement, des biais ont donc été introduits.
Malheureusement nous rencontrons également des erreurs bien plus graves qui orientent les réponses des clients. Paradoxalement ces erreurs sont surtout commises au sein de grandes sociétés. Ces dernières sont censées disposer du personnel le mieux formé, mais c’est en leur sein que l’impact de la satisfaction client se fait aussi le plus sentir. La mesure de la satisfaction client est en effet un indicateur qui peut remonter jusqu’au top management et dont dépendent parfois des bonus. Toutes les conditions sont donc réunies pour que les résultats soient faussés. Plusieurs exemples viennent à l’esprit à l’heure d’écrire ces lignes :
- les concessionnaires automobiles qui vous disent quoi répondre au questionnaire de satisfaction que vous recevrez par email après avoir récupéré votre voiture
- une banque qui fait de la publicité pour son taux de satisfaction mais qui le mesure en utilisant un questionnaire biaisé
- une assurance qui mesure ses performances à l’aune de points de référence exagérément permissif
Publié dans Marketing.
