Sommaire
1. Recrutement réussi de testeurs de qualité
2. Expérimentation avec des contrôles de qualité manuels
2.1 Faire face aux limites des contrôles manuels
2.2 Garantie de plus d’efficience et d’efficacité grâce à l’intelligence artificielle
3. Diminution du mismatching grâce à SmartInvite
4. Prédiction de la fiabilité grâce à Honeybadger
4.1 Regroupement de données pour prédire la qualité
4.2 Comment trouver les bons facteurs qui affectent la qualité des testeurs
5. Poussant l’intelligence artificielle au niveau supérieur
5.1 Apprentissage continu avec de nouvelles données
5.2 Identification de nouveaux potentiels pour l’intelligence artificielle
6. Le juste équilibre entre l’homme et la machine
1. Recrutement réussi de testeurs de qualité
Nos testeurs sont le cœur de notre métier et ce qui fait la différence avec des autres acteurs du marché, c’est la haute qualité de nos panels (« pool ») de testeurs. Et qu’est-ce que cela signifie exactement ? Nous garantissons toujours un pool représentatif et diversifié de testeurs afin que vous obteniez des bonnes perceptions de votre recherche utilisateur. En d’autres termes, nous vous fournissons des testeurs qui correspondent aux profils que vous nous demandez. Et surtout, nous vous fournissons des testeurs sans parti pris au préalable.
De plus, les modérateurs et les observateurs d’un test ne devraient pas s’occuper de problèmes tels que no-shows, annulations et testeurs en retard. Il y aura toujours des situations dans lesquelles le testeur test ne peut pas participer du test, mais il existe des moyens de réduire ce risque au minimum. Pour faire face à cela, nos testeurs reçoivent un courriel et un SMS de confirmation de leur participation, ainsi qu’un rappel la veille du test. C’est notamment l’une des raisons pour lesquelles notre taux de no-shows est inférieur à ce qui est habituel dans le secteur.
2. Expérimentation avec des contrôles de qualité manuels
Dans le passé, nous avons fait de nombreuses expériences avec des contrôles de qualité manuels pour réduire l’inclusion de testeurs inappropriés dans les sélectionnés. Par exemple, notre équipe de réussite client a appelé chaque nouvel testeur mis en file d’attente, pour lui intégrer et lui expliquer le processus du test. Cela prenait beaucoup de temps et finalement n’a eu aucun effet sur la qualité des testeurs. Dans une autre expérience, nous avons demandé aux testeurs d’enregistrer une vidéo d’eux-mêmes, avant de faire le test. Dans cette vidéo, ils devaient expliquer qui ils étaient et quelle était leur motivation à participer. Malheureusement, cette expérience a eu un impact même négatif sur le comportement des testeurs. L’expérience du vidéo nous a fait conclure que certains testeurs ont voulu faire plaisir au modérateur du test en leur disant à quel point le produit était bon, au lieu d’en faire une critique.
2.1 Faire face aux limites des contrôles manuels
Avec un pool de plus de 940 700 personnes, il est impossible d’effectuer des contrôles manuels des testeurs. Lorsque ceux qui font des recherches utilisateurs commandent des testeurs chez nous, ils veulent parler à leurs testeurs dès que possible. Pour nous, cela signifie que nous devons découvrir le plus rapidement possible lesquels de nos testeurs conviennent à la recherche. Pour garantir la vitesse et la qualité à mesure que la taille du pool augmente, les processus automatisés sont la seule solution. Pour cette raison, l’évolutivité et l’accès à des milliers d’ensembles de données nous ont poussés à investir dans la science des données en 2019. Après avoir constaté des résultats positifs dans l’analyse des inférences, nous avons décidé de faire le saut et d’investir massivement dans l’intelligence artificielle en 2020.
2.2 Garantie de plus d’efficience et d’efficacité grâce à l’intelligence artificielle
Pour savoir lesquels de nos testeurs sont appropriés et disponibles pour un test, nous devons leur poser des questions. Ce processus s’appelle « screening » et consiste en une collection de questions avec une logique intégrée afin de trier les candidats pour déterminer qui sera inclus et qui non. Chaque recrutement de testeurs et combiné avec un screening, pour vérifier si un testeur correspond ou non au profil demandé par le client. Notre plus grand défi est de ne pas spammer tous les 940 700+ testeurs avec ces questions de screening. C’est pourquoi nous utilisons l’intelligence artificielle pour améliorer notre service en tant que recruteur de testeurs et que ceux-ci aient une meilleure expérience avec nous. Nous utilisons spécifiquement deux mécanismes d’intelligence artificielle. L’un est pour la prédiction du profil (SmartInvite) et l’autre pour la prédiction de la qualité (Honeybadger).
3. Diminution du mismatching grâce à SmartInvite
Le « mismatching » ou faux raccord est un moment de frustration pour les testeurs. Surtout parce qu’ils prennent le temps de répondre aux questions et espèrent quelque chose en retour. Nous faisons tout ce qui est en notre pouvoir pour réduire le nombre de ces moments de déception. C’est là que SmartInvite entre en place. Avec l’aide de SmartInvite, nous pouvons prédire si le testeur fictif Jacques Dupont possède réellement une Tesla ou non. Jacques n’a même pas besoin de répondre à cette question. Et maintenant, vous êtes probablement en train de vous demander comment cela fonctionne.
Nous basons la prédiction sur le profil sur toutes les données dont nous disposons sur ce testeur et les autres testeurs qui se trouvent dans notre système. À ce jour, nous avons plus de 940 700 testeurs dans notre base de données et environ 200 réponses de chaque testeur. Notre solution est une « factorisation matricielle » pour prédire toute réponse possible, p. ex., « possède une Tesla et possède une Mercedes mais ne possède pas une Ferrari ». Elle est basée sur un ensemble fou de big data de plus de 940 700 testeurs avec 200 réponses par testeur, ce qui signifie des millions de réponses (caractéristiques) particulières à prédire.
La multiplication matricielle suivante montre comment cela fonctionne. Les chiffres en couleur gris montrent des choses que nous ne savons pas à 100%, mais que nous pouvons calculer avec notre algorithme de prédiction.
Grâce à cet algorithme, la probabilité de la conformité d’un testeur avec un profil spécifique est passée de 20% à 40%.
4. Prédiction de la fiabilité grâce à Honeybadger
La recherche utilisateur peut être très frustrante, surtout si l’une des deux facteurs ci-dessous se produit :
- No-show : le testeur ne se présente pas (trop tard, oublié, s’en fout, accident sur le chemin, etc.).
- Non approprié : le testeur ne se conformait pas au profil recherché (un malentendu, testeur qui ment, etc.).
Le cœur de notre service est la qualité. Pour nous et nos clients, cela signifie fournir des testeurs fiables et qui répondent au profil demandé. Nous combattons les cas mentionnés ci-dessus avec de nombreux mécanismes de précaution. L’un d’eux est également alimenté par l’intelligence artificielle, et nous l’appelons « Honeybadger ».
4.1 Regroupement de données pour prédire la qualité
Pour savoir qui est qualifié pour le test, nous classons les testeurs en deux groupes ou « clusters ». Nous prenons toutes les données dont nous disposons sur nos testeurs et les regroupons en deux clusters : les fiables et les non fiables. Et nous invitons uniquement les testeurs du cluster fiable. Pour en être bien clairs : en fonction de l’heure de l’étude, de sa langue, de son emplacement, un testeur peut une fois faire partie du groupe fiable et une autre du groupe non fiable. Voici une représentation visuelle s’il n’y avait que deux dimensions.
4.2 Comment trouver les bons facteurs qui affectent la qualité des testeurs
Nous avons expérimenté avec des centaines de facteurs qui ont de l’influence sur la qualité, tels que « la distance jusqu’à la prochaine gare », la météo (les jeunes préfèrent-ils aller au lac le mercredi après-midi s’il fait beau?), etc. Après un certain temps, nous en avons trouvé sept qui vraiment donnent une bonne inférence. Lesquels ? Eh bien, c’ est l’ingrédient secret de notre sauce. Les testeurs indiqués comme recommandés obtiennent une note moyenne de 4,54 sur 5, tandis que les testeurs non recommandés obtiennent une note moyenne de 4,17.
Mais pour être bien clairs : l’intelligence artificielle est loin d’être toujours parfaite. Elle ne donne que des indications, et c’est ainsi que nous avons construit notre système. Nous ne comptons pas tout simplement sur le statu quo et nous alimentons constamment notre système avec les leçons tirées des erreurs.
5. Poussant l’intelligence artificielle au niveau supérieur
Comme déjà mentionné dans cet article, nous améliorons continuellement la qualité de nos testeurs et notre service en tant que recruteur de testeurs. Les étapes suivantes vous montreront comment nous nous en assurons.
5.1 Apprentissage continu avec de nouvelles données
Nous entraînons notre algorithme de prédiction chaque nuit avec toutes les données supplémentaires que nous avons obtenu pendant la journée. Ainsi, plus nous enseignons notre algorithme et plus de données sur nos testeurs nous avons, plus chaque testeur et chaque client bénéficiera d’invitations plus précises. De cette façon, nous ne les dérangeons pas à moins que nous ayons besoin de nouvelles informations.
5.2 Identification de nouveaux potentiels pour l’intelligence artificielle
Une chose est de trouver les bons testeurs, une autre est de savoir quand ils sont disponibles. Pouvoir prédire la disponibilité d’un testeur pourrait être amélioré à l’aide de l’intelligence artificielle – ainsi comme la possibilité de prédire le matching d’un testeur. En fournissant ce service, nous pourrions aider les clients à trouver les plages horaires pour exécuter leurs tests utilisateur lorsque leur groupe cible est disponible (p. ex., les ouvriers ont généralement des horaires stricts). Un autre service potentiel soutenu par l’intelligence artificielle serait de prédire la motivation des testeurs et leur capacité de penser à haute voix. Enfin, et pas moins important, les stimulus incitatifs pourraient également changer la donne. Prédire combien vous devriez payer en stimulus incitatif à votre groupe cible spécifique pour attirer les bons testeurs pourrait changer leur volonté de participer (p. ex., les chirurgiens et les étudiants n’ont pas le même taux horaire).
6. Le juste équilibre entre l’homme et la machine
L’automatisation du soutien au client est excellente pour améliorer l’efficacité. Cependant, nous pensons que les clients souhaitent toujours pouvoir parler à un humain si leurs requêtes ne peuvent pas être résolues complètement en ligne. La bonne expérience au bon moment compte beaucoup. Par conséquent, nous avons une équipe formidable dédiée uniquement au succès de nos clients. Même si nos processus sont hautement numérisés et automatisés, nos testeurs continuent à être des êtres humains uniques. En cas de problème, vous pouvez contacter notre équipe de réussite client qui s’en occupera. Afin d’offrir la meilleure expérience client possible, nous souhaitons investir davantage dans notre équipe. Elle peut vous aider avec la meilleure combinaison de profils, de questions de screening parfaites, de la meilleure méthodologie d’étude à utiliser, la création de votre propre pool de testeurs (Private Pool) et bien plus.
