2. Exp\u00e9rimentation avec des contr\u00f4les de qualit\u00e9 manuels<\/a> 3. Diminution du mismatching gr\u00e2ce \u00e0 SmartInvite<\/a><\/p>\n 4. Pr\u00e9diction de la fiabilit\u00e9 gr\u00e2ce \u00e0 Honeybadger<\/a> 5. Poussant l\u2019intelligence artificielle au niveau sup\u00e9rieur<\/a> 6. Le juste \u00e9quilibre entre l\u2019homme et la machine<\/a><\/p>\n Nos testeurs sont le c\u0153ur de notre m\u00e9tier et ce qui fait la diff\u00e9rence avec des autres acteurs du march\u00e9, c\u2019est la haute qualit\u00e9 de nos panels (\u00ab\u00a0pool\u00a0\u00bb) de testeurs. Et qu\u2019est-ce que cela signifie exactement\u00a0? Nous garantissons toujours un pool repr\u00e9sentatif et diversifi\u00e9 de testeurs afin que vous obteniez des bonnes perceptions de votre recherche utilisateur. En d\u2019autres termes, nous vous fournissons <\/span>des testeurs qui correspondent aux profils que vous nous demandez.<\/b> Et surtout, nous vous fournissons <\/span>des testeurs sans parti pris au pr\u00e9alable<\/b>.\u00a0<\/span><\/p>\n De plus, les mod\u00e9rateurs et les observateurs d\u2019un test ne devraient pas s\u2019occuper de probl\u00e8mes tels que <\/span>no-shows<\/b>, annulations et testeurs en retard. Il y aura toujours des situations dans lesquelles le testeur test ne peut pas participer du test, mais il existe des moyens de r\u00e9duire ce risque au minimum. Pour faire face \u00e0 cela, nos testeurs re\u00e7oivent un courriel et un SMS de confirmation de leur participation, ainsi qu\u2019un rappel la veille du test. C\u2019est notamment l\u2019une des raisons pour lesquelles notre taux de no-shows est inf\u00e9rieur \u00e0 ce qui est habituel dans le secteur.<\/span><\/p>\n Dans le pass\u00e9, nous avons fait de nombreuses exp\u00e9riences avec des contr\u00f4les de qualit\u00e9 manuels pour r\u00e9duire l\u2019inclusion de testeurs inappropri\u00e9s dans les s\u00e9lectionn\u00e9s. Par exemple, notre \u00e9quipe de r\u00e9ussite client a appel\u00e9 chaque nouvel testeur mis en file d\u2019attente, pour lui int\u00e9grer et lui expliquer le processus du test. Cela prenait beaucoup de temps et finalement n\u2019a eu aucun effet sur la qualit\u00e9 des testeurs. Dans une autre exp\u00e9rience, nous avons demand\u00e9 aux testeurs d\u2019enregistrer une vid\u00e9o d\u2019eux-m\u00eames, avant de faire le test. Dans cette vid\u00e9o, ils devaient expliquer qui ils \u00e9taient et quelle \u00e9tait leur motivation \u00e0 participer. Malheureusement, cette exp\u00e9rience a eu un impact m\u00eame n\u00e9gatif sur le comportement des testeurs. L\u2019exp\u00e9rience du vid\u00e9o nous a fait conclure que certains testeurs ont voulu faire plaisir au mod\u00e9rateur du test en leur disant \u00e0 quel point le produit \u00e9tait bon, au lieu d\u2019en faire une critique.<\/span><\/p>\n Avec un pool de plus de 985 000<\/span> personnes, il est impossible d\u2019effectuer des contr\u00f4les manuels des testeurs. Lorsque ceux qui font des recherches utilisateurs commandent des testeurs chez nous, ils veulent parler \u00e0 leurs testeurs d\u00e8s que possible. Pour nous, cela signifie que nous devons d\u00e9couvrir le plus rapidement possible lesquels de nos testeurs conviennent \u00e0 la recherche. Pour garantir la vitesse et la qualit\u00e9 \u00e0 mesure que la taille du pool augmente, les processus automatis\u00e9s sont la seule solution. Pour cette raison, l\u2019\u00e9volutivit\u00e9 et l\u2019acc\u00e8s \u00e0 des milliers d\u2019ensembles de donn\u00e9es nous ont pouss\u00e9s \u00e0 investir dans la science des donn\u00e9es en 2019. Apr\u00e8s avoir constat\u00e9 des r\u00e9sultats positifs dans l\u2019analyse des inf\u00e9rences, nous avons d\u00e9cid\u00e9 de faire le saut et d\u2019investir massivement dans l\u2019intelligence artificielle en 2020.\u00a0<\/span><\/p>\n Pour savoir lesquels de nos testeurs sont appropri\u00e9s et disponibles pour un test, nous devons leur poser des questions. Ce processus s\u2019appelle \u00ab screening \u00bb et consiste en une collection de questions avec une logique int\u00e9gr\u00e9e afin de trier les candidats pour d\u00e9terminer qui sera inclus et qui non. Chaque recrutement de testeurs et combin\u00e9 avec un screening, pour v\u00e9rifier si un testeur correspond ou non au profil demand\u00e9 par le client. Notre plus grand d\u00e9fi est de ne pas spammer tous les 985 000<\/span>+ testeurs avec ces questions de screening. C\u2019est pourquoi nous utilisons l\u2019intelligence artificielle pour am\u00e9liorer notre service en tant que recruteur de testeurs et que ceux-ci aient une meilleure exp\u00e9rience avec nous. Nous utilisons sp\u00e9cifiquement deux m\u00e9canismes d\u2019intelligence artificielle. L\u2019un est pour la pr\u00e9diction du profil (SmartInvite) et l\u2019autre pour la pr\u00e9diction de la qualit\u00e9 (Honeybadger).<\/span><\/p>\n Le \u00ab\u00a0mismatching\u00a0\u00bb ou faux raccord est un moment de frustration pour les testeurs. Surtout parce qu\u2019ils prennent le temps de r\u00e9pondre aux questions et esp\u00e8rent quelque chose en retour. Nous faisons tout ce qui est en notre pouvoir pour r\u00e9duire le nombre de ces moments de d\u00e9ception. C\u2019est l\u00e0 que SmartInvite entre en place. Avec l\u2019aide de SmartInvite, nous pouvons pr\u00e9dire si le testeur fictif Jacques Dupont poss\u00e8de r\u00e9ellement une Tesla ou non. Jacques n\u2019a m\u00eame pas besoin de r\u00e9pondre \u00e0 cette question. Et maintenant, vous \u00eates probablement en train de vous demander comment cela fonctionne.<\/span><\/p>\n Nous basons la pr\u00e9diction sur le profil sur toutes les donn\u00e9es dont nous disposons sur ce testeur et les autres testeurs qui se trouvent dans notre syst\u00e8me. \u00c0 ce jour, nous avons plus de 985 000<\/span> testeurs dans notre base de donn\u00e9es et environ 200 r\u00e9ponses de chaque testeur. Notre solution est une \u00ab factorisation matricielle \u00bb pour pr\u00e9dire toute r\u00e9ponse possible, p. ex., \u00ab poss\u00e8de une Tesla et poss\u00e8de une Mercedes mais ne poss\u00e8de pas une Ferrari \u00bb. Elle est bas\u00e9e sur un ensemble fou de big data de plus de 985 000<\/span> testeurs avec 200 r\u00e9ponses par testeur, ce qui signifie des millions de r\u00e9ponses (caract\u00e9ristiques) particuli\u00e8res \u00e0 pr\u00e9dire.\u00a0<\/span><\/p>\n La multiplication matricielle suivante montre comment cela fonctionne. Les chiffres en couleur gris montrent des choses que nous ne savons pas \u00e0 100%, mais que nous pouvons calculer avec notre algorithme de pr\u00e9diction.<\/span><\/p>\n Gr\u00e2ce \u00e0 cet algorithme, la probabilit\u00e9 de la conformit\u00e9 d\u2019un testeur avec un profil sp\u00e9cifique est pass\u00e9e de 20% \u00e0 40%<\/span>.<\/span><\/p>\n La recherche utilisateur peut \u00eatre tr\u00e8s frustrante, surtout si l\u2019une des deux facteurs ci-dessous se produit\u00a0:<\/span><\/p>\n Le c\u0153ur de notre service est la qualit\u00e9. Pour nous et nos clients, cela signifie fournir des testeurs fiables et qui r\u00e9pondent au profil demand\u00e9. Nous combattons les cas mentionn\u00e9s ci-dessus avec de nombreux m\u00e9canismes de pr\u00e9caution. L\u2019un d\u2019eux est \u00e9galement aliment\u00e9 par l\u2019intelligence artificielle, et nous l\u2019appelons \u00ab\u00a0Honeybadger\u00a0\u00bb.<\/span><\/p>\n Pour savoir qui est qualifi\u00e9 pour le test, nous classons les testeurs en deux groupes ou \u00ab\u00a0clusters\u00a0\u00bb. Nous prenons toutes les donn\u00e9es dont nous disposons sur nos testeurs et les regroupons en deux clusters\u00a0: les fiables et les non fiables. Et nous invitons uniquement les testeurs du cluster fiable. Pour en \u00eatre bien clairs\u00a0: en fonction de l\u2019heure de l\u2019\u00e9tude, de sa langue, de son emplacement, un testeur peut une fois faire partie du groupe fiable et une autre du groupe non fiable. Voici une repr\u00e9sentation visuelle s\u2019il n\u2019y avait que deux dimensions.<\/span><\/p>\n Nous avons exp\u00e9riment\u00e9 avec des centaines de facteurs qui ont de l\u2019influence sur la qualit\u00e9, tels que \u00ab\u00a0la distance jusqu\u2019\u00e0 la prochaine gare\u00a0\u00bb, la m\u00e9t\u00e9o (les jeunes pr\u00e9f\u00e8rent-ils aller au lac le mercredi apr\u00e8s-midi s\u2019il fait beau?), etc. Apr\u00e8s un certain temps, nous en avons trouv\u00e9 sept qui vraiment donnent une bonne inf\u00e9rence. Lesquels\u00a0? Eh bien, c\u2019 est l\u2019ingr\u00e9dient secret de notre sauce. Les testeurs indiqu\u00e9s comme recommand\u00e9s obtiennent une note moyenne de 4,54 sur 5, tandis que les testeurs non recommand\u00e9s obtiennent une note moyenne de 4,17.<\/span><\/p>\n Mais pour \u00eatre bien clairs\u00a0: l\u2019intelligence artificielle est loin d\u2019\u00eatre toujours parfaite. Elle ne donne que des indications, et c\u2019est ainsi que nous avons construit notre syst\u00e8me. Nous ne comptons pas tout simplement sur le statu quo et nous alimentons constamment notre syst\u00e8me avec les le\u00e7ons tir\u00e9es des erreurs.<\/span><\/p>\n Comme d\u00e9j\u00e0 mentionn\u00e9 <\/span>dans cet article<\/span><\/a>, nous am\u00e9liorons continuellement la qualit\u00e9 de nos testeurs et notre service en tant que recruteur de testeurs. Les \u00e9tapes suivantes vous montreront comment nous nous en assurons.<\/span><\/p>\n Nous entra\u00eenons notre algorithme de pr\u00e9diction chaque nuit avec toutes les donn\u00e9es suppl\u00e9mentaires que nous avons obtenu pendant la journ\u00e9e. Ainsi, plus nous enseignons notre algorithme et plus de donn\u00e9es sur nos testeurs nous avons, plus chaque testeur et chaque client b\u00e9n\u00e9ficiera d\u2019invitations plus pr\u00e9cises. De cette fa\u00e7on, nous ne les d\u00e9rangeons pas \u00e0 moins que nous ayons besoin de nouvelles informations.<\/span><\/p>\n Une chose est de trouver les bons testeurs, une autre est de savoir quand ils sont disponibles. Pouvoir pr\u00e9dire la disponibilit\u00e9 d\u2019un testeur pourrait \u00eatre am\u00e9lior\u00e9 \u00e0 l\u2019aide de l\u2019intelligence artificielle \u2013 ainsi comme la possibilit\u00e9 de pr\u00e9dire le matching d\u2019un testeur. En fournissant ce service, nous pourrions aider les clients \u00e0 trouver les plages horaires pour ex\u00e9cuter leurs tests utilisateur lorsque leur groupe cible est disponible (p. ex., les ouvriers ont g\u00e9n\u00e9ralement des horaires stricts). Un autre service potentiel soutenu par l\u2019intelligence artificielle serait de pr\u00e9dire la motivation des testeurs et leur capacit\u00e9 de penser \u00e0 haute voix. Enfin, et pas moins important, les stimulus incitatifs pourraient \u00e9galement changer la donne. Pr\u00e9dire combien vous devriez payer en stimulus incitatif \u00e0 votre groupe cible sp\u00e9cifique pour attirer les bons testeurs pourrait changer leur volont\u00e9 de participer (p. ex., les chirurgiens et les \u00e9tudiants n\u2019ont pas le m\u00eame taux horaire).<\/span><\/p>\n
\n2.1 Faire face aux limites des contr\u00f4les manuels<\/a>
\n2.2 Garantie de plus d\u2019efficience et d\u2019efficacit\u00e9 gr\u00e2ce \u00e0 l\u2019intelligence artificielle<\/a><\/p>\n
\n4.1 Regroupement de donn\u00e9es pour pr\u00e9dire la qualit\u00e9<\/a>
\n4.2 Comment trouver les bons facteurs qui affectent la qualit\u00e9 des testeurs<\/a><\/p>\n
\n5.1 Apprentissage continu avec de nouvelles donn\u00e9es<\/a>
\n5.2 Identification de nouveaux potentiels pour l\u2019intelligence artificielle<\/a><\/p>\n<\/a>1. Recrutement r\u00e9ussi de testeurs de qualit\u00e9<\/span><\/h2>\n
<\/a>2. Exp\u00e9rimentation avec des contr\u00f4les de qualit\u00e9 manuels<\/span><\/h2>\n
<\/a>2.1 Faire face aux limites des contr\u00f4les manuels<\/span><\/h3>\n
<\/a>2.2 Garantie de plus d\u2019efficience et d\u2019efficacit\u00e9 gr\u00e2ce \u00e0 l\u2019intelligence artificielle<\/span><\/h3>\n
<\/a>3. Diminution du mismatching gr\u00e2ce \u00e0 SmartInvite<\/span><\/h2>\n
![\"\"](\"https:\/\/www.testingtime.com\/app\/uploads\/2020\/07\/Matrix.png\")
<\/p>\n![\"\"](\"https:\/\/www.testingtime.com\/app\/uploads\/2020\/07\/Algorithm-1024x381.png\")
<\/p>\n<\/a>4. Pr\u00e9diction de la fiabilit\u00e9 gr\u00e2ce \u00e0 Honeybadger<\/span><\/h2>\n
\n
<\/a>4.1 Regroupement de donn\u00e9es pour pr\u00e9dire la qualit\u00e9<\/span><\/h3>\n
![\"\"](\"https:\/\/www.testingtime.com\/app\/uploads\/2020\/07\/Cluster-plot-e1597667996444-480x443.png\")
<\/p>\n<\/a>4.2 Comment trouver les bons facteurs qui affectent la qualit\u00e9 des testeurs<\/span><\/h3>\n
![\"\"](\"https:\/\/www.testingtime.com\/app\/uploads\/2020\/07\/Rating-e1598275834361.png\")
<\/p>\n<\/a>5. Poussant l\u2019intelligence artificielle au niveau sup\u00e9rieur<\/span><\/h2>\n
<\/a>5.1 Apprentissage continu avec de nouvelles donn\u00e9es<\/span><\/h3>\n
<\/a>5.2 Identification de nouveaux potentiels pour l\u2019intelligence artificielle<\/span><\/h3>\n
<\/a>6. Le juste \u00e9quilibre entre l\u2019homme et la machine<\/span><\/h2>\n