Vous lisez des milliers d’articles à propos de l’analyse de données et des métriques. Vous avez acheté tous les livres de référence sur le sujet. Votre équipe vous pousse à toujours obtenir plus de métriques à propos des utilisateurs, de votre business, de Google Ads… Vous intégrez de plus en plus d’outils incapables de dialoguer entre eux. Et vous vous retrouvez dans cette situation où vous vous dites : « OK, mais j’en fais quoi maintenant ? ».

Le but de l’analyse de données c’est d’apprendre.

Comme je vous l’ai dit dans notre précédent article, pour réussir, votre équipe doit apprendre le plus rapidement possible. Et malheureusement, lorsqu’on est lancé dans la fougue du quotidien, apprendre c’est rarement la priorité…

On a fait l’erreur classique chez Catchr lorsqu’on concevait notre produit :

  • Concevoir le produit (en mode tunnel bien sûr, ce n’est pas drôle autrement).
  • Brancher tous les outils de collecte de données possibles.
  • Lancement 🚀.

Et là, on se retrouve un peu désarmé par autant d’outils et autant de données qui arrivent sur notre back-office. On essaie tant bien que mal de construire un tableau de bord résumant tout ça. On se rend compte que certaines métriques ne veulent rien dire sans une volumétrie importante, que d’autres sont erronées à cause de la configuration ou qu’elles se nomment de la même manière entre deux plateformes, mais ne signifient pas la même chose.

Qu’est-ce que l’on fait donc ? On retourne vite du côté du développement et l’on continue à foncer droit dans le mur.

Et qu’est ce que l’on a appris ? Strictement rien du tout. 

Les développeurs avisés auront même identifié un pattern qu’ils connaissent très bien: la boucle infinie. Le fameux pattern qui fait bug n’importe quel système, car l’action répétée est toujours la même. Dans notre cas : construire le produit. Et ça, c’est le meilleur moyen pour échouer. 

Mais on a trouvé une solution.

En réalité, ce n’est pas nous qui avons trouvé la solution, mais plutôt Éric Ries avec le principe du Lean Startup. Le concept de base du Lean Startup est très simple : avancer par petite itération en partant d’une hypothèse et en la validant.

Ce qui donne :

  • Formuler une hypothèse en amont.
  • Concevoir le produit de la manière la plus rapide possible.
  • Mesurer la réponse à votre produit par rapport à votre hypothèse de base.
  • Décider si oui ou non l’hypothèse est bonne et incrémenter.

Grâce à cette méthodologie, vous allez pouvoir valider, à chaque étape de construction de votre produit, si l’utilisateur est en phase avec celle-ci ou non. Ce qui est un atout extraordinaire, car sans produit plébiscité par les utilisateurs, pas d’utilisation.

Attention toutefois.

Il existe un très grand piège lorsque vous formulez votre hypothèse et que vous sélectionnez les métriques sur lesquelles vous allez débriefer votre hypothèse : les vanity metrics.

Les vanity metrics sont des métriques qui ne vous font pas réellement avancer, mais qui satisfassent notre égo.

Prenons un exemple très simple.

  • Métrique de base : nombre de vues total (100 000 lors du lancement du test)
  • Hypothèse : Si je diffuse mon contenu sur LinkedIn, j’aurais plus de visiteurs.
  • Réponse de la mesure : une semaine plus tard, 105 000 vues au total 🎉.
  • Résultat : Je continue donc à poster sur LinkedIn.

Et voilà, vous avez été piégé par la fameuse vanity metrics. En mesurant le nombre de vues total, vous n’avez aucun moyen de savoir quel a été l’impact réel des différentes publications LinkedIn. 

Ce qui compte avant tout au jour le jour, c’est la croissance. Vous devez donc mesurer quel a été l’impact en terme de croissance pour votre site web. Si vous aviez pris le nombre d’utilisateurs par semaine, vous auriez pu comparer la semaine précédente avec cette semaine et donc tirer une conclusion claire pour cette hypothèse. Bonne ou mauvaise.

La problématique du temps.

Comme vu précédemment , il ne faut pas comptabiliser les métriques en totaux. Mais plutôt utiliser une plage de temps. Mais quelle plage de temps choisir ?

Cela va être très dépendant de votre business et de votre volumétrie.

Une plage de temps restreinte va forcément mener à un apprentissage plus rapide, mais il faut avoir la volumétrie nécessaire pour pouvoir tirer des conclusions sur des échantillons statistiques représentatifs. Autrement, c’est un peu comme tirer à pile ou face. De plus, il est important que la donnée dans cet intervalle soit stable. Quand, j’emploie le mot « stable », c’est que l’échantillon est représentatif statistiquement. Prenons l’exemple de Facebook :

Supposons que Facebook fait en moyenne 100 inscriptions / minute. La distribution sur 10 minutes pourrait ressembler à quelque chose comme : (110, 90, 105, 85 , 95 , 115, 100, 150, 50, 100). On peut observer que la distribution est assez stable (on vous partage l’outil en fin de page pour que vous puissiez déterminer si la distribution de vos métriques est stable).

Sampling chez Facebook pour la métrique "inscription"

Sampling chez Facebook pour la métrique « inscription ».

Par contre, si on prend le même sampling chez Catchr, on se retrouve plutôt avec une distribution de la sorte : (0,0,0,0,1,0,0,0,0,0).

Sampling chez Catchr pour la métrique "inscription".

Sampling chez Catchr pour la métrique « inscription ».

Chez Catchr, on n’a donc pas la volumétrie d’un Facebook pour faire des tests A/B sur le nombre d’inscrits minute / minute. On ne peut donc pas tirer des résultats sur une journée de l’amélioration de notre entonnoir de conversion. Comment fait-on ? On prend une plage de temps plus grande, la semaine par exemple, et l’on itère.

Donc, il faut que vous définissiez la plage de temps où votre métrique est stable (la semaine est un bon départ).

L’échec est une bonne chose.

Chez Catchr, on pense qu’un bon tableau de bord, c’est un tableau de bord qui montre les échecs et non les victoires. C’est d’ailleurs pour ça qu’on préfère vous alerter quand quelque chose fonctionne mal plutôt que vous dire que tout va bien. Si vous avez des questions sur l’analyse de vos métriques, n’hésitez pas à nous écrire un mail, on sera ravi de vous répondre.

Pour le sheet d’analyse, vous pouvez le trouver ici.

février 27, 2020 9:34