A/B testing et emailing, les données au service de la performance

par ‘Mai 15, 2019’Emailing, Personnalisation

telecharger-simulateur-performances-personnalisation-newsletter

 

L’email marketing continu année après année à faire ses preuves. Qu’il s’agisse d’envoyer une newsletter, des offres promotionnelles, de relancer des contacts inactifs, dans tous les secteurs d’activités l’emailing est utilisé même si les finalités varient. Cependant, la plupart des emails marketing envoyés sont basés sur des intuitions « je pense que le bouton vert est plus joli donc, il devrait mieux fonctionner », « Selon moi, les grandes images en 1080px par 1080px, c’est beaucoup plus performant qu’en 400px par 200px ».

En bref, c’est très bien d’avoir des intuitions, mais elles sont subjectives et varient d’un individu à un autre.

De fait, pour vérifier les intuitions et le cas échéant apporter les correctifs, l’a/b test est la solution qui présente des prérogatives non négligeables puisqu’un a/b test met en exergue des résultats chiffrés. Autrement dit, des résultats fiables et avérés.

 

A/B Test, le concept de base en emailing

L’a/b test (ou split test) consiste dans le cadre de campagnes emailings à envoyer deux versions différentes (contenu, design, accroche) de votre newsletter (ou autre email marketing) dans le but d’infirmer ou de confirmer une intuition. Un test a/b doit être envoyé à 2 échantillons similaires et suffisamment larges (en nombre d’abonnés) pour que les résultats soient représentatifs (statistiquement parlant) de la réalité.

ab-test-emailing-texte-des-boutons

Voici un exemple d’a/b test sur la newsletter Mediego. Sur ce test, ce sont la performances des boutons d’appel à l’action qui sont évalués, les modifications concernent le texte d’accroche des boutons.

 

5 bonnes raisons d’utiliser l’A/B testing en emailing

1/ Confirmer des intuitions :
L’a/b testing a l’avantage de transformer vos intuitions en bonnes pratiques vérifiées si les statistiques vont dans le sens de vos prédictions. En plus de confirmer certains de vos choix, cette méthode oriente continuellement vos choix dans une logique d’amélioration continue et d’une remise en question permanente.

 

2/ Améliorations continues :
Un objectif revient toujours quand nous parlons d’a/b test : « optimiser des campagnes existantes ». De mon point de vue, cela ne constitue pas un objectif, mais plutôt une finalité. De fait, tout a/b test a vocation à optimiser des éléments aussi divers que variés dans une campagne emailing (objet, contenu, design, positionnement, etc.).

 

3/ Mettre tout le monde d’accord :
Il arrive parfois (je dis bien parfois) qu’un collègue impose ses idées ou sa vision, « Hum ! Je n’aime pas la couleur du bouton, tu devrais la changer au plus vite », bref les gouts et les couleurs… Ces situations que nous connaissons tous sont monnaie courante et l’a/b test est formidable pour éviter ces situations et mettre tout le monde d’accord.

 

4/ Possibilités offertes :
Nous allons revenir sur ce point plus tard, mais les possibilités offertes par les splits tests sont quasiment infinies, vous pouvez tout tester, encore faut-il que vos tests aient un sens.

 

5/ Retour sur investissement :
L’acquisition de nouveaux abonnés est un chalenge web marketing souvent onéreux. Pour rentabiliser cet investissement, l’a/b testing s’avère utile puisqu’il permet d’optimiser les campagnes en fonction de vos objectifs et enjeux marketing. Quand je parle d’enjeux, il s’agit par exemple d’augmenter la rétention des abonnés par l’accroissement de l’engagement sur les campagnes. Car acquérir de nouveaux inscrits, ça prend du temps et ça coûte cher, beaucoup plus cher que de les engager et les fidéliser.

 

[bctt tweet= »Pourquoi utiliser l’A/B testing en #emailing ? 1- Confirmer des intuitions / 2- Améliorations continues / 3- Mettre tout le monde d’accord… » username= »MediegoFr »]

 

Les prérequis pour un A/B Test digne de ce nom

Avant de vous lancer tête baissée dans une campagne de split test pour améliorer les résultats de votre emailing (newsletter, email de relance, email de bienvenue, etc.), il est important de respecter certaines étapes pour que le test se déroule dans les règles de l’art.

 

1/ L’objectif

Pour définir l’objectif d’un a/b test, il est primordial de partir d’un postulat de départ et de réfléchir à des hypothèses, par exemple :

Postulat de départ Hypothèse Objectifs
Le taux d’ouverture de la newsletter quotidienne est 10 % inférieur à la moyenne du secteur Utiliser des verbes d’action dans l’objet pour augmenter le taux d’ouverture Augmenter de 15 % le taux d’ouverture de la newsletter quotidienne
50 % des abonnés qui ouvrent l’email ne cliquent pas sur les liens dans la newsletter En utilisant de l’orange à la place du bleu pour les boutons « Lire plus », le taux de clic devrait augmenter Obtenir 20 % de clics en plus avec les boutons orange « Lire plus »
Seulement 0,25 % des abonnés à la newsletter choisissent de payer un abonnement pour disposer de contenus premium En insérant 6 articles payants dans la newsletter contre 1 actuellement, les abonnés à la newsletter seront plus à même de souscrire à un abonnement Obtenir un taux de conversion supérieure à 2 % grâce à l’ajout d’articles payants dans la newsletter

 

Avec le postulat de départ et une hypothèse, vous devriez être en mesure de définir des objectifs chiffrés qui permettront de déterminer si votre hypothèse s’avère juste ou si ce n’est pas là-dessus qu’il faut concentrer vos efforts.

 

2/ Le support

Même si par rapport au thème de l’article, le support fait obligatoirement référence à un emailing, sachez tout de même qu’un a/b test n’est pas cantonné à l’email.

Par exemple : votre email est prêt à être envoyé aux inscrits, l’objectif de cette campagne email est de convertir les abonnés pour qu’ils souscrivent à un abonnement payant leur permettant d’accéder à tout le contenu créé par le média en ligne. Vous envoyez la campagne emailing, mais surprise… vous n’enregistrez que 0,2 % d’inscription à l’abonnement. On pourrait croire que c’est uniquement parce que les gens ne sont pas intéressés, mais en réalité, c’est parce que la page d’abonnement ne comporte aucune information sur l’offre et invite à payer 10 € par mois. Dans ce cadre, même si l’action d’acquisition était représentée par la campagne emailing, ce n’est cependant pas à cause de l’emailing que les internautes n’ont pas souscrit à l’offre. En revanche, c’est peut-être à cause du prix trop élevé, du dysfonctionnement de la page sur mobile, du manque d’informations, etc.

Si j’ai choisi cet exemple, c’est uniquement pour montrer qu’en fonction de l’objectif, ce ne sera pas toujours l’emailing qui nécessitera un a/b test. Donc, après avoir défini l’objectif, vous devez identifier le support qui sera l’objet de l’a/b test.

 

3/ Les éléments

Nous reviendrons plus tard dans l’article sur les différents éléments que vous pouvez a/b tester sur un email marketing. Ceci étant, même s’il est souvent séduisant de tester plusieurs variables pendant un même test, dans un premier temps je vous le déconseille, car même si c’est relativement simple d’implémenter une multitude de variables, il peut être compliqué d’obtenir et d’interpréter les résultats et d’évaluer l’effet de chaque variable.

Pendant la mise en place du test, on est vite attiré par d’autres éléments à tester puisque les possibilités sont presque infinies. Cependant, n’oubliez pas que vous avez un objectif à tenir et qu’il est crucial d’aller au bout d’un a/b test pour obtenir des résultats exploitables.

exemple-ab-test-changement-mise-en-forme

Exemple d’a/b test sur la mise en forme des contenus de la newsletter Mediego

 

4/ La durée du test

La réponse que vous attendiez depuis le début… je ne vais pas vous la donner, non pas que je ne le veuille pas, mais simplement, car il n’y a pas de durée parfaite commune à tous.

Toutefois, sachez que plus vous amasserez de données, plus elles seront fiables. Dès lors, si vous possédez une base de données de 2 000 inscrits, et que vous envoyez une newsletter tous les mois, les résultats attendus prendront beaucoup plus de temps pour se révéler qu’un média détenant 200 000 abonnés actifs à qui il envoie une newsletter quotidiennement.

Attention aussi à considérer les facteurs externes dans vos a/b tests. Je m’explique, si vous êtes un média en ligne spécialisé dans le sport et que vous envoyez toutes les semaines une newsletter sur le thème du football, alors évitez de lancer le test pendant la coupe du monde. Effectivement, les comportements des internautes ne seront sans doute pas représentatifs des comportements habituels de consommation de votre newsletter (il s’agit là encore d’une hypothèse à vérifier).

 

telecharger-media-et-personnalisation-gagnante

 

5/ L’échantillon

Que vous choisissiez d’envoyer votre test sur une partie restreinte de votre base de données, ou qu’à l’inverse vous souhaitiez faire un test grandeur nature, l’important reste de disposer d’échantillons statistiquement significatifs. Une bonne pratique est de choisir la même taille d’échantillon. Ainsi vous pourrez comparer les résultats sur un volume de données similaire et recueillir des statistiques représentatives de la réalité.

Par exemple, vous pourriez choisir de couper votre base de données en deux et d’envoyer aux premiers 50 %, comme vous le feriez habituellement et à l’autre moitié :

  • 25 % sans changement
  • 25 % avec la variable testée.

Vous pouvez aussi diviser purement et simplement votre base de données en deux et envoyer aux premiers 50 % votre newsletter actuelle et aux 50 % restant, la newsletter avec la modification que vous souhaitez tester.

Du reste, le comportement des abonnés pouvant être radicalement différent d’un individu à un autre, prenez le soin de constituer les échantillons avec des personnes au comportement similaire.

Je m’explique, si votre objectif est d’augmenter le taux d’ouverture de votre newsletter quotidienne alors, il ne faudra pas mettre tous les utilisateurs actifs dans un échantillon et dans l’autre échantillon tous les abonnés inactifs (qui n’ont pas ouvert votre newsletter depuis 1 mois par exemple).

 

6/ Les résultats

Tout a/b test doit déboucher sur une analyse approfondie des résultats obtenus, sans quoi tous les efforts fournis précédemment n’auront servi à rien.

Souvent, les solutions d’édition et/ou d’envoi des emails marketing sont en mesure d’afficher les résultats de A et de B afin de vous faciliter leur lecture et leur analyse.

Pour l’analyse des résultats, cet article sur les KPIs à suivre pour vos campagnes emailing devrait vous intéresser.

À la fin de votre a/b test, vous pouvez faire face à deux cas de figure :

  1. Il y a une variante vainqueur
  2. Il n’y a pas de vainqueur

Dans la première situation, c’est très bien, le test a été concluant et votre hypothèse de base a été confirmée ou non. Vous pouvez généraliser la variante qui a remporté le match ou lancer un autre a/b test si vous n’êtes pas convaincu du résultat.

Dans le second cas (beaucoup plus fréquent qu’il n’y paraît), il faudra refaire un test pour atteindre l’objectif fixé et donc revenir au point 3 évoqué précédemment et recommencer le test en suivant à nouveau toutes les étapes.

 

statistiques-ab-testing-emailing

 

Les éléments à a/b tester en emailing ?

Sans vouloir commencer par la conclusion de cette partie, vous pouvez plus ou moins tout tester dès lors qu’il s’agit d’éléments de design, de contenu ou de paramètre ! Mais, pour aller plus loin, voici quelques pistes d’éléments que vous pourriez commencer à a/b tester.

 

Pour augmenter le taux d’ouverture vous pouvez a/b tester :

 

Pour augmenter le taux de clic :

  • contenu personnalisé vs contenu éditorialisé
  • apparence des boutons, des contenus, etc.
  • texte des boutons
  • déplacement de la position des boutons, des contenus, etc.
  • structure de l’email : jouer avec la structure de l’email, par exemple passer de 1 colonne à 2 colonnes
  • images : modification du format, taille, style graphique

 

Pour augmenter le taux de conversion

  • l’URL cible d’un lien
  • a/b test sur les landing pages
  • a/b test de formulaire d’inscription, de contact, de demande de démonstration, etc.
  • a/b test d’offres différentes
  • ajout d’articles payants dans la newsletter (pour les acteurs de la presse en ligne)
  • l’apparence du prix

 

Malgré tout ce que nous venons de voir, un principe est fondamental : si vous faites des promesses, veillez à les tenir pour conserver la confiance instaurée entre vos abonnés et votre marque !

Par exemple : si votre objectif est d’augmenter de 20 % le taux d’ouverture, sachez que c’est tout à fait possible, mais que cela ne doit pas se faire au détriment de la confiance que l’abonné vous accorde. Si vous rédigez un objet pour augmenter le nombre d’ouvertures, mais que celui-ci ne reflète en rien le contenu de l’email, dans ce cas, l’objectif sera atteint (augmenter le taux d’ouverture), mais pour autant, vous risquez de voir le nombre de désabonnements s’envoler. Je doute qu’augmenter le nombre d’ouvertures pour voir les abonnés vous quitter soit la finalité recherchée.

 

Chez Mediego, nous réalisons des a/b tests pour comparer les performances des newsletters personnalisées par rapport aux newsletters entièrement éditorialisées par les équipes de journalistes chez nos clients du secteur de la presse en ligne. Si vous souhaitez en savoir plus sur les performances générées par les newsletters personnalisées, découvrez les retours de Ouest-France et du groupe de presse Publihebdos qui utilisent notre solution de personnalisation pour l’envoi de leurs newsletters quotidiennes.

telecharger-media-et-personnalisation-gagnante

Webmarketer chez Mediego, Benjamin fait une veille constante sur des sujets comme le e-commerce / média afin de vous transmettre toute l'actualité et vous renseigner sur les meilleures pratiques de personnalisation.

Benjamin Carro

Chargé de WebMarketing, Mediego

À lire ensuite