Chardin - Servant Pouring a Drink for a Billiard Player

Recevoir un message de bienvenue augmente-t-il le nombre de nouveaux contributeurs Wikipédia procédant à leur première modification ? Cela les incite-t-il à poursuivre leurs contributions sur la durée ? Une proposition personnalisée de mentorat peut-elle amplifier ces effets ? Si oui, comment ?

Depuis de nombreuses années, Wikipédia en français envoie un message de bienvenue aux personnes ouvrant un nouveau compte. Alors même que Wikipédia, dans son ensemble, s’efforce de trouver un équilibre entre protection contre le sabotage et soutien aux nouveaux arrivants, la communauté francophone est la première à adopter une démarche de convivialité et de contacts humains à grande échelle. 

Les actions réussies sur Wikipédia en anglais se concentraient sur le groupe des contributeurs déjà actifs (Morgan et Halfaker, 2017). Dans le cadre de notre collaboration, la communauté francophone souhaitait atteindre un objectif plus délicat (Narayan et al, 2017) : accompagner les nouveaux inscrits avant qu’ils n’apportent leur toute première contribution. Environ 565 nouveaux comptes sont créés chaque jour sur Wikipédia en français. Parmi ceux qui n’ont pas reçu de message de bienvenue, 37 % des comptes effectuent au moins une modification, et seuls 4 % sont encore actifs après quatre semaines.

Pour l’aider à découvrir l’effet de son message de bienvenue, nous avons travaillé avec la communauté francophone de Wikipédia afin de concevoir cette expérience. Le Citizens and Technology Lab (CAT Lab) travaille en partenariat avec différentes équipes pour tester des innovations sur Internet. Notre travail de conception d’études s’effectue avec le consentement et en collaboration avec ces communautés. Nous utilisons ensuite notre logiciel de recherche pour mener ces études. Cet article présente nos conclusions à la communauté des contributeurs de Wikipédia en français. 

De nombreuses études testent un nouveau protocole n’ayant jamais été expérimenté auparavant. Pour étudier un protocole déjà pratiqué par la communauté, nous avons défini un groupe témoin représentant l’expérience d’un nouvel arrivant ne recevant aucun message de bienvenue. Lorsque les personnes créent un nouveau compte Wikipédia, elles sont affectées au hasard à l’un des groupes expérimentaux suivants:

  • Groupe 1 : Les nouveaux arrivants reçoivent un message de bienvenue sur leur page de discussion. Le message envoyé est identique à celui utilisé depuis neuf ans par l’équipe de Wikipédia en français. 
  • Groupe 2 : Les nouveaux arrivants reçoivent un message légèrement modifié contenant un bouton « Contactez-nous » bien en vue, les encourageant à contacter des mentors s’ils ont besoin de conseils. 
  • Dans le groupe de contrôle, les nouveaux arrivants n’ont pas reçu de message de bienvenue. 

Lors de notre expérience en condition réelle auprès des 57 084 nouveaux comptes créés pour Wikipédia en français au début de l’année 2020, nous n’avons pas détecté d’influence du message de bienvenue sur le pourcentage de comptes faisant leur première modification. Nous n’avons pas non plus constaté d’effet significatif sur le temps de contribution estimé au cours des 84 jours suivants. De même, nous n’avons pas constaté de différence significative entre le message de bienvenue « Contactez-nous » et le message standard. N’ayant pas constaté d’effet, cette étude a des conséquences importantes sur la façon dont l’équipe de Wikipédia en français accueille les nouveaux arrivants.

Ce qui s’est passé lors de l’expérience

Comme de précédentes études montraient que les programmes d’accueil et d’orientation des nouveaux comptes avaient des effets très faibles, voire nuls, nous avons conçu cette expérience avec l’objectif d’observer des effets de faible intensité. Notre étude a porté sur 57 084 participants, soit la quasi-totalité des utilisateurs nouvellement inscrits à Wikipédia France entre le 30 janvier 2020 et le 10 mai 2020.

Suivant les pratiques habituelles de la communauté, notre étude a exclu les utilisateurs dont les comptes ont été créés pour eux (par exemple lors d’un edit-a-thon), ainsi que les comptes « auto-créés » (lorsqu’un éditeur d’une autre Wikipédia se connecte pour la première fois à Wikipédia en français). Lorsque nous avons envoyé des messages aux comptes, nous les avons envoyés aux nouveaux contributeurs des groupes de test 1 et 2 dans les 3 minutes suivant leur inscription (le même délai que celui utilisé par Wikipédia en français avant cette étude). Nous avons ensuite observé leurs contributions à Wikipédia au cours des douze semaines suivantes et leur avons demandé de répondre à une enquête (détails ici).

84 jours après la création de leur compte, tous les nouveaux arrivants de l’étude ont reçu une invitation, également sur leur page de discussion, à participer à une enquête. L’enquête a été commencée par 1231 nouveaux arrivants et complétée par 854 autres.

Questions de recherche

Après discussions avec les membres de la communauté, une analyse des données et l’interrogation de milliers de nouveaux contributeurs sur Wikipédia, nous avons décidé de nous concentrer sur deux principaux résultats (plan d’analyse et annexes au plan d’analyse, en anglais) :

  • Les messages augmentent-ils le « taux d’activation à sept jours » ? C’est le pourcentage de comptes nouvellement créés qui effectuent au moins une modification au cours des sept premiers jours. Le taux de base est de 36,9 % pour les comptes ne recevant aucun message.
  • Les messages augmentent-ils la durée des contributions à Wikipédia au cours des 84 premiers jours ? La valeur de base, mesurée en minutes de travail (en anglais), est de 22 minutes pour les comptes ne recevant pas de message de bienvenue.

Nous voulions savoir si l’envoi d’un message de bienvenue avait un effet sur la participation des nouveaux arrivants et si l’ajout du bouton « contactez-nous » avait un effet additionnel comparativement au message standard. Pour chaque résultat, nous avons donc effectué deux comparaisons : une entre le groupe 1 et le groupe de contrôle, et une entre les groupes 1 et 2. 

Dans cet article, nous présentons une estimation de « l’intention de traiter » examinant l’effet de l’affectation d’un nouvel arrivant à son groupe plutôt que la réception effective du message. Rappelons que tous les nouveaux arrivants n’ont pas reçu le traitement adéquat. Dans ce modèle, nous ne tenons pas compte de ceux qui ont pu recevoir un traitement autre que celui qui leur a été assigné. Nous procédons à une modélisation plus poussée pour déterminer qui a effectivement reçu les messages. Les résultats étant essentiellement les mêmes, nous présentons ici les résultats les plus simples.

Résultats

Tout d’abord, nous avons vérifié si le message de bienvenue augmentait le taux de nouveaux arrivants faisant au moins une contribution. Nous avons conçu l’étude de manière à pouvoir détecter des différences de 1,5 point. Une augmentation de 36,9 % à 38,4 % serait indétectable, et nous avons 80 % de chances d’observer une différence plus importante.

Dans l’estimation de l’intention de traiter, nous n’avons pas constaté d’effet de la réception du message de bienvenue sur le taux d’activation à 7 jours, ni d’effet accru du bouton « contactez-nous ». Si l’envoi d’un message de bienvenue aux comptes nouvellement enregistrés augmente le taux d’activation à 7 jours, l’effet est probablement inférieur à 1,5 point, représentant moins de 8 personnes sur les 505 comptes créés chaque jour.

[first figure]

Nous avons également testé si le message de bienvenue avait un effet sur le temps de contribution (en minutes de travail) des éditeurs de Wikipédia en français pendant 12 semaines. Dans cette analyse, en tenant compte des participants qui ont effectivement reçu le message, nous avons constaté qu’en incluant le bouton de mentorat, les participants ont contribué 22 % de minutes en moins sur 84 jours en moyenne. Cependant, en examinant le détail des données, nous avons confirmé que cette différence s’explique par deux participants du groupe de contrôle ayant un temps de contribution très élevé. Grâce à l’analyse de sensibilité, nous avons constaté que si l’on supprime les blocs de randomisation dans lesquels ils apparaissent (12 participants au total), le nombre de minutes de travail n’est significativement pas différent.

GroupeTaux d’activation à 7 joursTaux d’incidence du temps de contribution à 84 jours
Contrôle36,9%22,8
Message d’accueil37,1%21,3
Message d’accueil + « contactez-moi »37%20,3

Ce que cela signifie pour Wikipédia en français

Lorsque nous avons conçu cette étude, certains membres de la communauté Wikipédia en français craignaient qu’une étude avec un groupe témoin (ne recevant pas de message de bienvenue) ne réduise le taux de rétention actuel. Cette crainte était légitime. Si le message de bienvenue avait eu un effet significatif sur la rétention des nouveaux arrivants, notre expérience aurait réduit le nombre de contributeurs simplement pour constater des effets déjà identifiés. D’autres ont répondu avec plus d’incertitude – et si la communauté se fiait à quelque chose qui fonctionnait moins bien qu’ils ne le pensaient ? Notre étude permettrait alors d’aider la communauté à orienter son énergie vers des idées plus efficaces.

En constatant que le message de bienvenue actuel n’a pas d’effet mesurable sur l’activation des nouveaux arrivants, cette étude peut aider la communauté des contributeurs de Wikipédia en français à réfléchir à des idées potentiellement plus efficaces. Voici quelques éléments issus de notre étude. 

Les messages sur les pages de discussion s’avèrent être un mauvais moyen d’atteindre les nouveaux contributeurs, même si les contributeurs expérimentés y répondent bien. Bien que Wikipédia ne fournisse pas de données sur le nombre de personnes consultant une page, les résultats de notre enquête nous amènent à penser que très peu de personnes qui enregistrent un compte Wikipédia lisent ensuite les messages qu’elles reçoivent. Au sein de la Wikimédia Foundation, l’équipe Croissance (Growth) a repensé le parcours d’édition des nouveaux contributeurs grâce à de nouveaux outils comme la page d’accueil du nouvel arrivant.

Les offres de mentorat pourraient être plus efficaces une fois les premières contributions effectuées. De précédentes études, notamment notre étude sur les messages de remerciement, ont révélé des effets significatifs du soutien public chez les contributeurs ayant effectué plusieurs éditions supposées de bonne foi. Il est possible que ce petit groupe ayant déjà contribué à Wikipédia soit plus intéressé par le mentorat et ainsi plus à même d’en bénéficier.

Enfin, nous espérons que la communauté francophone de Wikipédia pourra également nous aider à donner un sens à ces résultats.

Ressources