Czy wyrazy podziękowania czynią społeczności online silniejszymi? Czy też podziękowania za dobrowolny wkład mają znikomy wpływ?
Żeby odpowiedzieć na to pytanie, w ciągu zeszłego roku grupa 344 ochotników wysłała podziękowania do 2702 wikipedystów arabskiej, niemieckiej, perskiej oraz polskiej wersji Wikipedii. Dzisiaj z satysfakcją prezentujemy wyniki naszego badania.
Aby osiągnąć cel polegający na udostępnieniu wiedzy, każda wersja językowa Wikipedia musi rekrutować, utrzymywać i wspierać rosnącą liczbę współpracowników. Jednak otrzymują oni negatywne opinie z wielu systemów ochrony jakości Wikipedii. Takie informacje zwrotne mogą zniechęcić ludzi do dalszej działalności. Aby zwiększyć możliwości otrzymania pozytywnej opinii, Fundacja Wikimedia utworzyła w 2013 r. Funkcję „ Podziękowania”. Korzystając z tej funkcji, każda osoba mająca konto może podziękować innym za konkretną edycję Wikipedii.
Prosty akt wyrażania wdzięczności fascynuje naukowców. Utrzymuje on relacje (Algoe 2012), wzmacnia ważne więzi społeczne między ludźmi (Simpson i in. 2018) i może zachęcać do prospołecznych zachowań (Grant i in. 2010). Wcześniejsze projekty z Wikipedią wykazały, że podziękowania mogą motywować użytkowników do pracy (Gallus 2017). Ponieważ wiadomości z podziękowaniami na Wikipedii są prywatne oraz wysyłane pod pseudonimem, stanowią zagadkę dla nauk społecznych. Ta łamigłówka zainteresowała zespół z Citizens and Technology Lab (CAT Lab), którego ulubione projekty odpowiadają na praktyczne pytania społeczne, jednocześnie rozwijając naukę.
Aby sprawdzić wpływ podziękowań, zidentyfikowaliśmy 15 58 nowych wikipedystów i doświadczonych współpracowników Wikipedii w czterech różnych społecznościach językowych. Następnie zachęcaliśmy ochotników do podziękowania połowie z nich i obserwowaliśmy wpływ tego na ich zachowanie przez sześć tygodni. Okazało się, że przypisanie ochotników do dziękowania innym:
- zwiększa dwutygodniową retencję nowych wikipedystów i doświadczonych współpracowników średnio o 2 punkty procentowe,
- powoduje wzrost wysyłania podziękowań o średnio 43%.
Nie wykryliśmy żadnego średniego wpływu na czas poświęcony na działalności na Wikipedii przez sześć tygodni.
Jak sprawdziliśmy wpływ podziękowań?
Aby zmierzyć wpływ tej zorganizowanej kampanii podziękowań, stworzyliśmy badanie randomizowane, w którym niektóre konta zostały przypisane do otrzymywania podziękowań, a inne nie. Opracowaliśmy to badanie w ścisłej współpracy z przedstawicielami z każdej językowej Wikipedii. Dokonywali oni przeglądu i zatwierdzali kluczowe szczegóły. Rady etyczne Uniwersytetów Princeton i Cornell zatwierdziły ogólne badanie.
Aby badanie było wiarygodne, 344 doświadczonych redaktorów Wikipedii wysłało podziękowania prawdziwymi wikipedysto. Użytkownicy kwalifikowali się do otrzymywania podziękowań, jeśli w ciągu ostatnich 540 dni dokonali co najmniej czterech wysokiej jakości zmian w artykułach na Wikipedii. W większości języków o statusie wysokiej jakości edycji decydowało uczenie maszynowe. W języku niemieckim zastosowaliśmy oflagowane wersje (szczegółowe informacje znajdują się w planie badania).
Aby móc oddzielić nowych wikipedystów od doświadczonych redaktorów, zdefiniowaliśmy nowych wikipedystów jako konto utworzone w ciągu ostatnich 90 dni. Aby uwzględnić wystarczającą liczbę nowych redaktorów, zorganizowaliśmy trzy fale badania wraz z powstawaniem nowych kont. Następnie losowo przydzieliliśmy nowych i doświadczonych wikipedystów w wybranych społecznościach językowych.
Od 2 sierpnia 2019 do 11 lutego 2020 uczestnicy badania wysyłali podziękowania do wikipedystów spełniających wymagania na arabskiej, niemieckiej, perskiej oraz polskiej Wikipedii. Stworzyliśmy aplikację, która pokazywała listę uczestników i wpisów, za które można było podziękować.
Wiedząc, że ochotnicy mogą nie być w stanie wysłać podziękowań każdemu, stworzyliśmy badanie typu ITT. W tym poście pokazujemy wpływ sugestii wysłania podziękowania komuś, niezależnie czy ta osoba otrzymała podziękowania, czy też nie. Dlatego też piszemy o „zorganizowanym docenieniu” zamiast o „otrzymanym docenieniu”. Ostatecznie, uczestnicy badania podziękowali 35% z 7779 użytkowników, którzy zostali zasugerowani.
| uczestnicy spełniający wymagania | przypisani do otrzymania podziękowań (grupa kontrolna) | ||||||||
|---|---|---|---|---|---|---|---|---|---|
| miesięcznie aktywny | dostępny podczas badania | uwzględniony w badaniu | % otrzymanych podziękowań | dwutygodniowy poziom utrzymania | godziny robocze przed badaniem | różnica w godzinach roboczych na dzień | wysłane podziękowania | ||
| Newcomer | polski | 2414 | 2756 | 1653 | 14% | 19% | 0.027 | -0.015 | 0.038 |
| niemiecki | 8555 | 10476 | 5834 | 48% | 18% | 0.024 | -0.011 | 0.052 | |
| arabski | 12281 | 5936 | 3142 | 13% | 11% | 0.020 | -0.010 | 0.032 | |
| nowi użytkownicy | 23250 | 19168 | 10629 | 31% | 16% | 0.023 | -0.012 | 0.044 | |
| Experienced | polski | 1985 | 8189 | 3384 | 72% | 44% | 0.061 | -0.004 | 0.349 |
| perski | 1899 | 4648 | 2537 | 6% | 31% | 0.028 | 0.007 | 0.264 | |
| doświadczony | 3884 | 12837 | 5921 | 43% | 38% | 0.046 | 0.001 | 0.311 | |
Aby ocenić wyniki, odnotowaliśmy liczbę publicznych wpisów w Wikipedii. W przypadku kont, które otrzymały podziękowania i ich dopasowaną parę, zaczęliśmy odliczać czas od momentu, w którym otrzymali podziękowania. W przypadku wszystkich innych redaktorów zaczęliśmy odliczać czas w dniu ich dołączenia do projektu. Przeprowadziliśmy również ankietę wśród uczestników po upływie sześciu tygodni. Ponieważ tylko 5% uczestników odpowiedziało na pytania, nie możemy wysuwać z niej żadnych pewnych wniosków.
Utrzymanie nowych oraz doświadczonych ochotników poprzez podziękowania
Czy otrzymanie podziękowania wpływa na czas czyjeś działalności na Wikipedii?
Aby to zweryfikować, sprawdziliśmy poziom utrzymania przez okres dwóch tygodni. Liczba ta pokazuje, czy ktoś dalej udzielał się na Wikipedii w drugim tygodniu od otrzymania podziękowania. Zaprojektowaliśmy sposób oceny, aby był bardziej stabilny w czasie niż sprawdzanie, czy ktoś pracował w danym tygodniu, czy nie. W naszej ocenie osoba, która przestała udzielać się na Wikipedii przed drugim tygodniem, to ktoś, kto nie podjął żadnych działań w ciągu pięciu tygodni od rozpoczęcia drugiego tygodnia. Zweryfikowaliśmy wyniki przy pomocy poziomu retencji i wykorzystamy go do zbadania długoterminowego wpływu na wskaźnik utrzymania.
W przypadku arabskiej Wikipedii, zorganizowane podziękowanie podniosło poziom retencji z 11 do 13 procent.
Zauważyliśmy, że bycie przypisanym do otrzymania podziękowania zwiększa poziom retencji w ciągu dwóch tygodni średnio o 2 procent dla nowych oraz doświadczonych wikipedystów (p < 0,001). Tylko dla nowych redaktorów wynik jest podobny (p = 0,005). Na przykład, w przypadku arabskiej Wikipedii, zorganizowane podziękowanie podniosło poziom retencji z 11 do 13 procent.
Nie zauważyliśmy wpływu na czas poświęcony na pracę na Wikipedii
Otrzymanie podziękowań powoduję, że ochotnicy są aktywni przez dłuższy okres, ale czy wpływa to na faktyczny czas poświęcany na działania na Wikipedii?
Aby odpowiedzieć na to pytanie, zbadaliśmy trendy dotyczące aktywności. Policzyliśmy godziny spędzone na pracy w ciągu dnia przez sześć tygodni przed otrzymaniem podziękowania oraz przez sześć tygodni po otrzymaniu podziękowania (Geiger, Halfaker 2013). Dla przykładu nowy wikipedysta polskojęzycznej Wikipedii poświęcał średnio 1,6 minuty dziennie lub 11 minut tygodniowo. W ciągu 42 dni średnia spadła o prawie o minutę dziennie, co stanowi różnicę w dziennych godzinach pracy wynoszącą -0,015.
Nie zauważyliśmy wpływu zorganizowanych podziękowań na zmiany w średnio poświęcanym czasie przez nowych redaktorów Wikipedii (p = 0,12). Możliwe, że dalsze badanie z większą liczbą uczestników dałoby inny rezultat. Szacujemy, że 95% prób badania miałoby wpływ mniejszy niż średnio 3 minuty tygodniowo.
Dziękowanie zachęca do dziękowania innym
W Wikipedii współpraca na dużą skale opiera się na złożonej sieci wielkoduszności użytkowników wnoszących wartość dla innych, którzy mogą im nigdy bezpośrednio nie pomóc. Mając to na uwadze, chcieliśmy sprawdzić, czy otrzymanie podziękowania spowoduje, że ludzie wyślą dalsze podziękowania.
Doświadczeni użytkownicy z różnych społeczności językowych Wikipedii wysyłają więcej podziękowań niż nowi wikipedyści. Otrzymują także więcej podziękowań niż użytkownicy, którzy niedawno dołączyli (patrz nasza analiza z 2019 r). Na przykład w polskiej społeczności nowi wikipedyści wysyłają średnio 0,05 podziękowania w ciągu 42 dni, podczas gdy doświadczeni redaktorzy wysyłają średnio 0,34 podziękowania.
Czy otrzymywanie podziękowań sprawia, że otrzymujący również je wysyłają? Okazało się, że przydzielenie do grupy otrzymujących podziękowania spowodowało, że wszyscy użytkownicy wysłali średnio 43% więcej podziękowań (p = 0,002). Na przykład, w przypadku nowych, polskich wikipedystów otrzymanie podziękowania spowodowało wzrost przewidywanych podziękowań dla każdego z nich z 0,05 do 0,08.
Czego dowiedzieliśmy się o dziękowaniu innym?
Czy należy dziękować redaktorom Wikipedii i zorganizować inne grupy, aby robiły to samo? Na to pytanie można odpowiedzieć tylko w odpowiednim kontekście.
W przypadku społeczności arabskiej, niemieckiej, perskiej oraz polskiej zorganizowane działania mające na celu dziękowanie wikipedystom za ich wkład zwiększa retencję oraz liczbę podziękowań z ich strony. Chociaż otrzymywanie podziękowań nie przekłada się znacząco na czas poświęcany na działania w Wikipedii, stwarza społecznościom okazję do dalszej współpracy z wikipedystami, którzy wnoszą coraz większy wkład w stronę.
Aorganizowane działania mające na celu dziękowanie wikipedystom za ich wkład zwiększa retencję oraz liczbę podziękowań z ich strony
Dziękowanie wymaga czasu i wysiłku. Czy można wykorzystać boty do wysyłania podziękowań? Pamiętaj: wszystkie podziękowania w naszym projekcie były przesłane przez doświadczonych redaktorów. Nie mamy dowodów, że automatyzacja procesu wysyłania podziękowań miałoby podobny wpływ. Wykorzystanie botów może mieć negatywne konsekwencje, jeśli wikipedyści dowiedzą się, że to bot im podziękował.
Jak te wyniki wyglądają w zestawieniu z innymi badaniami dotyczącymi utrzymania wikipedystów? Ponieważ pomiary retencji i wkładów nie są jeszcze ustandaryzowane, nie możemy bezpośrednio porównywać wyników różnych badań. Ponadto, w przeciwieństwie do innych badań dotyczących retencji nowych wikipedystów, nasze badanie koncentrowało się na redaktorach z co najmniej czterema wysokiej jakości zmianami.
Jak arabskie, niemieckie, perskie oraz polskie Wikipedie powinny interpretować te wyniki? Wpływ podjętych działań nie różniły się zauważalnie pomiędzy społecznościami językowymi. Zachęcamy językowe społeczności Wikipedii do wyciągania wniosków z ogólnych wyników, a nie z danych dla konkretnego języków. Badania w przyszłości z większymi próbami mogą być w stanie wskazać wyraźniejsze rozróżnicie na poszczególne społeczności językowe.
Wszelkie różnice pomiędzy społecznościami językowymi, jeśli takowe istnieją, można tłumaczyć na różne sposoby, w tym z uwagi na różnice w:
- definicji kwalifikowalności,
- wartościach wyjściowych,
- procencie ludzi, którzy faktycznie otrzymali podziękowania od ochotników,
- przypadkowych okolicznościach,
- różnicach kulturowych.
Czy te wyniki dotyczą również społeczności językowych, których nie brały udziału w badaniu? Odpowiedź zależy od spojrzenia na różnice kulturowe. Jeśli uważacie, że wpływy są jednolite w różnych kulturach, możecie spodziewać się podobnych rezultatów w swojej społeczności.
Tak jak my, możecie się zastanawia, dlaczego otrzymywanie podziękowań daje takie wyniki. Przy tak małej liczbie odpowiedzi to badanie (podobnie jak wiele eksperymentów w świecie rzeczywistym) nie może dostarczyć wskazówek na temat przekonań i uczuć ludzi, którzy otrzymali podziękowania. Napisaliśmy więcej o nauce wdzięczności w poście, w którym ogłosiliśmy ten projekt.
Podziękowania
Dla CAT Lab, społeczności są partnerami w naszych projektach. Jesteśmy niezmiernie wdzięczni wielu wikipedystom, którzy doradzali nam i wspierali nas podczas pracy. Jesteśmy szczególnie wdzięczni naszym partnerom ze społeczności Wikipedii: Reem Al-Kashif, Christine Domgörgen, Mohamed ElGohary, Mari Heuschkel, Amir Ladsgroup, Wojciech Pędzich, Mohsen Salek, Natalia Szafran-Kozakowska. Ściśle oni współpracowali z nami przy opracowywaniu badań i prowadzili nas od początku do końca. To badanie jest wynikiem ich niekończącej się mądrości, cierpliwości i poświęcenia. Dziękujemy również 344 uczestnikom, którzy skorzystali z naszej aplikacji i wysłali podziękowania w ramach naszego projektu. Wielu z nich pomogło także przy testowaniu oraz usuwaniu błędów w aplikacji, co pozwoliło na podniesienie jakości badania.
Dziękujemy również Dariuszowi Jemielniakowi, Marii Sefidari oraz Aaronowi Halfakerowi za ich rady na wczesnym etapie projektu, a także Fundacji Wikimedia za pomoc w zarządzaniu procesami zatwierdzania.
Badanie zostało sfinansowane z grantu od Templeton World Charity Foundation.
Odwołania
- Algoe, S. B. (2012). Find, remind, and bind: The functions of gratitude in everyday relationships. Social and Personality Psychology Compass, 6(6), 455–469.
- Gallus, J. (2017). Fostering public good contributions with symbolic awards: A large-scale natural field experiment at Wikipedia. Management Science, 63(12), 3999-4015.
- Geiger, R. S., & Halfaker, A. (2013, February). Using edit sessions to measure participation in Wikipedia. In Proceedings of the 2013 conference on Computer supported cooperative work (pp. 861-870). ACM.
- Grant, A. M., & Gino, F. (2010). A little thanks goes a long way: Explaining why gratitude expressions motivate prosocial behavior. Journal of personality and social psychology, 98(6), 946.
- Goel, S., Anderson, A., & Zia, L. (2019, May). Thanks for Stopping By: A Study of “Thanks” Usage on Wikimedia. In Companion Proceedings of The 2019 World Wide Web Conference (pp. 1208-1211).
- Morgan, J. T., & Halfaker, A. (2018, August). Evaluating the impact of the Wikipedia Teahouse on newcomer socialization and retention. In Proceedings of the 14th International Symposium on Open Collaboration (pp. 1-7).
- Narayan, S., Orlowitz, J., Morgan, J., Hill, B. M., & Shaw, A. (2017, February). The Wikipedia Adventure: field evaluation of an interactive tutorial for new users. In Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing (pp. 1785-1799).
- Simpson, B., Harrell, A., Melamed, D., Heiserman, N., & Negraia, D. V. (2018). The Roots of Reciprocity: Gratitude and Reputation in Generalized Exchange Systems. American Sociological Review, 83(1), 88–110.