Universeller Verhaltenskodex/Konsultationen 2021/Forschung
Um das Entwurfskomitee für den Universellen Verhaltenskodex in Phase 2 zu unterstützen, hat die Wikimedia Foundation ein Forschungsprojekt durchgeführt, das sich auf Erfahrungen mit Belästigungen in Wikimedia-Projekten konzentriert. Dies geschah in Form einer Umfrage und mehrerer ausführlicher Interviews.
Die Umfrage, die in erster Linie über Wikimedia-Schwesterorganisationen verteilt wurde, konzentrierte sich auf die Wahrnehmungen, das Wissen und das Engagement der Befragten in Bezug auf bestehende Durchsetzungs- und Meldesystemen. Die Interviews, die mit Gemeinschaftsmitgliedern geführt wurden, die sich in der Vergangenheit wegen Belästigungsfällen an Trust and Safety gewandt hatten, konzentrierten sich auf die Erfahrungen von Nutzern, die Zielpersonen von ernsthaften und anhaltenden Belästigungen gewesen sind.
Wir haben festgestellt, dass es mehrere wesentliche Hindernisse gibt, die die Interaktion mit diesen Systemen begrenzen, darunter vor allem das verwirrende Meldesystem und die Angst vor öffentlichen Reaktionen. Die allgemeine Stimmung ist jedoch nach wie vor positiv und die Gemeinschaftsmitglieder wollen trotz dieser Rückschläge weiterhin in der Gemeinschaft und mit den Durchsetzungssystemen der Wikimedia Foundation interagieren.
Forschungsmethoden
Eine große Hürde für die Forschung ist die Tatsache, dass das eher unstrukturierte Meldesystem in der Wikimedia-Bewegung es schwierig macht, Metriken zu Meldungen zu sammeln. Darüber hinaus war uns mehr an weiteren Daten über Ansichten zu unseren Durchsetzungssystemen gelegen als an Informationen zur Häufigkeit und Art der Meldungen.
Bei dieser Forschungsarbeit haben wir uns für einen zweigeteilten Ansatz entschieden. Wir haben eine Umfrage durchgeführt, die hauptsächlich an Affiliates (Chapters / Usergroups) verteilt wurde, sowie zielgerichtete halbstrukturierte Interviews, für die wir Mitglieder der Community ausgewählt haben, die sich in der Vergangenheit aufgrund von Problemen im Zusammenhang mit Belästigung an Trust & Safety gewandt hatten.
Umfrage
Die Umfrage mit dem Titel „Umfrage zum Communitymeldesystem von Wikimedia“ umfasste 37 Fragen und war auf Englisch, Spanisch und Hindi verfügbar. Vor der Bereitstellung wurde die Umfrage von Freiwilligen der Wiki LGBT+-Usergroup vorab geprüft. Die Umfrage wurde auf Qualtrics gehostet und über einen anonymen Link verwaltet, um so wenig identifizierende Informationen wie möglich zu erheben. Sie lief vier Wochen lang, vom 15. April bis zum 7. Mai 2021.
Die Umfrage wurde hauptsächlich per E-Mail an eine Reihe von Affiliates (Chapters / Usergroups) verschickt, wobei der Schwerpunkt auf Gruppen für LGBT+-Personen und einer Reihe von Frauengruppen in der gesamten Bewegung lag. Einladungs-E-Mails wurden auch an die Schiedsgerichte der englischen, französischen, russischen und deutschen Wikipedia geschickt. Darüber hinaus wurden Benachrichtigungen über diese Umfrage auf den Projektdiskussionsseiten (oder entsprechenden Seiten) auf der italienischen, spanischen, französischen, deutschen, polnischen und arabischen Wikipedia veröffentlicht.
Statt den Schwerpunkt auf Belästigung an sich zu legen, wurde der Schwerpunkt bei dieser Umfrage auf die Einschätzung der bestehenden Durchsetzungssysteme durch unsere Community gelegt. Insbesondere zielte sie auf ein paar zentrale Themen ab:
- Das Verständnis von Durchsetzungssystemen: wissen die Leute, wie sie Vorfälle bei unseren Projekten melden können? Wissen sie, wie man diese Systeme verwendet? Wie haben sie zuerst gelernt, diese Systeme zu verwenden?
- Interaktion mit Durchsetzungssystemen: Verwenden Mitglieder der Community diese Systeme routinemäßig? Wie häufig werden diese Systeme überhaupt verwendet?
- Einschätzung der Durchsetzungssysteme: Werden diese Systeme im Allgemeinen geschätzt? Glauben die Leute, dass es sich lohnt, sie in Anspruch zu nehmen?
- Datenschutz und Transparenz: Welche Teile des Systems sollten nach allgemeiner Ansicht der Öffentlichkeit zugänglich sein? Welche Informationen über das gesamte Durchsetzungsinstrumentarium sollten der Öffentlichkeit zur Verfügung stehen?
Insgesamt erhielt die Umfrage 85 Antworten. Davon waren 68 (80 %) vollständig abgeschlossen und 17 (20 %) zum Teil abgeschlossen. 53 (62 %) der Befragten haben die englische Version verwendet und 31 (36 %) die spanische. Nur ein*e Befragte*r hat die Hindi-Version der Umfrage verwendet.
Die meisten Befragten befanden sich in Europa. Die Mehrheit waren Frauen, und bei den meisten Antworten lag der Altersbereich zwischen 30 und 44 Jahren. Etwa ein Viertel gab auch an, dass sie Mitglieder der LGBT+-Community sind.
Fast alle unserer Befragten haben über ein Jahr lang Wikimedia-Projekte durchgeführt, wobei etwa ein Drittel angab, dass sie mehr als ein Jahrzehnt Erfahrung mit unseren Projekten haben. 39 % der Befragten haben derzeit oder hatten in der Vergangenheit Administrationsrechte, während etwas mehr als die Hälfte (55 %) in der Vergangenheit als Organisierende für Veranstaltungen oder Gruppen von Wikimedia tätig waren. Die meisten Befragten (73 %) gaben an, dass sie bei ein bis drei Projekten mitwirken.
Obwohl Minderjährige bei der Umfrage die Möglichkeit hatten, ihr Alter anzugeben, haben wir keine Informationen von Personen erhoben, die angegeben hatten, dass sie Minderjährige sind, und bei Auswahl der entsprechenden Option wurden sie schnell zum Ende der Umfrage weitergeleitet.
Im Vergleich zum Bericht 2018 Community Engagement Insights (Erkenntnisse zur Beteiligung der Community in 2018) gab es bei der vorliegenden Studie einen wesentlich höheren Anteil von Frauen, ein ähnliches medianes Alter und einen ähnlichen geografischen Standort. Auf der Grundlage des Wiki-Vergleichsdatensatzes für unsere Top 100 Wikis nach Größenrang machen die medianen monatlichen aktiven Personen mit administrativen Rechten etwa 7 % aller medianen monatlich aktiven Bearbeiter aus (9 monatlich aktive Administrierende und 129 monatlich aktive Bearbeitende). Dies ist ein erwartetes Ergebnis angesichts unserer Methode, hauptsächlich Teilnehmer von Affiliates (Chapters / Usergroups) oder Schiedsgerichten und Mitglieder der Community zu rekrutieren, die so viel Erfahrung haben, dass sie Projektdiskussionsseiten oder ähnliche Seiten finden.
Interviews
Zur Ergänzung der Daten aus der Umfrage haben wir vier halbstrukturierte Interviews durchgeführt. Alle Teilnehmenden hatten sich in der Vergangenheit schon einmal an Trust and Safety gewendet. Aus unseren sechs ursprünglichen Einladungen ergaben sich schließlich vier Interviews. Eines wurde mit eine*r Mitarbeiter*in der Wikimedia Foundation durchgeführt, obwohl der Schwerpunkt des Interviews auf den Erfahrungen der Person als Freiwillige*r lag, bevor sie ihre Arbeit bei der Foundation aufnahm.
Einschränkungen
Aufgrund unserer geringen Stichprobengröße und unserer nicht repräsentativen Teilnehmergruppe sollte diese Forschungsarbeit als Pilotstudie verstanden werden, was bedeutet, dass die Ergebnisse nicht generell verallgemeinert werden können. Wir wissen, dass die Teilnehmenden an der Umfrage im Allgemeinen mehr Erfahrung haben und mehr Zeit mit Wikimedia-Projekten verbracht haben als die Community generell, und dass wir hier weit mehr Administrator*innen als in der allgemeinen Community haben. Die hier angesprochenen Schlussfolgerungen sind jedoch aus einigen wesentlichen Gründen wichtig:
- Es handelt sich um Fragen, die nicht durch frühere Forschungsarbeiten beantwortet wurden oder bisher überhaupt nicht gestellt wurden.
- Diese Forschungsarbeit ermöglicht eine nützliche erste Infragestellung der Annahmen über die Einschätzung von Durchsetzungssystemen.
- Diese Ergebnisse zeigen, welche Bereiche bei zukünftigen Forschungsunternehmungen priorisiert werden sollten.
- Da wir wissen, dass unsere Befragten im Durchschnitt mehr Erfahrung haben, können wir daraus schließen, dass die allgemeine Bevölkerung mit den Melde- und Durchsetzungssystemen weniger vertraut ist, und unsere Annahmen entsprechend anpassen.
Wichtige Erkenntnisse
Die Teilnehmenden berichten überwiegend, dass unsere bestehenden Durchsetzungssysteme übermäßig kompliziert und schwer verständlich sind.
Write-in survey responses noted the existence of loopholes, unclear redirections, the expectation that one may be asked to make reports to the very people one wished to report, and an utter lack of clear instructions on how to report. One of our interviewees noted that it took three years and a chance in-person meeting with a trustee before they even knew about any formal reporting channels. Other frustrations expressed by participants included the fact that only a sliver of problematic behaviour can be reported under their community’s rules; for example, insults directed at a minority group rather than a specific individual are hard to report.
"Ein Desaster. Wir müssen es ertragen und still sein."
Das derzeitige Meldesystem macht Meldende anfällig für Repressalien, Gegenreaktionen oder unangemessene öffentliche Nachforschungen.
Many of our write-in responses specifically named fear of reprisal as a major negative in our current system. Some of them used a specific jargon term, “boomerang”, to refer to this phenomenon, suggesting that this is so common as to warrant a special name for it.
Administrators and Arbitration Committees are also aware of, and suffer due to this flaw. One interviewee pointed out that the “half-transparent” cases (those where public evidence of harassment was supplemented with private evidence) handled by the Arbitration Committee were especially draining to handle. They described how onlookers would speculate on these private details and proceed to scrutinize or even harass the supposed reporters, and ArbCom members, on the basis of this speculation.
“There is no assurance that the community will handle the problem in a respectful manner towards the person who has suffered the aggression, making the reporting process intimidating.”
Eine knappe Mehrheit unserer Umfrageteilnehmer und -teilnehmerinnen hat noch nie eine Meldung gemacht.
54% of survey respondents have never made a report. This includes 40% of respondents who have, or had, held administrator rights.
Sechs von zehn Befragten haben sich bewusst dafür entschieden, Vorfälle nicht zu melden.
Reasons given include a fear of backlash or reprisal, belief that the outcome would be ineffective, and the process of making reports being too confusing or difficult. Write-in answers also indicated that occasionally, the people in charge of receiving reports are the very people that are the subject of complaints.
Zwei Drittel der Befragten, die keine Administrationsrechte haben, sind unsicher oder wissen nicht, wie sie problematisches Verhalten melden sollen.
By contrast, current or former administrator respondents were far more confident in their knowledge of how to report – 83% reported that they did know how to report such behaviour.
“You have to be an expert to know how to use [the reporting system], and if you have that much knowledge you are already an admin.”
This difference exists even among survey respondents who had made reports in the past. 80% of current or former admins who had made reports before report understanding the process. Only 31% of non-admins who had made reports in the past report that they understand the process.
Among research participants, there is a general desire for a private on-wiki reporting channel.
When survey respondents were asked what venues should be available for reports, the most common option chosen was “other private route”; the third most common choice was “on a separate private channel, on-wiki”.
Es dauert zu lange, Fälle von Belästigung zu klären.
Dies wurde sowohl von Benutzern und Benutzerinnen genannt, die Meldungen machen, als auch von Administratoren und Administratorinnen, die Meldungen bearbeiten sollen. Meldende haben angemerkt, dass der Meldeprozess zeitaufwändig ist, da man sich normalerweise über mehrere Optionen, eine Meldung zu machen informieren muss, ebenso muss man die passende Struktur einer Meldung erfassen und die notwendigen Beweise zusammenstellen. Administratoren und Administratorinnen haben auf das fehlende Training in Hinblick auf den Umgang mit persönlichen Konflikten hingewiesen, auf die hohe Komplexität derjenigen Fälle, die so ernst sind, dass es zu Meldungen kommt und auch auf das generelle Problem, dass Kapazitäten aufgrund schrumpfender Zahlen im Bereich der aktiven Administratoren und Administratorinnen fehlen.
All of these factors combine to make report resolution a very lengthy process, which itself becomes yet another factor that discourages community members from reporting.
Vernetzte Gemeinschaften mit getrennter Durchsetzung ermöglichen es Gemeinschaftsmitgliedern mit einer Vorgeschichte von Belästigungen, solche Handlungen fortzusetzen und sich Konsequenzen zu entziehen.
Without prompting, we routinely heard from respondents about certain communities with a bad reputation for being especially combative or hostile. What they had in common was a lack of guidelines around behavior or reporting and a general “blind eye” attitude towards their community members’ histories of rule-breaking behavior, especially if paired with a long history of contribution.
In at least one case, Wikimedia Commons, multiple interviewees pointed out that users with long histories of abuse, to the point of being banned from other Wikimedia projects, were allowed to engage in similar behaviors on Commons.
Die Teilnehmenden waren geteilter Meinung darüber, was die genaue Rolle der Wikimedia Foundation in den Durchsetzungssystemen sein sollte.
While there is broad consensus within the Wikimedia community that the Foundation should be responsible for certain cases involving minors or credible threats of violence, this consensus breaks down when it comes to most other matters.
Survey respondents alternately decried the Foundation’s involvement while also viewing it as a needed route that bypasses local reporting systems that are being handled by the people they wish to report. Others wanted the Foundation to act as a “backup” option if there were no global administrators, oversighters or stewards available. Still others were upset that the burden of handling harassment reports, especially while organizing Wikimedia events, was shifted to volunteers rather than the Foundation.
Die Umfrageteilnehmenden wünschten sich einen Zugang zu aggregierten Statistiken und Fallzusammenfassungen, nicht unbedingt zu vollständigen Falldetails.
Our current systems provide full public visibility of all cases made on-wiki. However, when asked what information the general public should see with regards to reporting on Wikimedia projects, more respondents chose aggregate statistics and summaries over full case details. This was true of both administrators and non-administrators.
Trotz allem betrachten die Befragten es im Allgemeinen immer noch als lohnend, eine Meldung zu machen.
While users were much more likely to view the entire enforcement process as ambiguously useful at best, survey respondents were still generally positive about local admins, the WMF, and event organizers’ likelihood of addressing reports. Slightly over half of survey respondents said that it was “definitely” or “probably” worthwhile to make a report. Two of our interviewees also noted that, even though they knew (or believed) that the people they reported to were powerless to act on their reports, they still wanted to make them. This suggests that the act of reporting is itself an action that people wish to perform, regardless of outcome.
Empfehlungen
Based on these key findings, and supported by the conclusions of previous research on harassment and reporting on Wikimedia projects, we suggest these recommendations for the Universal Code of Conduct phase 2 drafting committee.
Bietet ein anonymes oder vertrauliches On-Wiki-Meldesystems an.
The outsized fear of reprisal for reporting makes it all the more astonishing that slightly over half of the survey respondents still believe the system is worthwhile. In order not to corrode this trust, on which the entire system relies, we need to provide a way for reporters to privately report incidents.
Whether this is done anonymously or privately (that is, limiting who can see the identity of the reporter), it should be our absolute priority to provide either a technical solution or a policy one to accommodate this clear and pressing need.
Klärt und strafft den Meldeprozesses, sowohl für den Meldenden als auch für die Administratoren und Administratorinnen.
Our mix of different reporting systems for local admin, global admin, and Foundation-handled events is deeply confusing.
We should provide a means for community members, especially newcomers, to clearly find the appropriate channel and reporting body for the incidents they wish to report. This is especially important for cases of harassment since being the target of sustained harassment already makes it difficult to seek out help in a timely manner.
Clarity, in this sense, means clarifying several factors:
- Recipient of reports: who will receive and address it.
- Pathways for reporting: which is best suited to a specific situation, and where to go to do so.
- Necessary information in a report: how to provide the necessary information to make a report high-quality that allows administrators to act on it/
- Visibility of the report: who will be able to see said report.
- Process of enforcement: how are judgements reached and how are these judgements enforced.[note 1]
Macht es einfacher, Vorfälle von Belästigung bei den Administratoren und Administratorinnen zu melden.
Participants in this research indicate that it is extremely difficult to find where to report, figure out who should receive the report, and finally learn how to structure the report appropriately.
This severely limits the ease of reporting, which may limit opportunities to de-escalate disagreements before they become much harder to address. It may also help make reporting a less stressful action overall and improve rates of engagement, which is necessary in a system that relies on community goodwill and trust in local administrators to function.
Ermöglicht flexiblere und vielfältigere Ergebnisse hinsichtlich einer Meldung.
Currently, the outcomes of reports tend to be limited to no administrator action, or some level of escalating restriction on editing. While the Foundation has tried to provide more granular options for administrators to restrict editing, we should look into opportunities to broaden the outcomes of reports.
This could include allowing reporters to have input on the outcome of reports, providing ways for subjects of reports to apologize or make amends, and other non-block dependent outcomes. Alternatively, this could involve greater inter-project coordination to place sanctions on an editor’s behavior across a wider number of projects, or a pathway to escalate reports to other authorities outside of local administrators.
Macht den Meldeprozess transparent statt nur sichtbar.
Our existing local reporting systems are by and large fully publicly visible. Nevertheless, this does not mean that they are transparent.
This is a barrier for would-be reporters, who can not only see how complex their reports are expected to be, but also shows them evidence of past backlash and reprisal against other reporters.
For administrators, our completely unstructured reporting systems make it difficult to find archives of reports with the same subject, especially if this happens across projects. It also makes it difficult to address reports as they vary wildly in quality.
Lastly, observers have no access to useful statistics since the current system’s unstructured nature makes it impossible to gather accurate or reliable metrics on reporting, and these reports’ heavy use of jargon makes them hard for observers or laypeople to understand.
Bietet bessere Richtlinien oder spezielle Schulungen für Administratoren und Adminstratorinnen an, um Meinungsverschiedenheiten zu lösen und gleichzeitig eine Eskalation zu einer umfänglichen Belästigung zu vermeiden.
Our interviews, and prior research on the topic, point to a link between disagreements over content and escalation into harassment or abuse. However, as prior research has indicated, we have few mechanisms to turn past administrative actions into actual guidelines or precedent for future incidents.
One interviewee also noted that their years-long experience of harassment actually started with a minor disagreement over categorization, and part of how this harassment intensified came about when other users were brought in supposedly to provide “consensus” on the categorization disagreement. Another interviewee’s experience of harassment started with an editor unilaterally bringing up a procedural concern using spurious evidence and drawing in other editors to provide their opinions.
In a healthy community, we could expect such procedural or technical concerns to be separate from the possibility of harassment. To this end, we should make an effort to allow administrators or other trusted community members to diffuse tensions and resolve disagreements, while avoiding aggressive behavior in the process.
Weiterführende Untersuchungen
Diese Studie eröffnet einige verschiedene Forschungsansätze, die zu verfolgen sinnvoll sein könnte.
Kann man diese Erkenntnisse auf alle Teilnehmenden an den Wikimedia-Projekten übertragen? Gibt es signifikante Unterschiede hinsichtlich der Größe der Projekte?
While our targeted survey and interviews provided important perspectives for the work of the committee, it would be useful to know if these findings hold true for the general population. Since many of the concerns raised in this research seem linked to the size and capacity of the local administrators, it would be worthwhile to see if these issues exist across wikis regardless of size or if they change accordingly.
Wie ist der Stand unserer Wiki-übergreifenden oder globalen Melde- und Durchsetzungssysteme?
This research focused largely on the experiences of community members on a handful of wikis, with issues of harassment generally also limited to those same spaces. We did hear about incidents of off-wiki or cross-wiki harassment, but they were not the focus of this research. Therefore, this seems like a logical expansion for this line of research.
Wie lösen unsere bestehenden Konfliktlösungssysteme Meinungsverschiedenheiten? Inwieweit erleichtern oder erschweren sie die Eskalation bis hin zur Belästigung?
This line of research would look at potential structural issues regarding our consensus-driven policy process, and the ways in which low-level disagreements are usually treated. If the underlying issues driving harassment are structural rather than incidental – that is, if the ways in which users are encouraged to interact makes it easier or more likely for people to engage in aggressive ways – tackling misconduct will require a very different approach than if the issue lies with a population of people choosing to act aggressively.
Wirken sich vertrauliche Meldesysteme auf die Melderate aus? Hat diese Vertraulichkeit Auswirkung auf die Rate der Sanktionen?
While the author of this report would argue for a moral imperative to provide private reporting pathways, it would also be prudent to investigate how implementing such a system might impact reporters, subjects of reports and administrators on Wikimedia projects.
Ist der aktuelle Zustand des Meldesystems wirklich transparent? Wer nutzt derzeit öffentlich verfügbare Informationen zur Meldung?
Publicly visible reports are the current standard of our reporting system, and this is usually justified in the name of transparency. However, we have conducted minimal research into whether or not such visibility actually means the system itself is transparent, nor what the community means by “transparency”. We should investigate how visibility and transparency relate in terms of Wikimedia reporting systems.
A second key question is to figure out who this current state of visibility best serves. As this Targets of Harassment project indicates, would-be reporters are badly served by this publicly visible system. Therefore, we ought to figure out who benefits, if anyone, from this system, and how they make use of this publicly visible information.
Wie werden Beschwerden derzeit gehandhabt und stellt dieses System realistische Anforderungen an die Personen, die Beschwerden einlegen wollen?
While we have conducted research on many aspects of enforcement and reporting on Wikimedia projects, we have yet to pay close attention to our unban and appeals process. Investigating these parts of our enforcement process would also be a logical extension of research into enforcement overall.
Quellen
- ↑ n.b. There are strong reasons to want to obscure the details of how administrator actions function. In this case, clarity should not override operational security concerns. Clarity may be achieved by providing an outline of actions rather than full details.
- ↑ In particular, refer to Reaching the Zone of Online Collaboration.
Further reading
For a full bibliography of prior research on harassment and reporting on Wikimedia projects, directed by the WMF, please see below. Unlinked documents marked “internal report” are currently limited to WMF staff and contractors, and may be available on individual request. All linked documents are in English.
Lee, Han A., and Crupi, Joseph. Reaching the Zone of Online Collaboration: Recommendations on the Development of Anti-Harassment Tools and Behavioral Dispute Resolution Systems for Wikimedia. Harvard Negotiation and Mediation Clinical Program, 12 Dec. 2017, p. 50.
Lo, Claudia. Reporting System Rubrics: A Comparison of Peer-Dependent Reporting Systems. Wikimedia Foundation, Feb. 2019, p. 62.
Lo, Claudia “Take It to AN/I”: Summary of Existing Research about Reporting Systems. Internal report, Wikimedia Foundation, Nov. 2018, p. 12.
Poore, Sydney. AN/I Survey Summary. Internal report, Wikimedia Foundation, 22 Mar. 2018.
“Wikipedia:Community Health Initiative on English Wikipedia/Administrator Confidence Survey/Results.” Wikipedia, 28 Nov. 2017.
Raish, Michael. Admin Confidence Survey 2019 Preliminary Results. Internal report, Wikimedia Foundation, 20 Aug. 2019, p. 50.
Raish, Michael. Identifying and Classifying Harassment in Arabic Wikipedia: A “Netnography.” Internal report, Wikimedia Foundation, 21 Dec. 2018, p. 23.
Support & Safety Team. Harassment Survey 2015 Results Report.
“User Reporting System/Wikimania 2018 Notes – Meta.” Meta-Wiki, 20 July 2018.