Template:Model card ORES goodfaith edit/nl

Model card
This page is an on-wiki machine learning model card.
A diagram of a neural network
A model card is a document about a machine learning model that seeks to answer basic questions about the model.
Model Information Hub
Model creator(s)Aaron Halfaker (User:EpochFail) and Amir Sarabadani
Model owner(s)WMF Machine Learning Team (ml@wikimediafoundation.org)
Model interfaceOres homepage
CodeORES Github, ORES training dataen ORES model binaries
Uses PIINo
In production?Yes
Which projects?{{{language}}} {{{project}}}
Dit model gebruikt 'gegevens over een herziening' om te voorspellen 'de waarschijnlijkheid dat de herziening in goede trouw is'.


Motivering

edit

Het model is bedoeld om te onderscheiden tussen edits die opzettelijk schadelijk zijn (badfaith/vandalism) en edits die schadelijk zijn bedoeld (goodfaith edits/goodfaith damage). Het model geeft een gok op of een bepaalde revisie in goede trouw is of niet, en biedt een aantal waarschijnlijkheden om te dienen als een maatstaf van het vertrouwen. Dit model is geïnspireerd door onderzoek naar het kwaliteitscontrole-systeem van Wikipedia en het potentieel voor vandalisme detectie modellen om ook te worden gebruikt als goodfaith newcomer detectie systemen.

Gebruikers en gebruik

edit
Use this model for
  • Dit model moet worden gebruikt om de herziening en mogelijke terugkeer van vandalisme op de Nederlandse Wikipedia te prioriteren.
  • Dit model dient te worden gebruikt om bijdragen van goede wil van redacteuren op de Nederlandse Wikipedia te detecteren.
Don't use this model for
  • Dit model mag niet als uiteindelijk scheidsrechter worden gebruikt voor het bepalen of een bewerking in goede trouw moet worden beschouwd.
  • Het model mag niet buiten de Nederlandse Wikipedia worden gebruikt.
Current uses
  • De Nederlandse Wikipedia gebruikt het model als dienst voor het faciliteren van efficiënte bewerkingsreviews of ondersteuning voor nieuwkomers.
  • Op individuele basis kan iedereen een goed geformatteerde API-oproep indienen aan ORES voor een bepaalde herziening en het resultaat van dit model terug krijgen.
Example API call:
{{{model_input}}}

Ethische overwegingen, waarschuwingen en aanbevelingen

edit

De Nederlandse Wikipedia besloot dit model te gebruiken.

Dit model geeft nieuwere redacteurs een lagere kans op goed geloof.

Interne of externe wijzigingen die dit model kunnen verouderen of niet langer bruikbaar maken:

  • Data drift betekent dat de traininggegevens voor het model niet langer bruikbaar zijn.
  • Niet voldoet aan de gewenste prestatiemetrices in de productie.
  • De Nederlandse Wikipedia-gemeenschap beslist dit model niet meer te gebruiken.

Model

edit

Prestaties

edit

Test data confusion matrix: {{{confusion_matrix}}}

Test data sample rates: {{{sample_rates}}}

Test data performance: {{{performance}}}

Uitvoering

edit
Model architecture
{{{model_architecture}}}
Output schema
{{{model_output_schema}}}
Example input and output
Input:
{{{model_input}}}

Output:

{{{model_output}}}

Gegevens

edit
Data pipeline
Tabelleerde gegevens over bewerkingen worden verzameld uit de Mediawiki API, vooraf verwerkt (via log-transformaties, verbonden met publieke redactiegegegegevens, enz.), en gecombineerd met door de gebruiker gegenereerde goodfaith/damaging labels.
Training data
Dit model is getraind met behulp van handmatig gemarkeerde traininggegevens die enkele jaren oud zijn.
Test data
De hier vermelde statistieken zijn berekend door een willekeurige verdeling van de opleidingsgegevens te selecteren die uit het opleidingsproces voortkomt.

Vergunningen

edit

Citaten

edit

Cite this model card as:

@misc{
  Triedman_Bazira_2023_{{{language}}}_{{{project}}}_goodfaith,
  title={ {{{language}}} {{{project}}} goodfaith model card },
  author={ Triedman, Harold and Bazira, Kevin },
  year={ 2023 },
  url={ https://meta.wikimedia.org/wiki/Model_card_ORES_goodfaith_edit/nl }
}