Wikimédia France/Groupes de travail/Stratégie/Impact&Metrics:Méthodologie 2018-2022

Impact&Metrics
Impact&Metrics
Courriel	remy.gerbet@wikimedia.fr
Référent·es	Rémy Gerbet WMFr
Sous-pages
	Méthodologie 2018-2022; Indicateurs (Métrics 2018-2019); Indicateurs (Métrics 2019-2020) ; Outils

Suite à un accompagnement par l'Agence Phare en 2018, Wikimédia France a amélioré ses indicateurs et a redéfini ses impacts.

Reporting des actions

Afin de mesurer les activités menées par l'association des formulaires ont été construits en fonction des activités et des indicateurs souhaités pour 2019 (mars-juin) :

Questionnaire pour les participants et participantes aux actions de Wikimédia France

Questionnaire suite à une formation menée par l'association

Questionnaire de fin d'activité (pour les organisateurs)

Questionnaire de satisfaction partenaire

Indicateurs partagés avec le mouvement Wikimédia

Pour l'année 2018 - 2019, en matière d'évaluation, sont mis en place trois indicateurs communs à tous les chapitres et définis par la Fondation, et des indicateurs définis par chaque chapitre.

Les trois indicateurs partagés par tous les chapitres (shared metrics) sont :

nombre de participants à une action (un participant n'est pas un organisateur) ;
nombre de nouveaux comptes utilisateurs créés (jusqu'à 2 semaines avant l'action) ;
nombre de médias, articles, entrées.. créés et/ou améliorés sur l'ensemble des projets Wikimédia

Indicateurs Wikimédia France spécifiques (process FDC) :

Les deux indicateurs définis par l'association (grantee-defined measures) sont :

nombre d'heures bénévoles ;
satisfaction des partenaires (évaluée une fois par an à l'aide d'un questionnaire)

Impacts et indicateurs de l'association Wikimédia France 2019-2022

En octobre 2018, Wikimédia France a été accompagné par l'Agence Phare afin de définir une stratégie d'impact propre à l'association, de nouveaux indicateurs associés mais aussi les processus nécessaires pour construire des analyses détaillées des projets et actions menées. Le rapport définitif, fourni par l'Agence Phare à l'association, sera disponbile sur Commons.

Définitions

"Nous définissons ici l’impact comme l’ensemble des changements possibles provoqués par des actions d’une organisation. Ces changements peuvent porter sur des individus (conditions de vie et de travail, notamment l’accès à la culture, à l’éducation, à la santé, au travail), sur d’autres organisations, sur des territoires, ou bien sur des secteurs de l’économie. Les indicateurs peuvent être définis comme des « preuves » de certains impacts, et les données à collecter sont les « indices » qui permettent de renseigner les indicateurs. Autrement dit, lorsque les organisations sont en capacité de collecter des données pour renseigner des indicateurs, alors elles peuvent démontrer leur impact."

Constats préalables

La réalisation de trois entretiens collectifs (avec l’équipe salariée, avec des bénévoles et avec un partenaire) par l’Agence Phare au début de la démarche d’accompagnement a permis de faire trois constats clés :

L’association réalise surtout un bilan de son activité en renseignant des indicateurs et en présentant des données sur le nombre de personnes et de partenaires touchés, ainsi que sur le nombre et le type d’articles ou d’items (photographies) produits sur Wikimédia.
Certains indicateurs sont très peu mis en avant alors qu’ils peuvent incarner fortement l’impact de l’association Wikimédia France : par exemple, le flux de personnes qui accèdent à des sites culturels via des aménagements et des partenariats réalisés par Wikimédia entre ces sites et Wikipédia.
La collecte de données sont réalisées selon une logique sectorielle qui distingue les actions vers les professionnels de l’Éducation nationale, les actions vers les professionnels du patrimoine, les actions vers le grand public et les bénévoles, et les actions de communication et de collecte de fonds.

Trois questionnements ont orienté les réunions de travail : Quels sont publics prioritaires de Wikimédia France ? Quels sont les types d’actions mis en œuvre ? Quels sont les effets attendus de ces actions sur ces publics ?

Panorama des Impacts de Wikimédia France

Impact 1 : Développer l’accès, la compréhension et l’usage des projets Wikimedia.

Définition générique : L’association cherche à renforcer la capacité des personnes à ne pas seulement être « consommateurs » du numérique et plus précisément de la connaissance en ligne, mais bien plus « acteurs » de cette connaissance. Autrement dit, elle agit pour que les personnes puissent produire du contenu libre et ouvert, le partager au plus grand nombre, et avoir un regard critique sur la connaissance non-libre, non-ouverte, et non-sourcée. Son action est proche des théories de l’émancipation et du pouvoir d’agir numérique. À un degré plus élevé que le fait de faciliter la contribution à des articles, Wikimédia France cherche à favoriser l’engagement des personnes dans des actions défendant les valeurs d’une connaissance libre et ouverte. L’association agit pour que les personnes soient en capacité de mieux connaître les valeurs portées par le mouvement, et puissent s’y s’engager concrètement (dons, organisation d’ateliers, participation à des groupes locaux).

Impact 2 : Soutenir et accompagner la production et la diffusion de contenus libres.

Définition générique : L’association cherche à favoriser la production et la diffusion d’une connaissance libre et ouverte. Elle cherche d’abord à favoriser la diversité et la qualité des contenus produits (notamment pour les minorités numériques) et en facilitant l’accessibilité du grand public à des contenus détenus par des institutions culturelles.

Impact 3 : Agir sur les politiques et les pratiques des institutions publiques

Définition générique : L’association cherche à diffuser dans les institutions l’importance de la connaissance libre et ouverte mais aussi à transformer les pratiques des professionnels afin que ceux-ci adoptent des comportements qui s’inscrivent davantage en ce sens. Autrement dit, l’association, par ces actions, contribue à valoriser Wikipédia comme un outil fiable, pouvant s’inscrire dans un cursus pédagogique ou pouvant permettre de mieux diffuser des ressources d’institutions culturelles ou patrimoniales auprès d’un public plus large. Elle agit aussi auprès des pouvoirs publics pour promouvoir un internet libre de tous monopoles, respectueux, inclusifs et porté par les valeurs de l'open access.

Tableau des impacts et indicateurs


Impacts	Grand public	Professionnels	Bénévoles
Développer l’accès, la compréhension et l’usage des projets Wikimedia.	Se sentir capable de contribuer à un article sur Wikipédia. Avoir effectivement contribué à la suite d'une action menée par l'association Nombre de personnes sensibilisées par des actions, ateliers ou formations. Nombre de comptes crées. Mieux connaître l'association et ses objectifs Avoir envie de participer à nouveau à des actions de l'association. Comprendre les notions de licences libres Avoir accès aux projets Wikimédia et à leurs contenus. Faire un don à Wikimédia France Connaître et partager les valeurs de Wikimédia (droit à l'information, libre accès à la connaissance, libre partage	Se sentir capable de contribuer sur une partie des projets Wikimédia (WP, Commons, Wikidata, Wikisource, Wiktionnaire) Diminution des préjugés relatives à Wikipédia (information peu fiable, pas de droits d'auteurs...) Acquérir une meilleure connaissance des licences CC et de leurs avantages. Connaître l'association Wikimédia France et ses objectifs	Améliorer ses connaissances à propos des projets Wikimedia et sa capacité à y contribuer. Mieux connaître l'association Wikimédia et le mouvement auquel elle participe. Nombre de personnes impliquées dans l'organisation d'ateliers de contributions ou de formations. Augmentation du nombre d'adhésion à l'association Être ambassadeur des projets Wikimédia et/ou de l'association autour de soi.
Soutenir et accompagner la production et la diffusion de contenus libres	Devenir un contributeur régulier aux projets Wikimédia. Augmenter la diversité des contenus : nombre d'articles visant à combler les écarts de contenus sur les projets Wikimédia (minorités, langues, biais géographiques) Produire ou apporter de nouveaux contenus de qualité aux projets Wikimédia (sons, vidéos) Accroître la qualité des articles Nombre d'articles ou de pages modifiées sur l'ensemble des projets Wikimédia
Agir sur les politiques et les pratiques des institutions publiques		Intégration du travail avec Wikipédia dans les pratiques professionnelles Adoption des licences libres Utilisation de Wikipédia comme un outil pédagogique L'envie de reconduire, prolonger et/ou approfondir la collaboration avec Wikimédia France. Ouverture des données de l'institution Être satisfait du partenariat avec l'association. Autonomisation des partenaires. Parler de Wikimédia France et des projets Wikimédia autour de soi. Mobiliser des professionnels en interne ou hors de l'organisation. Connaître et partager les valeurs de Wikimédia (droit à l'information, libre accès à la connaissance, libre partage) Connaître et promouvoir les bonnes pratiques wikimédiennes