보조금:아이디어랩/글로벌 지표 및 지원 재설계/결과
배경
이 프로젝트는 위키미디어 재단의 커뮤니티 리소스 팀과 학습 및 평가 팀이 공동으로 수행했습니다. 이 두 팀은 지난 2년 동안 글로벌 메트릭스의 제작, 구현 및 지원에 중심적인 역할을 했습니다.
글로벌 메트릭스를 업데이트한 목적은 글로벌 메트릭스 회고와 이 협의를 통해 받은 풍부한 피드백과 제안을 반영한 것을 만드는 것이었습니다.
피드백의 스펙트럼을 감안하여, 우리는 반응성과 일관성을 모두 갖춘 아이디어를 만들고 결정을 내릴 수 있는 일련의 사전 원칙을 파악했습니다. 제안된 일련의 변경 사항에서, 이는 제안된 각 아이디어의 강점과 약점을 평가하는 데 사용된 일련의 설계 원칙이었습니다. 피드백을 종합하고 통합하여 글로벌 지표에 대한 최종 업데이트를 결정할 때, 이는 의사 결정을 안내하는 데 사용된 원칙이었습니다.
- 사용하기 쉬운 도구가 없다면 새로운 지표를 도입하지 않을 것입니다. 합의된 새로운 지표는 도구가 사용 가능해지면 도입될 것입니다.
- 우리는 반복할 수 있는 부분을 파악합니다. 모든 것을 지금 할 수는 없지만, 천천히 하더라도 제대로 하는 것이 더 낫다는 것을 이해합니다.
- 우리는 지표에 대해 전체적으로 생각하며, 보조금 지표, 조직 지표, 프로그램 지표가 겹칠 수는 있지만 반드시 같은 것은 아니라는 점을 인정합니다. 이러한 모든 지표는 서로를 대체하는 것이 아니라 보완해야 합니다.
실행 요약
메트릭 라이브러리는 피드백을 제공한 수혜자와 보조금 위원회 위원으로부터 강력한 지원을 받았습니다. 이 중앙 집중식 리소스의 생성은 2016-2017 회계연도에 학습 및 평가의 아만다 비테이커의 핵심 프로젝트 중 하나가 될 것입니다.
- 위키메트릭스가 글로벌 메트릭스를 계산하는 단일 도구가 되어야 하는지에 대한 응답자의 의견 일치는 없었습니다. 위키메트릭스에는 상당한 프런트엔드 및 백엔드 문제가 있으므로, 2016-17 회계연도에 커뮤니티 리소스의 사티 휴스턴이 데이터 수집과 관련된 문제에 대한 최상의 솔루션이 새로운 도구인지 아니면 기존 도구를 개선하는 것인지 조사하기 위한 심층적인 프로젝트를 수행할 것입니다.
- 응답자들은 글로벌 메트릭스 요구 사항을 단순화하고, 특히 구조를 "제안 2: 3개 공유 측정 + 2개 수혜자 정의 측정"으로 변경하는 데 강력히 찬성했습니다.
- 제안된 4가지 지표에 대해 응답자는 각 지표의 중요성, 유용성, 정의에 대한 상당한 피드백을 제공했으며, 정보를 수집하는 것이 얼마나 쉬운지/어려울지에 대해서도 피드백을 제공했습니다. 이 피드백은 최종 지표 세트에 통합되었으며, 위험과 우려 사항은 잠재적인 완화책으로 제시되었습니다. 추가 정보는 #Participation, #Content, #Community Building 섹션을 참조하세요.
- 모든 응답자는 커뮤니티 구축이 포착하기에 중요하고 유용한 결과라고 밝혔지만, "커뮤니티 구축이란 무엇인가?"라는 질문에는 매우 다른 반응을 보였습니다. 게다가, 응답자들은 커뮤니티 구축에 대한 정보를 수집하는 것이 어려울 것이라고 밝혔으며, 설문 조사, 스토리텔링 또는 다른 솔루션이 이 정보를 포착하는 데 적합한지 불분명했습니다. 따라서 커뮤니티 구축은 현재 공유 측정 항목으로 포함되지 않지만, 내년 내내 이 분야의 성공 사례와 과제에 대해 더 많이 알아가기를 바랍니다.
글로벌 메트릭 대신 보조금 메트릭
글로벌 지표는 다음과 같이 보조금 지표를 식별, 수집 및 보고하기 위한 간소화된 요구 사항으로 대체됩니다:
공유되는 세 가지 지표
- 전체 참가자. 이는 이벤트나 활동에 직접 또는 가상으로 참석한 사람의 수입니다. 여기에는 주최자나 홍보 채널(예: 소셜 미디어 팔로워) 등 이벤트나 활동에 "참여"할 수 있는 다른 많은 사람은 포함되지 않습니다.
- 자원봉사 참여(예: 자원봉사 조직자 수) 또는 인식 제고(예: 소셜 미디어 팔로워 수)와 관련된 결과가 귀하의 보조금 활동에 여전히 중요한 경우, 해당 결과를 수혜자 정의 지표로 포함할 수 있습니다.
- 새로 등록한 사용자 수. 이는 매직 버튼과 위키메트릭스를 통해 수집된 현재 글로벌 메트릭입니다. 정의는 동일하게 유지됩니다. 필요한 경우 특정 이벤트에 대한 2주 기간을 사용하여 프로젝트의 결과로 새로 등록한 사용자 수입니다.
- 위키미디어 프로젝트에서 "집계된" 생성 또는 개선된 콘텐츠 페이지입니다. 이는 매직 버튼을 통해 수집된 현재의 글로벌 메트릭입니다. 모든 위키미디어 프로젝트가 포함된다는 것을 명확히 하기 위해 정의를 약간 변경했습니다.
- 수혜자와 보조금 위원회 위원은 실제로 인터뷰를 통해 (2) 및 (3)보다 두 가지 다른 측정 항목을 선호했습니다.
- 새로 등록한 사용자와 1, 3, 6 또는 12개월 동안의 유지율(이를 "신규 사용자 유지율"이라고 함)
- 위키미디어 프로젝트에서 생성 또는 개선, 분류된 콘텐츠 페이지
- 하지만 신규 사용자 유지율 지표나 분산된 콘텐츠 지표는 현재 쉽게 사용할 수 있는 도구가 없습니다. 이러한 도구 문제가 해결되면 공유 지표가 업데이트될 것입니다.
+ 수혜자가 정의한 두 가지 측정 항목
이러한 측정(양적이든 질적이든)은 수혜자가 공유된 지표에서 포착한 결과를 넘어서는 결과를 강조할 수 있는 공간입니다. 이는 단일 프로그램 또는 프로그램 세트의 결과일 수 있으며, 이러한 측정을 선택할 때 선택할 수 있는 사전 설정 목록은 없습니다.
타임라인
이 보조금 지표 요건은 프로젝트 보조금 및 연간 계획 보조금 프로그램에만 적용됩니다. 신속 보조금 및 컨퍼런스와 여행 보조금은 현재 프로그램별 요건을 유지합니다. 진행 중인 보조금은 새 구조로 변경할 필요가 없습니다. 제안서에 명시된 지표, 목표 및 타겟을 그대로 유지합니다. 이러한 새로운 보조금 지표는 다음 일정에 따라 프로젝트 및 연간 계획 보조금에 대한 요건이 됩니다.
- 프로젝트 보조금 – 2016년 9월 또는 그 이후에 승인된 보조금
- 단순 연간 계획 보조금 – 2017년 1월 1일부터 자금 지원을 위해 제출된 보조금(즉, 11월 1일까지 제출된 보조금 제안서)
- 전체 연간 계획 보조금 – 2016년 10월 1라운드에서 제출된 보조금
이 새로운 요구 사항은 프로젝트 보조금에서 어떻게 작동합니까?
현재 각 프로젝트 보조금에는 글로벌 지표와 프로젝트 지표라는 두 개의 지표 표가 있습니다. 이 새로운 보조금 지표 요구 사항에 따라 세 개의 공유 지표에 대한 세 개의 행과 수혜자가 정의한 지표에 대한 두 개의 행이 있는 하나의 표가 있습니다. 수혜자는 목표와 관련이 없는 세 개의 공유 지표를 제거할 수 있습니다. 또한 두 개 이상인 경우 수혜자가 정의한 지표를 추가할 수도 있습니다.
이 새로운 요구 사항은 단순 연간 계획 보조금에서 어떻게 작동합니까?
현재 수혜자는 글로벌 메트릭 목표와 성과를 공통 스프레드시트에 입력합니다. 새로운 단순 연간 계획 보조금의 경우 이 스프레드시트의 메트릭은 새로운 공유 메트릭과 일치하도록 업데이트되고 수혜자는 자신의 보조금과 관련된 다른 두 가지를 식별합니다.
이 새로운 요구 사항은 연간 계획 보조금에 어떻게 적용됩니까?
현재 제안서와 보고서 양식 모두 글로벌 지표 목표와 성과를 포착하기 위한 표가 있습니다(예: 진행 보고서의 "글로벌 지표 개요 - 모든 프로그램" 섹션). 프로그램 지표는 관련 프로그램 섹션에서 보고됩니다. 이 새로운 보조금 지표 요구 사항에 따라 제안서와 보고서 양식의 시작 부분에 표가 하나 있고, 세 개의 공유 지표에 대한 행이 세 개, 수혜자가 정의한 지표에 대한 행이 두 개 있습니다. 수혜자는 목표와 관련이 없는 세 개의 공유 지표를 제거할 수 있습니다. 또한 두 개 이상인 경우 수혜자가 정의한 지표를 추가할 수도 있습니다. 다른 프로그램별 지표는 관련 프로그램 섹션에 그대로 유지됩니다.
다음 단계
- 업데이트 글로벌 지표 학습 패턴 수집 – 8월 12일
- 업데이트 보조금 제안서 및 보고 템플릿 – 보조금 라운드가 시작되는 날짜에 따라 보조금 프로그램에 따라 다릅니다.
- 메트릭 라이브러리 프로젝트 범위 설정 시작 – 8월 15일
- 공유 메트릭 프로젝트 도구 범위 설정 시작 – 9월 5일
커뮤니티 피드백 및 변경 이유에 대한 세부 정보
구조
전반적으로 인터뷰에 응한 수혜자와 보조금 위원회 위원 대부분은 "제안 2: 3개 공유 측정 + 2개 수혜자가 정의한 측정"을 선호했습니다. 이 구조는 글로벌 메트릭과 기타 메트릭을 단일 보조금 메트릭 세트로 통합합니다. 이 구조를 선호하는 사람들은 공유 메트릭 세트를 통해 일관성에 대한 필요성과 수혜자가 특정 결과와 업적을 강조할 수 있도록 허용하여 유연성에 대한 필요성을 적절히 균형 잡았다고 지적했습니다. 그러나 제안된 새로운 구조의 전반적인 성공은 메트릭 라이브러리에 크게 달려 있습니다. 라이브러리는 수혜자가 새로운 메트릭, 온라인 리소스 및 잠재적 도구를 발견할 수 있는 주요 메커니즘이 될 것이기 때문입니다.
글로벌 지표 및 기타 보조금 지표를 통합한 구조로 전환하는 것에 대해 제기된 주요 우려 사항은 세 가지였습니다. 이러한 우려 사항을 해결하기 위해 해당되는 경우 몇 가지 잠재적인 완화책을 파악했습니다.
- 이 새로운 구조는 WMF가 요구하는 측정항목과 수혜자가 지정한 측정항목 간의 구분을 줄일 것입니다.
- 이 구조를 제거하면 WMF에서 요구하는 지표와 수혜자가 지정한 다른 지표가 통합되는 것은 사실입니다. 그러나 제안 2를 지지한 응답자는 이 모든 지표가 보조금의 결과를 나타내기 때문에 이를 구조의 강점으로 강조했습니다.
- 최소 두 개의 수혜자 정의 측정 항목을 요구하면 규모가 작은 보조금과 수혜자의 부담이 커질 수 있습니다.
- 완화책: 신속 보조금 프로그램은 보조금 승인 시간과 보고의 전반적인 부담을 줄이기 위해 설계되었으며, 이와 동일한 구조를 따르지 않습니다. 대신 현재의 더 가벼운 요건을 유지합니다.
- 이러한 수혜자별 정의 측정 기준은 보조금에 따라 다르므로 수혜자에게 적절한 지원(예: 도구, 온라인 리소스)이 제공되지 않을 수 있습니다.
글로벌 지표와 기타 지표를 단일 "보조금 지표" 세트로 통합하기로 한 이 결정에 따라 프로젝트 및 연간 계획 보조금에 대한 제안 및 보고 템플릿이 업데이트되어 통합이 용이해집니다. 템플릿 변경은 또한 이 세 가지 공유 지표가 보조금 목표와 관련이 있는 경우에만 요구되어야 함을 명확히 하는 것을 목표로 합니다.
조치
참여
제안된 두 가지 참여 지표(개인 참여 및 유지된 편집자) 중 응답자는 두 지표 모두 유용하고 중요하지만, 다른 결과를 다루고 다른 상황에 적용 가능하다고 밝혔습니다. 개인 참여만 주요 참여 지표로 사용하는 것에 대한 지지가 있는 반면, 수혜자가 보조금에 적용 가능한 개인 참여와 유지 중에서 선택할 수 있도록 허용하는 것에 대한 지지도 동등했습니다(투표 데이터).
응답자들은 또한 제안된 각 지표의 정의를 세부화해야 한다고 밝혔으며, 정의에 제안된 주요 변경 사항은 다음과 같습니다:
- 관련된 개인의 경우 정의에는 더 구체적인 내용이 필요합니다. 보조금에 "관련된" 사람들의 그룹은 많지만, 이 지표에는 일반적으로 세 가지 주요 그룹이 포함됩니다.
- 참가자 - 이들은 직접 또는 가상으로 이벤트에 참석하는 사람들입니다. 예를 들어, 프로그램 중에 사용자 이름이 수집된 사람들은 참여자입니다.
- 주최자 - 이들은 이벤트를 조직하는 책임이 있는 자원봉사자 또는 직원입니다.
- 아웃리치 활동의 대상인 대규모 청중 - 이는 주로 대중 커뮤니케이션을 통해 도달하는 대규모 집단으로, 목표는 위키미디어 운동, 특정 프로젝트 또는 이벤트 등에 대한 인지도를 높이는 것입니다. 예를 들어, 뉴스레터 수신자, 소셜 미디어 팔로워, 메일링 목록 회원, 박람회에서 위키미디어 부스를 방문하는 사람 등입니다.
- 응답자는 이러한 그룹 간의 구분이 완벽하거나 포괄적이지 않다고 밝혔지만(예: 기부자 또는 파트너 조직은 어디에서 포착될까요? 조직자가 되는 참여자는 어떻게 될까요?), 이 세 그룹을 구분하면 정의의 구체성이 향상되고 전반적으로 더 유용할 것입니다. 두 응답자는 자원봉사 조직자의 수는 실제로 "자원봉사 참여"를 측정하는 것이고 이러한 대규모 아웃리치 청중의 규모는 실제로 "인지도 제고"를 측정하는 것이라고 덧붙였습니다. 둘 다 일반적으로 참여와 관련이 있지만 실제로는 "전체 참여자"와는 다른 결과를 측정합니다.
- 유지된 편집자의 경우, 더 많은 응답자는 지표가 대신 신규 사용자와 신규 사용자 유지에 초점을 맞춰야 한다고 밝혔습니다. 응답자는 모든 위키미디어 프로젝트의 모든 네임스페이스에서 유지 정의를 1개의 편집으로 확장하는 것을 지지했지만, 다음과 같이 밝혔습니다.
- 유지를 측정하려면 신규 사용자의 총 수를 아는 것이 중요합니다.
- 유지를 잘 측정하려면 여러 기간(예: 1개월, 3개월, 6개월 또는 12개월)에 걸쳐 추적해야 합니다.
- "좋은" 유지에 해당하는 것이 무엇인지 알려면 기준이 있어야 합니다.
- 응답자는 기존 기여자의 참여가 많은 활동에 중요하지만, 이러한 활동의 결과는 숫자 유지 지표를 통해서가 아니라 동기 부여, 커뮤니티와의 연결성 등에 초점을 맞춰 정성적으로 파악하는 것이 더 좋다고 밝혔습니다.
그러나 이러한 모든 참여 지표가 데이터 수집과 관련하여 문제가 있는 반면, 신규 사용자 유지에는 상당한 문제가 있습니다. 저희가 아는 한, 제안된 정의에 따라 여러 기간에 걸쳐 유지를 포착할 만큼 충분한 기능을 갖춘 도구는 없습니다. 게다가 통합 사용자 로그인은 원래 글로벌 지표가 정의된 후에 도입되었으며, 각 도구에서 "신규 사용자"가 기술적으로 정의되는 방식(예: "처음으로 사용자 이름을 만드는 사람"과 "기존 기여자이지만 특정 언어 프로젝트에는 처음인 사람"을 구분)과 "신규 사용자 유지"가 기술적으로 정의되는 방식을 변경해야 할 가능성이 높습니다. WMF와 자원봉사자가 만든 유지 중심 도구가 많이 있지만, 각각은 작게부터 크게 개선해야 합니다. (이것은 저희가 알고 있는 도구를 기반으로 합니다. 도구를 놓친 경우 알려주십시오!). 따라서 현재의 "새로 등록한 사용자" 메트릭은 도구가 새로운 정의와 기능을 지원하도록 업데이트될 때까지 유지되어야 합니다.
이 모든 피드백을 바탕으로 새로운 참여 지표는 다음과 같습니다:
- 전체 참가자. 이는 직접 또는 가상으로 이벤트에 참석한 사람의 수입니다. 제안된 대로 업데이트된 학습 패턴에는 포함되어야 할 사람과 포함되지 않아야 할 사람의 예가 포함됩니다.
- 자원봉사자 참여와 인식 제고는 여전히 포착해야 할 중요한 목표와 성과입니다. "수혜자가 정의한" 지표는 수혜자가 "참가자" 지표에 맞지 않게 보고하도록 강요받는 대신, 자신에게 가장 관련성 있는 방식으로 이러한 성과를 강조할 수 있는 기회를 제공합니다.
- 새로 등록한 사용자 수. 이는 현재 글로벌 메트릭이며 정의는 동일하게 유지됩니다. 필요한 경우 특정 이벤트에 대한 2주 기간을 사용하여 프로젝트의 결과로 새로 등록한 사용자 수입니다.
내용
대부분의 응답자는 제안된 콘텐츠 지표인 위키미디어 프로젝트에서 생성 또는 개선되고 분류된 콘텐츠 페이지를 강력히 지지했습니다.
이 새로운 정의는 회고에서 확인된 몇 가지 문제를 해결합니다. 특히 현재의 "새롭거나 개선된 페이지" 지표가 "새롭거나 개선된 위키백과 문서" 또는 위키미디어 프로젝트(예: 위키데이터 항목, 위키낱말사전사전 항목 및 위키문헌 페이지)의 집계된 페이지로 해석된 것입니다. 응답자는 정의에 대한 개선 사항을 많이 제안하지 않았지만 세 가지 우려 사항이 있었습니다. 이러한 우려 사항을 해결하기 위해 해당되는 경우 몇 가지 잠재적인 완화책을 다시 확인했습니다.
- 콘텐츠의 품질이 해결되지 않았습니다.
- 주어진 품질은 현재 주로 커뮤니티 프로세스(예: 영어 위키피디아의 추천글 프로세스, 공용의 추천 이미지 프로세스) 또는 이벤트나 콘테스트의 특정 프로세스 및 기준을 통해 평가되지만, 매우 맥락화되어 있으며 중앙 집중식으로 정의하기 어렵습니다. 자동화된 도구를 도입하는 것이 미래에 옵션이 될 수 있지만, 현재로서는 공유 메트릭으로 포함하는 것이 실행 가능하지 않습니다.
- 이 측정항목은 쉽게 "게임화"되거나 조작될 수 있습니다. 토막글 문서를 작성하거나 가능한 한 많은 페이지를 약간 편집함으로써 가능합니다.
- 이는 타당한 우려 사항이지만, 보조금 시스템이 도박이 발생하지 않도록 충분히 감독할 가능성은 거의 없습니다.
- "개선"의 정의는 위키미디어 프로젝트에 따라 다릅니다.
- 잠재적인 완화: 개선된 사항에 대한 보다 자세한 예는 지표 라이브러리의 지표 문서에 추가될 수 있습니다.
이렇게 분리된 콘텐츠 측정 기준은 다양한 위키미디어 프로젝트 전반에 걸쳐 추가되거나 개선된 콘텐츠에 대해 더 구체적인 정보를 제공하지만 '현재 이 세부 정보를 수집할 수 있는 도구는 없습니다(SQL과 같은 언어에 대한 기술적 전문 지식이 없어도 가능). 위키메트릭스는 "추가된 콘텐츠 페이지, 위키미디어 프로젝트에 의해 분류된 콘텐츠" 및 "생성 및 개선된 집계된 콘텐츠 페이지"를 보고할 수 있지만 "개선된 콘텐츠 페이지, 위키미디어 프로젝트에 의해 분류된 콘텐츠 페이지"는 보고할 수 없습니다. 다시 말하지만, 현재 존재하는 도구가 없다는 평가는 우리가 알고 있는 도구를 기반으로 합니다. 도구를 놓친 경우 알려주시기 바랍니다!
이러한 도구 제한으로 인해 이 지표는 아직 공유 부여 지표가 될 수 없습니다. 따라서 현재의 '생성 또는 개선된 페이지' 측정항목은 그대로 유지되며 정의가 약간 개선됩니다. 도구 문제가 해결되면 업데이트된 측정항목(위키미디어 프로젝트별 분류 포함)이 현재 측정항목을 대체합니다.
위키미디어 프로젝트에 의해 집계되거나 생성되거나 개선된 콘텐츠 페이지
이는 매직 버튼으로 계산된 현재 전역 지표입니다. 여기서 "콘텐츠 페이지"는 위키백과의 문서, 위키낱말사전의 항목, 공용의 파일, 위키데이터의 항목, 위키문헌의 페이지 또는 유사한 단위로 정의됩니다. 다른 위키미디어 프로젝트의 콘텐츠.
- 수혜자는 원하는 경우 위키미디어 프로젝트별로 집계된 숫자를 분리할 수 있지만 필수는 아닙니다. 이러한 분리된 숫자를 포함하는 데 드는 시간과 노력은 대부분의 수혜자에게 너무 많은 것일 수 있습니다.
- 예: 수혜자는 위키미디어 프로젝트 전반에 걸쳐 콘텐츠를 만들거나 개선하려는 목표로 에디터톤을 개최합니다. 이번 에디터톤의 참가자들은 4개의 위키백과 문서를 작성하고, 12개의 위키백과 문서를 개선하고, 공용에 4개의 이미지를 업로드하고, 위키데이터의 18개 항목에 속성을 추가합니다.
- 수혜자는 위키미디어 프로젝트 전반에 걸쳐 새로운 내용이나 개선된 내용 페이지 38개를 보고할 것입니다.
- 위키백과에서 작성되거나 개선된 16개의 문서, 공용에 업로드되거나 개선된 4개의 미디어, 위키데이터에서 작성되거나 개선된 18개의 항목을 보고할 수도 있지만 필수는 아닙니다.
커뮤니티 구축
응답자들은 커뮤니티 구축이 중요하고 유용한 결과라고 강력하게 지적했지만, “커뮤니티 구축이란 무엇입니까?”라는 질문에 대해서는 매우 다양한 반응을 보였습니다. 더욱이 응답자들은 커뮤니티 구축에 관한 정보를 수집하는 것이 어려울 것이라고 지적했습니다. 설문조사, 스토리텔링 또는 기타 솔루션이 이 정보를 포착하는 데 적합한지 불분명했습니다.
따라서 커뮤니티 구축은 공유 법안에 포함되지 않습니다. 중요하기는 하지만 정의, 정보 수집 방법, 정보 사용 방법을 명확히 하기 위해서는 더 많은 조사와 실험이 필요합니다.
그러나 현재 사용되는 정의를 포함하여 커뮤니티 구축과 관련하여 이미 완료되었거나 현재 수행 중인 작업을 계속 조사할 것입니다. 회의 주최자의 관심에 따라 우리는 2017년 운동 회의에서 이러한 결과를 발표할 수 있습니다.
부록
Demographics of respondents
The summarized feedback below is based on interviews and survey data collected from former and current grantees, WMF staffs, grant committee members, and a WMF board member.
- 5 WMF staff from the Community Resources team
- 34 grantees
- IEG: 4
- PEG: 14
- APG: 10
- Simple APG: 4
- Unknown: 2
- 8 Grant committee members
- FDC members: 3
- GAC members: 3
- SAPG committee members: 2
Data
| Topic | Comment |
|---|---|
| Reporting | Need to update the forms to make sure that the relevancy question is clearly answered – i.e. when are these relevant and when not |
| Reporting | The grant framework is not conducive to capturing longer-term outcomes; it's more conducive to capturing the shorter-term outputs; given the clear feedback Grant got in the need to simplify reporting, grant reports are not the right medium to report these longer term outcomes. |
| Simplification | This update simplifies collecting Global Metrics |
| Simplification | Will make comparisons more difficult |
| Simplification | Less information about understanding impact |
| Simplification | There is a loss of nuance in the proposed solutions |
| Simplification | Quantitative metrics create quantitative bias |
| General | Need to communicate how WMF is using this information more broadly |
Structure
| Topic | Comment | Frequency |
|---|---|---|
| Proposal 1 | Endorsements for Proposal 1 | 6 |
| Proposal 1 | Other metrics will be included anyways; other metrics shouldn't be required | 3 |
| Proposal 1 | Keeps the distinction between Global Metrics and other metrics | 2 |
| Proposal 1 | Proposal 2 may be too much for smaller communities, unless the metrics are clearly defined and have identified tools | 1 |
| Proposal 2 | Endorsements for Proposal 2 | 16 |
| Proposal 2 | Gives organizations flexibility/freedom to pick and choose which outcomes are most relevant to their work | 7 |
| Proposal 2 | Need to start looking at those metrics beyond Global Metrics, given diversity of programs | 1 |
| Proposal 2 | Good combination of cross-cutting metrics, uniform data-gathering, and other/local metrics that are diverse | 2 |
| Proposal 2 | Good balance between consistency and flexibility | 1 |
| Proposal 2 | Gives a chance to acknowledge things/outcomes a grantee thinks brought value | 1 |
| Proposal 2 | The opportunity to see what others are measuring (i.e. sharing) could lead to the opportunity to collaborate / build together new measures | 2 |
| Proposal 2 | Provides space for those measures of success that the grantee has already identified | 2 |
| Proposal 2 | Provides space for those locally relevant challenges and achievements | 3 |
| Proposal 2 | Going to collect other metrics whether it is required by WMF or not | 1 |
| Proposal 2 | Would be difficult for the "extra" metrics to be cross program ones; these would be difficult to identify and collect | 2 |
| Proposal 2 | Will not be able to aggregate these "extra" metrics | 1 |
| Proposal 2 | "Other" metrics need to be consistent year to year | 1 |
| Proposal 2 | Dependent on the breadth and rollout of the Metrics Library | 1 |
| General | Would be difficult (and additional burden) to report metrics by programme | 1 |
| General | Need to be clear in the update that a low number won't be held against a grantee | 1 |
| General | Need to emphasize the importance of other metrics and that “Global Metrics + Other metrics” is what tells the full story | 1 |
| General | Defining a broader set of metrics, with good definitions and tools would also be an alternate solution | 1 |
| General | Outreach events have very different metrics – press mentions, social media, people actively reaching out to partners | 1 |
| General | Having only 3 standard metrics is good as long as the combination of shared and other metrics is sufficient to "measure impact and enable people to learn from success/mistakes" | 1 |
| General | "Proposal 1 allows for homogeneity, which is a good for mapping outcomes, but Proposal 2 allows us to gain insights into challenges and conditions of grantees that will have a huge impact on the movement." | 1 |
| General | Need to test these metrics & structure and incrementally develop further over the years | 1 |
Metrics
| Topic | Affect | Comment | Frequency |
|---|---|---|---|
| Individuals Involved | General | Endorsements for Individuals Involved (over Retention) | 9 |
| Individuals Involved | Positive | Metric reflects grantee goals, better than other metrics | 1 |
| Individuals Involved | Positive | Main metric for activity | 3 |
| Individuals Involved | Positive | Important metric for those events that only happen once a year (e.g. Art+Feminism, WLM) | 2 |
| Individuals Involved | Positive | Even though the definition of this metric is open and can easily change or be interpreted differently, it gives a good sense of reach | 1 |
| Individuals Involved | Positive | Able to share this externally, beyond the movement | 1 |
| Individuals Involved | Positive | Only way currently to capture offline activity | 1 |
| Individuals Involved | Positive | Easier to collect than retention | 1 |
| Individuals Involved | Positive | Individuals Involved is a useful metric | 8 |
| Individuals Involved | Concerns | Grantee anxiety when the number is small | 1 |
| Individuals Involved | Concerns | Unclear why WMF is interested in this metric / definition overall | 1 |
| Individuals Involved | Concerns | Easy to maximize this number | 1 |
| Individuals Involved | Concerns | Individuals Involved is not a useful metric | 3 |
| Individuals Involved | Concerns | Privacy concerns make tracking difficult | 1 |
| Individuals Involved | Concerns | Manual tracking is the only option | 2 |
| Individuals Involved | Concerns | Redundancy between different sign-in, sign-up mechanisms | 1 |
| Retention | General | Endorsements for Retention (over Individuals Involved) | 4 |
| Retention | Positive | 1 edit threshold is good | 1 |
| Retention | Positive | Good to include any project | 1 |
| Retention | Positive | Good to include any namespace | 1 |
| Retention | Positive | “The definition is fine" | 2 |
| Retention | Positive | Good metric for longer-term outcomes | 2 |
| Retention | Positive | Retention is a useful metric | 2 |
| Retention | Concerns | Retention is not a goal for every activity | 1 |
| Retention | Concerns | Very online, editing focused | 3 |
| Retention | Concerns | Not a good fit for those one time contest participants, outreach | 1 |
| Retention | Concerns | Much more limited metric | 1 |
| Retention | Concerns | Is 1 edit meaningful? At what point does the number of edits become meaningful? | 1 |
| Retention | Concerns | A new editor retention metric will not capture activities focused on existing editor community | 1 |
| Retention | Concerns | Capturing both new and existing retention is important | 1 |
| Retention | Concerns | Selecting 30/90/12 months will not fit time periods like semesters well | 1 |
| Retention | Concerns | Retention is not sufficient to be the one metric | 1 |
| Retention | Definition | Existing editor retention is not useful | 2 |
| Retention | Definition | Should focus on new editor retention | 2 |
| Retention | Definition | Existing editor retention might be addressed through community building question | 1 |
| Retention | Definition | Need flexibility in the retention period | 4 |
| Retention | Definition | Grantee needs to define their retention period beforehand | 1 |
| Retention | Definition | Needs a great baseline, to contextualize "good" retention | 3 |
| Retention | Definition | Time periods might be set to fit the chapters reporting | 1 |
| Retention | Concerns | Short term retention isn't useful to track | 1 |
| Retention | Concerns | 30 day retention isn't going to be useful to all grantees | 1 |
| Retention | Collection | Time intensive to collect and track | 1 |
| Retention | Collection | Need an automated system that tracks the retention of users | 1 |
| Retention | Collection | No system can capture the "retention" of volunteer organizers | 1 |
| Participation | General | Both Individuals Involved and Retention are necessary to see the full picture | 1 |
| Participation | General | Captures both output and outcomes | 1 |
| Participation | General | Allows for flexibility, given the different types of activities run | 1 |
| Content | Positive | Endorsements for the Content metric | 13 |
| Content | Positive | Disaggregation by Wikimedia project is good | 7 |
| Content | Positive | Information on content by project is useful | 9 |
| Content | Concerns | Doesn't capture everything related to content | 1 |
| Content | Concerns | Could be manipulated, e.g. by stubs | 2 |
| Content | Concerns | Number of "Pages improved" is not a good measure of quality | 2 |
| Content | Concerns | Need a measure of quality | 1 |
| Content | General | Make clear "project" is a Wikimedia project and not something else (e.g. WikiProject, or a funded project) | 1 |
| Content | General | Definition should have more detail – Wikipedia articles translated, Wikisource books proofread twice, Wikidata statements created | 1 |
| Content | General | Need to be clear what an "improvement" means – would vary by wiki project | 1 |
| Community Building | Collection | Survey community being served | 3 |
| Community Building | Collection | Measure engagement after an event | 1 |
| Community Building | Collection | Measure active editors | 1 |
| Community Building | Collection | Measure number of participants in community | 1 |
| Community Building | Collection | Answer a set of questions, to assess various dimensions | 1 |
| Community Building | Collection | Look for indicators, not direct causality | 1 |
| Community Building | Collection | Measure before and after the program, not a specific event, but the entire program | 1 |
| Community Building | Concerns | Cannot yet be systematically captured | 1 |
| Community Building | Concerns | Really hard to capture, particularly the qualitative side | 5 |
| Community Building | Concerns | Making the question specific would make it less applicable | 1 |
| Community Building | Concerns | Should not make it too resource intensive to collect and evaluate | 1 |
| Community Building | Concerns | Community Building might not be an outcome, but a prerequisite of the program | 1 |
| Community Building | Concerns | Proving causality will be difficult | 2 |
| Community Building | Concerns | Will be difficult to automate this data collection | 1 |
| Community Building | Concerns | Ambiguous definition | 1 |
| Community Building | General | Community Building is useful information | 8 |
| Community Building | General | Community Building is important information | 15 |
| General | General | Need to think about how the information will be collected in the field | 1 |
| General | General | Metrics are harder for things that are not timebound | 1 |
| General | General | Grantee needs to have a clear definition and be clear about why this metric is important to them | 1 |
| General | General | Grantee needs to demonstrate consistency between the goal and what they are measuring | 1 |
| General | General | WMF needs to address anxiety about low numbers | 1 |
| General | General | Global metrics show how program are working around the globe; program specific metrics are different | 1 |
| General | General | Should have metrics that are applicable from the smallest to largest grant; the comparison is still interesting | 1 |
Resources
| Topic | Comment | Frequency |
|---|---|---|
| Metrics Library | Endorsement for Metrics Library | 13 |
| Metrics Library | Suggestions for features for the Metrics Library | 16 |
| 1:1 Support | Create a position to help program managers do program evaluation | 1 |
| Tutorials | More online training about using and understanding Wikimetrics could be something to think about. | 1 |
| Tutorials | An online tutorial/masterclass one per month would be a nice way to resolve doubts and questions. | 1 |
| Current resources | Learning patterns and Idea Lab insufficient to inspire experimentation and new program design. So the metrics library seems like a good addition. | 1 |
| Current resources | Maybe there is already sufficient guidance but it is difficult to find. Not all grantees (even "experienced" grantees) knew about it. | 1 |