커뮤니티 건강 이니셔티브/측정지표 키트
커뮤니티 건강 측정지표 키트는 위키미디어 재단의 커뮤니티 건강 이니셔티브와 협력하여 신뢰 및 안전 팀에서 조사 중인 프로젝트입니다. 궁극적인 목표는 프로젝트별로 위키미디어 커뮤니티의 상대적 건전성을 문서화하는 공개 통계 및 데이터 세트입니다. 이 프로젝트는 2018-19 회계연도에 조사되었으며 향후 커뮤니티 지표의 추가 개발을 알릴 것입니다.
배경
운동으로서 위키미디어인들은 항상 커뮤니티의 측면을 측정했습니다. 편집자 활동 수준, 신규 사용자 및 편집자 유지와 같은 데이터 포인트가 정기적으로 수집되었습니다. 이러한 메트릭은 프로젝트의 상태에 대한 몇 가지 유용한 지표를 제공하지만 문제 및 개선이 필요한 특정 영역에 대한 주요 통찰력을 제공하지는 않습니다. 커뮤니티 건강 이니셔티브는 개인 기여자, 가맹단체 그룹, 학계 및 연구원, 위키미디어 재단의 이미 수행한 메트릭스 작업을 기반으로 구축하고자 합니다.
이 프로젝트에는 두 가지 주요 목표가 있습니다:
- 커뮤니티의 건강 측면에 대한 유용한 통찰력을 제공하는 정량적 통계를 정기적으로 업데이트하고
- 정량적 접근 방식을 통해 효과적으로 측정할 수 없는 통찰력을 찾기 위한 더 나은 정성적 옵션을 제공합니다.
이 키트와 포함할 데이터는 두 가지 주요 고객을 대상으로 합니다:
- 프로젝트의 상대적 건전성을 확인하고 건강하지 못한 커뮤니티의 초기 징후를 보다 쉽게 식별하기 위한 지역 및 글로벌 커뮤니티 그리고
- 위키미디어 재단은 데이터(이제 중앙 집중식 위치)를 사용하여 커뮤니티 건강의 추세를 더 잘 파악하고 문제 해결을 위한 개발 노력을 지시할 수 있습니다.
현재 위치: 상담
이 문서는 오래되었습니다. 하지만 최신 정보를 반영한다면, 계속해서 도움이 될 수 있습니다. 최근의 양식으로 내용을 수정 및 보완, 개선하도록 도와주세요. |
| 날짜 | 단계 |
|---|---|
| 2018년 7월 - 8월 | 메트릭 정의 브레인스토밍; 내부 홍보 |
| 2018년 9월 | 디자인 참여; 위치 결정; 지표에 대한 커뮤니티 협의 |
| 2018년 10월 - 12월 | 디자인에 대한 추가 작업; 계속되는 커뮤니티 토론 |
| 2019년 1월 - 3월 | 기술 구현, 프로토타이핑 |
| 2019년 7월 이전 | 측정지표 키트 출시 |
이 프로젝트는 현재 설계 및 협의 단계에 있습니다. 이 시점에서 우리는 이 프로젝트가 누구를 위한 것인지에 대한 대략적인 아이디어를 가지고 있습니다(커뮤니티/프로젝트의 상대적 건전성을 판단하는 데 관심이 있는 지역 커뮤니티 구성원 및 도구 또는 정책 개발과 같은 것을 위해 이 건전성을 모니터링하는 데 관심이 있는 위키미디어 재단 직원). 키트에 포함하고 싶은 대략적인 지표 목록도 있습니다. 그것이 우리가 당신의 도움이 필요한 곳입니다.
피드백 제공 방법
이를 위한 프레임워크를 설정하고 아이디어를 내려놓는 동안 이 프로젝트는 커뮤니티의 지식과 전문성 없이는 어려움을 겪을 것입니다. 여기에서 우리는 우리의 아이디어에 대한 피드백을 제공하고 자신의 아이디어를 제공할 것을 요청합니다.
피드백을 위해 이 프로젝트의 토론 페이지를 사용하세요. 더 쉽게 하기 위해 우리는 이 프로젝트의 측면에 대해 귀하의 의견을 가장 듣고자 하는 여러 섹션을 설정했습니다. 이러한 섹션 중 하나의 제목은 기타 피드백입니다. 그렇지 않으면 놓칠 수 있기 때문입니다. 하나, 여러 또는 모든 섹션에 의견과 제안을 자유롭게 남겨주세요! 사려 깊은 통찰력에 미리 감사드립니다!
더 깊게 참여하는 방법
우리가 하는 일에 대한 피드백을 요청하는 것 외에도 프로젝트에서 우리와 더 긴밀하게 협력할 자원 봉사자를 찾고 있습니다. 관심이 있는 경우 참여할 수 있는 몇 가지 방법이 있습니다.
- 모든 위키 커뮤니티에 대해 하나 이상의 필드에서 데이터를 수집하는 방식을 개선하기 위해 우리와 협력할 수 있습니다.
- 우리가 할 수 있는 버그와 실수를 찾는 데 도움을 줄 수 있습니다.
- 커뮤니티 건강 지표를 통해 자신의 커뮤니티를 더 잘 이해할 수 있도록 지원을 받을 수 있습니다.
- 당신은 위키버스 전체에 새로운 지표에 대한 지식을 전파하는 데 도움을 줄 수 있습니다.
중장기적으로 이러한 문제 중 하나 이상에 대해 이 프로젝트에 시간을 투자하는 데 관심이 있으시면 토론 페이지의 해당 섹션에서 등록하십시오!
결과 사용 방법
이 단계에서 귀하의 피드백은 이 프로젝트에 대한 우리의 생각에 직접적인 영향을 미칩니다. 이 작업의 주요 청중 중 하나로서 커뮤니티의 통찰력은 당연히 매우 귀중합니다. 따라서 디자인과 사용 사례에 초점을 맞추면서 이 프로젝트의 미래를 안내하는 데 모두 포함되어 사용될 것입니다.
측정지표
우리는 현재 커뮤니티 건강을 반영하는 지표를 검토하고 있습니다. 이는 이 상담 중에 작성된 의견 및 제안과 개별 사용자 인터뷰 및 기타 디자인 연구 방법을 통해 알려질 것입니다. 현재 다음과 같은 항목을 반영하는 측정항목을 살펴보고 있습니다:
- 활성 관리자 및 사용자 통계
- 백로그 통계(작업하는 사람의 수와 비교)
- 이미 위키미디어 프로젝트를 서로 비교하는 데 사용되는 통계(예: 위키백과 문서 깊이)
- 문서 훼손, 차단 및 기타 관리 작업 비율;
- 우리가 아직 생각해내지 못한 다른 지표 :)
디자인
우리는 이 키트가 궁극적으로 어떻게 보이고 커뮤니티 구성원이 사용할 수 있는지에 대해 약간의 시간을 보냈습니다. 이 프로젝트에 대한 우리의 요구 사항은 다음과 같습니다:
- 검색 가능: 커뮤니티 구성원이 작업에서 쉽게 찾고 사용할 수 있어야 합니다.
- 읽기/접근 가능: 전달하려는 정보를 쉽게 읽고 흡수할 수 있어야 합니다.
- 최신: 실시간으로(또는 적어도 정기적으로) 자동으로 최소한의 유지 관리로 업데이트되어야 합니다.
- 번역 가능: 가능한 한 많은 언어로 사용자가 사용할 수 있어야 하며(UN 표준 언어부터 시작하는 것이 이상적임) 번역이 없는 경우 사용자가 번역을 제공할 수 있어야 합니다.
지금 우리는 툴포지 이 데이터를 호스팅하는 것을 고려하고 있습니다. 그 옵션이 위의 요구 사항 대부분을 커버할 것이기 때문입니다. 우리는 이 키트가 도달하기를 바라는 많은 지표 포인트가 위키통계에 의해 이미 수집되었음을 알고 있으며 완성된 제품이 모양, 느낌 및 대상 인구 통계에서 이와 매우 유사할 것이라고 생각합니다.
초기 계획
기존 작업을 기반으로 작성
일부 최상위 커뮤니티 통찰력은 위키통계 포털의 일부입니다. 이 플랫폼은 다음에 대한 데이터를 제공합니다:
- 총 고유 장치
- 가장 많이 본 문서
- 신규 등록 사용자
- 새 페이지
- 편집
- 편집자
- 편집된 페이지
- 순 바이트 차이
- 절대 바이트 차이
커뮤니티 참여 인사이트 설문조사는 여러 지역사회 건강 측면에 대한 창을 제공하고 유용한 인구 통계 정보도 제공합니다.
개별 프로젝트와 기여자는 다양한 접근 방식과 API 쿼리를 사용하여 특정 워크플로 및 문제에 대한 구체적인 통찰력을 얻었습니다. 예를 들면 영어 위키백과의 관리자통계와 다른 위키백과의 관리자 수 및 비율 분석이 있습니다.
주로 커뮤니티 건강의 주제를 다루거나 관련 측면 및 문제를 살펴보는 과거 연구 프로젝트가 많이 있습니다. 우리는 이 표에서 그 중 일부를 수집했습니다. 누락된 내용이 있으면 이 하위 페이지에 추가하십시오!
| Research name | Date begun | Date published | Qual. or Quant.? | Topic | Contact/Author | Relevance |
|---|---|---|---|---|---|---|
| How much do Wikipedians value editing Wikipedia? | 2017-12 | 2018-05 | Qualitative | Editor satisfaction | Jana Gallus; Avinash Gannamaneni; Aaron Halfaker | High |
| Growth and diversity of Technology team audiences | 2017-11 | 2018-05 | Qualitative | Technical contributors satisfaction | Jonathan Morgan | High |
| Holder Administration in anderen Sprachversionen AdminCon 2018 | N/A | 2018-03 | Quantitative | Administrators | User:Holder | High |
| The Keilana Effect: Visualizing the closing coverage gaps with ORES | N/A | 2017-08 | Quantitative | Gender gap | Aaron Halfaker; Emily Temple-Woods | High |
| Wikimedia CH Community Survey 2016 | 2016-12 | 2017-02 | Qualitative | Community Survey | Wikimedia CH | High |
| New editor support strategies | 2016-05 | 2016-10 | Qualitative | New Editors | Jonathan Morgan; Joe Matazzoni; Pau Giner | High |
| Becoming Wikidatians: evolution of participation in a collaborative structured knowledge base | 2016-05 | 2016-10 | Qualitative | New Editors | Alessandro Piscopo, et al. | High |
| Impact of The Wikipedia Adventure on new editor retention | 2014-11 | 2016-10 | Qualitative | New Editors | Sneha Narayan, et al. | Medium |
| Online Community Conduct Policies | 2016-03 | 2016-06 | Qualitative | Conduct policies in other online communities | Patrick Earley; Karen Brown | Medium |
| Teahouse long term new editor retention | 2015-11 | 2016-05 | Qualitative | Editor satisfaction | Rebecca O’Neill | High |
| Survey of user in Ireland | 2015-09 | 2016-05 | Both | Editor retention | Jonathan Morgan; Aaron Halfaker | High |
| Wikimedia Nederlands survey (2015) | N/A | 2016-04 | Qualitative | Community Survey | Wikimedia Nederland | High |
| Wikimedia CH Community Survey 2015 | 2016-01 | 2016-02 | Qualitative | Community Survey | Verena Linder | High |
| Wikimedia Deutschland Editor Survey 2016 | 2015-06 | 2016-02 | Qualitative | Community Survey | Wikimedia CH | High |
| Monthly wikimedia editor activity dataset | 2015-04 | 2015-08 | Quantitative | Editor activity | Aaron Halfaker | Medium |
| Active editor spike 2015 (July update) | N/A | 2015-07 | Qualitative | General - Community Health | Haitham Shamma; María Cruz | High |
| Community Health learning campaign | 2015-07 | 2015-07 | Quantitative | Editor activity | Aaron Halfaker | Medium |
| VisualEditor's effect on newly registered editors (May 2015 study) | 2015-06 | 2015-05 | Quantitative | New editors | Aaron Halfaker | Medium |
| Active editor spike 2015 | 2015-03 | 2015-04 | Quantitative | Editor activity | Aaron Halfaker; Dario Taraborelli | Medium |
| Global South User Survey 2014 | 2014-09 | 2015-02 | Qualitative | Community Survey | Haitham Shammaa | High |
| Talk Sentiment Analysis: Editor Retention and Editing Prediction | 2014-10 | 2014-12 | Qualitative | Editor retention | Sergio Martinez-Ortuno; Lars Roemheld; Deepak Menghani; Leila Zia | Medium |
| The Role of Wikipedia Mentorship Programs in the Newcomer Experience | 2014-07 | 2014-12 | Qualitative | New Users | Gabriel Mugar with Chris Schilling and Aaron Halfaker | Medium |
| Wikipedia Gender Inequality Index | 2014-06 | 2014-12 | Quantitative | Gender Gap | Piotr Konieczny | Medium |
| Communicating on Wikipedia while female | 2014-11 | 2014-11 | Qualitative | Gender gap | Laura Hale | High |
| Framing Support for Newcomers | 2014-07 | 2014-10 | Qualitative | New Users | Yla Tausczik; Jonathan Morgan | Low |
| Asking anonymous editors to register | 2014-03 | 2014-10 | Qualitative | New Users | Aaron Halfaker | Medium |
| Non-finite Processes in Human Social Phenomena | 2012-10 | 2014-10 | Qualitative | Cooperation | Simon DeDeo | High |
| Women and Wikipedia | 2014-01 | 2014-09 | Qualitative | Gender Gap | Amanda Menking; Jonathan Morgan | High |
| Women and Wikipedia: Contributions in a Collaborative Online Space | 2012-03 | 2014-05 | Quantitative | Gendergap | Melanie Kill | Low |
| Wikimedia Community Visualization | N/A | 2013-12 | Quantitative | Editor activity | Haitham Shammaa | High |
| Newcomer survival models | 2013-09 | 2013-09 | Qualitative | Editor retention/New editors | Aaron Halfaker | High |
| Onboarding new Wikipedians/OB6 | 2013-09 | 2013-09 | Quantitative | New Editors | Aaron Halfaker | Low |
| Exploring editing dynamics in different language Wikipedias – Towards a substantive grounded theory | 2013-05 | 2013-08 | Qualitative | Social dynamics | Pasko Bilic | High |
| Getting to know the grassroots | N/A | 2013-07 | Qualitative | Community Survey | Wikimedia Nederland | High |
| VisualEditor's effect on newly registered editors/June 2013 study | 2013-06 | 2013-07 | Quantitative | New Editors | Aaron Halfaker | Low |
| Gender micro-survey | 2013-06 | 2013-07 | Quantitative | Gender | Howie Fung | Low |
| WikiProjects as virtual Teams | 2013-01 | 2013-07 | Quantitative | Social dynamics | Jonathan Morgan | High |
| Notifications | 2013-05 | 2013-05 | Quantitative | Impact of Technical Feature | Aaron Halfaker | Medium |
| Anonymity and conformity over the net | 2012-01 | 2013-03 | Quantitative | Effects of anonymity | Aaron Halfaker | Medium |
| Post-registration editor survey | 2012-11 | 2012-12 | Quantitative | Editor motivation | Steven Walling | Medium |
| Wikipedia Editors Survey 2012 | 2012-06 | 2012-11 | Both | Community Survey | Tilman Bayer | High |
| Wikipedia Editor Satisfaction Survey | 2009-09 | 2012-10 | Both | Editor satisfaction | Denis Barthel; Manuel Merz | High |
| MoodBar/Email confirmation | 2012-07 | 2012-08 | Quantitative | Communication | Dario Taraborelli | Low |
| Editor Lifecycles | 2012-06 | 2012-07 | Quantitative | Editor retention | Shilad Sen | High |
| Master Thesis Cultural differences in motivations to contribute to Wikipedia | 2012-05 | 2012-07 | Quantitative | Editor Motivation | Sjarlot Stal; Nick Geurts | Low |
| Editor milestones | 2012-05 | 2012-07 | Quantitative | New Editors | Shilad Sen; Aaron Halfaker | Low |
| Shallow Entry: A problem-centric approach to new editor orientation | 2012-04 | 2012-07 | Quantitative | Editor Motivation | Maryana Pinchuk | Medium |
| [1] | 2012-04 | 2012-06 | Quantitative | Editor Motivation | Aaron Halfaker | High |
| Motivations to Contribute to Wikipedia | 2012-03 | 2012-06 | Unclear | Editor Motivation | Audrey Abeyta | Low |
| Necromancy | 2012-04 | 2012-05 | Quantitative | Editor Retention | Steven Walling | Medium |
| Wikipedia Editors Survey 2011 November | 2011-04 | 2011-11 | Quantitative | Community Survey | Barry Newstead | High |
| Women and Wikimedia Survey 2011 | 2011-05 | 2011-10 | Qualitative | Gender gap | Sarah Stierch | High |
| Summer of research 2011 | N/A | 2011-08 | Both | mostly New editors, but also Editor retention | Medium | |
| Wikipedia Editors Survey 2011 April | N/A | 2011-04 | Quantitative | Community Survey | Mani Pande | High |
| Expert participation survey | 2010-12 | 2011-02 | Quantitative | Expert participation | Dario Taraborelli | High |
| Hebrew Wikipedia satisfaction survey | 2007 | 2007-07 | Qualitative | Community Survey | Wikimedia HE | High |
| 100 Questions for Wikipedians | 2005 | 2005-02 | Qualitative | Community Survey | Aphaia | Medium |
| Teahouse group dynamics | 2017-05 | Ongoing | Quantitative | Impact of harassment | Yiqing Hua; Dario Taraborelli; Leila Zia; Lucas Dixon; Nithum Thain; Cristian Danescu-Niculescu-Mizil | Medium |
| Detox | 2017-01 | Ongoing | Quantitative | New Editors | Ellery Wulczyn | High |
| Study of harassment and its impact | 2016-05 | Ongoing | Qualitative | Social dynamics | Jonathan Morgan | Medium |
| Good Faith Newcomer Prediction | 2016-05 | Ongoing | Qualitative | Social Dynamics | Anna Filippova, et al. | High |
| Understanding the Dynamics of Hackathons for Science | 2016-04 | Ongoing | Qualitative | Time commitment and workflow | Kevin Schiroo | Medium |
| Measuring editor time commitment and workflow | 2016-01 | Ongoing | Quantitative | Toxic language | Ellery Wulczyn | Medium |
| Beyond the Gender Gap: Understanding Women's Participation in Wikipedia | 2015-10 | Ongoing | Qualitative | Gender gap | Danielle McDonald Corple | Low |
| Online harassment resource guide | 2015-07 | Ongoing | Qualitative | harassment | J. Nathan Matias, et al. | Medium |
| Editor Behaviour Analysis & Graphs | 2015-06 | Ongoing | Quantitative | Editor statistics | Jeph Paul | High |
| Wikipedia Equality Sweden | 2014-10 | Ongoing | Quantitative | New Users | Aaron Halfaker | Low |
| HHVM newcomer engagement experiment | 2014-08 | Ongoing | Qualitative | Gendergap | Björn Helgeson; Jonathan Morgan | Medium |
| The sudden decline of Italian Wikipedia | 2014-05 | Ongoing | Quantitative | Editor Activity Decline | Nemo with Aaron Halfaker | Medium |
| Dynamics of Online Interactions and Behavior | 2012-01 | Ongoing | Both | Roles and Functions | Ofer Arazy; Dario Taraborelli | High |
| Wikipedian and Internet addiction | 2010-09 | Ongoing | Both | Social dynamics | Dario Taraborelli | Medium |
| Measuring editor labor hours | 2016-04 | N/A | Qualitative | Addiction? | OppidumNissenae; Geoide; Alexmar983 | Low |
| Roles and Functions within Online Production Communities | 2015-08 | N/A | Quantitative | Editor activity | Aaron Halfaker | Low |
초점 영역
우리는 이미 수집된 것과 수집되지 않은 것을 살펴보고 이 프로젝트에서 어떤 데이터 포인트와 영역을 우선시해야 하는지 파악하는 것으로 이 프로젝트를 시작했습니다. 여기에는 새로운 지표를 수집하고 기존 지표를 다르게 사용하는 것(예: 새로운 비율 제공 및 이미 수집된 정보 비교)이 포함됩니다. 측정지표 키트에 포함하기 위해 살펴본 광범위한 영역 중 일부는 다음과 같습니다:
- 인구 통계
- 관리자 통계
- 사용자 통계
- 새 계정
- 활동 수준
- 보유율
- 문서 훼손, 트롤링, 괴롭힘의 만연
- 남용 필터, 문서 훼손 신고
- 문화적, 민족적, 성별 장벽
- 콘텐츠 편향
- 언어 장벽
- 도구에 대한 접근
- 인터넷 접근
- 도서관 및 지식 자원 접근
향후 계획: 보다 쉽고 간편한 정성 조사
커뮤니티 건강 이니셔티브의 영어 위키백과 관리자 게시판/사고 분석을 기반으로 합니다. 이 프로젝트는 중요한 게시판에 대한 사용자의 경험을 조사했습니다. 우리는 더 나은 설문조사 지원을 원합니다. 즉, 쉽게 적응할 수 있는 설문조사 양식, 응답자를 확보하기 위한 좋은 기술을 통해 커뮤니티가 스스로 설문조사를 할 수 있도록 돕고 결과 분석을 돕습니다.