학습 및 평가/정량적 vs 정성적
위키미디어 프로그램 리더와 평가자가 보다 체계적인 측정 및 평가 전략을 위해 협력함에 따라, 우리는 체계적인 정량적 데이터와 정성적 정보를 모두 확보해야 하는 공통적인 과제에 직면합니다. 그렇게 함으로써 우리는 아웃리치 프로그램에서 성공적인 관행을 확립하고, 광대한 위키미디어 환경에서 위키미디어 프로그램의 깊이와 다양성을 이해할 수 있습니다. 이 과제를 해결하기 위해 우리는 두 가지 핵심 목적을 위해 노력과 지식을 결합하기 위해 노력하고 있습니다.
- 위키미디어 프로그램의 프로그램 지식과 디자인 패턴을 일반화하고,
- 위키미디어 프로그램과 프로젝트에 대한 이해와 그것들이 우리 커뮤니티에 미치는 영향을 심화합니다.
프로그램 리더와 평가자는 종종 양적 방법과 측정 방법이 질적 방법과 측정 방법보다 더 선호되는지, 아니면 질적 결과에도 양적 결과와 마찬가지로 가치를 부여할 수 있는지 의문을 제기합니다.
좋은 평가에는 숫자와 스토리가 필요합니다. 둘 중 하나만 의미가 없습니다. 각 프로그램 리더가 프로젝트나 프로그램 스토리를 이해하려고 하기 때문에 스토리와 숫자를 수집하는 방법은 크게 다를 수 있으며, 다를 것입니다. 프로그램 평가를 위한 방법과 척도는 프로젝트나 프로그램이 어떻게 진행되고 있는지, 무엇을 하려고 하는지, 예상한 결과에 얼마나 잘 도달했는지 추적하도록 설계되어야 합니다. 이러한 방법과 척도가 정성적이든 정량적이든 관심사, 측정 지점, 평가 리소스에 따라 달라지겠지만, 어떤 경우에도 수행한 내용과 작업이 성공적이었는지 여부를 설명하는 데 유용해야 합니다.
“양적 vs. 질적” 논쟁은 어떻습니까?
양적과 질적 구분은 이론적 기원의 논쟁이며, 실증주의와 관념주의 사이의 논쟁입니다. 전자는 단일한 불변의 진실에 대한 가정과 믿음을 가지고 있고, 후자는 구성주의와 진실에 대한 믿음을 다양한 해석의 모음으로, 진실을 사회적으로 구성된 것으로 규정합니다.
.jpg)
물리적 현상과 비물리적 현상 사이의 현상학적 구분입니다. 기본적인 인간 감각 지각(예: 재채기, 눈 깜박임) 및/또는 과학적 계측(예: 온도, 심박수, 뇌 활동)을 통해 체계적으로 감지할 수 있는 현상만 받아들이는 한 가지 사고 체계와 기본적인 감각 지각을 통해 감지할 수 없지만 여전히 존재한다고 생각되는 현상(예: 사랑, 두려움, 행복)을 생각하는 또 다른 체계 사이입니다.
종종 이는 연역과 귀납 사이의 방법론적 구분이기도 합니다. 양적 접근법은 현상의 발생을 테스트하고 체계적으로 측정하는 데 사용되고, 질적 방법은 현상에 대한 이해를 탐구하고 심화하는 데 사용됩니다.
양적 연구와 질적 연구의 논쟁은 과학 철학의 핵심이지만, 오늘날의 연구는 혼합된 방법과 측정법을 사용하여 양적 및 질적 구성 요소를 모두 포함하는 경우가 더 많으며, 이는 보이지 않는 복잡한 사회 현상에 대한 더 깊은 이해를 추구하기 위한 것입니다.
좋은 평가에는 숫자와 스토리가 필요합니다. 둘 중 하나만 있어도 다른 하나는 의미가 없습니다. 이러한 스토리와 숫자를 수집하는 방법은 크게 다를 수 있으며, 각 프로그램 리더가 프로젝트나 프로그램 스토리를 이해하려고 하기 때문에 다를 것입니다.
오늘날의 사회 연구자들은 양적 및 질적 측정의 삼각 측량을 통해 관심 있는 현상을 파악하고 측정하기 위한 대략적인 측정 또는 "대리인"을 정의하는 경우가 가장 많습니다. 삼각 측량된 측정, 질적 및 양적 측정은 둘 중 하나만으로 할 수 있는 것보다 더 나은 결과를 보여줄 수 있습니다. 예를 들어, 자원봉사자 편집 행동의 현상은 다음과 같습니다:
양적
"편집 횟수" "추가/제거된 바이트" "페이지 뷰" |
더 나은 이야기 | |
| + | = | |
질적
"문서 주제" "분류" "품질" 평가 |
혼합 방법 세계에서 평가하기
실제로 양적 및 질적 측정은 측정 동전의 양면인 경향이 있습니다. 즉, 실제로 관련이 있고 거의 분리할 수 없습니다. 삼각 측량 및 혼합 방법은 종종 배경 이론적 논쟁과 분리되어 있고 근본적인 철학적 도전과 관련이 없다고 생각되지만, 실증주의 패러다임과 하나의 진실에 대한 믿음에서 크게 벗어납니다. 우리가 그 구별을 끌어내려고 할 때 다음과 같이 됩니다:
| 현상 | 측정 | 방법론 | |
|---|---|---|---|
| 양적 요소 |
|
|
|
| 질적 요소 |
|
|
|
모든 정량적 측정은 정성적 판단에 기초합니다
양적 측정에서 판단은 가능한 반응을 예상하고, 종종 숫자 할당에 대한 지시와 함께 사전에 이루어지는 것이지, 데이터를 수집한 후 사후적으로 이루어지는 것이 아닙니다. 숫자는 설명을 할당하지 않으면 아무런 의미가 없습니다. 물리적 계산 데이터나 태도에 대한 질문이든, 우리는 측정에서 숫자의 의미를 만들어야 합니다.
«편집 횟수»나 «추가된 바이트»와 같은 계산 데이터를 사용하면 학생 집단이 저장 버튼을 누른 횟수(즉, 편집 횟수)와 추가된 콘텐츠 양(즉, 추가된 바이트)을 정확히 알려주는 스토리를 얻을 수 있지만, 해당 기여의 품질이나 참가자가 이를 수행하기 위해 노력한 방법에 대해서는 아무것도 알려주지 않습니다.
이런 이유로 어떤 사람들은 이러한 지표를 선택하고 이를 편집 행동에 대한 보다 엄격한 평가로 간주하여 WMFLabs 도구인 "위키매트릭스"를 통해 응답자의 편집 횟수를 직접 측정하기로 선택할 수 있습니다. 그래도 편집으로 "계산"되는 것은 도구 매개변수에서 편집자가 "저장" 버튼을 누를 때마다 계산되는 횟수로 정성적으로 정의되며, 해당 편집은 "생산적"이라는 의미로 되돌리거나 삭제되지 않습니다. [1] 또한 "편집 횟수" 지표는 편집에서 기여한 텍스트나 기타 데이터의 양이나 저장 버튼을 누르기 전에 편집에 사용된 시간과 직접적으로 상관 관계가 없습니다.
그러나 이러한 지표는 예를 들어 프로그램 스토리의 일부를 설명하는 데 매우 유용합니다:
어떤 일이 일어났는지 더 깊이 이해하기 위해, 참가자들에게 위키미디어 프로젝트를 편집한 경험을 자체 보고하도록 요청하여 대상 프로젝트(위키백과)에서 측정한 편집 행동이 편집 행동에 대한 전체적인 이야기를 보여주는지 확인할 수 있습니다.
학생이 수업 중에 얼마나 자주 편집했는지 알아보기 위해 자기 보고 질문을 제시할 때, 우리에게는 몇 가지 선택과 경로가 있습니다:
- 학생들에게 직접적인 평균 추정치를 응답하도록 요청할 수도 있습니다: 이 과정을 수강하는 동안 평균적으로 얼마나 자주 WP를 편집했나요? 그리고 대답을 미정으로 남겨두면, 일일, 주간 또는 월간 편집 세션에 대한 숫자를 제시하고 많은 데이터를 일관된 간격 척도로 사후 코딩해야 할 수도 있습니다.
- 우리는 간격을 지정할 수 있습니다: 평균적으로, 이 과정에서 매주 WP를 얼마나 자주 편집했습니까? 그리고 또한 그것을 개방형으로 두어 응답의 가변성을 줄이고 대부분 [2] 응답 간격을 제어하고, 전체 범위의 응답을 얻기 위해 최소한의 사후 코딩만 합니다.
- 이미 응답 범위가 제한될 수 있다는 것을 알고 있거나 목표 성과 수준이 있는 경우, 응답을 더욱 제어하고 변동성을 줄일 수 있습니다. 응답 번호(1)에서 (7)까지 지정된 순서형 응답 범주에서 카운트 데이터를 정의합니다. 이러한 각 방법은 약간 다른 결과를 생성하고 데이터 정리 및 분석에서 다른 단계와 부담으로 이어질 것입니다. 이는 의미를 부여하는 방식에 따라 달라집니다.
| 이 수업을 듣는 동안 위키백과나 다른 위키미디어 프로젝트를 얼마나 자주 편집하셨나요? | (1) 한 달에 한 번 이하 (2) 한 달에 1-3 번 (3) 한 달에 4-5 번 (일주일에 한 번 정도) (4) 한 주에 2-3 번 (5) 한 주에 4-5 번 (6) 한 주에 6-7 번 (하루에 한 번 정도) (7) 하루에 한 번 이상 |
|---|---|
| 응답 번호 (1) ~ (7)이 할당된 순서형 응답 범주에서 카운트 데이터를 정의합니다. | |
행동을 정량화하기 위해 숫자적 의미를 할당하면 다음과 같은 다른 스토리가 탄생합니다:
반면에 편집에 대한 느낌이나 태도와 같은 관심 있는 질적 결과가 있을 수 있습니다. 행동은 관찰 가능하고 쉽게 정의하고 셀 수 있지만, 감정과 태도는 그렇게 쉽게 추적할 수 없습니다. 위에서 공유한 양적 범주 척도와 유사하게, 우리는 달리 관찰할 수 없는 감각된 상태의 적용 가능성의 다른 수준을 의미하는 숫자를 할당할 수 있습니다.[3]
여기서 우리는 또 다른 작은 스토리를 얻을 수 있습니다. 예를 들어:
사람이 얼마나 많이 편집했는지 확인하여 편집 행동을 직접 관찰하여 편집할 수 있는지 평가할 수도 있지만, 측정을 "준비된 느낌"으로 다시 연결하기 위해 성과가 경험적 준비 상태와 동일하다고 가정하게 됩니다. 대신 정성적 경험 데이터를 요청하는 것이 더 합리적입니다. 측정 지점에 따라 하나가 다른 것보다 더 합리적일 수 있습니다.
이상적으로, 가장 좋은 문서는 여러 가지 설명적 부분을 포함해야 합니다. 온라인 편집 행동에 대한 양적 관찰과 편집자가 보고한 준비 상태에 대한 질적 설명, 그리고 그 편집 행동이 무엇을 개선하기 위해 작용했는지에 대한 설명적 정보입니다. 그래서 우리는 다음과 같은 것을 말할 수 있습니다:
모든 정성적 측정은 정량적으로 코딩되고 분석될 수 있습니다
반대로, 간단한 질적 코딩 표는 쉽게 양적 수치 코딩으로 변환하여 양적으로 분석하여 질적 주제가 서로 어떻게 관련되어 있는지 또는 인터뷰 대상자의 응답이 서로 얼마나 유사하거나 상이했는지를 파악할 수 있습니다.
아래의 정성적 및 정량적 데이터 표에서 볼 수 있듯이, 단순 정성적 코딩 표는 간단한 이진 코딩을 통해 쉽게 정량적 코딩으로 변환할 수 있습니다. 즉, 관찰되지 않은 경우를 "0", 관찰된 경우를 "1"로 표시하거나 코딩할 수 있는 관찰 결과의 합계를 사용하여 카운트 데이터로 변환할 수 있습니다.
변환이 완료되면 기본 상관관계 분석을 실행하여 정성적 주제가 서로 어떻게 관련되어 있는지 또는 인터뷰 대상자의 응답이 서로 얼마나 유사하거나 상이한지 살펴볼 수 있습니다.
"예를 들어, 여기서 우리는 모든 인터뷰 대상자가 동기를 언급했지만 학습 지원 주제를 다룰 가능성은 낮았음을 알 수 있습니다. 자신의 기술을 논의한 사람들은 학습 지원을 논의하지 않았고 그 반대도 마찬가지였습니다. 또한, 인터뷰 대상자 2와 4, 1과 5는 100% 양의 상관관계가 있었고, 인터뷰 대상자 2와 3은 100% 음의 상관관계가 있었습니다."
결국, 질적 방법과 측정에는 차이가 있으며, 그것들이 지식을 생산하는 것에 차이가 있습니다. 대부분의 경우, 양적 방법은 우리가 더 깊이 이해하는 데 도움이 되고, 양적 방법은 우리가 맥락을 가로질러 그 이해를 체계적으로 확인할 수 있게 합니다. 그러나 그 차이는 그렇게 크지 않습니다. 그것은 이분법보다 차원이 더 많고, 적보다 친구가 더 많습니다. 위키미디어에서 우리는 맥락이 중요하다는 것을 알고 있으며, 우리가 하는 작업에서 모든 프로그램 평가가 양적 및 질적 측정의 삼각 측량과 각 새로운 맥락에서 프로그램 구현을 함께 탐구할 때 혼합 방법 접근 방식을 사용하는 것이 가장 좋을 것입니다.
프로그램 리더의 다음 단계:
위키미디어 프로젝트나 프로그램에 가장 적합한 측정 기준을 선택하려고 하시나요?
프로그램 목표에 따른 일반적인 성과에 대한 유용한 매트릭스인 평가 척도를 확인해 보세요. 이를 통해 척도와 도구를 매핑할 수 있습니다.
위키미디어 프로그램을 평가하기 위한 데이터를 수집해 보셨나요?
라운드 2 자발적 보고가 시작되었습니다. 데이터를 찾고 있습니다. 지난주, 프로그램 평가 및 설계 팀은 재단의 두 번째 자발적 프로그램 보고 라운드를 시작했습니다. 모든 프로그램 리더와 평가자에게 지금까지 우리가 수행한 위키미디어 프로그램의 가장 장대한 데이터 수집 및 분석에 다시 한번 참여해 주시기를 요청합니다. 올해는 10개 이상의 다양한 프로그램을 검토할 것입니다.
- 편집 워크숍
- 위키 상의 글쓰기 대회
- 에디터톤
- 위키백과 교육 프로그램
- 컨퍼런스
- 위키미디어인 인 레지던스
- GLAM 콘텐츠 기부
- 위키 러브 모뉴먼트
- 해커톤
- 위키 러브 어스, 위키 테이크스, 위키 탐험 및 기타 사진 업로드 이벤트
2013년 9월부터 2014년 8월까지 이 프로그램을 주도하거나 평가한 적이 있나요? 그렇다면 데이터가 필요합니다! 전체 발표는 포털 뉴스 페이지를 방문하세요.
보고는 자발적이지만, 더 많은 사람이 보고할수록 우리는 프로그램을 더 잘 표현할 수 있어 다양한 맥락에서 프로그램의 깊이와 영향을 이해하는 데 도움이 됩니다. 이 자발적 보고를 통해 우리는 함께 모여 프로그램에 대한 조감도를 만들어 위키미디어에 대한 공동 목표를 달성하는 데 가장 적합한 것이 무엇인지 더 자세히 조사하고 함께 위키미디어 프로그램에서 AWESOME을 성장시킬 수 있습니다!
각주
- ↑ 예를 들어, "위키매트릭스" 내에서는 삭제된 이후 페이지에 대한 편집도 포함하는 횟수를 사용자에게 제공하도록 변경됩니다.
- ↑ 물론, 응답의 숫자에 대한 구체적인 의미에 대한 이 과제 외에도, 우리는 또한 응답자가 «편집» «위키백과», «위키미디어 프로젝트», «과정»이라는 용어를 이해한다고 가정합니다. 우리는 참가자가 질문과 응답 옵션을 모두 읽고 이해하고 의미 있고 정확하게 응답한다고 가정합니다.
- ↑ 이러한 경우, 우리는 응답자가 "편집", "위키백과" 및 응답 레이블이라는 용어를 일관되게 이해하고 응답 척도의 의도된 간격 특성을 이해한다고 다시 가정합니다. 또는 편집 행동을 직접 관찰하여 사람이 편집할 수 있는지 여부를 평가할 수 있지만, 측정을 준비된 느낌과 다시 연결하기 위해 성과가 경험된 준비 상태와 동일하다고 가정하게 됩니다.
추가 온라인 자료
- 리데노어, C. S., 및 뉴먼, I. (2008). 혼합 방법 연구: 상호 작용 연속체 탐색. 남부 일리노이 대학교 출판부: 일리노이주 카본데일, 미국. 온라인에서 이용 가능.
- 뉴먼, I., 및 Benz, C. R. (2006). 질적-양적 연구 방법론: 상호 작용 연속체 탐색. 남부 일리노이 대학교 출판부: 일리노이주 카본데일, 미국. 온라인에서 이용 가능.
- 세일, J. E. M., 로펠드, L. H., 및 브라질, K (2002). 양적-질적 논쟁 재검토: 혼합 방법 연구에 대한 의미. 질적 & 양적, 36: 43–53. 온라인에서 이용 가능.
- 트로킴, 윌리엄 M.K. (2006) 연구 방법 지식 기반. 질적 논쟁. 온라인에서 검색됨