Вікіоцінки

This page is a translated version of the page Wiki labels and the translation is 100% complete.

Документація ЧаПи Вихідний код Багтрекер

Вікіоцінки — це людино-орієнтована система обробки даних, створена для використання у вікіпроектах «Вікіоцінки». Для того, щоб виконувати складний аналіз (напр., оцінювання якості внеску новачків з плином часу^[1]) та навчати розумні вікіінструменти, такі як ORES (напр., для виявлення вандалізму^[2]^[3]^[4] та визначення якості статей^[5]^[6]^[7]), нам потрібні попередньо оцінені дані (процес відомий також як «ручне кодування») – багато даних, оцінених вручну. Людино-орієнтована система обробки даних «Вікіоцінки» створена з метою пришвидшення та полегшення спільного оцінювання вікіартефактів. Ця система вводиться як пара гаджет/сервер MediaWiki у форматі JavaScript/CSS та Python/Flask/Postgres.

Гаджет «Вікіоцінки». Скріншот інтерфейсу Вікіоцінок, інтегрованого в uk:Вікіпедія:Оцінки.

Гаджет

Авторизація OAuth. Скріншот OAuth-підтвердження для використання Вікіоцінок.

Дописувачі, що інсталювали гаджет побачать, що «домашній» інтерфейс Вікіоцінок завантажується як окремий застосунок на єдиній сторінці в межах uk:Вікіпедія:Оцінки або іншого локального варіанту (якщо їхня вікі була відповідним чином налаштована). Цей односторінковий застосунок дозволить дописувачам переглядати активні кампанії, подавати запити на робочі набори, оцінювати версії сторінок та інші «завдання».

Ця система використовує розширення mw:Extension:OAuth для інтеграції з обліковим записом MediaWiki дописувача. Дії, виконані в межах системи Вікіоцінок, прив'язуватимуться до глобального облікового запису користувача.

Встановлення

Встановлення непотрібне. Просто перейдіть на https://labels.wmflabs.org/ui/ в своєму браузері та виберіть потрібну вікі зі списку.

Переклади інтерфейсу

Вікіоцінки зареєстровані на translatewiki.net. Будь ласка, перегляньте translatewiki:Translating:Revision_scoring, щоб допомогти з перекладами.

Сервер

За межами гаджета, сервер опрацьовує «кампанії», «завдання», «робочі набори» та «оцінки». Цей сервер використовує інтерфейс REST для доступу до цих даних. Є 4 основні модулі: auth, users, campaigns та forms. Сервер також забезпечує деякі послуги, орієнтовані на користувача для розробки нових форм та доступу до самостійного гаджета.

Конструктор форм

labels.wmflabs.org/form_builder

Інтерфейс конструктора форм надається для розробки та тестування форм з метою підтримки нових завдань з оцінювання. Поля форм налаштовуються з використанням формату YAML, що відображає OOjs UI. Форми можна надсилати для перевірки.

Конструктор форм. Скріншот конструктора форм.

Самостійний гаджет

labels.wmflabs.org/gadget

Для полегшення розробки та тестування, ми також забезпечуємо доступ до гаджета через односторінковий застосунок. Якщо з певних причин віківерсія гаджета не працюватиме, дописувачі зможуть отримати до нього доступ через цей інтерфейс.

Самостійний гаджет. Скріншот самостійного гаджета.

Програмні шляхи

/campaigns/ - Перелічує вікі з доступними кампаніями.

/campaigns/<wiki>/ - Перелічує кампанії, доступні для певної вікі

Додайте ?campaign=stats до рядка запиту, аби вивести також статистику про кампанію.

/campaigns/<wiki>/<campaign_id>/ - Виводить дані про кампанію.

Додайте ?tasks до рядка запиту, аби вивести інформацію про завдання кампанії.
Додайте ?worksets до рядка запиту, аби вивести інформацію про робочі набори кампанії. Дайте уточнення ?worksets=stats, аби включити в цю інформацію також статистику про завершені набори.
Додайте ?assign до рядка запиту, аби отримати нове призначення робочого набору для поточного користувача. Це спрацює лише у випадку, якщо (1) користувач перебуває у системі, (2) є доступні завдання, які можна комусь призначити та (3) користувач ще не має призначеного й відкритого робочого набору.

/campaigns/<wiki>/<campaign_id>/<workset_id>/ - Виводить дані про робочий набір

Додайте ?tasks до рядка запиту, аби вивести список завдань для поточного робочого набору.
Додайте ?worksets=stats, аби включити також статистику про завершені завдання цього робочого набору.
Додайте ?campaign до рядка запиту, аби отримати інформацію про відповідну кампанію, або ?campaign=stats, щоб включити до цієї інформації також статистику кампанії.
Додайте ?abandon до рядка запиту, аби виключити незавершені завдання з цього робочого набору. Це спрацює лише в тому випадку, якщо (1) користувач перебуває у системі та (2) вказаний робочий набір призначений йому. З такого робочого набору будуть виключені лише незавершені завдання.

/campaigns/<wiki>/<campaign_id>/<workset_id>/<task_id>/ - Виводить дані про конкретне завдання.

Додайте ?campaign до рядка запиту, аби вивести дані про відповідну кампанію, або ж ?campaign=stats, щоб також отримати статистику цієї кампанії.
Додайте ?worksets до рядка запиту, аби вивести дані про відповідний робочий набір, або ?worksets=stats, щоб також отримати статистику щодо цього робочого набору.
Додайте ?label=<encoded json> до URL. Наприклад, campaigns/enwiki/1/1/1?label={"damaging":true,"good-faith":false}. Це працюватиме, лише якщо користувач перебуває у системі.

/users/ - Надає доступ до даних з точки зору користувача

/users/<user_id>/ - Виводить інформацію про активність користувача

Додайте ?campaigns до рядка запиту, аби вивести усі кампанії, в яких користувачеві призначалися робочі набори. Дайте уточнення ?campaigns=stats, щоб також включити статистику кампаній.
Додайте ?worksets до рядка запиту, аби вивести усі робочі набори, призначені користувачеві. Дайте уточнення ?worksets=stats, щоб також включити статистику щодо таких робочих наборів.
Додайте ?tasks до рядка запиту, аби вивести усі завдання, призначені користувачеві. Зверніть увагу, що оцінки, поставлені іншими користувачеві, будуть приховані при цьому показі.

/users/<user_id>/<campaign_id>/ - Виводить інформацію про активність користувача в межах кампанії

Додайте ?campaigns=stats до рядка запиту, аби вивести статистику кампанії.
Додайте ?worksets до рядка запиту, аби вивести список усіх робочих наборів, призначених користувачеві. Дайте уточнення ?worksets=stats, щоб включити також статистику щодо таких робочих наборів.
Додайте ?tasks до рядка запиту, аби вивести усі завдання, призначені користувачеві. Зверніть увагу, що оцінки, поставлені іншими користувачами, будуть приховані при показі.

/auth/ - Надає підтримку автентифікації користувачів.

/auth/initiate/ - Започатковує OAuth-прив'язку до MediaWiki.
Рекомендується надсилати запит із цим програмним шляхом із окремого спливного вікна.

/auth/callback/ - Використовується програмним забезпеченням MediaWiki для завершення OAuth-прив'язки.
Коли спливне вікно буде перенаправлене сюди, воно автоматично закриється.

/auth/whoami/ - Виводить інформацію про користувача, що перебуває в системі
...

/auth/logout/ - Вилучає сесію та забуває про користувача
...

/forms/ - Надає доступ до налаштування форм та інтернаціоналізації

Ці форми може завантажити гаджет оцінювання.

/forms/<form_name> - Виводить налаштування форм
...

Див. також

Примітки

↑ Halfaker, A., Geiger, R. S., Morgan, J. T., & Riedl, J. (2012). The rise and decline of an open collaboration system: How Wikipedia’s reaction to popularity is causing its decline. American Behavioral Scientist, 0002764212469365.
↑ West, A. G., Kannan, S., & Lee, I. (2010, April). Detecting Wikipedia vandalism via spatio-temporal analysis of revision metadata?. In Proceedings of the Third European Workshop on System Security (pp. 22-28). ACM.
↑ Smets, K., Goethals, B., & Verdonk, B. (2008, July). Automatic vandalism detection in Wikipedia: Towards a machine learning approach. In AAAI workshop on Wikipedia and artificial intelligence: An Evolving Synergy (pp. 43-48).
↑ Adler, B. T., De Alfaro, L., Mola-Velasco, S. M., Rosso, P., & West, A. G. (2011). Wikipedia vandalism detection: Combining natural language, metadata, and reputation features. In Computational linguistics and intelligent text processing (pp. 277-288). Springer Berlin Heidelberg.
↑ Hu, M., Lim, E. P., Sun, A., Lauw, H. W., & Vuong, B. Q. (2007, November). Measuring article quality in wikipedia: models and evaluation. In Proceedings of the sixteenth ACM conference on Conference on information and knowledge management (pp. 243-252). ACM.
↑ Stvilia, B., Twidale, M. B., Smith, L. C., & Gasser, L. (2008). Information quality work organization in Wikipedia. Journal of the American society for information science and technology, 59(6), 983-1001.
↑ Warncke-Wang, M., Cosley, D., & Riedl, J. (2013, August). Tell me more: An actionable quality model for wikipedia. In Proceedings of the 9th International Symposium on Open Collaboration (p. 8). ACM.

[1] Halfaker, A., Geiger, R. S., Morgan, J. T., & Riedl, J. (2012). The rise and decline of an open collaboration system: How Wikipedia’s reaction to popularity is causing its decline. American Behavioral Scientist, 0002764212469365.

[2] West, A. G., Kannan, S., & Lee, I. (2010, April). Detecting Wikipedia vandalism via spatio-temporal analysis of revision metadata?. In Proceedings of the Third European Workshop on System Security (pp. 22-28). ACM.

[3] Smets, K., Goethals, B., & Verdonk, B. (2008, July). Automatic vandalism detection in Wikipedia: Towards a machine learning approach. In AAAI workshop on Wikipedia and artificial intelligence: An Evolving Synergy (pp. 43-48).

[4] Adler, B. T., De Alfaro, L., Mola-Velasco, S. M., Rosso, P., & West, A. G. (2011). Wikipedia vandalism detection: Combining natural language, metadata, and reputation features. In Computational linguistics and intelligent text processing (pp. 277-288). Springer Berlin Heidelberg.

[5] Hu, M., Lim, E. P., Sun, A., Lauw, H. W., & Vuong, B. Q. (2007, November). Measuring article quality in wikipedia: models and evaluation. In Proceedings of the sixteenth ACM conference on Conference on information and knowledge management (pp. 243-252). ACM.

[6] Stvilia, B., Twidale, M. B., Smith, L. C., & Gasser, L. (2008). Information quality work organization in Wikipedia. Journal of the American society for information science and technology, 59(6), 983-1001.

[7] Warncke-Wang, M., Cosley, D., & Riedl, J. (2013, August). Tell me more: An actionable quality model for wikipedia. In Proceedings of the 9th International Symposium on Open Collaboration (p. 8). ACM.

[1]

[2]

[3]

[4]

[5]

[6]

[7]