Wikimedia Enterprise

This page is a translated version of the page Wikimedia Enterprise and the translation is 56% complete.
Outdated translations are marked like this.

В рекомендациях стратегии развития движения «Способствование устойчивому развитию нашего движения» и «Улучшение пользовательского опыта» содержатся следующие положения, соответственно: «Изучение новых возможностей как для получения дохода, так и для распространения бесплатных знаний с помощью партнерских связей и доходов от коммерческой деятельности, например... Создание прикладных интерфейсов корпоративного уровня» и « Возможности сделать набор прикладных интерфейсов Wikimedia более полным, надежным, безопасным и быстрым в сотрудничестве с крупными пользователями... а также повысить осведомленность и простоту установления подлинности и проверяемости для повторных пользователей контента».

Wikimedia Enterprise
Wikimedia Enterprise logo.svg
Building new opportunities for both revenue generation and free knowledge dissemination through partnerships and earned income.
enterprise.wikimedia.com
ProjectMain pagePrinciples
FAQ & Essay (March 2021)
TechnicalMediaWikiUpdatesPhabricatorGit
API Documentation

Wikimedia Enterprise — это новый проект фонда Wikimedia, выполняемый несколькими его департаментами. Целью проекта является создание сервиса для крупных коммерческих повторных пользователей контента Wikimedia. Этот проект ранее назывался «Okapi».

Основной фокус делается на организациях, которые хотят повторно использовать контент Wikimedia в других контекстах, предоставляя услуги в области данных в крупном масштабе, чтобы они могли быть более комплексными, скоростными, надёжными и безопасными. Wikimedia Enterprise стремится повысить для читателей Wikimedia удобство работы за пределами наших собственных веб-сайтов; увеличить доступность и лёгкость нахождения контента; а также повысить осведомленность и упростить процесс определения авторства и проверки со стороны организаций, которые чаще всего повторно используют контент Wikimedia — и всё это через самоокупаемые сервисы.


За исключением распространённых случаев использования данных Wikimedia в форме чтения или редактирования, барьер для получения возможности использования данных Wikimedia очень высок. Это связано с тем, что машинам сложно сегментировать и понимать контент, что, в свою очередь, влияет на то, как данные Wikimedia выходят за рамки нашей собственной экосистемы, и масштабы их влияния.

Хорошо известно, что несколько крупных компаний пользуются данными наших проектов. Эти компании признаю́т, что без проектов Wikimedia они не смогли бы предоставить своим пользователям настолько обширные или надёжные возможности для работы. В сообществе уже давно бытует мнение, что эти компании могут сделать больше для сообществ Wikimedia в финансовом плане в обмен на те выгоды, которые они получают от использования контента и ресурсов.

Это привело к идее разработки нового подхода, который будет в долгосрочной перспективе более устойчивым и обеспечит более понятные отношения между Wikimedia и корпоративными пользователями. Скорее всего, любые средства для Wikimedia будут поступать лишь от очень небольшого количества крупных коммерческих пользователей и будут направляться обратно на финансирование движения Wikimedia.

По мере развития этой идеи стало ясно, что мы обязаны также упростить доступ к нашим данным для организаций, которые не обладают такими же ресурсами, как эти крупнейшие пользователи, обеспечивая равные условия использования данных и здоровый Интернет без укрепления монополий. Данный сервис должен быть доступен не только для стартапов или мелких конкурентов интернет-гигантов, но и для университетов и исследователей, архивов и архивариусов; а также в целом для движения Wikimedia.

Screenshot Wikimedia Enterprise homepage.png

Общий обзор

Сервис Wikimedia Enterprise нацелен на предприятия, которые повторно используют наш контент, как правило, в крупном масштабе, например, интегрируют в графы знаний, поиск, голосовые помощники, карты, новостные сообщения, инструменты для сообщества, сторонние приложения и корпусные исследования. Дополнение множества наборов данных Wikimedia для структурирования нашего неструктурированного контента позволит всем нашим пользователям, повторно использующим контент, удовлетворять их индивидуальные потребности, а также позволит нам создавать в будущем новые инструменты и сервисы, доступные всем.

  • Частота: регулярные актуальные версии проектов Wikimedia
  • Надёжность: надежная и доступная инфраструктура
  • Качество: «лучшая последняя редакция»

Акцент на наборе конкретных самоокупаемых видов использования позволит команде Wikimedia API сосредоточиться на добровольцах, командах и организациях, которые хотят получить доступ к нашим наборам данных (и, что самое главное, использовать их). Это включает большинство используемых сообществом инструментов редактирования, не входящих в охват данного проекта. Для получения дополнительной информации об усовершенствованиях существующих Wikimedia API см. страницу проекта в разделе, посвященном инициативе «API Gateway».

Цели программы:

  • Контент: Обеспечить доступность большего количества контента нашего движения в последовательных машиночитаемых форматах, доступных всем исследователям и повторным пользователям.
  • Нагрузка ресурсов: Снизить потребность в высокоинтенсивном веб-скрейпинге за счёт перевода на Wikimedia API повторных пользователей с наибольшей частотой и объёмом использования, которые в настоящее время нацелены на использование наших производственных серверов.
  • Финансирование: Наличие более чёткого и последовательного способа реинвестирования полученных преимуществ крупнейшими повторными пользователями обратно в движение вместо случайных альтруистических пожертвований, размер которых различается.

Сообщество

Свяжитесь с командой, если вы хотите обсудить этот проект с вашим сообществом (в удобное для вас время и через подходящую программную платформу по вашему выбору).

Прошедшие публичные встречи:

...and also at the EMWCon Spring 2021 conference (video); March Strategic Wikimedia Affiliates Network (SWAN) meeting; the May 2021 Wikimedia Clinic; and at Wikimania 2021.

Это вводные параграфы для более подробного эссе сообщества.

Полное эссе охватывает следующие темы

Английское слово free имеет два значения: «свободный» и «бесплатный»; для пояснения этой разницы значений часто используют обороты свободный как в «свободе слова», бесплатный как в словосочетании «бесплатное пиво».

Проекты Фонда Wikimedia всегда были, остаются и всегда будут свободными. Из принципов свободных работ следует, что любой может пользоваться контентом Wikimedia без каких-либо ограничений, в том числе в коммерческих целях. В этом состоит наша идеология как движения. Именно поэтому мы отвергаем «некоммерческие» лицензии: ими ограничиваются возможности повторного использования. И по этой же причине мы считаем коммерческое повторное использование важным средством распространения знаний.

Равным образом проекты Фонда Wikimedia всегда были, остаются и всегда будут бесплатными. Наличие бесплатного доступа к знаниям, которые предлагаются в рамках всех проектов Фонда Wikimedia, составляет центральный элемент миссии Фонда и движения. Мы предоставляем этот доступ не только физическим лицам, которые посещают наши сайты, но и — на программном уровне — машинам с возможностью адаптации назначения наших материалов под конкретные нужды. Полный корпус материалов Фонда Wikimedia всегда был и останется доступен для повторного использования в разных формах (включая, в частности, дамп баз данных, API [интерфейс прикладного программирования] и веб-скрейпинг) для бесплатного повторного использования.

Как следствие, коммерческие организации часто изменяют назначение наших материалов с учётом потребностей своего бизнеса и, соответственно, зарабатывают на этом. Не считая добровольных пожертвований, которые поступают в фонд Wikimedia от юридических лиц, наше движение никогда не получало никаких выгод от такой прибыли в форме обратных инвестиций. В подтверждение этого обстоятельства в составе рекомендации «Способствование устойчивому развитию нашего движения» процесс разработки Стратегии развития движения направил в Фонд Wikimedia запрос на исследование, среди прочего, «прикладных интерфейсов корпоративного уровня... моделей выплат или устойчивого развития для коммерческих повторных пользователей в масштабах предприятия, с учетом необходимости предотвращения зависимости доходов или другого ненадлежащего внешнего влияния на дизайн и разработку продукта». Дополнительная рекомендация «Улучшение пользовательского опыта» гласит: «Возможности сделать набор прикладных интерфейсов Wikimedia более полным, надежным, безопасным и быстрым в сотрудничестве с крупными пользователями в случаях, когда это соответствует нашей миссии и принципам, чтобы улучшить пользовательский опыт как наших прямых, так и косвенных пользователей, увеличить охват и обнаруживаемость нашего контента и потенциал для возврата данных, а также повысить осведомленность и простоту установления подлинности и проверяемости для повторных пользователей контента».

Команда проекта Enterprise занимается разработкой нового ресурса, предназначенного для лиц, осуществляющих повторное использование в коммерческих целях, требования которых к продуктам, сервисам и системам выходят за рамки того, к чему мы предоставляем свободный и бесплатный доступ. Использование этого ресурса не будет обязательным условием повторного использования материалов в коммерческих целях; компании смогут по-прежнему бесплатно пользоваться доступными в настоящее время инструментами. Вся выручка от Enterprise API будет в обязательном порядке идти на поддержку миссии фонда Wikimedia, например, на финансирование программ Wikimedia или пополнение фонда развития Wikimedia (Endowment).

Данный проект — это новый для Фонда вид деятельности. В настоящее время проект находится на ранней стадии реализации, которую следует рассматривать как время учебы. Мы будем достигать поставленных целей, но будем делать и ошибки, будем вынуждены корректировать собственные стратегии. Команда проекта готова прислушиваться к замечаниям, которые будут поступать в связи с проектом, внимательно их изучать и по возможности применять на практике. Настоящий документ определяет и отражает текущую позицию команды проекта; мы стараемся публично документировать как можно больший объем выполняемой работы. До настоящего времени наша работа корректировалась с учетом результатов ряда первичных интервью с членами сообщества, Попечительским советом фонда Wikimedia, а также персоналом, исследователями и осуществляющими повторное использование лицами.

...продолжите читать эссе сообщества. См. также раздел «Часто задаваемые вопросы» и «Принципы».

Принимая во внимание характер проекта, основное решение по нему будет принято фондом Wikimedia. Мы просим членов сообщества, в частности технического сообщества и тех, кто участвовал в процессе разработки стратегии, предоставлять помощь на протяжении всего срока реализации проекта. Мы получили комментарии по техническим вопросам от коллег из фонда Wikimedia, отраслевых партнёров и исследовательских организаций, технических партнеров в рамках движения, а также в целом от технических сообществ через Phabricator. Получение комментариев по финансовым аспектам проекта будет осуществляться по аналогичной схеме. В соответствии с нашими принципами мы продолжим собирать комментарии с помощью опросов и фокус-групп, а также форм обратной связи в Meta.

Технические вопросы

For full information about the product work, seethe documentation homepage on MediaWiki.org and the API documentation subpage.
Over time, the "product" being offered will grow and improve. We are still defining the exact nomenclature for API endpoints and documentation, but these are the main products that our team is currently building. This information is accurate as of Version 1.0.

Structured Content API

High-volume reusers that use an infrastructure reliant on the EventStream platform depend on services like RESTBase to pull HTML from page titles and current revisions to update their products. High-volume reusers have requested a reliable means to gather this data, as well as structures other than HTML when incorporating our content into their KGs and products.

Wikimedia Enterprise Structured Content API, at release, will contain:

  • A commercial schema
  • SLA

Firehose API

High-volume reusers currently rely heavily on the changes that are pushed from our community to update their products in real time, using EventStream APIs to access such changes. High-volume reusers are interested in a service that will allow them to filter the changes they receive to limit their processing, guarantee stable HTTP connections to ensure no data loss, and supply a more useful schema to limit the number of api calls they need to make per event.

Enterprise Firehose API, at release, will contain:

  • Filtering of events by Project or Revision Namespace
  • Guaranteed connections
  • Commercially useful schema similar* to those that we are building in our Structured Content API and Bulk API
  • SLA

*We are still in the process of mapping out the technical specifications to determine the limitations of schema in event platforms and will post here when we have finalized our design.

Bulk API

For high volume reusers that currently rely on the Wikimedia Dumps to access our information, we have created a solution to ingest Wikimedia content in near real time without excessive API calls (Structured Content API) or maintaining hooks into our infrastructure (Firehose).

Enterprise Bulk API, at release, will contain:

  • 24-hour JSON*, Wikitext, or HTML compressed dumps of "text-based" Wikimedia projects
  • A hourly update file with revision changes of "text-based" Wikimedia projects
  • SLA

*JSON dumps will contain the same schema per page as the Structured Content API.

Доступ

Для получения доступа к наборам данных Enterprise API существуют три метода:

  • Платный

**Массовый и в режиме реального времени. При запуске через специальный веб-сайт продукта Enterprise API.

  • Бесплатный

**Массовый доступ. Обновление данных Enterprise API будет проводиться раз в две недели на сайте https://dumps.wikimedia.org/ **В реальном времени. Команда Wikimedia Enterprise сотрудничает с отделом технического взаимодействия Wikimedia для внедрения к июню 2021 года бесплатной поддержки сообщества с помощью облачных сервисов.

Команда

Additional contract work provided by: Speed & Function are providing engineering support; Boldr provide customer support services; Vuurr are assisting our sales process; and Super Natural Design are the designers of the project website.

В состав совета Компании, осуществляющего надзор за проектом, из руководства фонда Wikimedia входят: Грант Ингерсолл, Технический директор; Лиза Сейц-Грувель, Директор по развитию; Тони Себро, заместитель Главного юрисконсульта; и Лейн Бэкер. В конечном счёте деятельность Компании контролируется Попечительским советом фонда Wikimedia.

Documents covering the legal relationship of the LLC to the Wikimedia Foundation are published on the Governance Wiki under "Category:Wikimedia Enterprise". Specifically, these are the operating, cost-sharing, and inter-company licensing agreements.The LLC's legal registration can be found at the State of Delaware, Division of Corporations, Entity name: Wikimedia, LLC, File number: 7828447.

See also: FAQ § Legal

См. также

  • API:Главная страница — центральный список всех API Wikimedia.
  • Wikitech: Data Services: Портал сервисов в области данных — список доступных для сообществ сервисов, которые обеспечивают прямой доступ к базам данных и дампам данных, а также веб-интерфейсы для запросов и программного доступа к хранилищам данных.
  • Enterprise hub — страница для тех, кто заинтересован в использовании программного обеспечения MediaWiki в рамках компании:
    • Группа MediaWiki Stakeholders — независимая аффилированная организация, которая защищает потребности пользователей MediaWiki за пределами фонда Wikimedia, включая коммерческие предприятия.
    • Enterprise MediaWiki Conference — независимая конференция для этого сообщества.