Wikimedia Enterprise/Essay
Английское слово free имеет два значения: «свободный» и «бесплатный»; для пояснения этой разницы значений часто используют обороты свободный как в «свободе слова», бесплатный как в словосочетании «бесплатное пиво».
| Wikimedia Enterprise | |
|---|---|
 Building new opportunities for both revenue generation and free knowledge dissemination through partnerships and earned income. | |
| enterprise.wikimedia.com | |
| Project | |
| Technical | |
подготовлено командой проекта и отражает взгляды членов команды и фонда Wikimedia.
Опубликовано в марте 2021 г.Проекты Фонда Wikimedia всегда были, остаются и всегда будут свободными. Из принципов свободных работ следует, что любой может пользоваться контентом Wikimedia без каких-либо ограничений, в том числе в коммерческих целях. В этом состоит наша идеология как движения. Именно поэтому мы отвергаем «некоммерческие» лицензии: ими ограничиваются возможности повторного использования. И по этой же причине мы считаем коммерческое повторное использование важным средством распространения знаний.
Равным образом проекты Фонда Wikimedia всегда были, остаются и всегда будут бесплатными. Наличие бесплатного доступа к знаниям, которые предлагаются в рамках всех проектов Фонда Wikimedia, составляет центральный элемент миссии Фонда и движения. Мы предоставляем этот доступ не только физическим лицам, которые посещают наши сайты, но и — на программном уровне — машинам с возможностью адаптации назначения наших материалов под конкретные нужды. Полный корпус материалов Фонда Wikimedia всегда был и останется доступен для повторного использования в разных формах (включая, в частности, дамп баз данных, API [интерфейс прикладного программирования] и веб-скрейпинг) для бесплатного повторного использования.
Как следствие, коммерческие организации часто изменяют назначение наших материалов с учётом потребностей своего бизнеса и, соответственно, зарабатывают на этом. Не считая добровольных пожертвований, которые поступают в фонд Wikimedia от юридических лиц, наше движение никогда не получало никаких выгод от такой прибыли в форме обратных инвестиций. В подтверждение этого обстоятельства в составе рекомендации «Способствование устойчивому развитию нашего движения» процесс разработки Стратегии развития движения направил в Фонд Wikimedia запрос на исследование, среди прочего, «прикладных интерфейсов корпоративного уровня... моделей выплат или устойчивого развития для коммерческих повторных пользователей в масштабах предприятия, с учетом необходимости предотвращения зависимости доходов или другого ненадлежащего внешнего влияния на дизайн и разработку продукта». Дополнительная рекомендация «Улучшение пользовательского опыта» гласит: «Возможности сделать набор прикладных интерфейсов Wikimedia более полным, надежным, безопасным и быстрым в сотрудничестве с крупными пользователями в случаях, когда это соответствует нашей миссии и принципам, чтобы улучшить пользовательский опыт как наших прямых, так и косвенных пользователей, увеличить охват и обнаруживаемость нашего контента и потенциал для возврата данных, а также повысить осведомленность и простоту установления подлинности и проверяемости для повторных пользователей контента».
Команда проекта Enterprise занимается разработкой нового ресурса, предназначенного для лиц, осуществляющих повторное использование в коммерческих целях, требования которых к продуктам, сервисам и системам выходят за рамки того, к чему мы предоставляем свободный и бесплатный доступ. Использование этого ресурса не будет обязательным условием повторного использования материалов в коммерческих целях; компании смогут по-прежнему бесплатно пользоваться доступными в настоящее время инструментами. Вся выручка от Enterprise API будет в обязательном порядке идти на поддержку миссии фонда Wikimedia, например, на финансирование программ Wikimedia или пополнение фонда развития Wikimedia (Endowment).
Данный проект — это новый для Фонда вид деятельности. В настоящее время проект находится на ранней стадии реализации, которую следует рассматривать как время учебы. Мы будем достигать поставленных целей, но будем делать и ошибки, будем вынуждены корректировать собственные стратегии. Команда проекта готова прислушиваться к замечаниям, которые будут поступать в связи с проектом, внимательно их изучать и по возможности применять на практике. Настоящий документ определяет и отражает текущую позицию команды проекта; мы стараемся публично документировать как можно больший объем выполняемой работы. До настоящего времени наша работа корректировалась с учетом результатов ряда первичных интервью с членами сообщества, Попечительским советом фонда Wikimedia, а также персоналом, исследователями и осуществляющими повторное использование лицами.
Коммерческие организации, осуществляющие повторное использование материалов Wikimedia
Помимо обычного чтения страниц, осуществляющие повторное использование лица в настоящее время получают доступ к материалам Wikimedia тремя способами: веб-скрейпинг, дампы данных и API-интерфейсы. Эти сервисы предоставляются бесплатно и свободно всем, кто осуществляет повторное использование материалов Wikimedia. Всеобщий доступ к ним является и останется свободным и бесплатным.
Коммерческие организации, использующие значительные объёмы данных, небольшие независимые инициативы и отдельные волонтёры находятся в равных условиях с точки зрения таких параметров доступа, как предлагаемые сервисы, пропускная способность, время доступа, ограничения скорости передачи и частота обновления. Нужды крупнейших коммерческих технологических организаций, от удовлетворения которых зависит эффективное использование материалов Wikimedia, выходят за пределы того, что мы предлагаем в настоящее время. Поэтому каждая такая крупная компания собственными силами модифицирует проекты Wikimedia под собственные, но взаимно очень похожие сценарии использования. Сопряжённые с этим крупные капиталовложения — это не только дублирование усилий, но и расход ресурсов в пределах отдельной компании, а не на пользу Wikimedia или экосистемы свободных знаний в целом.
К числу известных вариантов повторного коммерческого использования больших объемов материалов Wikimedia относятся:
- информационные карточки или графы знаний, отображаемые в поисковой выдаче
- виртуальные ассистенты с голосовым управлением, такие как Siri и Alexa
- добавленная информация, отображаемая на цифровых картах, например, в бортовых развлекательных системах или на смартфонах
Wikimedia Enterprise API — это новый сервис, ориентированный на сценарии повторного использования больших объёмов данных, которые характерны для коммерческого использования проектов Wikimedia; коммерческие организации смогут пользоваться этим сервисом в необходимом масштабе, и за это с них будет взиматься плата.
Зачем взимать плату
Устойчивое развитие
В рамках выработки стратегии развития движения Wikimedia было определено стратегическое направление развития, задающее основные задачи, которые мы намерены попытаться решить. Движение ставит перед собой задачу создания платформы, обеспечивающей доступность знаний для всего мира, независимо от носителя, путем устранения социальных, политических и технических барьеров, которые препятствуют созданию свободных и бесплатных знаний и доступу к ним. Это огромная задача. Нам предстоит устранить разрывы на уровне технологий, знаний, а также доступа к знаниям. Данное стратегическое направление развития дополняется рекомендациями по стратегии развития движения, на выработку которых своё время и силы потратили сотни, а возможно, и тысячи людей; эти рекомендации посвящены способам, которые, как мы надеемся, позволят нам справиться с задачами на пути, заданном стратегическим направлением.
Если смотреть на дело с точки зрения ресурсов, то это один из способов обеспечить благополучное развитие движения в течение грядущих десятилетий. Для достижения целей, которые предполагаются нашим заявлением о видении и стратегическим направлением развития 2030, нам понадобится больше ресурсов, больше партнеров и больше союзников. Основная задача — позаботиться о том, чтобы поддержка была разнообразной, поступала неограниченно и была свободна от прямого программного влияния. Именно поэтому столь важно обеспечить самодостаточность движения в настоящее время и на будущее, на бессрочной основе.
Соответственно, одной из рекомендаций по стратегии развития движения является специальный запрос на создание того, что сейчас известно под именем Wikimedia Enterprise API:
Изучение новых возможностей как для получения дохода, так и для распространения бесплатных знаний с помощью партнерских связей и доходов от коммерческой деятельности [...] Создание прикладных интерфейсов корпоративного уровня [...] Привлечение партнеров к участию в разработке, где это целесообразно, с учётом потребностей широкого круга мелких, некоммерческих и крупных коммерческих повторных пользователей.
Изучение моделей выплат или устойчивого развития для коммерческих повторных пользователей в масштабах предприятия, с учётом необходимости предотвращения зависимости доходов или другого ненадлежащего внешнего влияния на дизайн и разработку продукта. Разработка соответствующих гарантий для обеспечения постоянного бесплатного, неограниченного доступа для некоммерческих, исследовательских целей и использования в небольших и средних коммерческих объёмах.
— Стратегические рекомендации, Способствование устойчивому развитию нашего движения
Самоокупаемость
Удовлетворение потребностей группы организаций, осуществляющих высокоинтенсивное повторное использование материалов Wikimedia, — это амбициозная задача. Их потребности имеют под собой основания. Однако использование финансовых ресурсов Фонда Wikimedia для их удовлетворения означало бы субсидирование расходов на разработку программного обеспечения, в котором нуждается ряд крупнейших в мире коммерческих организаций, за счёт пожертвований. Избежать этого можно благодаря самоокупаемости сервиса Wikimedia Enterprise API.
Самоокупаемость сервиса Enterprise API позволяет нанимать специалистов службы поддержки клиентов соответствующей категории, не жертвуя финансовыми ресурсами, за счёт которых в настоящее время обеспечивается поддержка волонтеров редакторского и читательского корпусов. В долгосрочной перспективе это позволит разгрузить существующую инфраструктуру и персонал Фонда Wikimedia и сосредоточиться на потребностях сообщества и движения. Расходы на разработку платформы Enterprise, её текущее обслуживание, а также любые дополнительные связанные с нею расходы будут в полном объёме покрываться соответствующими доходами.
Сохранение нашей независимости
Основным источником финансирования Фонда Wikimedia являются пожертвования читателей, средний размер которых — 15 долларов США, поступающие со всего мира в рамках кампаний по сбору средств через баннеры и электронную рассылку. Эта модель финансирования обеспечивает рост фонда и позволяет ему сохранять независимость. В этом году средства фонду Wikimedia пожертвует порядка 8 миллионов читателей. Мы хотим чётко заявить: это лучшая и самая важная помощь, которую получает движение. Благодаря этой помощи мы сохраняем независимость и продолжаем работать на благо наших читателей. Мы не допустим, чтобы доходы от Wikimedia Enterprise API заслонили собой щедрую поддержку наших жертвователей. Если этот сервис превратится в источник серьёзного дохода, мы совместно с сообществом рассмотрим возможности ограждения Фонда Wikimedia от его потенциального влияния.
Кроме того, важно понимать, что модель на основе небольших пожертвований частично зависит от трафика с настольных компьютеров и мобильных устройств. Даже несмотря на продолжающийся рост доступа к интернету по всему миру, читательская аудитория Wikimedia в течение последних нескольких лет остаётся практически неизменной. Одна из самых значительных перемен заключается в том, что всё большее число взаимодействий с материалами Wikimedia осуществляется уже не на сайтах Wikimedia. В 2015 году Фонд Wikimedia признал это изменение фактором, который может серьезно повлиять на способность движения обеспечивать себя в рамках своих долгосрочных и текущих проектов. В условиях, когда всё больше людей осуществляет доступ к материалам Wikimedia за пределами сайтов Фонда, часто с помощью сервисов, поддержку которых будет обеспечивать Enterprise API, важно диверсифицировать источники финансирования движения. Это повысит жизнестойкость движения Wikimedia на случай падения трафика сайта wikipedia.org. Таким образом, данный проект позволяет обеспечить финансовую устойчивость движения.
Обеспечение инвестиций коммерческих организаций в свободные и свободные знания
Важно заботиться о том, чтобы крупные коммерческие организации признавали вклад Wikimedia в ценность их продукта. Организации, осуществляющие повторное использование материалов в больших объёмах, всё чаще зависят от проектов Wikimedia и сообщества волонтёров Wikimedia, которые создают и курируют используемые ими материалы, при этом рентабельность их деятельности растет. Говоря о поступивших в 2019 году пожертвованиях юридических лиц, Кэтрин Мар заявила: «Мы хотим, чтобы люди по всему миру пользовались Википедией, делились её материалами, пополняли и уточняли их... Одновременно мы призываем компании, которые пользуются материалами Wikimedia, жертвовать средства в духе устойчивого развития». Если пользователи в лице крупных коммерческих организаций будут состоять в договорных правоотношениях с платформой Wikimedia Enterprise, то по мере роста их зависимости от Wikimedia соразмерно будут расти их инвестиции в движение Wikimedia. Благодаря этому увеличатся доходы, которые Wikimedia инвестирует в выполнение рекомендаций по стратегии развития движения, в реализацию нашего стратегического направления развития 2030 и в фонд развития Wikimedia, а это означает долгосрочное устойчивое развитие проектов Wikimedia. Это также означает, что пожертвования наших читателей не будут использоваться на покрытие расходов крупных корпоративных пользователей. Они будут платить в отдельном порядке и тем самым вносить свой вклад в создание общечеловеческих культурных и интеллектуальных благ.
Какие услуги нужны коммерческим повторным пользователям
Сервис Enterprise API ориентирован на организации, осуществляющие повторное использование материалов Wikimedia, которые намереваются полностью или значительно адаптировать соответствующие материалы под конкретную коммерческую среду. В настоящее время мы исходим из того, что непосредственные ожидания, которые пользователи данной категории связывают с сервисом, обеспечивающим крупномасштабное повторное использование материалов, определяются четырьмя параметрами: надежность систем, высокая частота доступа или доступ в реальном времени, целостность материалов и машиночитаемость. На данный момент мы обеспечиваем некоторые из этих параметров, но лишь разрозненно и не органично. Создание единой платформы, обеспечивающей все указанные параметры и, соответственно, повышающей качество пользовательского опыта, — такова непосредственная цель проекта Wikimedia Enterprise.
Надежность системы
Способы использования наших материалов крупными пользователями чаще всего имеют существенное значение для работы их собственных сервисов. Это означает, что надежность их систем и сервисов до известной степени зависит от надежности наших систем и сервисов. В настоящее время многие наши API-интерфейсы и сервисы данных (API-интерфейс EventStreams и дампы данных) не рассчитаны на реализуемые коммерческими организациями сценарии крупномасштабного повторного использования. Коммерческие пользователи рассчитывают не только на доступность очень больших объемов материалов при одновременной повышенной системной надежности, но — что для них ещё важнее — на наличие договорных гарантий такой надежности. Такие гарантии будет предоставлять сервис Wikimedia Enterprise API, обеспечивая надёжность при внедрении материалов Wikimedia в инфраструктуру коммерческих организаций и сервисов, критичную с точки зрения их работы.
На текущем раннем этапе реализации проекта, когда долгосрочное направление и перспективы успеха остаются неопределёнными, мы ведем разработку данного сервиса на базе сторонней облачной инфраструктуры (AWS) при содействии привлечённых на договорной основе инженеров. Благодаря этому наша собственная инфраструктура и наш персонал никак не обременены обеспечением договорных требований по системной надежности, которые актуальны лишь для небольшой группы коммерческих пользователей. Это также означает, что пожертвования расходуются на инфраструктуру самого Фонда Wikimedia, а не на реализацию технических требований крупных компаний.
Высокая частота доступа или доступ в реальном времени
В настоящее время доступ к сервисам массивов данных в Wikimedia предоставляется посредством производимых нами один раз в две недели дампов данных SQL/XML, осуществляемого самим пользователем HTML-скрейпинга и запросов с помощью API-интерфейсов Wikimedia. Доступ к отдельным немедленным обновлениям, таким как недавние изменения, также имеется через EventStreams API. Получив высокочастотный доступ к полному массиву данных Wikimedia, пользователи получат и бо́льшую гибкость при использовании наших данных с учётом собственных конкретных потребностей.
Целостность контента
Отдельные категории материалов Wikimedia могут заметно отличаться по качеству информации в зависимости от того, были ли материалы размещены недавно или уже успели пройти проверку у сообщества. Бывает так, что недавно размещённые материалы в большей степени подвержены таким актам, как вандализм, ошибочное освещение или дезинформация, по сравнению с материалами, которые сообщество могло просматривать и проверять в течение нескольких часов или дней.
В зависимости от целей повторного использования одни пользователи отдают предпочтение «свежести» материалов (например, исследователя интересует состояние конкретного проекта в определенный момент), другие же предпочитают точность (например, поисковой машине нужны краткие биографические сведения об известных людях). Наличие методологии, позволяющей пользователям выбирать интересующую категорию материалов, имеет существенное значение для поддержки целого ряда сценариев повторного использования.
Структура
Пользователи уже в значительных объемах используют материалы по всем проектам Wikimedia, но способ использования, обработки и интеграции каждого проекта (и языкового раздела) лицами, осуществляющими повторное использование полного корпуса, в конкретном случае является уникальным: в каждом случае актуальны особые методологии, форматы и периодичности. Частично это является следствием отсутствия структуры у многих наших проектов, но, кроме того, объясняется и тем, что каждая вики-страница существенно отличается практикой редактирования и выбором способа представления информации. Эти особенности Wikimedia обеспечивают ее исключительную полезность, но они же создают сложности для пользователей полного корпуса.
Придав дополнительную структуру материалам и данным Wikimedia и поместив её за нашими неупорядоченными материалами, мы предоставим пользователям возможность легко адаптировать материалы под собственные нужды, а сами сможем приводить дополнительные вводные данные, включая подтверждение авторства, лицензирование и качество материалов, причём в одном месте.
Wikimedia Enterprise API не оказывает непосредственного влияния на Викиданные или Сервис запросов. Кроме того, в настоящее время Enterprise API не работает с данными из Викиданных или Wikimedia Commons. Хотя WDQS является важным сервисом для массовых пользователей Викиданных в контексте базовых характеристик графов знаний, в настоящее время цели Enterprise API сосредоточены на потоковой передаче контента в режиме, близком к реальному времени, что отличается от WDQS. Впоследствии некоторая информация, которую клиенты Enterprise API сейчас получают через WDQS, сможет быть получена через API, что может уменьшить объём использования WDQS.
За что будет взиматься плата с пользователей Enterprise API
Исходя из результатов интервью с текущими пользователями и потенциальными клиентами, мы в настоящее время определяем, в чём состоят наиболее актуальные потребности пользователей, за что они готовы платить и что мы можем им предложить. Большинство элементов, вероятно, будет предоставляться на основании коммерческого договора под названием «Соглашение об уровне обслуживания» (SLA), который будет заключаться с пользователями сервиса Wikimedia Enterprise API. Этот договор будет регламентировать такие аспекты, как периодичность обновления данных, надежность [доступное время безотказной работы] сервиса, а также доступность технической поддержки.
Формат материалов Wikimedia, которые будут предоставляться клиентам сервиса Wikimedia Enterprise API, будет адаптирован под конкретные потребности в рамках крупномасштабного использования. Это может включать в себя группирование и фильтрацию нескольких [общедоступных] выходных материалов API в единый «комплект», повторный разбор материалов Wikimedia с получением нового материала на выходе (например, HTML, а не вики-разметка), а также определение конкретного срока действия договора о доступе к сервису.
Поскольку проект находится еще на ранней стадии реализации, мы пока исследуем вопросы конкретной бизнес-модели и наиболее приемлемых уровней цен. Равным образом мы ещё изучаем наиболее эффективный и действенный режим надзора, который будет осуществляться Попечительским советом Фонда Wikimedia в рамках возложенных на него стандартных обязанностей в области организации управления.
По мере разработки и корректировки с учётом поступающих комментариев мы подготовили список принципов деятельности, которые регулируют порядок работы в рамках проекта Wikimedia Enterprise и помогают определять имеющиеся у коммерческих клиентов возможности действия.
Бесплатный доступ для некоторых пользователей
Сервис Enterprise API предназначен для коммерческих клиентов, использующих большие объёмы материалов, но доступ к нему будет предоставляться и бесплатно отдельным пользователям, если существующие API-интерфейсы не будут соответствовать их потребностям. Бесплатный доступ к своим платным сервисам в порядке исключения предоставляют и другие технологические компании, например, некоммерческие организации могут бесплатно пользоваться сервисом Github Premium.
Команда Wikimedia Enterprise сотрудничает с отделом технического взаимодействия Wikimedia для внедрения к июню 2021 года бесплатной поддержки сообщества с помощью облачных сервисов. В настоящее время доступ к сервисам Enterprise API будет предоставляться бесплатно в случае сценариев использования, тесно связанных с миссией Wikimedia (в частности, если речь идёт об использовании некоммерческого характера или на условиях открытого доступа) и одновременно сопряжённых с высокой частотой обращения к сервисам данных, которая не обеспечивается предусмотренными API-интерфейсами или дампами баз данных. Научные исследования и согласующиеся с нашей миссией некоммерческие сервисы — таковы два потенциальных сценария такого использования. Для получения бесплатного доступа волонтерам и исследователям следует обращаться непосредственно к команде проекта. Волонтеры и исследователи, которым необходим доступ, должны напрямую связаться для этого с нашими специалистами.
Как это будет оформлено юридически
На данный момент Фонд Wikimedia с разрешения Попечительского совета создал компанию с ограниченной ответственностью по законодательству США с одним участником (limited liability company (LLC)), которая и будет предоставлять эти сервисы. Практика использования дочерних компаний состоявшимися некоммерческими организациями распространена в сфере свободного ПО с открытыми исходными кодами и свободных знаний:
- Creative Commons задействует канадскую дочернюю компанию для заключения договоров в рамках осуществляемой на территории Канады деятельности.
- У Mozilla Foundation есть полностью принадлежащая ему коммерческая дочерняя компания Mozilla Corporation, которая занимается коммерческой деятельностью.
- У Linux Foundation есть ряд полностью принадлежащих ему дочерних компаний самого разного назначения, в том числе для извлечения прибыли путём предоставления платных учебных услуг.
- организации Open Data Institute и Open Knowledge Foundation используют коммерческую прибыль для финансирования собственной деятельности.
Последовав совету юристов Фонда, мы выбрали простую структуру на базе компании с ограниченной ответственностью, с помощью которой мы опробуем данную модель предоставления сервисов. При таком подходе ограничены как стартовые расходы, так и обязанности по представлению избыточно сложной официальной отчетности на начальных этапах. Наличие такой Компании также позволит отделить работу сервиса с соответствующими возникающими обязательствами от работы Фонда. Тем не менее в соответствии с законодательством США Фонд все равно обязан публично раскрывать сведения о доходах и расходах Компании в составе своей ежегодной налоговой отчетности (см. предыдущую аудированную финансовую отчётность здесь). По мере развития проекта мы можем изменить юридическую структуру, однако принципы деятельности всегда будут неизменными. В долгосрочной перспективе это может предполагать переход на более устойчивую постоянную юридическую структуру. Компания будет осуществлять деятельность под руководством фонда Wikimedia, её сотрудники будут являться сотрудниками фонда Wikimedia и в конечном итоге отчитывться перед Попечительским советом фонда Wikimedia.
Независимо от правовой структуры, вся выручка Wikimedia Enterprise будет в обязательном порядке идти на поддержку миссии фонда Wikimedia, например, на финансирование программ Wikimedia или пополнение фонда развития Wikimedia.
В целях удобства обсуждения каких-либо вопросов из числа поднятых в настоящем эссе команда проекта Wikimedia Enterprise будет проводить регулярные открытые встречи («office hours») как минимум на этапе первоначальной разработки; связаться с командой по-прежнему можно будет по каналам асинхронного информационного обмена (например, на странице обсуждения проекта в Мета-вики).