Programa Catalisador do Brasil/Planejamento 2012-2013/CAPTCHA - Teste

Em junho, surgiu na discussão que vem ocorrendo no Meta sobre o planejamento de ações do projeto catalisador do Brasil e da Wikipédia em Português, dentre outras questões técnicas (como a ausência do editor visual, em processo de desenvolvimento), a exigência de CAPTCHA até o usuário se tornar de autoconfirmado como uma barreira técnica de entrada para novos usuários. Segundo um voluntário, “estamos tornando as primeiras edições dos recém registrados mais custosa do que precisa ser”.

Histórico

Ativação do Captcha emergencial

Discussão em 2006: w:pt:Wikipédia Discussão:Captcha
Ativação do CAPTCHA para qualquer edição em 2008: w:pt:Wikipédia:Esplanada/Arquivo/2008/Janeiro#Activação de CAPTCHA para edições por IP

Em janeiro de 2008 houve um volumoso ataque de IPs (w:pt:Wikipédia:CheckUser/Pedidos de verificação/Fabiano Prata) à Wikipédia por meio de scripts automáticos e a voluntária PatriciaR solicitou à Wikimedia Foundation a ativação do CAPTCHA em “emergency mode”. Embora ativado temporariamente, ele se tornou permanente.

O padrão do CAPTCHA nas Wikipédias é que ele seja ativado para usuários não autoconfirmados (IPs e usuários com menos de 4 dias e 10 edições) apenas quando eles inserem um link na página. Desde janeiro de 2008, na Wikipédia lusófona, ele passou a ser ativado para esses mesmos usuários em qualquer circunstância (mesmo que a edição não insira qualquer link).

Até, hoje, a Wikipédia em português é a única em todo o mundo em que o CAPTCHA está no emergency mode. (As únicas wikis que obrigam o preenchimento de CAPTCHA para editar e criar páginas são a lusófonas Wikipédia e Wikinotícias). Isso pode ser confirmado olhando os arquivos de configurações da WMF, InitialiseSettings.php e CommonSettings.php. Em todas as demais, o CAPTCHA só aparece para quem não foi confirmado automaticamente, e só nas edições em que são inseridos links (justamente por que o objetivo é combater SPAM, não combater edições), ao criar contas e ao errar a senha”. - Helder)

Interesse em remover o Captcha emergencial

A principal discussão sobre a remoção do teste do Captcha ocorreu em março de 2011. Nessa discussão a proposta era remover completamente o teste do Captcha, com sete usuários apoiando a remoção e dez se opondo, e a proposta foi recusada.

Além dessa discussão, o interesse em remover o Captcha em modo emergencial foi debatido (brevemente) em outros momentos, como:

Março de 2010
Setembro de 2010, citado no meio da proposta para ativar a validação de páginas
Outubro de 2011 como parte da discussão sobre aumentar os requisitos mínimos para ser autoconfirmado)
Janeiro de 2012 após os resultados do projeto de pesquisa sobre tendências e comportamento de editores que recomendou a remoção do Captcha para todas as edições de usuários anônimos e não-confirmados
Março de 2012, durante a rodada de encontros da Wikimedia Foundation no Brasil

Uma das possibilidades já levantas, tanto em março de 2011 como agora no Meta (desde junho de 2012), é a de se fazer um teste não definitivo. Alterar o uso do CAPTCHA e avaliar o impacto com monitoramento de impacto por um determinado período.

Argumentos

Não me parece possível criar uma relação de causalidade direta necessariamente entre a entrada de novos editores (com pelo menos 10 edições) e o CAPTCHA (janeiro de 2008, quando foi ativado o emergency mode, foi o mês mais novos editores - talvez eles tenham até detonado a crise que levou a comunidade a solicitar a ativação do emergency mode do CAPTCHA)

Dentre os principais argumentos para mudar o Captcha para modo normal, figuravam:

o fato de hoje haver mais robôs para combater o vandalismo (como Salebot e Huggle)
uma hipótese de que o vandalismo mais pesado não vem necessariamente dos IPs e usuários não autoconfirmados
uma hipótese de que o CAPTCHA termina afastando com mais efetividade usuários bem intencionados do que os que realmente querem vandalizar (esses arrumariam formas de burlar o CAPTCHA, ou até mesmo se tornariam autoconfirmados)
uma hipótese de que o prejuízo causado pelo afastamento de novos editores bem intencionados é maior do que o prejuízo causado por vandalismos que poderiam ser combatidos de outras formas

Dentre os principais argumentos para manter o Captcha em modo emergencial, figuravam:

risco de aparecimento de spambots
a leitura de que os IPs vandalizam muito ainda e são intimidados pelo CAPTCHA
a leitura de que o número de robôs, administradores e voluntários que operam os robôs e ajudam a combater o vandalismo na Wikipédia lusófona não é suficiente para fazê-lo sem o CAPTCHA.
A Wikipédia lusófona não tem a mesma realidade de outras Wikipédias maiores em termos de voluntários e portanto o uso do CAPTCHA entre elas não poderia ser comparado
Além dos problemas de acessibilidade inerentes ao CAPTCHA, a implementação usada na Wikipédia é inadequada não só por causa da barreira linguística imposta (devido à ausência de tradução das palavras apresentadas), mas também porque não há uma outra modalidade de CAPTCHA servindo ao mesmo propósito, violando o requerimento 1.1.1 da WCAG 2.0. Helder 16:07, 21 July 2012 (UTC)
o CAPTCHA não respeita princípios de acessibilidade pois não temos uma opção de CAPTCHA sonoro para deficientes visuais

Algumas pessoas que no passado (e na principal discussão sobre o tema, em março de 2011) se manifestaram contra a remoção do Captcha argumentaram que “ a proposta seria ótima no futuro”, ou concordaram com “a remoção por um período de testes, desde que haja de fato alguma análise sobre o aumento ou diminuição de vandalismos”. e na importância de que se apresentassem “indícios claros de que os vandalismos aumentarão significativamente (números, testes em outras wikis, comparativos reais, etc)” ou não e algumas delas se mostraram favoráveis a se levantar a questão novamente.

Eis abaixo um gráfico criado pelo Evan Rose com uma proposta de árvore de hipóteses:

Example diagram analyzing effect of CAPTCHA policy

generated using dotty and script to translate two-column wikitable into dot file (github.com/embr/wmf/requests/make_dot.py)

O Captcha

O Captcha atualmente é acionado nas edições de usuários anônimos e de usuários registrados e não-confirmados. O Captcha possui duas opções de configuração: o Captcha normal, que é ativado apenas quando se insere algum link externo, e o Captcha emergencial, que é ativado em qualquer edição.

Configuração normal

Qualquer solicitação de mudança na configuração da Wiki deve ser documentada no Meta e solicitada no bugzilla mesmo URLs que apontam para outras wikis da Wikimedia e alguns outros domínios específicos estão isentas de CAPTCHA. Toolserver também é isento.

Uma série de outros padrões ativam o CAPTCHA, que parecem ser remanescentes de incidentes ocorridos em 2006, 2007 e 2008 e são muito específicos para afetar algo (como por exemplo uma edição que contenha apenas uma linha com uma só palavra e contendo só caracteres numéricos ou de texto - "a - z")

E, finalmente, a lista de regras que ativam o CAPTCHA.

a edição adiciona uma URL exceto se a URL aponta para um domínio do que eles chamam de "whitelist": wikimedia.org, wikipedia.org, wiktionary.org, wikiquote.org, wikibooks.org, wikisource.org, wikispecies.org, mediawiki.org, wikimediafoundation.org, wikinews.org, wikiversity.org, dnsstuff.com, completewhois.com, wikimedia.de, toolserver.org
a edição adiciona palavras com 22 a 28 caracteres (usado para combater um spam bot em 2006)
a edição adiciona Template:Indefblockeduser (2007)
a edição adiciona Катэгорыя:Архітэктура (be.wikipedia.org somente)
a edição cria uma página (somente test.wikipedia.org)
a edição adiciona uma linha com apenas 5 ou mais letras minúsculas (a-z) e/ou numerais (0-9)
a edição adiciona '<a href' (o que é um link de sintaxe HTML; não funciona de fato em wikitext, mas de qualquer forma um certo spam bot o estava adicionando)
a edição adiciona a palavra 'anontalk.com' (2008)

Edições feitas por administradores, robôs aprovados e usuários autoconfirmados são exceções, assim como edições feitas a partir de IPs do Toolserver (que começam com 91.198.174. ).

Isso é tudo definido na configuração comum do CAPTCHA e está publicamente disponível neste endereço. As configurações do CAPTCHA por wiki podem ser encontradas aqui. E os critérios de autoconfirmação por wiki podem ser encontradas aqui.

Possibilidades de configuração

Possibilidades de mudança, da maior mudança para a menor:

Desativar o CAPTCHA para todos
Opção radical, e não utilizada em nenhuma outra wiki, não sabemos nem se é possível. De todo modo, as outras opções são mais viáveis nesse primeiro momento.
Usar o CAPTCHA em modo normal para anônimos e não-confirmados
É a configuração usada em praticamente todas as outras wikis
Usar o CAPTCHA em modo normal para anônimos e não-confirmados, porém exigindo o CAPTCHA para usuários que tentarem fazer muitas edições em pouco tempo (recurso feito através do Filtro de edições)
Lechatjaune acha que é possível (aqui).
Usar o CAPTCHA no modo emergencial para anônimos, e em modo normal para não-confirmados.
Segundo Catrope (aqui), não é possível atualmente porém a mudança no código provavelmente será fácil de fazer.
Usar o CAPTCHA no modo emergencial para anônimos, e em modo normal para não-confirmados. Usuários registrados não-confirmados que tentassem fazer muitas edições em pouco tempo ativariam (programado no filtro de edições) o CAPTCHA para todas as suas edições.
Junção do item 3 e do item 4

O teste

Até hoje não foram feitas análises sistemáticas nem do impacto do Captcha quando ativo, nem quando inativo. A maioria dos argumentos se baseiam em hipóteses e opiniões pessoais sobre a eficiêncoa do Captcha no combate ao vandalismo e no impacto do mesmo na participação de usuários com boas intenções.

Desse modo, um teste trará mais dados estatísticos para a comunidade se basear para tomar uma decisão mais acertada.

Considerando que alterando o Captcha há algum risco de usuários fazerem uso de spambot, e/ou cometerem mais vandalismos, pode ser benéfico antes de realizar o teste estudar alterações na política de bloqueio a ips e a comunidade se familiarizar mais com o uso de spambots e como combatê-los:

Familiarizar a comunidade com o uso de spambots e criar um passo a passo como pesquisas por esses IPs e como identificar um proxy, de modo que a retirada do CAPTCHA em fase de testes de não seja um desastre por desconhecimento em relação às outras ferramentas de combate ao vandalismo?
propõe-se a atualização das regras de bloqueio de IP durante o teste (ou até mesmo divide-se em duas fases: uma alterando e outra não alterando)? O que acham?

Antes de se iniciar o teste devemos estabelecer qual será o período de testes e o que exatamente queremos mensurar durante o período para avaliar os impactos positivos e negativos da ausência de CAPTCHA.

OBS: devemos passar um mês medindo as mesmas coisas sem alterar CAPTCHA para comparar variação com ano anterior?

Familiarizar a comunidade com o uso de spambots e outras ferramentas e criar um tutorial (por exemplo sobre como pesquisar IPs e identificar um proxy), de modo que a nova configuração do CAPTCHA conte com usuários capacitados para lidar com outras formas de prevenção de problemas.
Atualizar das regras de bloqueio de IP durante o teste (ou até mesmo dividir-se em duas fases: uma alterando e outra não alterando)? O que acham?
Durante dois meses o CAPTCHA ficaria na configuração padrão e monitoraríamos as edições para responder às seguintes perguntas:
1. Houve aumento na variação de novos editores?
2. Houve aumento de ocorrência de vandalismo?
3. Qual é o percentual de edições revertidas em relação ao total de realizadas?
4. Quantas novas contas salvaram edições?
5. Quantas edições de novos usuários foram feitas no primeiro dia, em sete dias e em 30 dias?
6. Quantos usuários que criaram contas fizeram 1, 5, 10, 20 ou mais edições?
7. Quantas páginas foram criadas por novos editores registrados?
8. Quantas páginas criadas pelos editores recém registrados foram deletadas?
9. Quantos novos editores registrados foram bloqueados?

Devemos também escolher qual(quais) das quatro #possibilidades de configuração do Captcha iremos testar. E se o teste incluir mais de uma dessas possibilidades o ideal seria isolar os testes (fazer aos poucos) para ver o impacto de cada ação.

Outros

Algumas wikis não mudaram o CAPTCHA, mas mudaram o padrão do que seriam contas autoconfirmadas, algumas delas inclusive com mais exigências do que as lusófonas. Abaixo estão as diferentes regras de autoconfirmação em diferentes wikis.

Configuração	Exigências
Configuração	Dias	Edições
Padrão	4	0
fishbowl wikis	sem restrições, por não ser necessário (apenas editores específicos podem editar)
arwiki (Arabic Wikipedia)	4	50
dewikibooks (German)	7	0
enwiki (English)	4	10
eswiki (Spanish)	4	50
itwiktionary (Italian)	4	10
plwiki (Polish)	4	10
ptwiki (Portuguese)	4	10
simplewiki (Simple English)	4	10
zhwiki (Chinese)	7	50
zh_yuewiki (Cantonese; zh-yue.wikipedia.org)	4	10