Observar Exemplos Selecionados

Utilizando a primeira versão da lista de características “boas” em uma pergunta sobre programação, foi planejado um estudo de caso simples em um contexto real, o qual funcionou como uma prova de conceito. O estudo de caso e a análise preliminar que será apresentada na Seção 4.2.3 foram conduzidos no GUJ.

4.2.2.1. Contexto

Criado em 2001, atualmente, o GUJ possui mais de 200 mil usuários e 320 mil perguntas compartilhadas, além de dois milhões de mensagens trocadas23. Para se traçar um comparativo com o Stack Overflow, na versão em português do site, somando perguntas, respostas e comentários, ainda não se alcançou a marca de 500 mil mensagens trocadas24.

Infelizmente, diferente dos Sites do Stack Exchange, o GUJ, não fornece uma API para realizar coleta de seu conteúdo. Assim, dado que esses estudos preliminares, em particular, consistiam em observar um volume bastante reduzido de perguntas, esse momento foi a melhor oportunidade para incluir, na pesquisa, o maior fórum sobre programação do Brasil. Além disto, o estudo preliminar também viabilizou traçar alguns paralelos entre os resultados obtidos com a análise dos dados coletados do GUJ com os que foram, posteriormente, coletados do Stack Overflow.

Na Figura 6, é apresentado um exemplo de uma pergunta publicada no GUJ.

23

http://www.guj.com.br/about

24

53

Figura 6: Exemplo de uma Pergunta publicada no GUJ.

Fonte: Próprio Autor.

Para facilitar sua descrição, a Figura 6 foi dividida em áreas demarcadas com letras, que destacam, respectivamente: (A) o título da pergunta; (B) as tags atribuídas à pergunta; (C) a identidade do autor da pergunta; (D) o tempo desde que a pergunta foi publicada; (E) a descrição da pergunta; (F) botões com funções sociais (curtir, compartilhar, adicionar aos favoritos e denunciar); (G) o botão para responder; (H) apresenta novamente tanto a identidade do autor da pergunta quanto o tempo desde que essa foi publicada; (I) apresenta quem foi o usuário que deu a última resposta e quanto tempo se passou desde então; (J) quantidade de respostas recebidas; (K) quantidade de vezes que a pergunta foi visualizada; (L) quantidade usuários que interagiu no thread; (M) quantidade de links que foram compartilhados no thread; e (N) a identidade de todos os usuários que interagiram e o número de participações.

A seguir, a metodologia do estudo de caso será detalhada. 4.2.2.2. Metodologia

Para o estudo de caso, foram elaboradas dez perguntas, das quais metade seguiam algumas das sugestões presentes no rascunho (as quais foram denominadas de “boas perguntas”) e a outra metade seguia o oposto de algumas sugestões (as quais foram denominadas “perguntas ruins”). Essas perguntas consistem nos exemplos selecionados que seriam observados. Estudos semelhantes foram apresentados em (JUNG e BOLAND, 2009) e (TEEVAN, MORRIS e PANOVICH, 2011).

Este e o próximo estudo foram a primeira oportunidade de averiguar, mesmo que preliminarmente, a veracidade de algumas crenças que os pesquisadores possuíam:

 – “Boas perguntas” (i.e., as perguntas com as características boas) receberão respostas;

 – “Perguntas ruins” (i.e., as perguntas que seguem o oposto das sugestões) não receberão respostas;

 – “Boas perguntas” receberão mais visualizações que “Perguntas ruins”;

 – “Boas perguntas” receberão mais respostas que “Perguntas ruins”;  – “Boas perguntas” receberão respostas mais rapidamente que

“Perguntas ruins”;

 – “Boas perguntas” receberão respostas com qualidade maior que “Perguntas ruins”;

As dez perguntas foram publicadas no GUJ, em dias alternados e horários diferentes, e foi registrado o que aconteceu com cada uma, durante as primeiras 48 horas. As que receberam respostas tiveram a utilidade das respostas avaliada, utilizando a escala elaborada pelos próprios pesquisadores, a qual é apresentada no Quadro 4.

Quadro 4: Detalhamento da Escala de Utilidade das Respostas.

Utilidade Significado

-2 O respondente agiu agressivamente com o autor da pergunta. -1 O respondente não entendeu a pergunta e pediu mais informações. +1 A resposta consistiu apenas em um link que o respondente informou que

continha a solução para o problema.

+2 O respondente ofereceu uma resposta parcial ou incompleta.

+3 O respondente ofereceu a resposta correta de uma forma completa e compreensível.

Fonte: Próprio Autor.

A escala detalhada no Quadro 4 foi concebida apenas após todo o estudo. Ela reflete não apenas a utilidade, mas os tipos de respostas recebidas pelas perguntas que foram compartilhadas. Basicamente, as respostas recebidas foram agrupadas por similaridade e ranqueadas de acordo com a utilidade dessas para o autor da pergunta. Os valores negativos revelam má recepção da pergunta por parte do respondente, enquanto que os positivos são respostas construtivas com alguma utilidade.

55

As perguntas foram selecionadas das turmas de Programação Orientada a Objetos, Padrões de Projeto e Estruturas de Dados do curso de Análise e Desenvolvimento de Sistemas (ADS) do Instituto Federal de Educação (IFPB) – Campus Monteiro. O nível de dificuldade das perguntas, julgado por outros alunos do referido curso, varia entre fácil, médio e difícil. O texto original de algumas perguntas foi ajustado para corrigir pequenos erros de português e excluir partes não relacionadas ao problema. Os detalhes sobre as perguntas que foram publicadas no GUJ e sobre o que aconteceu com essas podem ser obtidos consultando o Apêndice A deste documento.

4.2.2.3. Resultados

Na Figura 7, é apresentado um resumo do desempenho das 10 perguntas, 48 horas após a publicação de cada uma. A sigla significa “boa pergunta” e, consequentemente, significa “pergunta ruim”.

Figura 7: Resumo do Desempenho das Perguntas.

Fonte: Próprio Autor.

Observando a Figura 7, percebe-se que as perguntas não foram publicadas no mesmo horário. Isto se deve ao fato das perguntas no GUJ estarem, constantemente, sendo moderadas. Para a pergunta ser publicada no site, é necessário que um moderador a aprove. Infelizmente, isto atrapalhou um pouco o estudo planejado, pois as perguntas acabaram não sendo “abertas” no mesmo horário e algumas perguntas acabaram não sendo aceitas pela moderação, mesmo após múltiplas tentativas de submissão. A seguir, os resultados apresentados na Figura 7 serão debatidos.

4.2.2.4. Discussão

Esse estudo de caso aconteceu no início da pesquisa. Logo, qualquer conclusão assertiva seria bastante prematura, ainda mais com um estudo tão frágil. E, embora

tenham ocorridos problemas em relação à igualdade de condições em que cada pergunta foi compartilhada, os resultados observados se mostraram relevantes, principalmente, porque ajudaram a repudiar algumas das crenças iniciais dos pesquisadores, pela sua recorrência.

Em relação à crença dois ( – Perguntas ruins não receberão respostas), por exemplo, praticamente todas as perguntas postadas receberam algum tipo de feedback da comunidade, logo, muito provavelmente, esta afirmação é falsa. A crença quatro ( ) também aparenta ser falsa, visto que a quantidade de respostas foi praticamente a mesma em todos os casos. Isto, particularmente, faz bastante sentido, visto que, quando a resposta para o problema é oferecida, isto desmotiva outros a continuarem interagindo no thread. Contudo, certamente a credibilidade da crença cinco ( – Perguntas boas receberão respostas mais rapidamente que perguntas ruins) aumentou, após o estudo. É um consenso na literatura que a qualidade elevada da pergunta está relacionada à maior chance de obter respostas (ASADUZZAMAN et al., 2013; RAVI et al., 2014). Embora as chamadas “perguntas ruins” não tenham sido totalmente ignoradas pela comunidade, claramente essas levaram bem mais tempo para motivar alguém a respondê-las que as perguntas boas.

Em relação à crença seis ( - Boas perguntas receberão respostas com qualidade maior que Perguntas ruins), os resultados do estudo parecem indicar que essa também é verdadeira. Entretanto, acredita-se que a qualidade da resposta está mais relacionada ao “defeito” que está presente na pergunta, do que propriamente às qualidades dessas, visto que mesmo perguntas consideradas boas ( ) também receberam respostas solicitando esclarecimentos. O mesmo pode ser dito sobre a crença um ( – Boas perguntas serão respondidas).

A crença três ( – Boas perguntas receberão mais visualizações que perguntas ruins) também precisa ser investigada mais profundamente. Na ocasião do estudo, observou-se que todas as perguntas receberam números de visualizações próximos. Entretanto, ao analisar as perguntas novamente, quase dois anos depois, nota-se que o aumento no número de visualizações da maioria das perguntas seguiu uma taxa de crescimento próxima, exceto por duas das perguntas boas, e , que tiveram uma taxa de crescimento de 540% e 1175%, respectivamente Assim, embora nas primeiras 48 horas as perguntas tenham recebido números praticamente iguais de visualizações, com o tempo, algumas perguntas continuaram a atrair novas

57

visualizações, provavelmente por lidarem com problemas muito comuns ou por conter termos frequentemente buscados por outros usuários.

Estas observações são apenas indícios sobre a veracidade das crenças e, por esta razão outros estudos foram realizados, posteriormente, com o intuito de comprová-las ou desacreditá-las mais veementemente.