Dados extraídos da etapa de prototipação

Esta Seção apresenta a análise sobre os dados extraídos durante a execução da etapa de prototipação do estudo de caso, visando responder a segunda questão de pesquisa: “A documentação gerada pela estratégia de elicitação proposta causa algum

impacto no processo de prototipação?”.

Para responder a QP2, foram considerados dois fatores, sendo estes: I - Controle sobre a prototipação dos requisitos, II – A avaliação dos desenvolvedores em relação a documentação de requisitos recebida. No primeiro fator foi verificado o tempo despendido para a execução do estudo de caso, e também se a prototipação dos requisitos de acessibilidade está de acordo com o que foi solicitado. O segundo fator visa analisar o grau de suporte identificado pelos desenvolvedores em relação a documentação gerada na etapa de elicitação. A seguir são apresentadas as análises dos dados extraídos para responder a QP2.

6.4.2.1 Controle sobre a prototipação dos requisitos

Sobre a distribuição dos projetos, os participantes 1, 3 e 4 ficaram responsável pela prototipação do projeto 1, referente ao aplicativo para a criação de galeria de fotos interativa. Enquanto que o participante 2 ficou responsável pela prototipação do projeto 2, referente ao aplicativo para gestão de metas. Salientando que todos os participantes receberam documentações distintas (veja a tabela 17 na seção 6.2.2.1).

Devido a baixa disponibilidade dos participantes, o número de RFs solicitados em cada projeto foi revisado e diminuído. Para o projeto 1, dos 20 RFs definidos inicialmente, apenas 13 foram repassados aos participantes. Para o projeto 2, a quantidade de RFs solicitados caiu de 21 para 12. Essa revisão na quantidade de RFs, realizada pelo autor desta dissertação, ocorreu de maneira que permitisse criar casos de testes suficientes para a etapa III do estudo de caso.

Em relação a prototipação dos requisitos de Acessibilidade Web, as informações contidas no checklist foram analisadas. O objetivo dessa análise é

averiguar a quantidade de requisitos de acessibilidade implementados em relação a quantidade elicitada. A tabela 32 apresenta as informações sobre a prototipação dos projetos

Tabela 32 - Informações extraídas da etapa de prototipação

Participante Requisitos de Acessibilidade implementados (%) Tempo despendido

Projeto 1 Projeto 2

Participante 1 46,15 % - 15h e 18m

Participante 2 - 80% 16h e 20m

Participante 3 80% - 11h e 30m

Participante 4 16,66% - 9h e 35m

Conforme os dados apresentados na tabela 32 é possível perceber que nenhum dos participantes conseguiu disponibilizar por completo a prototipação dos requisitos de Acessibilidade Web contidos no checklist. O participante 1 entregou o aplicativo para criação de galerias de foto interativa com 46,15% dos requisitos de Acessibilidade Web prototipados. Os participantes 2 e 3 foram os que entregaram os projetos com maior número de requisitos prototipados, ambos prototiparam 80% dos requisitos elicitados para os seus respectivos projetos. Já o participante 4, apresentou o pior desempenho, tendo prototipado apenas 16% dos requisitos de Acessibilidade.

Entre as justificativas apresentadas, os participantes alegaram que a produtividade não foi maior devido a pouca disponibilidade de tempo. Os participantes 1 e 3 também citaram o pouco conhecimento em Acessibilidade Web como fator problemático, e que isso atrapalhou o andamento da prototipação dos projetos. Com exceção do participante 4, que recebeu unicamente o catálogo de RNFs como artefato, todos os outros participantes informaram que não encontraram dificuldade de seguir o checklist recebido, pelo contrário, todos elogiaram o controle que esse artefato promove. Alguns participantes chegaram a afirmar inclusive, que sem o checklist a produtividade teria sido menor ainda.

O participante 4, apesar de possuir alguma experiência em Acessibilidade, informou que sua baixa produtividade se deu também pela dificuldade de seguir somente o catálogo de RNFs como guia da prototipação. Esse participante afirmou que o catálogo é interessante e simples de entender, porém devido a escalabilidade desse artefato, uma visão alternativa seria interessante. Vale ressaltar que além do

catálogo o participante 4, assim como os outros participantes, recebeu material de apoio e indicações de links do site da W3C contendo exemplos de técnicas para implementar a Acesssibilidade web.

Com exceção da prototipação apresentada pelo participante 4, foi constatado que os requisitos que faltaram ser implementados pelos participantes 1, 2 e 3 se relacionam com nível de conformidade AAA dos critérios de sucesso e respectivas diretrizes do WCAG 2.0 (W3C-WCAG 2.0, 2013). Esse fato é importante, pois indica que os requisitos mais básicos, relacionados ao nível de conformidade A e AA foram implementados. Dessa forma, a acessibilidade dos projetos encontra-se em um nível aceitável, tendo em vista que vários requisitos relacionados ao nível de conformidade AAA se relacionam a fatores que podem ser opcionais na prototipação, e que sua falta não significa obrigatoriamente que o site ou aplicativo esteja inacessível. A prototipação dos requisitos de Acessibilidade Web implementados pelos participantes 1, 2 e 3 estava consistente com as especificações contidas no catálogo de RNFs e checklist.

Alguns requisitos implementados pelo participante 4 estavam parcialmente de acordo com as especificações dos artefatos, fato este que influenciou na decisão de considerá-los como não implementados. Por exemplo, o requisito “Disponibilidade de alternativas para evitar armadilhas ou bloqueio do teclado”, referente ao princípio de Operabilidade, foi considerado parcialmente prototipado. Isso por que em várias situações o uso do mouse foi obrigatório. Assim sendo, esse requisito não foi classificado como prototipado.

Na Seção 6.4.3 são apresentados os dados que fundamentam essa argumentação.

6.4.2.2 Avaliação dos implementadores em relação à documentação recebida

Para determinar como os participantes da etapa de prototipação avaliaram a documentação recebida, as respostas fornecidas através do questionário de pós- execução do estudo de caso foram analisadas.

O questionário de pós- execução do estudo de caso foi dividido em 4 partes, sendo estas: Parte 1 - Dados Pessoais, Parte 2 – Utilização dos artefatos produzidos,

Parte 3 - prototipação, Parte 4 – Sugestões, críticas e comentários. A primeira parte do questionário também se refere ao fornecimento de informações básicas do participante, como nome e idade. A segunda parte se relaciona com avaliação dos participantes em relação aos artefatos recebidos. Na terceira parte do questionário foi registrada a opinião de cada participante em relação a prototipação dos requisitos de Acessibilidade Web, no que se refere ao grau de dificuldade para implementá-los. Por fim, na quarta parte do questionário foram registradas informações mais subjetivas como sugestões, críticas e comentários diversos relacionados à documentação de elicitação recebida.

A seguir são apresentadas as análises sobre as respostas, fornecidas pelos participantes, para os questionamentos do questionário de pós- execução do estudo de caso. Os questionamentos de 1 a 5 foram respondidos considerando os seguintes critérios: péssimo, ruim, razoável, bom e excelente. Enquanto que os questionamentos de 6 a 9 foram respondidos considerando os seguintes critérios: Muito Difícil, Difícil, Razoável, Fácil e Muito Fácil. Caso desejasse, o participante poderia justificar a escolha de cada métrica informada.

A primeira pergunta verificou a opinião dos participantes em relação a clareza e consistência na especificação dos requisitos, com base na documentação recebida. Os participante 1 e 2 classificaram o nível da clareza e da consistência como “Bom” e “Excelente” respectivamente. Ressaltando que esses participantes receberam os artefatos produzidos pelos grupos 1 e 2, que utilizaram o processo e a ferramenta Omnes Web. Já os participantes 3 e 4 classificaram o nível da clareza e consistência como “Razoável”. O participante 3 recebeu os artefatos produzidos pelo grupo 3, e o participante 4 recebeu do grupo 4. Vale salientar que os participantes 1,2 e 3 receberam todos os artefatos, enquanto que o participante 4 recebeu somente o catálogo de RNFs.

A segunda pergunta verificou a opinião dos participantes sobre a objetividade das informações na especificação dos requisitos. Os participantes 1 e 2 classificaram o nível da objetividade como “Bom” e “Excelente” respectivamente. Enquanto que os participantes 3 e 4 classificaram como “Razoável”.

A terceira pergunta verificou como os participantes classificaram o suporte à prototipação dos requisitos de Acessibilidade Web oferecido pela documentação. Esse suporte está relacionado a descrição das operacionalizações de Acessibilidade Web, ou seja, se as operacionalizações fornecidas realmente fornecer suporte na implementação de seus respectivos requisitos. Os participantes 1, 3 e 4 classificaram esse suporte como “Bom”. Já o participante 2 classificou como “Excelente”.

A quarta pergunta extraiu a opinião dos participantes em relação ao tempo despendido a compreensão da documentação. Os participantes 1, 3 e 4 classificaram como “Bom” o tempo despendido para a compreender os artefatos fornecidos. Enquanto que o participante 2 classificou como “Excelente”.

A tabela 33 destaca a opinião dos participantes em relação a viabilidade de implementar os requisitos de Acessibilidade Web, com base na documentação recebida.

Tabela 33 - Respostas dos participantes da etapa de prototipação para o questionamento 5 do questionário de pós - execução do estudo de caso

Pergunta Participante Péssimo Ruim Razoável Bom Excelente

5 - Como você classifica a viabilidade de implementação dos requisitos, com base na

documentação?

Participante 1 X

Participante 2 X

Participante 3 X

Participante 4 X

Conforme apresenta a tabela 33, os participantes 1 e 4 classificaram o nível da viabilidade de prototipação dos requisitos, através da documentação fornecida, como “Bom”. Enquanto que os participantes 2 e 3 classificaram esse nível como “Excelente”.

A sexta pergunta verificou a opinião dos participantes sobre o grau de dificuldade encontrado na utilização de cada um dos artefatos da documentação recebida. Em relação ao catálogo de correlações, o participantes 1 classificou o nível de dificuldade para utilizá-lo como “Razoável”. Já os participante 2 e 3 classificaram o grau de dificuldade para a utilização do catálogo de correlações como “Muito Fácil e “Fácil” respectivamente. Em relação ao catálogo de RNFs os participantes 1 e 4 classificaram o grau de dificuldade na utilização deste artefato como “Razoável”. Já

os participantes 2 e 3 classificaram como “Muito Fácil” e “Fácil” respectivamente. No que se refere a utilização do checklists, os 3 participantes que o receberam classificaram sua utilização como “Muito Fácil”.

Na sétima pergunta foi questionado se os participantes haviam encontrado algum problema com a identificação dos requisitos, na documentação fornecida, todos responderam que não.

A terceira parte do questionário contém dois questionamentos que verificaram a opinião dos participantes em relação a dificuldade de prototipação e testes dos requisitos de Acessibilidade Web. Os participantes 1 e 2 classificaram como “Razoável” o grau de dificuldade para a implementação dos requisitos de Acessibilidade web. Enquanto que os participantes 3 e 4 classificaram como “Difícil”. Em relação ao grau de dificuldade para analisar e testar os requisitos de Acessibilidade Web, os participantes 1 e 4 classificaram como Razoável a execução dos testes. Enquanto que os participantes 2 e 3 classificaram como “Fácil”.

6.4.2.3 Conclusão para a QP2

Os resultados mais expressivos em relação à prototipação dos requisitos de Acessibilidade Web, foram alcançados pelos participantes 2 e 3. O participante 2 recebeu os artefatos produzidos pelo grupo 2 da etapa de elicitação, que utilizou o processo junto a ferramenta Omnes Web. Já o participante 3 recebeu os artefatos produzidos pelo grupo 3, que utilizou o processo manualmente. Ambos participantes receberam os seguintes 3 artefatos: I - Catálogo de RNFs, II – Catálogo de correlações, III – Checklist para controle da prototipação dos requisitos de acessibilidade.

Com exceção do participante 4, que recebeu somente o catálogo, todos os outros participantes enfatizaram que a documentação fornecida, principalmente o checklist, garantiu um maior controle de prototipação, e que sem ela tudo teria sido mais complicado. O participante 1, apesar de ter recebido a documentação contendo todos os artefatos, gerou uma prototipação abaixo do esperado, prototipando apenas 46% dos requisitos esperados. Além de justificar falta de tempo e conhecimento, esse participante também informou problemas de saúde e que isso o atrapalhou na produção.

Mesmo faltando alguns requisitos de acessibilidade, os projetos implementados pelos participantes 1, 2 e 3 demonstraram bom desempenho durante a etapa de análise da acessibilidade, os dados analisados são apresentados mais adiante, na seção 6.4.3. Essa situação ocorreu por que a maioria dos requisitos relacionados ao nível de conformidade A e AA do WCAG 2.0, contidos no checklist, foram implementados. No caso da prototipação do participante 2 todos foram prototipados.

Em relação à avaliação da documentação gerada na etapa de elicitação, fornecida através do questionário de pós-execução do estudo de caso, os participantes que receberam os artefatos produzidos pelos grupos 1, 2 e 3, avaliaram de maneira bastante satisfatória a documentação recebida. Como um dos destaques que comprovam essa satisfação, podemos citar a classificação recebida para o fator viabilidade de utilização da documentação gerada. Com exceção do participante 4, todos os outros participantes classificaram como “Excelente” a viabilidade de utilizar a documentação fornecida. O participante 4 relacionou sua falta de produtividade a ausência de mais artefatos que pudessem auxiliá-lo.

Por fim, de acordo com a análise dos dados, extraídos durante a etapa de prototipação, foi possível definir a resposta para questão de pesquisa: A documentação

gerada pela estratégia de elicitação proposta causa algum impacto no processo de prototipação?. Concluímos que sim, a documentação gerada causa impacto positivo na implementação. Pois mesmo com todas as adversidades, a documentação gerada forneceu suporte à prototipação dos requisitos de Acessibilidade Web, relacionados aos níveis de conformidade A e AA e alguns de nível AAA, garantindo um nível satisfatório de acessibilidade para alguns projetos (Seção 6.4.3.1). Isso de acordo com os próprios participantes, que afirmaram que a documentação promoveu, através dos catálogos baseados no NFR Framework e do checklist, um conhecimento maior sobre as alternativas a serem consideradas na prototipação da Acessibilidade Web. Outro fato que comprova essa situação, está relacionada a diferença da produção disponibilizada pelos participantes 1, 2 e 3, que receberam todos os artefatos, em relação a produção do participante 4, que recebeu somente o catálogo de RNFs.