CAPÍTULO 3 - MAPEAMENTO SISTEMÁTICO SOBRE TECNOLOGIAS
4.5. Ameaças à Validade
A seguir algumas ameaças à validade deste MSL são descritas.
Estratégia de Pesquisa: pode ter ocorrido de que alguns artigos relevantes não tenham sido coletados, o que pode afetar os resultados deste MSL. Para mitigar essa ameaça, duas grandes bases de dados digitais da área de ES e IHC (ACM e Scopus) (FERNANDEZ et al., 2011a; PETERSEN et al., 2015) foram investigadas e por fim obteve-se 136 artigos com 203 tecnologias. Além disso, considerou-se artigos de controle, isto é, artigos relevantes que foram identificados no primeiro mapeamento sistemático que foi realizado, descrito no Capítulo 3 desta tese, que abordam sobre “Early Usability”. Depois de verificar os artigos retornados, todos os artigos de controle foram retornados neste MSL. Após a aplicação dessa medida, a probabilidade de ausência de artigos relevantes foi reduzida. Além disso, vale ressaltar que a
string de busca não cobriu o termo “User eXperience (UX)” pois não se desejava identificar
tecnologias de UX voltadas para aspectos hedônicos e sim para aspectos pragmáticos. Aspectos pragmáticos se referem às percepções de um produto com relação ao cumprimento da sua finalidade (HASSENZAHL et al., 2010). Estes aspectos se concentram na utilidade e usabilidade em relação às tarefas a serem realizadas na aplicação. Já os aspectos hedônicos focam mais nas necessidades e expectativas humanas que alguém tem para usar uma aplicação (HASSENZAHL
et al., 2010), isto é, como uma pessoa se sente ao usá-la. Portanto, neste MSL focou-se em
identificar tecnologias que abordam um dos aspectos pragmáticos, a usabilidade.
O processo de seleção depende, em grande parte, do conhecimento pessoal e da experiência dos pesquisadores que conduziram este MSL, o que poderia ter introduzido viés nos resultados da seleção. As seguintes estratégias foram utilizadas para mitigar esses vieses: (a) um conjunto de critérios de inclusão e exclusão para seleção de artigo foram fornecidos como base de um processo de seleção objetivo; (b) as possíveis interpretações e entendimentos diferentes dos critérios de seleção pelos pesquisadores foram considerados. Para isso, realizamos reuniões de discussão entre os pesquisadores antes da seleção formal para garantir que os pesquisadores
alcançaram um entendimento claro e consistente dos critérios de seleção; (c) dois pesquisadores realizaram a seleção de artigos na primeira e segunda etapas do processo de seleção e outro pesquisador resolveu quaisquer conflitos entre os resultados dos dois pesquisadores a fim de mitigar o viés pessoal. Além disso, os pesquisadores já haviam tido experiência na execução de outro MSL (SILVA et al., 2015), descrito no Capítulo 3 desta tese.
Os resultados da extração de dados podem ter sido negativamente afetados devido ao viés dos pesquisadores que extraíram os dados. Viés na extração de dados pode resultar em uma imprecisão dos itens de dados extraídos. Esse viés foi mitigado por três medidas: (a) uma lista de itens de dados extraídos foi especificada em detalhes para reduzir possíveis mal-entendidos sobre os itens de dados a serem extraídos; (b) discussões foram realizadas sobre os dados extraídos dos pesquisadores ao longo de todo o processo de extração de dados para melhorar a consistência e correção dos resultados da extração de dados; e (c) os resultados de todas as extrações de dados também foram verificados pelos pesquisadores para reduzir o viés pessoal.
4.6. Síntese do Capítulo
Este capítulo descreveu os resultados do 2° estudo secundário (Mapeamento Sistemático). Este estudo tem apresentado evidências sobre as tecnologias propostas que apoiam a usabilidade das aplicações nas fases iniciais do processo de desenvolvimento. Um total de 130 trabalhos de pesquisa foram selecionados neste MSL.
Os resultados obtidos neste MSL apresentam várias tecnologias que se concentram em apoiar os profissionais na melhoria da usabilidade das aplicações através de modelos de análise e projeto. Os resultados também mostram que há uma necessidade para a criação de novas tecnologias para apoiar o projeto de usabilidade. Com este tipo de tecnologia, a usabilidade pode ser considerada de forma proativa no processo de desenvolvimento de software, evitando retrabalho e esforço dos profissionais. Este MSL revelou evidências de lacunas de pesquisa para pesquisadores de ambas as áreas, tais como: (a) criação de novas tecnologias de usabilidade para a área de ES, (b) execução de mais estudos de viabilidade que apresentem a análise de forma qualitativa e, (c) proposta de mais tecnologias de simulação aplicadas nas fases de análise e projeto do processo de desenvolvimento.
Os resultados deste MSL têm implicações para os pesquisadores que estão planejando propor novas tecnologias de avaliação/projeto de usabilidade ou estão dispostos a realizar
novos estudos; e para os profissionais que estão trabalhando em empresas de desenvolvimento de software e gostariam de integrar tecnologias de usabilidade em seus processos de software de forma eficaz. Para os pesquisadores, seria interessante propor novas tecnologias de acordo com as lacunas de pesquisa identificadas acima, pois há necessidade de mais tecnologias de simulação e tecnologias de modelagem analítica aplicadas nas fases de análise e projeto do processo de desenvolvimento. Para os profissionais, é relevante saber em quais fases do processo de desenvolvimento as tecnologias são aplicadas. Através dos resultados deste MSL, pode-se ver que a maioria das tecnologias são usadas na fase de projeto usando protótipos para teste de usabilidade e inspeção. Além disso, foi identificado que poucos estudos observacionais foram realizados com as tecnologias propostas. Em relação aos métodos propostos, é relevante conduzir estudos de observação porque proporcionam resultados qualitativos mais precisos.