Question´ario de P´os Experimento

Por fim, os participantes preencheram um question´ario de p´os experimento no modelo de aceita¸c˜ao tecnol´ogica (Technology Acceptance Model - TAM). Esse question´ario foi proposto por (DAVIS, 1989) e adaptado para essa pesquisa. As quest˜oes foram adaptadas de modo que fizesse sentido para esse contexto. O question´ario no modelo TAM tem como objetivo analisar a aceita¸c˜ao de certa tecnologia da informa¸c˜ao por um grupo de participantes (DIAS et al., 2011). Para esse estudo, o TAM foi utilizado com o intuito de medir a facilidade e a utilidade de uso das diretrizes de usabilidade de aplica¸c˜oes para e-learning juntamente a escrita das US. A Tabela 4.1 apresenta as quest˜oes utilizadas neste question´ario.

Tabela 4.1: Perguntas utilizadas no question´ario TAM

Dimens˜ao Pergunta

Facilidade

F1 Foi f´acil utilizar as diretrizes para elaborar os artefatos. F2 Consegui utilizar as diretrizes para elaborar os artefatos da

forma como eu queria.

F3 As orienta¸c˜oes do desenvolvimento dos artefatos auxiliados pelas diretrizes s˜ao f´aceis de entender.

F4 Eu entendia o que acontecia durante o desenvolvimento dos artefatos auxiliado pelas diretrizes.

F5 Foi f´acil ganhar habilidade no desenvolvimento dos artefatos com o auxilio das diretrizes.

F6 O uso das diretrizes permitiu flexibilidade durante a constru¸c˜ao dos artefatos.

Utilidade

U1

O desenvolvimento dos artefatos com o aux´ılio das diretrizes permitiu que eu descrevesse mais rapidamente a

aplica¸c˜ao proposta. U2

O desenvolvimento dos artefatos com o aux´ılio das diretrizes permitiu melhorar minha habilidade quanto a

descri¸c˜ao da aplica¸c˜ao proposta. U3

O desenvolvimento dos artefatos com o aux´ılio das diretrizes melhora minha eficiˆencia quanto a descri¸c˜ao da

aplica¸c˜ao proposta. U4

O desenvolvimento dos artefatos com o aux´ılio das diretrizes deixa mais eficaz a descri¸c˜ao da aplica¸c˜ao

proposta.

U5 O desenvolvimento dos artefatos com o aux´ılio das diretrizes facilitou descrever a aplica¸c˜ao proposta. U6 Considero o desenvolvimento dos artefatos com o auxilio

das diretrizes ´util para descrever a aplica¸c˜ao proposta.

4.3

Execu¸c˜ao

Participaram do presente estudo 19 estudantes, sendo 7 pertencentes a Universidade Federal de S˜ao Carlos, campus de Sorocaba, curso de Ciˆencia da Computa¸c˜ao e 12 participantes do Instituto Nacional de Pesquisas Espaciais (Inpe) - campus S˜ao Jos´e dos Campos, entre eles: 4 alunos de doutorado, 8 alunos de mestrado e 7 alunos de gradua¸c˜ao. Todos participaram de forma volunt´aria e assinaram o termo de consentimento livre e esclarecido disposto no Apˆendice B. Os participantes tinham experiˆencia em desenvolvimento de software, m´etodos ´ageis e eram conhecedores das t´ecnicas/m´etodos de IHC. Os alunos de gradua¸c˜ao encontravam-se em est´agio avan¸cado do curso, j´a realizando est´agio em empresas, sendo assim, possu´ıam experiˆencia em desenvolvimento de software.

A Figura 4.1 apresenta as etapas conduzidas na execu¸c˜ao do estudo, contendo o ponto de in´ıcio at´e o ponto final do estudo (da esquerda para a direita). O estudo foi conduzido em um laborat´orio de inform´atica com acomoda¸c˜ao a todos os participantes, teve a dura¸c˜ao de quatro horas e foi realizado em um dia apenas. A condu¸c˜ao contou com a participa¸c˜ao de dois mestrandos especialistas em IHC e ES.

Figura 4.1: Procedimento de execu¸c˜ao do estudo

Primeiramente, os participantes preencheram o question´ario de caracteriza¸c˜ao de forma in- dividual. A seguir, foi conduzido o treinamento dos participantes. Esta etapa consistiu primeiro da explana¸c˜ao dos principais temas envolvidos no estudo: US, M´etodos ´Ageis, Usabilidade, UX, aplica¸c˜oes para e-learning e a gram´atica UsaUS e-learning. Ap´os o treinamento, os participantes tiveram um intervalo de modo a evitar a fadiga.

Na terceira etapa, os participantes receberam o material de apoio (artefatos de IHC e ES, template para elabora¸c˜ao das US, diretrizes de usabilidade) com o tema Museu Virtual de Aprendizagem que foi apresentado na subse¸c˜ao 4.2.2. Os pesquisadores solicitaram que os par- ticipantes fizessem a leitura do material de apoio. Apesar da entrega destes artefatos de apoio, foi instru´ıdo aos participantes que eles poderiam indicar que utilizariam alguma t´ecnica/m´etodo diferente das dispon´ıveis como artefato de apoio, reportando qual seria essa t´ecnica. Logo ap´os, foi conduzido o estudo. Os participantes foram instru´ıdos a criar quantas US achassem perti- nente, por´em cada US teria que ser obrigatoriamente acompanhada de pelo menos um AC. Por fim, foi preenchido o question´ario de p´os experimento no modelo TAM.

4.4

An´alise

A an´alise dos dados contou com a participa¸c˜ao de dois pesquisadores mestrandos em Ciˆencia da Computa¸c˜ao e mais dois professores doutores, todos pesquisadores das ´areas de IHC e ES.

A Figura 4.2 apresenta um exemplo de uma UsaUS e-learning e um exemplo de um AC, am- bos elaborados por um participante do estudo. Ao todo foram geradas 33 US e seus respectivos AC.

Todas as US e seus respectivos AC foram analisados pelos dois mestrandos da ´area de IHC de forma redundante. Primeiro, cada pesquisador mestrando analisou as US e AC para verificar a corretude e qualidade da escrita. Numa segunda etapa, os pesquisadores discutiram suas descobertas para avaliar os resultados coletados. Preocupando-se em analisar o uso dos artefatos de IHC, o uso das diretrizes de usabilidade e as respostas dos question´arios aplicados. Uma terceira etapa de consolida¸c˜ao foi realizada com os dois professores doutores, que refinaram os resultados encontrados.

A respeito da qualidade da escrita das US, foi utilizado o framework de Lucassen et al. (LUCASSEN et al., 2015). Essa an´alise ocorreu da mesma maneira como no EEI (se¸c˜ao 3.5).

Figura 4.2: US descrita por um participante - UsaUS e-learning

Os resultados foram divididos em Totalmente Atendido (TA), Parcialmente Atendido (PA) e N˜ao Atendido (NA).

O gr´afico apresentado na Figura 4.3 traz a an´alise da qualidade das 33 US descritas no presente estudo pelos crit´erios do framework de Lucassen et al. (LUCASSEN et al., 2015).

´

E poss´ıvel observar que os crit´erios mais impactados s˜ao: Independent, Explit Dependencies, Unambiguous e Conceptually Sound. A partir desse resultado, percebe-se que os pontos que apresentaram alguns problemas s˜ao em rela¸c˜ao as dimens˜oes Semˆantica e Pragm´atica. A parte Sint´atica n˜ao apresentou problemas de qualidade, esse fato demonstra que os participantes utilizaram a estrutura de texto UsaUS e-learning de forma correta.

De uma maneira geral, as US apresentaram uma boa qualidade. Os problemas encontrados foram em rela¸c˜ao ao uso de elementos subjetivos. Alguns participantes descreveram na US fatores subjetivos que n˜ao se pode medir em uma aplica¸c˜ao para e-learning. O crit´erio com maior problemas de qualidade foi o Unambiguous. Como exemplo, a US “Como uma <estudante> eu quero/preciso <aprender cada vez mais> para ter efic´acia/eficiˆencia, <entrar em uma boa universidade>. Avalio que atingi meu objetivo/tarefa quando <me sinto motivada a estudar e consigo entender o assunto>”. Essa US apresenta como feedback um fato que n˜ao pode ser medido na aplica¸c˜ao para e-learning, sendo esse subjetivo, levando a ambiguidade e trazendo uma dependˆencia de fatores externos. Apesar disso, as US est˜ao aptas para serem utilizadas no presente estudo.

Figura 4.3: Qualidade das US por crit´erios do framework

4.5

Explorando os Resultados

Inicialmente s˜ao apresentados os resultados numa vis˜ao geral sobre o perfil dos participantes. Em seguida, os resultados s˜ao apresentados como forma de resposta `as RQs delineadas.

Analisando o question´ario de caracteriza¸c˜ao, constatou-se que a m´edia de idade dos parti- cipantes era de 28 anos e que possu´ıam uma m´edia de seis anos de experiˆencia em desenvolvi- mento. Tamb´em foi poss´ıvel resgatar o n´ıvel de conhecimento dos participantes em rela¸c˜ao `as t´ecnicas/m´etodos de IHC (Tabela 4.2) e ES (Tabela 4.3) medidos na escala Likert de 6 pontos descrita na se¸c˜ao 4.2.

Tabela 4.2: Conhecimento dos participantes - T´ecnicas e M´etodos de IHC

T´ecnicas IHC (i) (ii) (iii) (iv) (v) (vi)

Avalia¸c˜ao de Comunicabilidade 0 0 1 2 14 2

Avalia¸c˜ao de Observa¸c˜ao 2 0 3 2 11 1

Avalia¸c˜ao Heur´ıstica de Nielsen 2 0 4 3 8 2

Card-Sorting 0 0 4 4 10 1

Grupo de Foco 0 1 1 3 11 3

Persona 1 1 4 2 11 0

Prototipa¸c˜ao 2 0 7 4 5 1

Question´arios e Entrevistas 2 1 6 2 8 0

Storyboard 0 0 7 2 10 0

Teste de Usabilidade 2 0 6 5 6 0

e Teste de usabilidade s˜ao as t´ecnicas de IHC mais conhecidas pelos participantes. J´a Grupo de Foco e Avalia¸c˜ao de Comunicabilidade s˜ao as t´ecnicas que os participantes possuem menos conhecimento. Tamb´em foi poss´ıvel enxergar que a maioria das t´ecnicas eram pouco conhecidas pelos participantes (v). Ao observar a Tabela 4.3 pode-se perceber que a t´ecnica de ES mais conhecida pelos participantes ´e o Processo Tradicional de Software e a menos conhecida ´e User Stories. De uma maneira geral, percebe-se que a maioria dos participantes tinham um bom conhecimento das t´ecnicas de ES. Tais resultados refor¸cam a vis˜ao de que os participantes atuam intensamente na codifica¸c˜ao do software e que utilizam m´etodos ´ageis. 9 dos 19 participantes responderam que utilizavam as t´ecnicas de IHC raramente em seus projetos de desenvolvimento de software.

Tabela 4.3: Conhecimento dos participantes - T´ecnicas de ES

T´ecnicas ES (i) (ii) (iii) (iv) (v) (vi)

Scrum 6 0 6 3 4 0

User Stories 2 1 8 4 4 0

Engenharia de Requisitos 6 2 4 6 1 0

Processo Tradicional de Software 6 0 7 3 2 1

Testes de Unidade 5 1 5 3 5 0

Fase de C´odigo 6 0 3 4 4 2

Os 19 participantes escreveram 33 US com seus respectivos AC. Sendo 12 escritas por alunos de doutorado, 11 por alunos de mestrado e 7 por alunos de gradua¸c˜ao. A seguir s˜ao apresentados os resultados para atingir o objetivo do estudo e s˜ao respondidas as RQ delineadas.