Avaliação de um Protótipo do GeoAR - Livro Interativo com Realidade Aumentada
para o Ensino de Geometria
Fernanda Maria Villela Reis
ICE / DMC / UNIFEI - Universidade Federal de Itajubá Itajubá, MG, Brasil
fernandamaria.vreis@gmail.com
Tereza Gonçalves Kirner
ICE / DMC / UNIFEI - Universidade Federal de Itajubá Itajubá, MG, Brasil
tgkirner@gmail.com
Abstract—Este trabalho apresenta a avaliação de um protótipo do Livro Interativo com Realidade Aumentada para Ensino de Geometria (GeoAR), criado para apoiar o ensino de figuras geométricas, de acordo com conteúdos programáticos das escolas fundamentais. A avaliação realizada constitui uma das etapas do processo de desenvolvimento de software, proposto para dirigir a criação de sistemas de realidade aumentada. Além de possibilitar o refinamento e melhoria do protótipo avaliado, o processo de avaliação mostrado pretende contribuir para avaliações de aplicações baseadas em realidade aumentada, objetivando a geração de sistemas de boa qualidade, que utilizem essa tecnologia.
Avaliação de sistemas de realidade aumentada; software educacional; qualidade de software.
I. INTRODUÇÃO
A Realidade Aumentada (RA) caracteriza-se por incluir objetos virtuais (imagens, textos, animações, etc.) ao mundo real [10], permitindo, assim, que os usuários visualizem e explorem cenários reais enriquecidos e atraentes, dependendo da qualidade do projeto desenvolvido.
As aplicações de RA vêm se disseminando e tornando-se cada vez mais disponíveis, não apenas em plataformas de alto custo (com óculos, projeções, capacetes, etc.), como também em computadores pessoais e dispositivos móveis.
Grande parte destas aplicações ocorre em áreas como entretenimento e marketing, mas o uso de sistemas de RA na educação vem crescendo significativamente [6]. O
Horizon Reports, que aponta anualmente os temas de maior
impacto para a educação, previu, no seu relatório de 2011, que o uso da RA em educação alcançará ampla divulgação dentro dos próximos 2 a 3 anos [5].
No entanto, para que a RA tenha sucesso no ambiente educacional, é necessário investir na qualidade das aplicações desenvolvidas. Esse investimento requer a adoção de um processo de desenvolvimento que atenda às peculiaridades dos sistemas com RA, que inclua, entre suas etapas, avaliações e melhorias dos protótipos que vão sendo produzidos.
A avaliação de um sistema de RA deve, certamente, envolver os seus potenciais usuários, que, no caso de sistemas educacionais, são principalmente alunos e professores. No entanto, a avaliação dentro do ambiente específico da aplicação (escolas) apresenta custos e riscos, que devem ser minimizados. Neste sentido, o presente
trabalho propõe a realização de dois tipos de avaliação dos protótipos de sistemas de RA: o primeiro, realizado com desenvolvedores de software, com o fim de se obter subsídios para melhorar aspectos específicos do atual protótipo, gerando uma versão otimizada do sistema em desenvolvimento; o segundo realizado diretamente com os usuários finais (alunos e professores) no ambiente escolar.
Este trabalho apresenta a avaliação de um protótipo de um sistema com realidade aumentada, realizada do ponto de vista de desenvolvedores de software. O sistema avaliado é um Livro Interativo com RA para Ensino de Geometria (GeoAR), construído para apoiar o ensino e aprendizagem de figuras geométricas, de acordo com conteúdos programáticos das escolas fundamentais [11]. A avaliação realizada constitui uma das etapas do processo de desenvolvimento de software proposto para dirigir a criação de sistemas de RA. Além de proporcionar o refinamento do protótipo avaliado, o processo de avaliação pretende contribuir para avaliações de aplicações baseadas em RA, objetivando a geração de sistemas de boa qualidade, que utilizem essa tecnologia.
A seção II discute trabalhos que tratam da avaliação de sistemas de RA, a seção III descreve a avaliação do livro GeoAR, e, por fim, a seção IV contém as conclusões.
II. TRABALHOS RELACIONADOS
A área de RA vem ganhando força e conta com uma quantidade significativa de aplicações, em diferentes áreas. No entanto, a maioria dos trabalhos publicados enfocam aspectos de implementação e de uso da tecnologia. O número de trabalhos que trata da avaliação da qualidade dos protótipos e produtos desenvolvidos ainda é pequeno [4]. Adicionalmente, se, entre esses trabalhos sobre avaliação de sistemas de RA, forem considerados apenas aqueles que enfocam a qualidade de requisitos direcionados ao usuário final (que incluem funcionalidade e usabilidade), a quantidade de trabalhos divulgados é bastante reduzida.
Para o presente trabalho, foi importante identificar os estudos relevantes sobre avaliação de sistemas de RA, que apresentassem abordagens e técnicas de realização dessas avaliações e que destacassem atributos e características de qualidade a serem avaliados.
Neste sentido, um trabalho importante é o apresentado em [4], que mostra os resultados de um levantamento feito na literatura, sobre trabalhos contendo abordagens de avaliação de sistemas de RA. Os 165 artigos, publicados
entre 1992 e 2007, foram classificados sob dois enfoques: de acordo com o tipo de avaliação usado e de acordo com a abordagem ou método de avaliação adotado. O estudo identificou 41 publicações que tratam de questões relativas à usabilidade de sistemas, incluindo 13 estudos formais e 28 estudos informais. Quanto às técnicas empregadas, os autores identificaram o uso de questionários, entrevistas, inspeções e observações dos usuários. Como atributos de qualidade importantes para os sistemas de RA, considerados nas avaliações consideradas, destacam-se os trabalhos discutidos em [2], [14] e [3].
O estudo apresentado em [2] focaliza características relacionadas à usabilidade, propostas pelo modelo ISO do produto de software [7], como: facilidade de usar o sistema e de ler as informações, facilidade de entender o sistema e seu conteúdo, facilidade de operar o sistema, rapidez de funcionamento do sistema, atratividade do sistema e satisfação do usuário.
A avaliação discutida em [14] considera aspectos referentes à usabilidade (por exemplo, facilidade de uso, necessidade de pouco tempo para aprender a operar o sistema, fácil memorização de conceitos, etc.) e também a outros requisitos de qualidade, como eficiência (o sistema provê soluções rápidas) e funcionalidade (o sistema oferece uma oportunidade de parar uma tarefa e continuá-la depois, a partir do ponto onde parou).
Em [3], são considerados aspectos de manipulação de objetos virtuais (formas geométricas simples) em um ambiente de RA, incluindo operações de seleção, rotação, translação e escala.
Um estudo detalhado, incluindo três diferentes avaliações de protótipos do sistema colaborativo em RA Construct3D (para o ensino de geometria), foi discutido em [8].
A primeira avaliação do Construct3D seguiu uma abordagem informal e compreendeu a observação direta de 14 estudantes, enquanto eles utilizavam o sistema. Metade dos participantes sentiu que trabalhar com o Construct3D pela primeira vez foi mais fácil do que a primeira experiência que tiveram com um pacote CAD.
Após melhorias implementadas no sistema, foi conduzida uma segunda avaliação, com 15 estudantes e baseada em entrevistas apoiadas por um questionário com 6 perguntas sobre aspectos de usabilidade: utilidade do sistema para a realização da tarefa; auto-descrição; controlabilidade; conformidade com as expectativas dos usuários; tolerância a erros; e utilidade para a aprendizagem.
Novas melhorias foram incorporadas ao protótipo, após o que ocorreu a terceira avaliação, com 47 estudantes, que avaliaram o sistema por meio de um questionário contendo 28 questões relacionadas a características de usabilidade, como: controlabilidade, apreensibilidade, utilidade, satisfação, feedback, menu/interface, aspectos técnicos e informações gerais.
Como o Construct3D requer o uso de capacete (HMD), após as três avaliações, os autores avaliaram também aspectos negativos que poderiam ser provocados pelo dispositivo, como: cansaço e exaustão; desorientação;
náusea, dor de cabeça; problemas de visão, tontura e vertigem; etc.
III. AVALIAÇÃO DO LIVRO GEOAR
A. O Livro GeoAR
O objeto da avaliação apresentada é o protótipo inicial do Livro Interativo com Realidade Aumentada para Ensino de Geometria (GeoAR), construído para apoiar o ensino e aprendizagem de figuras geométricas, de acordo com conteúdos programáticos das escolas fundamentais.
A Figura 1 contém visões do GeoAR em funcionamento, mostrando um usuário explorando páginas referentes ao triângulo e ao retângulo.
Figura 1. Estudo de Formas Geométricas no GeoAR
O processo de avaliação do GeoAR será descrito a seguir.
B. Definição e Execução da Avaliação
A etapa de Avaliação com Desenvolvedores consta do processo de desenvolvimento de sistemas de RA, proposto como parte do projeto em que se insere o presente trabalho [9]. A Figura 2 ilustra esse processo.
A avaliação do protótipo inicial do GeoAR compreendeu uma pesquisa empírica qualitativa [15], que buscou responder à seguinte pergunta: “O que poderia ou
deveria ser modificado ou complementado na construção de uma nova versão do Livro GeoAR, para se melhorar a sua usabilidade e funcionalidade?”
Para responder à pergunta proposta, foi realizada uma avaliação com especialistas em desenvolvimento de software. Como exigência, esses especialistas deveriam possuir experiência no desenvolvimento de aplicações de software, incluindo interfaces gráficas, recursos de
multimídia, realidade virtual e RA. Além disso, deveriam ter conhecimento sobre abordagens de desenvolvimento de software e modelos de qualidade de software.
Como especialistas em desenvolvimento de software, seguindo as exigências previstas, foram considerados 16 alunos do 4º e do 5º ano do curso de Ciência da Computação da Universidade Federal de Itajubá, que já haviam cursado disciplinas de Engenharia e de Qualidade de Software e possuíam boa experiência no desenvolvimento de software, incluindo aplicações multimídia. Todos tinham noção do que é RA e vários deles haviam cursado uma disciplina específica na área, na qual tiveram a oportunidade de implementar exemplos de sistemas com essa tecnologia.
Figura 2. Processo de Desenvolvimento do Livro GoeAR
C. Coleta dos Dados
Inicialmente, foi feita uma breve apresentação sobre conceitos de RA, o projeto e o funcionamento do GeoAR. Em seguida, cada participante utilizou a aplicação durante aproximadamente 10 minutos, sendo instruído a prestar atenção a aspectos importantes para a qualidade de um sistema de RA, como: design; marcadores; recursos de multimídia; funcionalidade e usabilidade do sistema; etc. Dos 16 avaliadores, seis utilizaram o sistema GeoAR com o livro impresso e os outros 10 usaram marcadores soltos.
Após cumprirem a tarefa de explorar o uso do sistema, foi solicitado que cada avaliador escrevesse um texto, explicitando os pontos positivos e negativos identificados e indicando sugestões de melhoria do protótipo.
A Tabela 1 contém o roteiro disponibilizado aos participantes para guiar a avaliação do sistema.
TABELA 1.ROTEIRO PARA AVALIAÇÃO DO LIVRO GEOAR
Aspectos do Livro GeoAR a Serem Avaliados
1 Destaque e comente os pontos positivos, vantagens e facilidades que você identificou ao usar o GEO-AR.
2 Destaque e comente os pontos negativos, desvantagens e dificuldades que você identificou ao usar o GEO-AR.
3 Destaque e comente os pontos relevantes sobre o livro impresso e seu uso conjugado com os recursos de Realidade Aumentada.
4 Destaque e comente os pontos positivos, vantagens e facilidades que você identificou no questionário sobre geometria contido no GEO-AR.
5 Destaque e comente os pontos negativos, desvantagens e dificuldades que você identificou no questionário sobre geometria contido no GEO-AR.
6 Sugira modificações e extensões (usando Realidade Aumentada e Multimídia) que, a seu ver, poderiam ser incorporadas ao GeoAR, a fim de aumentar a funcionalidade e usabilidade. Todos os participantes prepararam o texto contendo a avaliação do sistema GeoAR, usando um editor de texto. Os 16 textos foram analisados, conforme será descrito a seguir.
D. Análise dos Dados
A análise dos dados seguiu a técnica de “análise de conteúdo categorial” dos textos preparados pelos avaliadores, a partir de categorias comuns às respostas dos sujeitos. Este tipo de análise considera a totalidade de um „texto‟, passando-o pelo crivo da classificação, segundo a freqüência de presença (ou de ausência) de itens de sentido [1]. Essa técnica tem sido adotada, com sucesso, em pesquisas empíricas qualitativas [13].
As categorias temáticas definidas para analisar as explanações dos participantes da avaliação do protótipo do GeoAR são destacadas na Tabela 2.
TABELA 2.CATEGORIAS TEMÁTICAS PARA ANÁLISE DOS DADOS
N Categoria Descrição
1 Design Projeto gráfico do sistema e cores utilizadas nas figuras geométricas e nos textos explicativos.
2 Marcadores Aspectos relacionados ao design, manipulação e posicionamento sob a webcam dos marcadores.
3 Funcionalidade Processo de utilização da aplicação, incluindo as facilidades/dificuldades em aprender a usar e as interações em geral.
4 Textos e
imagens
Tamanhos, cores e clareza das imagens e fontes de texto.
5 Som Clareza das narrações explicativas e volume do som.
6 Iluminação Iluminação do ambiente e ajustes necessários na posição dos marcadores, para o bom funcionamento do sistema. 7 Animações Movimentação das figuras geométricas. 8 Entendimento
dos conceitos
Entendimento da explicação de cada figura geométrica, em relação aos lados, ângulos, perímetro, área e volume, sólidos, etc. 9 Aspectos
subjetivos
Satisfação, motivação e interesse despertado para o tema.
10 Livro impresso Aspectos relativos ao livro impresso, incluindo facilidade de manuseio, textos, cores, imagens, etc.
11 Outros aspectos Outros aspectos de funcionalidade e usabilidade considerados importantes. Serão apresentados, a seguir, os resultados identificados a partir da análise dos dados da avaliação, considerando-se as 11 categorias temáticas identificadas.
C1) Design
Pontos positivos. Dos 16 avaliadores do GeoAR, sete elogiaram o design do sistema, afirmando possuir boa combinação de cores e uma interface atrativa. A interface intuitiva do questionário também foi um ponto positivo relatado por três avaliadores. O fato de o questionário possuir botões com cores diferentes para cada ação facilitou a identificação deles, como observou um dos participantes.
Pontos negativos. Um usuário relatou que o sistema possuía cores com pouco destaque, considerando que se trata de uma aplicação para crianças. O espaço pequeno para exibição das perguntas e respostas no questionário foi observado por um participante. Um avaliador relatou que os botões de ativação eram muito grandes, enquanto que dois avaliadores disseram que o fato de os botões de ativação ficarem encobertos pelas figuras compromete a usabilidade do sistema.
Sugestões: (a) reduzir o tamanho dos botões de ativação e torná-los visíveis; (b) utilizar cores mais chamativas, uma vez que a aplicação é destinada à crianças; (c) aumentar o espaço reservado para perguntas e respostas do questionário.
C2) Marcadores
Pontos positivos. Um participante identificou um ponto positivo no uso de marcadores, que foi o fato de proporcionar um modo diferente e interessante de se avançar nas animações do conteúdo teórico.
Pontos negativos. O uso dos marcadores de RA enfrentou dificuldades. Do total de usuários que avaliaram o sistema, 14 afirmaram ter tido algum tipo de dificuldade no manuseio ou no posicionamento dos marcadores da aplicação. Em relação ao artefato do questionário e seus marcadores, 8 indivíduos também relataram seu manuseio como ponto negativo. Dois avaliadores observaram que os marcadores possuíam tamanhos muito grandes. A borda pequena dos marcadores também foi relatada como ponto negativo por um indivíduo, que afirmou que isso dificultava o reconhecimento do padrão pela webcam, devido ao fato de que muitas vezes sua mão obstruía o mesmo.
Sugestões: (a) Construir padrões para os marcadores que sejam conhecidos e facilmente identificados; (b) reduzir o tamanho dos marcadores; (c) utilizar apenas um marcador com as duas funções, de „Inserção‟ e „Controle‟, usando frente e verso; (d) utilizar o marcador „Controle‟ com ponteiro também na utilização do livro; (e) utilizar apenas um marcador para cada figura geométrica, dispensando os marcadores „Inserção‟ e „Controle‟.
C3) Funcionalidade
Pontos positivos. A maior vantagem em relação às funcionalidades do GeoAR, que foi observada por 10 dos 16 avaliadores, foi a ótima capacidade de interação do sistema com o usuário, o que torna o aprendizado mais dinâmico. Quatro participantes também relataram a facilidade de uso do sistema e o bom tempo de resposta, quando os marcadores são bem posicionados, conforme foi observado por dois indivíduos. O fato de se utilizar apenas o marcador „Controle‟ (em formato de ponteiro) para marcação das respostas no questionário, foi uma vantagem identificada por um dos usuários.
Pontos negativos. Os eventos não-sincronizados do questionário foi um ponto negativo identificado por cinco participantes. Eles afirmaram que era possível visualizar uma resposta ou animação antes da pergunta, marcar várias alternativas, e caso se avançasse a questão sem intenção, era impossível desfazer a ação. A dificuldade em selecionar os botões do questionário também foi identificada como ponto negativo por 9 indivíduos, uma vez que o marcador „Controle‟ obstruía o artefato ou selecionava outras opções que não as desejadas pelo usuário. Outra desvantagem, também relacionada ao marcador „Controle‟ e observada por um indivíduo, foi o fato de se ter que retirá-lo da visão da webcam para utilizá-lo novamente.
Sugestões: (a) permitir que o usuário responda às perguntas do questionário utilizando o teclado; (b) exigir que o usuário confirme sua resposta ao questionário, para evitar que ele marque outra alternativa por engano; (c) melhorar a capacidade do sistema de reconhecer os marcadores.
C4) Textos e Imagens
Pontos positivos. Foi observado, por 10 dos 16 participantes, que as imagens contidas no GeoAR, principalmente as tridimensionais, ajudam a estimular o aprendizado. Foi destacado que esta é uma vantagem do sistema em relação aos livros didáticos tradicionais, que inviabilizam a visualização de imagens em três dimensões. O texto claro, legível e de bom tamanho, e as imagens coloridas e bem apresentadas foram observados por quatro usuários.
Pontos negativos. Um indivíduo relatou que a fonte dos textos explicativos era pequena. Um participante observou que alguns textos se apresentaram mal posicionados, e outros dois relataram que as imagens possuíam dimensões pequenas.
Sugestões: (a) aumentar o tamanho da fonte do texto; (b) aumentar o tamanho das imagens.
C5) Som
Pontos positivos. Foi observado, por cinco dos 16 participantes, que os efeitos sonoros eram precisos e de boa qualidade. Três indivíduos afirmaram que as narrações explicativas tornaram a utilização do software menos monótona e serviram como guia.
Pontos negativos. Os efeitos sonoros do sistema GeoAR não apresentaram nenhuma desvantagem para os avaliadores.
Sugestões: Não foi relatada nenhuma sugestão. C6) Iluminação
Pontos positivos. Não foram observados pontos positivos para a iluminação.
Pontos negativos. A falta de iluminação no ambiente foi observada por cinco dos 16 avaliadores. Para eles, tal fato demonstrou a importância da iluminação para o bom funcionamento do sistema, ao passo que a falta dela comprometeu o reconhecimento dos marcadores.
Sugestão: (a) permitir que o sistema funcione bem em ambientes mal-iluminados.
C7) Animações
Pontos positivos. Os objetos animados foram identificados como vantagens da aplicação GeoAR em relação aos livros didáticos tradicionais. Cinco dos 16 participantes afirmaram que as animações estimulam o aprendizado e quatro usuários relataram que elas ajudam a manter a atenção do aluno. Dois indivíduos observaram que as animações dinamizam e alegram o ambiente do sistema.
Pontos negativos. Dois participantes relataram, como ponto negativo, o fato de as figuras geométricas animadas possuírem todas as faces coloridas de uma só cor, o que comprometeu a visualização. Um usuário observou que os objetos animados possuíam tamanhos pequenos.
Sugestões: (a) aumentar o tamanho dos objetos animados; (b) colorir cada face do sólido animado de uma cor, para facilitar a visualização.
C8) Entendimento dos Conceitos
Pontos positivos. A principal contribuição do GeoAR no entendimento dos conceitos básicos de geometria foi tornar mais fácil o aprendizado em relação às figuras tridimensionais, fato observado por oito dos 16 avaliadores. Outro ponto positivo do GeoAR foi possuir conteúdo claro e objetivo, como relataram cinco indivíduos. Em relação ao questionário de geometria, cinco usuários afirmaram que ele é educativo, ideal para crianças e que ajuda na fixação do conteúdo apresentado. Cinco indivíduos também observaram que o modo de funcionamento do questionário é de fácil entendimento.
Pontos negativos. Em relação ao questionário do GeoAR, um usuário afirmou que a quantidade de alternativas para cada pergunta (três) era pequena, o que reduziu o nível de dificuldade.
Sugestões: Não foi relatada nenhuma sugestão.
C9) Aspectos subjetivos
Pontos positivos. Três dos 16 avaliadores afirmaram que o uso do GeoAR no ensino de geometria torna a tarefa mais prática. Ser um método inovador e que gera mais interesse no aprendizado, também foi uma vantagem identificada por dois usuários. Um indivíduo apontou, como ponto positivo, o estudo de diversas figuras geométricas e não somente as mais básicas. A mesma quantidade de usuários também afirmou que o uso do GeoAR não exige muito conhecimento prévio do seu funcionamento.
Pontos negativos. Como pontos negativos, um participante observou que, para o seu público-alvo (crianças), a aplicação possui muitas regras a serem seguidas para que funcione corretamente, o que pode exigir muita paciência.
Sugestões: (a) exibir as perguntas do questionário em ordem de dificuldade, para que a criança não se desanime ao respondê-lo; (b) disponibilizar um ajudante para cada usuário na utilização inicial do sistema.
C10) Outros Aspectos
Pontos positivos. Em relação a outros aspectos de funcionalidade e usabilidade, uma vantagem do GeoAR, identificada por quatro dos 16 participantes, foi trabalhar com interfaces tangíveis, permitindo que o usuário visualizasse as figuras geométricas sob várias perspectivas, apenas movimentando os marcadores. Um avaliador afirmou que o software permite que o aluno estude sozinho e dispensa outro material escolar.
Pontos negativos. Uma desvantagem observada por um dos indivíduos foi a utilização da webcam com imagem invertida, que tornou a utilização do software mais confusa. Tal situação pode ser facilmente corrigida, por meio de configurações da webcam.
Sugestão: (a) expandir o sistema para que ofereça outros conteúdos, não só o de geometria.
C11) Livro Impresso
Pontos positivos. Dos seis participantes que utilizaram o livro GeoAR impresso, dois relataram que seu uso potencializa o aprendizado, pois ajuda a compreender as narrações explicativas. Outros pontos positivos, identificados por um avaliador, foram: ser bem elaborado, objetivo e possuir tamanho ideal, textos bem escritos e figuras claras.
Pontos negativos. Como ponto negativo, um indivíduo afirmou que o manuseio do livro é
incômodo, mas que ainda assim é melhor do que utilizar os marcadores soltos. Um participante relatou que o livro apresenta poucas instruções sobre o funcionamento do sistema.
Sugestão: (a) incluir mais instruções para que a utilização da ferramenta se torne mais fácil.
Os pontos positivos, pontos negativos e sugestões para cada característica de qualidade, assim como a quantidade de avaliadores que relatou cada um deles, encontram-se documentados em [12].
E. Diretrizes para Melhorar o GeoAR
Visando responder à pergunta proposta para a avaliação, foram definidas diretrizes para refinar o protótipo atual do sistema GeoAR e gerar uma versão otimizada do mesmo. Tais diretrizes foram identificadas tendo como base as melhorias sugeridas pelos avaliadores que mais se adéquam ao propósito do sistema:
Aumentar o tamanho da fonte do texto explicativo, das imagens e dos sólidos animados;
Colorir as faces dos sólidos geométricos com cores (ou variações de cores) diferentes, para facilitar o entendimento dos conceitos tridimensionais relacionados à figura;
Tornar visíveis todos os botões de ativação, impedindo que eles sejam encobertos pelas figuras;
Criar marcadores específicos para a aplicação, que sejam facilmente identificados por seus padrões, que poderiam ser figuras conhecidas e relacionadas ao conteúdo que será exibido;
Permitir a utilização do marcador „Controle‟ com ponteiro também na exibição do conteúdo teórico e não apenas no questionário;
Permitir a resposta ao questionário utilizando também o teclado;
Revisar as perguntas do questionário e exibi-las em ordem de dificuldade, para que estimule a criança a continuar respondendo;
Configurar a webcam para evitar a imagem invertida. As diretrizes listadas serão consideradas no desenvolvimento da próxima versão do GeoAR, buscando melhorar todos os aspectos em relação à usabilidade e funcionalidade do sistema.
IV. CONCLUSÃO
Este trabalho teve como foco principal a avaliação da qualidade de protótipos de sistemas de RA, visando refinar sucessivamente esses protótipos e obter sistemas de alta qualidade. O trabalho insere-se em um projeto de pesquisa sobre o desenvolvimento de aplicações educacionais com RA, dentro do qual foi proposto um modelo de processo de desenvolvimento para esse tipo de sistema, que compreende etapas de avaliação. Neste contexto, foi apresentada a avaliação do sistema GeoAR, um Livro Interativo com RA para o Ensino de Geometria. O processo de avaliação foi detalhado, destacando a definição e execução da avaliação, a coleta e análise de dados e os resultados obtidos. Ao final
da avaliação, foram destacadas diretrizes que, além de possibilitarem o refinamento do protótipo avaliado, poderão ser úteis ao desenvolvimento de novas aplicações educacionais que utilizem RA. Desta forma, pretende-se contribuir para o incremento da qualidade de sistemas de RA, particularmente para aqueles voltados ao ensino.
A continuidade do trabalho compreende duas iniciativas principais: (a) definição de um modelo abrangente para avaliação de sistemas de RA, que deverá ser empregado para avaliar o protótipo atual do Livro GeoAR. Este modelo já está em fase final de desenvolvimento e contará com uma ferramenta de software, no ambiente web, para apoiar e facilitar a sua utilização; (b) disponibilização do Livro GeoAR na internet, para utilização no ambiente escolar, para ensino de conteúdos de geometria.
AGRADECIMENTOS
Os autores agradecem ao CNPq pelo financiamento concedido ao Projeto AIPRA (Processo 559912/2010-2) e aos participantes da avaliação do protótipo do GeoAR.
REFERÊNCIAS
[1] L. Bardin, Análise de conteúdo. Lisboa: Editora 70. 1995. [2] A. Balog, C. Pribeanu, and D. Iordache, “Augmented Reality in
Schools”, World Academy of Science, Engineering and Technology, v. 30, 2007, pp. 114-117.
[3] M. Dias, et al., “Usability evaluation of tangible user interfaces for augmented reality”, IEEE International Augmented Reality Toolkit Workshop, 2003, pp. 54-61.
[4] A. Dunser, R. Grasset, and M. Billinghurst, “A Survey of evaluation techniques used in augmented reality studies”, 1st ACM SIGGRAPH
ASIA Conference, 2008, paper number 5, 27 pp.
[5] Educase Learning Initiative. The Horizon Report, 2011 Edition,
2011. Disponível em:
http://net.educause.edu/ir/library/pdf/HR2011.pdf.
[6] B. K. E. Hamilton, “Augmented reality in education,” Proc. SXSW
Interactive 2011. Disponível em:
http://wik.ed.uiuc.edu/index.php/Augmented_Reality_in_Education. [7] ISO, International Organization for Standartization - ISO/IEC
9126-1, 2009126-1, Disponível em: http://www.iso.org/iso/iso_catalogue. [8] H. Kaufmann, and A. Dunser, “Summary of usability evaluations of
an educational augmented reality application”, Proceedings of the 2nd International Conference on Virtual Reality, pp. 660-669. [9] C. Kirner, Projeto AIPRA: Ambiente na Internet para Professores
Desenvolverem Aplicações Educacionais com Realidade Aumentada, CNPq (Processo 559912/2010-2), 2011, não publicado. [10] C. Kirner, and R. Tori, “Fundamentos de Realidade Aumentada”. In: C. Kirner, C., R. Tori, and R. Siscoutto. (Ed.) Fundamentos e Tecnologia de Realidade Virtual e Aumentada, 2007, pp. 22-38. [11] T. G. Kirner, and F. M. V. Reis, “Desenvolvimento de um livro com
realidade aumentada para o ensino de geometria”, Anais do VIII Workshop de Realidade Virtual e Aumentada – WRVA 2011, SBC: Porto Alegre, 2011, 6 pp.
[12] F. M. V. Reis, Relatório do Projeto AIPRA, 2011, não publicado. [13] J. K. Providelo, and T. G. Kirner, Fatores Relevantes para a Criação
e Uso de Comunidades Virtuais de Aprendizagem. RENOTE - Revista Novas Tecnologias na Educação, v. 8, n. 3, 2010, pp. 1-12. [14] D. Sumadio, and D. Rambli, Preliminary Evaluation on User
Acceptance of the Augmented Reality Use for Education, Second IEEE International Conference on Computer Engineering and Applications, 2010, pp. 461-465.
[15] S. C. Vergara, Projetos e Relatórios de Pesquisa. 7 ed., São Paulo: Atlas. 2006.
