A partir das definições de medidas aceitáveis para a eficiência, eficácia e satisfação do leitor, estabelecidas conforme o Quadro 1, avaliamos se diferentes recursos de design e ferramentas do player vbook são adequados para a leitura em Libras, para a localização de informações no texto, para que o leitor possa imprimir um ritmo próprio de leitura, fazer marcações e reconhecer a estrutura hierárquica do texto. Na leitura do Texto 1 verificamos algumas vantagens na leitura do texto utilizando o player vbook, em função disso os testes de leitura dos textos 2 e 3 foram feitos usando esse player.
Os textos em vídeos em Libras são adequados para a leitura? - Pelo menos 90% dos estudantes completaram a leitura?
Nos três textos analisados em 65 testes de leitura, apenas 3 estudantes (A21, A22 e A34) não completaram a leitura do texto 3.
- Os estudantes leram com completude, sem pular partes do texto, fazendo avanços no vídeo ao longo da leitura? Em média, os estudantes leram pelo menos 90% do texto?
Nos 55 testes de leitura no vbook, a média de leitura foi de 91% do texto. Nos 10 testes de leitura utilizando um player comum a média foi de 93,87% do texto, não houve diferença significativa.
- Os estudantes compreenderam o texto? Nas questões de compreensão do conteúdo atingiram uma nota média de pelo menos 7?
A média de acertos no Texto 1 foi de 30% e no Texto 3 os estudantes surdos acertaram 27,83% e os ouvintes que leram em Libras 29,03% das questões. O texto foi considerado difícil entre os estudantes ouvintes que leram em português, e não atingiram a média 7, tendo acertado 55,68% das questões, bem abaixo do ideal. No Texto1, em que foi solicitado uma auto avaliação sobre a proficiência em Libras, mesmo os estudantes que consideraram ter ótima proficiência em Libras, tiveram dificuldades de compreensão do texto. O conteúdo pode ter sido difícil para o nível escolar dos estudantes. Muitas questões sobre o conteúdo também não foram respondidas ou foram respondidas aleatoriamente, sem ler a questão ou as alternativas: 20% das questões do Texto 1 e 21,95% do Texto 3. No Texto 2, a tarefa proposta se mostrou mais estimulante pedagogicamente, e os estudantes desenvolveram a tarefa com completude e tiveram uma nota média de 8,5.
- O tempo para a leitura do texto completo foi igual ou menor do que o tempo do vídeo em velocidade normal? Pelo menos 90% dos estudantes leram num tempo igual ou menor do que o tempo do vídeo em velocidade normal?
A velocidade de leitura no vbook foi mais alta do que o tempo normal do vídeo para 89,36% dos surdos e 62% dos leitores ouvintes em relação ao player normal.
- Os leitores fizeram muitos retrocessos para rever partes do texto ao longo da leitura? Pelo menos 90% dos leitores conseguiram
desenvolver a leitura retornando para rever partes do texto apenas esporadicamente ou para fazer marcações no texto?
Observando os gráficos de leitura percebemos que a maioria dos estudantes leu partes longas do texto e em alguns momentos retrocedeu para fazerem outras ações como marcar o texto ou abrir links, dando continuidade na leitura a seguir. Mas houveram leituras mais irregulares, alguns pulando grandes partes do texto e retrocedendo muitas vezes sem desenvolver um ritmo de leitura mais constante. Essa medida é uma avaliação subjetiva, não existe um número de intervenções na reprodução do vídeo que defina uma leitura mais ou menos adequada. Os estudantes que leram o texto no player pela primeira vez estavam experimentando os recursos, e os avanços e retrocessos em muitos casos podem ter sido feitos para isso, desconsideramos essa leitura irregular feita no início do texto até encontrarem um ritmo, ou no fim do texto, quando demonstram algum cansaço e consideramos que em 10 testes os leitores, tiveram uma leitura bastante irregular (15,38%) sendo provável que isso tenha prejudicado a compreensão do texto26.
- Os estudantes avaliaram a interface do texto lido no vbook com nota superior a 7?
Sim, a interface do vbook foi avaliada com nota 8.
- Os comentários e opiniões sobre os materiais foram positivos? Os estudantes aprovaram a iniciativa de utilizar os textos traduzidos nas disciplinas?
Sim os comentários foram positivos, os estudantes que fizeram comentários elogiaram o trabalho.
- A auto avaliação dos estudantes no que se refere à compreensão do texto é maior no texto com recursos específicos? A diferença é significativa?
A auto avaliação dos estudantes, feita no Texto1, não mostrou diferença significativa na compreensão do texto com uso de recursos específicos para leitura em Libras ou sem recursos específicos. O resultado dos questionários feitos no texto 1, nas questões de compreensão do texto, mostrou uma pequena diferença. Os que leram
26 Consideramos que os leitores A4 (na leitura do Texto1-Parte1 e Texto1-
Parte2), A12, A24, A25, A26, A29, A31, A32 e A37 tiveram uma leitura bastante irregular, avançando ou retrocedendo muitas vezes no texto.
sem recursos específicos acertaram 35% das questões e os que leram com recursos específicos acertaram 25% das questões sobre o conteúdo.
A interface é adequada para a localização de informações específicas dentro do texto?
- Os estudantes responderam corretamente questões que pedem para localizar dados no texto? Os que buscaram informações no texto, acertaram pelo menos 70% das questões?
Considerando apenas os estudantes que fizeram buscas no texto, a média de acertos foi de 66,66% nas questões que pediam para localizarem informações no Texto 1 e 33,33% no Texto 3. No Texto 2 os estudantes tiveram um desempenho melhor, localizando as informações em 80,93% das vezes que fizeram buscas no texto. Além da orientação para isso, e da adequação pedagógica da tarefa proposta que pode ter motivado os estudantes a fazerem buscas com mais objetividade, a experiência no uso do player, também pode ter contribuído para isso, já que os quatro estudantes que leram o Texto 2 estavam fazendo o terceiro teste de leituras em Libras, sendo o segundo texto lido no vbook.
- Os que usaram a barra de miniaturas em vídeo localizaram com mais facilidade do que os que não usaram?
Sim, a barra de miniaturas demonstrou ser mais eficiente do que a barra dos players normais, enquanto 50% dos que leram o Texto 1 no vbook acertaram as questões em que fizeram buscas, dos que leram no player comum, 33,33% acertaram.
-Numa escala de satisfação como os alunos avaliam a ferramenta lápis?
Os leitores que experimentaram usar a ferramenta na leitura do Texto 1, avaliaram o lápis com nota 8,6.
- Numa escala de satisfação como os alunos avaliam a barra de miniatura em vídeo?
Os leitores que experimentaram usar a barra de miniaturas na leitura do Texto 1, avaliaram com nota 7,4.
A interface é adequada para imprimir um ritmo próprio durante a leitura?
- Pelo menos 90% dos estudantes escolheram a velocidade de reprodução do vídeo em algum momento?
Sim, nos gráficos abaixo (Figura 53), podemos perceber que na leitura do Texto 3, apenas 2 leitores não fizeram alteração na velocidade, e um deles explorou a ferramenta na leitura de outro texto. Enquanto no vbook mais de 90% dos leitores usaram a barra de velocidade em algum momento, nos players sem recursos específicos para a leitura em Libras, nenhum estudante fez alteração na velocidade de reprodução do vídeo.
Figura 53: Gráficos da alteração de velocidade ao longo da leitura do texto 3
Fonte: Dados compilados pela autora.
- A velocidade foi aumentada onde o texto está com a velocidade mais lenta intencionalmente e diminuída quando volta ao normal?
Considerando os leitores dos Textos 2 e 3, que tinham momentos com redução da interpretação no vídeo, intencionalmente, verificamos que 62,22% dos leitores, alteraram a velocidade nesse período e depois, quando o vídeo voltou ao normal, reduziram a velocidade. Outros
estudantes reagiram à essa parte mais lenta do vídeo avançando algumas partes do texto.
- Os estudantes tendem a aumentar a velocidade conforme ficam mais cansados? Essa tendência é maior na leitura utilizando o vbook do que no player comum? A diferença é significativa?
Sim, os leitores do vbook mostraram uma tendência de aumentar a velocidade ao longo da leitura, enquanto os estudantes que leram no player comum não alteraram a velocidade em nenhum momento.
-A disponibilidade de uma ferramenta sempre visível para alterar a velocidade do vídeo contribuiu para a leitura mais ágil? A diferença no tempo de leitura no player comum e no vbook é significativa?
Sim, com 99,99% de confiança podemos afirmar que o vbook contribuiu significativamente para uma leitura mais ágil.
- Os estudantes avaliaram a ferramenta para alterar a velocidade com uma média igual ou superior a 7?
Os leitores que experimentaram usar a barra para alterar a velocidade na leitura do Texto 1, avaliaram a ferramenta com nota 7,2.
Os textos em vídeos em Libras são adequados para se identificar a hierarquia e a organização das informações?
- Em questões que solicitam identificar a estrutura dos textos a média de acertos foi superior a 70%?
Não, a média foi de 20,76% de acertos nos testes dos Textos 1 e 3. No entanto, é possível afirmar, com 95% de confiança que os leitores com mais experiência na leitura de textos no vbook tiveram um desempenho superior aos que estavam lendo pela primeira vez. A média de acertos da turma do curso técnico em Comunicação visual, com estudantes que estavam lendo pela segunda ou terceira vez no vbook, foi de 60% de acertos na questão que pedia para identificar as seçõe do Texto 3.
- Os estudantes acessaram os links com textos complementares, exemplos, notas e glossários? Pelo menos 90% dos estudantes acessaram algum link?
- O texto dividido em partes menores com o uso de menus favoreceu a identificação da estrutura do texto? A diferença em relação ao vídeo com o texto inteiro é significativa?
Não é possível afirmar que o vídeo dividido em seções menores, com a apresentação dos menus para navegação facilitou a identificação da estrutura do texto.
- O texto que usou animações para destacar a mudança de seção favoreceu a identificação da estrutura do texto? A diferença é significativa?
Não é possível afirmar que o vídeo com animações na abertura das seções facilitou a identificação da estrutura do texto.
- Os estudantes utilizaram os menus para identificar a estrutura do texto?
Não, menos de 90% dos estudantes exploraram os menus para responder as questões sobre a estrutura do texto e os que fizeram buscas nos menus, não responderam corretamente a questão.
- Os estudantes buscaram localizar os recursos gráficos de zoom e animação para responder as questões sobre a estrutura do texto?
Não, menos de 90% dos estudantes exploraram a barra de miniaturas para localizar as animações de abertura e responder as questões sobre a estrutura do texto, e mesmo os que fizeram buscas não acertaram as questões.
- O recurso de links para glossários, exemplos e textos complementares foi avaliado com nota superior a 7?
Sim, foi avaliado com nota 8, pelos que usaram a ferramenta. A interface é útil para fazer marcações no texto?
- Pelo menos 90% dos estudantes utilizaram a ferramenta lápis para marcar partes do texto?
58,18% dos estudantes experimentaram usar a ferramenta lápis, mesmo que alguns não tenham mantido a marcação e tenham retirado a marca antes de finalizar a leitura.
- Pelo menos 90% dos estudantes utilizaram a ferramenta etiqueta para marcar partes do texto?
57,77% dos estudantes experimentaram usar a ferramenta etiqueta, mesmo que alguns não tenham mantido a marcação e tenham retirado a etiqueta antes de finalizar a leitura.
- Os tópicos principais do conteúdo foram marcados, conforme solicitado, por pelo menos 90% dos estudantes?
Não, no Texto 2, mesmo com a orientação do professor para que destacassem os diferentes tipos de planos, ângulos e movimentos de câmara, as marcações no texto não mostraram objetividade.
- Nas buscas feitas no texto, os estudantes que utilizaram as ferramentas para marcação, localizaram mais facilmente as informações procuradas? A diferença é significativa?
Não é possível afirmar que o uso do lápis ou da etiqueta contribuíram para a localização de informações no texto.
- A ferramenta é autoexplicativa e sua utilidade é naturalmente percebida? Dos estudantes que usaram as ferramentas lápis e etiqueta fizeram isso espontaneamente, ou apenas após orientação para isso? A diferença é significativa?
Na leitura do Texto 2, a orientação para o uso das ferramentas de marcação não melhorou a objetividade no uso.
- Numa escala de satisfação, os estudantes consideram o recurso útil? A média das avaliações da ferramenta lápis é igual ou maior que 7.
Os estudantes que usaram a ferramenta lápis, no Texto 1, avaliaram a ferramenta com nota 8,6.
- Os estudantes demonstraram preferência por usar a ferramenta etiqueta, quando tinham as opções de lápis e etiqueta para fazer marcações no texto?
Os estudantes que estavam lendo a primeira vez no vbook usaram 81,81% a mais a ferramenta lápis do que a etiqueta, entretanto, entre os que tinham experiência de leitura no vbook a etiqueta foi preferida. Entre os estudantes que usaram essas ferramentas ao lerem o terceiro texto no vbook, 66,66% utilizaram mais a etiqueta do que o lápis.