BUSCA POR EVIDENCIA DE VALIDADE DE UMA BATERIA INFORMATIZADA DE LEITURA E ESCRITA PARA ADULTOS
Ivan Silva Pinto (IC) e Elizeu Coutinho de Macedo (Orientador) Apoio: PIBIC Mackenzie/MackPesquisa
Resumo
Este trabalho teve como objetivo buscar evidencias de validade para uma bateria de leitura e escrita informatizada, a BALE-comp 2, que tem como objetivo avaliar o desempenho de leitura, escrita em adultos. A BALE-comp-2 foi desenvolvida a partir da Bale-comp, para sanar a carência de instrumentos para avaliar os processos de leitura e escrita em adultos e adolescentes. Ela é formada pelo Teste de Escrita por Ditado de Palavras para Adultos (TEDP-2), Teste de Competência de Leitura de Palavras para Adultos (TCLP-2) e pela Prova de Consciência Fonológica-2(CF-2). Participaram do estudo 100 adultos universitários, 40 do sexo masculino e 60 do sexo feminino, com idade média de 21,85 anos. Os resultados mostraram que os instrumentos são adequados para avaliação de universitários.
Palavras-chave: avaliação, leitura, dislexia
Abstract
This study aimed to look for evidence of validity for a battery of computerized reading and writing, the BALE comp-2, which aims to evaluate the performance of reading literacy in adults. The BALE-comp-2 was developed from the Bale-comp, to remedy the lack of instruments to assess the processes of reading and writing for adults and adolescents. It is formed by: Test Writing by Dictation of words for Adults (TEDP-2), Competence Test of Word Reading for Adults (TCLP-2) and the Phonological Awareness Test-2 (FC-2). Study participants were 100 undergraduate students, 40 males and 60 females, mean age of 21.85 years. The results showed that the instruments are suitable for assessing students.
INTRODUÇÃO
A leitura e a escrita ocupam um papel fundamental de desenvolvimento e propagação de informação e conhecimento, deixando o individuo que não as dominam a margem do sistema educacional e no mercado de trabalho. A relação entre transtornos de aprendizagem e desempenho acadêmico estão diretamente relacionados e podem explicar parte da evasão escolar. Dentre tais transtornos, a dislexia tem grande impacto no aprendizado da leitura e da escrita.
Existem poucos instrumentos que auxiliam para a avaliação da dislexia, sendo ainda mais raros os instrumentos usados para avaliar adultos. A BALE-comp (Bateria informatizada para avaliação de leitura e escrita) é um instrumento que possibilita um diagnostico diferencial, porem esta é voltada para a avaliação de crianças (CAPOVILLA et al, 2007) . Durante a realização do projeto de Iniciação Científica “Processos Perceptuais e Cognitivos na Leitura de Textos”, vi a necessidade do desenvolvimento de instrumentos específicos para avaliação de disléxicos adultos. Este projeto foi realizado no programa PIBIC/PIVIC da Universidade Presbiteriana Mackenzie. Assim, junto com meu orientador e outros alunos do laboratório começamos a desenvolver uma bateria para avaliação de adultos com problemas de leitura e escrita. A partir da BALE-comp criamos a BALE-Comp 2 (Bateria de Avaliação de Leitura e Escrita computadorizada para adultos).
O presente estudo teve por objetivo verificar evidências de validade da bateria informatizada de leitura e escrita BALE 2.
REFERENCIAL TEÓRICO
Avaliar as habilidades de leitura e escrita possibilita a identificação de problemas específicos relacionados com estas atividades. Tais avaliações são cada vez mais importantes pois observa-se um aumento da complexidade das atividades ocupacionais, educacionais e sociais.
O tempo que o leitor leva para fazer a decodificação grafofonêmica é uma boa medida para avaliação da leitura e escrita. Assim, um bom leitor lê mais rápido que um com dificuldades. São aspectos também analisados a precisão e fluência das decodificações juntamente com a capacidade de compreensão (CAPOVILLA et al., 2005; GRÉGOIRE & PIÉRART, 1997). O processo de leitura em crianças no inicio da alfabetização, tendem a ser mais lento, mas a medida que vão se familiarizando com a forma visual da palavra, vão se tornando leitores mais fluentes e mais rápidos.
Os erros no decorrer da leitura podem ser de diversas naturezas, como: por inversões, confusões auditivas, confusões visuais, erros de sons complexos, omissões e acréscimos. É essencial entender o tipo de erro ou estratégia utilizada na leitura para poder fazer um diagnóstico mais preciso. Isto é importante, pois, na leitura, existem processos cognitivos que não são especificamente desta, por exemplo, as noções léxicas, que são utilizadas também para uma compreensão da linguagem (GRÉGOIRE,1997). Outra habilidade inespecífica importante na leitura é o desenvolvimento das habilidades de consciência fonológica. Esta habilidade consiste na capacidade de reconhecer e manipular os componentes sonoros de palavras, sílabas ou fonemas,sendo essencial seu desenvolvimento para a tarefa de leitura e escrita (CARDOSO-MARTINS, 2008, GUIMARÃES, 2003; CAPOVILLA & CAPOVILLA, 2000). O desenvolvimento de testes computadorizados pode auxiliar na avaliação dos problemas de leitura e escrita.
O avanço tecnológico e do computador garantiu a entrada e participação desta tecnologia em diferentes setores da sociedade (Bennett, 2002), e a psicologia é uma área onde o computador tem ajudado através de instrumentos de avaliação computadorizados, em avaliações e pesquisas. Testes computadorizados apresentam como vantagem a padronização das condições de apresentação, instruções e estímulos, o que controla as condições de aplicação, dando ao instrumento mais confiabilidade. Outro aspecto vantajoso é a facilidade na correção, uma vez que os resultados vêm em tabelas já armazenadas, que já analisam os resultados, alem do acréscimo de medidas temporais, em ordem de milésimo e segundo (Epstein & Klinkenberg, 2001). Vários estudos comparativos já foram feitos, e foi observado uma correlação entre as versões de tradicionais, de lápis e papel, com as versões computadorizadas (Bressani & Downs, 2002; Epstein et al., 2001, ). Outro método de aplicação de testes é via internet, que possibilita a coleta de dados em regiões distantes. Singleton (2009) em seu estudo examinou uma abordagem alternativa para triagem dislexia, por meio de três testes computadorisados, sendo eles, um teste de diferenciação de pallavra com pseudo-palavra, um teste de codificação lexical de pseudo palavra, e um teste de memoria de trabalho. Os resultados demonstraram eficiencia em discriminar o grupo controle do experimental, mostrando a eficiencia da utilização do intrumento computadorisado.
A Bateria de Avaliação de Leitura e escrita Computadorizada (BALE Comp) é um instrumento que possibilita um diagnostico diferencial das estratégias de leitura e escrita. Ela é composta por cinco provas de leitura e escrita, sendo eles: o Teste de Competência de Leitura Silenciosa (Tecolesi), Teste de Nomeação de figura por Escolha de Palavra (Tenofep), Teste de Nomeação de Palavra por Escrita (Tenofe), Teste de Compreensão de Sentenças Escritas (TCSE) e Teste de Compreensão de Sentenças Faladas (TCSF). Esses
testes avaliam o grau de desenvolvimento e preservação dos diferentes mecanismos, rotas e estratégias envolvidas na leitura e escrita. Diversos estudos já comprovaram a eficiência da BALE-Comp para a avaliação de leitura e escrita (CAPOVILA, 2000; MACEDO et al., 2004; CAPOVILA et al. 2005; LUKASOVA et al., 2005; MACEDO et al2005; OGOSUKO et al., 2007). A BALE-Comp pode ser aplicada inclusive pela internet (MACEDO, 2002). A BALE- Comp já foi traduzida para outras línguas como o Alemão (CAPOVILLA; MACHALOUS; CAPOVILA, 2002 e 2003), o Hebraico (DICHI, 2009) e o Japonês (KURIYAMA, 2007).
A BALE-Comp foi construída para a avaliação de crianças, os estudos realizados mostram que as crianças demonstram melhor desempenho com o aumento da idade e escolaridade (MACEDO, 2002) porem, apresentam efeito teto já no 5° ano do ensino fundamental, o que impossibilita sua utilização em estudos e avaliações com adultos e adolescentes.
Pensando na carência de instrumentos para avaliar os processos de leitura e escrita em adultos e adolescentes, foi que se desenvolveu a Bateria de Avaliação de Leitura e Escrita 2 (BALE- Comp 2). A BALE- Comp 2 foi criada a partir da BALE Comp e dentre os seus testes estão o Teste de Escrita por Ditado de Palavras para adultos (TEDP-2) e o Teste de Competência de Leitura de Palavras para adultos (TCLP-2). Um estudo preliminar já foi conduzido, mostrando a eficiência da bateria de distinguir adultos com dislexia de bons leitores (PINTO et al., 2008). Assim, foi comparado o desempenho de 20 universitários bons leitores com 3 adultos com diagnostico de dislexia. Observou que os bons leitores, tiveram uma pontuação maior, e levaram menos tempo para a execução dos testes, comparados com o grupo de disléxicos.
Outro instrumento muito utilizado na avaliação de leitura e escrita que pode ser aplicado juntamente com a BALE-Comp, é a Prova de Consciência Fonológica (PCF), desenvolvida por Capovilla & Capovilla (2000). Ela consiste de um teste com 7 blocos de 7 perguntas que avaliam a habilidade de consciência fonológica como: rima, aliteração, subtração silábica, subtração fonêmica, adição silábica, adição fonêmica e inversão de fonemas. Assim como a BALE- Comp, a PCF apresenta um efeito teto em crianças do 5° ano do ensino fundamental. A PCF também ganhou uma versão voltada para avaliação de adultos e adolescentes, a Prova de Consciência Fonológica para Adultos 2 (PCF-2). Para sua criação os itens do teste foram modificados com a inclusão de alternativas que exigem maiores habilidades discriminativas. Em estudo preliminar, resultados obtidos com a utilização da PCF-2 revelou que adultos bons leitores obtiveram pontuações mais altas do que os disléxicos (PINTO et AL, 2008). Embora estes estudos preliminares tenham apresentado resultados animadores, a realização de estudos de validação da BALE-Comp 2 e da PCF-2 são ainda necessários.
As etapas para a construção de instrumentos para avaliação de habilidades cognitivas são: validação, precisão e padronização. A validade é a capacidade do teste de medir aquilo que ele se propõe, o que envolve varias analises dos itens de seu teste, para verificar se estes estão de acordo com a teoria (ANASTASI, 2003). Uma das evidencias da validade pode ser obtido através da conseqüência da testagem, ou seja, da comprovação que o instrumento é capaz de fazer um diagnostico preciso ou sugerir uma intervenção adequada (AERA;APA;NCME, 1999).Outra forma de garantir a validade de um instrumento, é verificar a relação entre seus resultados e um critério externo, que pode ser de diferentes variáveis, como: idade, escolaridade e gênero ( ANASTASI; URBINA 2000).
MÉTODO Sujeitos
Participaram do estudos 100 adultos, 40 do sexo masculino e 60 do sexo feminino recrutados entre os alunos da Universidade Presbiteriana Mackenzie. A idade média foi de 21,85 anos.
Os critérios de exclusão foram históricos de problemas psiquiátricos e de dificuldades de aprendizagem da leitura e escrita, verificados através de entrevistas previas.
Instrumentos e Procedimento
As avaliações ocorreram em uma sala do Laboratório de Neurociências cognitivas e sociais da Universidade Presbiteriana Mackenzie, todos os sujeitos assinaram o termo de consentimento livre e esclarecido, previamente aprovado pelo Comitê de Ética da Universidade.
Instrumento de avaliação de leitura e escrita: BALE- Comp2, que consiste nos testes:
TEDP-2: Teste de Escrita por Ditado de Palavras para Adultos. Avalia a habilidade de escrita de palavras irregulares que dependem do uso de regras ortográficas adequadas. 50 palavras são ditadas e o sujeito deve digitá-las. As palavras são divididas em sobestes com as seguintes características: palavras regras, regulares, irregulares, trocas fonológicas e trocas visuais.
TCLP-2: Teste de Competência de Leitura de Palavras para Adultos. Ele é composto de 80 itens, que são formados por pares que envolvem uma palavra falada e outra escrita,
podendo ser ou não congruente. Pares congruentes são aqueles em que a palavra falada e a escrita são as mesmas. Já as incongruentes são de 4 tipos: palavra escrita com trocas visuais de posição da letra na palavra (ex: /texturizavle/ para a palavra falada /texturizável/); omissão de letra (ex: /efervesente/ para a palavra falada /efervescente/), troca fonológica (ex: /envestiado/ para a palavra falada /enfestiado/), palavras pseudo-homófonas (ex: /gibóia/ para a palavra falada /jibóia/), palavras com confusão visual de letras (ex: /guermesse/ para a palavra falada /quermesse.
PCF-2: Prova de Consciência Fonológica-2, que consiste de um teste com 9 blocos de 5 perguntas que avaliam a habilidade de consciência fonológica. As categorias avaliadas são: rima, aliteração, subtração silábica, subtração fonêmica, adição silábica, adição fonêmica e inversão de fonemas.
RESULTADOS E DISCUSSÃO
A fim de caracterizar o desempenho dos participantes nas 3 provas, a tabela 1 descreve o número médio de acertos e tempo em segundos para os três testes da BALE- Comp2.
N Média Desv. Padrão Mínimo Máximo
TEDP2-Acertos 100 34,83 9,069 2 49 TEDP2-Tempo 100 6,57 2,27 3,38 16,51 TCLP2-Acertos 100 63,74 13,065 31 78 TCLP2-Tempo 100 1,14 0,39 0,60 2,14 PCF2-Acertos 100 39,82 3,37 27 45 PCF2-Tempo 100 15,80 1,83 12,11 21,89
Resultados mostram que a pontuação média no TEDP-2 foi de 34,83 pontos, com desvio padrão de 9,17. Assim, como a pontuação máxima era de 50 pontos, a pontuação média obtida foi 15 pontos menores do que o máximo. Tais resultados indicam que a prova foi relativamente fácil para os sujeitos. Os participantes levaram, em média, 6,57 segundos para dar a resposta ao item. As estatísticas descritivas do TCLP2 indicam que a pontuação média foi de 63,74 pontos, com variação entre 31 e 78 acertos. Assim, nenhum participante foi capaz de acertar os 80 itens que compõem o teste. O tempo médio para responder um item do teste foi de 1,14 segundos, com variação entre 0,60 segundos e 2,14 segundos. Por fim, a pontuação média na PCF2 foi de 39,82 itens respondidos corretamente, sendo que a pontuação variou de 27 a 45, sendo que apenas 5 participantes acertaram todos os itens. Em suma, os valores médios obtidos, bem como o número máximo de acertos em cada um dos testes, sugere boa adequação dos instrumentos para avaliação de universitários.
Análise dos subitens do TEDP-2 foi conduzida, a fim de verificar efeito diferencial do tipo de item para o número de acertos. ANOVA de medidas repetidas revelou efeito principal para o tipo de item (F[4,396]=65,451; p<0,001). Teste post hoc LSD indica que os itens Regulares (M=8,45; dp= 1,69 ) e Regras (M=8,24; dp= 1,95) foram mais fáceis que os demais. Os itens irregulares (m= 6,890; dp= 2,79) foram mais fáceis que os Pseudo Homófonos (m=5,330; dp=2,42) e Troca Visual (m=5,920; dp=2,79). O Gráfico 1 ilustra os valores médios de acertos para cada um dos subitens do TEDP-2.
Grafico1: Media da pontuação dos sub-testes do TEDP-2
Análise dos subitens do TCLP-2 foi conduzida, a fim de verificar efeito diferencial do tipo de item para o número de acertos. ANOVA de medidas repetidas revelou efeito principal para o tipo de item (F[3,297]=84,382; p<0,001). Teste post hoc LSD indica que os itens TVP (M=17,28 ; dp=2,70) e TVI (M=16,90; dp= 3,87) foram mais fáceis que os demais. Já os itens TF (m= 15,22; dp= 3,56) foram mais fáceis que os Omissão (m=14,34; dp=3,81), que, portanto, foram os mais difíceis que todos. O Gráfico 2 ilustra os valores médios de acertos para cada um dos subitens do TCLP-2.
Grafico2: Media da pontuação dos sub-testes do TCLP-2
Por fim, foram conduzidas análise dos subitens do PCF-2, a fim de verificar efeito diferencial do tipo de item para o número de acertos. ANOVA de medidas repetidas revelou efeito principal para o tipo de item (F[8,792]=52,640; p<0,001). Teste post hoc LSD mostra que o itens mais difíceis foram os que envolviam trocadilho. Os itens mais fáceis foram os que envolviam síntese fonêmica e silábica, troca silábica e aliteração. O Gráfico 3 ilustra o desempenho nos subtestes da PCF-2. Tais resultados indicam, de modo geral, os itens foram relativamente fáceis para os sujeitos.
Teste de Pearson foi conduzido para verificar correlação entre as 3 provas da BALE-Comp2. A Tabela 2 apresenta os valores de correlação e de dignificância. Assim, só foram observadas correlações positivas entre o TEDP2 e a PCF2 (r=0,473; p=0,001). A ausência de efeito de correlação pode ser explicado pelo efeito teto, pois alguns itens da prova foram fáceis para os universitários. A fim de verificar esta hipótese, novas análises foram conduzidas a partir da exclusão dos itens pouco discriminativos.
Tabela 2. Correlação de Pearson para o número de acertos das 3 provas da BALE-Comp2
Acerto – TEDP2 Acerto –TCLP2 Acerto – PCF2
Acerto – TEDP2 Correlação 1 ,181 ,473(**) Sig. ,071 ,000 N 100 100 Acerto –TCLP2 Correlação 1 ,169 Sig. ,093 N 100 Acerto – PCF2 Coorelação 1 Sig N
** Correlation is significant at the 0.01 level (2-tailed).
Análise foi refeita, considerando o TEDP2, mas excluindo sub-itens pouco discriminativos da TCLP2 e da PCF2. Assim, foram excluídos os seguintes itens TVP e TFP do TCLP2 e os itens rima, aliteração, adição silábica e subtração silábica da PCF2. Estes itens foram excluídos por apresentarem baixa correlação em função do efeito teto. Assim, houve aumento na correlação do TEDP2 com o TCLP2 (r=0,217; p= 0,032) e com a PCF2 (r=0,511; p=0,000), bem como correlação do TCLP2 com a PCF2 (r=0,248; p=0,013). Em suma, as provas que compõem a BALE-Comp2 podem apresentar grande potencial para avaliação destes outros grupos, bem como universitários com queixa de dificuldades de aprendizagem que estão incluídos no ensino superior. Assim, estudos futuros podem ser conduzidos com a aplicação das provas em adolescentes do ensino médio, adultos em alfabetização e não universitários.
CONCLUSÃO
Assim, foi encontrada evidencia de validade das 3 provas que compõem a Bale comp2, 1. A Validade de Constructo foi confirmada com a diferença de pontuação encontrado
entre os, explicados por fundamentação teórica. Os itens esperados teoricamente como os mais difíceis, o que de fato ocorreu.
2. A Validade convergente foi verificada pela correlação entre as provas, principalmente quando excluído os itens que apresentavam efeito teto.
A BALE-comp2 pode ser usada para avaliação de leitura e escrita em jovens e adultos, aumentando o alcance de avaliação da BALE-comp. A bateria de testes mostrou eficiência na avaliação de leitura e escrita, sendo encontrado evidencias que lhe garante a validade. Assim atendeu as etapas básicas nos procedimentos empíricos descritos por ANASTASI (2000). O próximo passo seria aumentar o tamanho e a variedade da amostra para garantir à uniformidade de aplicação e avaliação do teste, para poder garantir o alcance e a precisão do instrumento validando os escores.
REFERÊNCIAS
AERA, APA e NMCE – American Educational Research Association, American Psychological Association & National Council on Measurement in Education. Standards for educational and psychological testing. New York: American Educational Research Association, 1999.
ANASTASI, A., URBINA, S. Testagem Psicológica. 7 ed Porto Alegre:Artes Médicas, 200. ANASTASI, A. Testes Psicológicos. São Paulo: EPU, 2003..
BENNETT, R.E.. Inexorable and inevitable: The continuing story of technology and
assessment. Journal of Technology, Learning and Assessment 1(1). Disponível em: http://
escholarship.bc.edu/jtla/ vol1 /1. / 2002.
CARDOSO-MARTINS, C. Desenvolvimento das Habilidades de Leitura e Escrita. In: FUENTES, D., MALLOY-DINIZ, L.F., CAMARGO, C.H.P., COSENZA, R.M. (Org). Neuropsicologia: teoria e prática. Porto Alegre: Artmed, 2008.
CAPOVILLA, A.G.S. & CAPOVILLA, F. C. Efeitos do treino de consciência fonológica em crianças com baixo nível socioeconômico. Psicologia: Reflexão e crítica. São Paulo, ano 13, n.1, p.7-24, janeiro 2000.
CAPOVILLA, A. G. S & CAPOVILLA, F. C. Alfabetização: método fônico. São Paulo: Memnon Edições Científicas, 2002.
CAPOVILLA, A.G.S; DIAS, N.M, TREVISAN, B.T, CAPOVILLA, F.C., REZENDE, M.C.A., ANDERY, M.A.A., LOPES, F. Avaliação de leitura em crianças disléxica:Teste de Competência de Leitura de Palavras e Pseudopalavras. In CAPOVILLA, A.G.S, CAPOVILLA, F.C (ORG) . Teoria e pesquisa em Avaliação.São Paulo. Memnon, p. 36- 44, 2007.
CAPOVILLA, A.G.S. & CAPOVILLA, F. C., MACEDO, E., DIANA, C. Alfabetização fônica computadorizada. [CD-ROM]. São Paulo: Memnom. 2005.
CAPOVILA, A. G. S.; MACHALOUS, N.; CAPOVILLA, F. C. Efeito das ortografias Portuguesa e Alemã sobre as estratégias de leitura em crianças bilíngües. In: Tecnologia de (Re) habilitação cognitiva. São Paulo: Centro Universitário São Camilo, p.137-154, 2002 CAPOVILA, A. G. S.; MACHALOUS, N.; CAPOVILLA, F. C.Leitura em crianças bilíngües: Uso das rotas fonológicas e lexical em português e alemão. In:MALUF, M. R. (org).Metalinguagem e aquisição da escrita. Contribuições da pesquisa para a pratica da alfabetização. São Paulo: Casa do Psicólogo, 2003
DICHI, R.K.; MACEDO, E. C Tradução e adaptação cultural da bateria de avaliação de leitura e escrita para língua hebraica In: V Jornada de Iniciação Científica PIBIC e PIVIC, 2009, São Paulo. V Jornada de Iniciação Científica PIBIC e PIVIC. São Paulo: Editora Mackenzie, 2009.
GREGÓIRE, J., PIÉRART, B. et al. Avaliação dos problemas de leitura: os novos modelos teóricos e suas implicações diagnósticas. Porto Alegre: Artes Médicas. 1997.
GUIMARÃES, S.R.K. Dificuldades no Desenvolvimento da Lectoescrita: O Papel das Habilidades Metalingüísticas. Psicologia: Teoria e Pesquisa. Brasília, ano 19, n.1, p.33-45, fevereiro 2003.
KURIYAMA, C. T. Tradução e adaptação da Bateria de avaliação de leitura e escrita (BALE) em Hiragana. 2007. 2008 f. Dissertação apresentada no programa de Distúrbios do Desenvolvimento, Universidade Presbiteriana Mackenzie, São Paulo, 2007.
LUKASOVA, K. Alterações fonológicas e motoras na dislexia de desenvolvimento. 2006. 116 f. Dissertação apresentada no programa de Distúrbios do Desenvolvimento, Universidade Presbiteriana Mackenzie, São Paulo, 2006.
OGUSUKO, M. T.; MACEDO, E. C. Aquisição das habilidades de leitura e escrita em adultos no processo de alfabetização: estudo do padrão dos movimentos oculares. In: III Jornada de
Iniciação Científica PIBIC e PIVIC, 2007, São Paulo. III Jornada de Iniciação Científica PIBIC e PIVIC. São Paulo: Editora Mackenzie, 2007.
PINTO, I. S.; MACEDO; E. C. LUKASOVA, K; OLIVEIRA, D. G.; ZANIN L. L. Adaptação de uma bateria informatizada de leitura e escrita para avaliação de adultos com e sem dislexia do desenvolvimento In: III Jornada do NPPI, 2008, São Paulo. III Jornada do NPPI, 2008, São Paulo,2008
SINGLETON,C. ; HORNE, J.; SIMMONS, F; Computerised screening for dyslexia in : adultsJournal of Research in Reading, ISSN 0141-0423 DOI: 10.1111/j.1467-9817.2008.01386.x Volume 32, Issue 1, 2009, pp 137–152
