Proposta de ferramenta de apoio à escolha
dos programas de criação de testes e fichas
de avaliação para o Ensino Básico e
Secundário
DISSERTAÇÃO DE MESTRADO EM INFORMÁTICA
CARLOS MANUEL AMBRÓSIO RODRIGUES
Curso de Mestrado em Informática
Proposta de ferramenta de apoio à escolha
dos programas de criação de testes e fichas
de avaliação para o Ensino Básico e
Secundário
Dissertação do curso de Mestrado em Informática
de
Carlos Manuel Ambrósio Rodrigues
Dissertação submetida à Universidade de Trás-os-Montes e Alto Douro, para
cumprimento dos requisitos necessários à obtenção do grau de Mestre em
Informática, elaborada sob a orientação do Prof. Doutor Paulo Nogueira
Martins e co-orientação do Prof. Doutor Ramiro Gonçalves.
Em Memória dos meus avós, Que já não estão entre nós.
Agradecimentos
Não posso deixar de agradecer, nesta ocasião, a todos os que de uma forma ou outra contribuíram para a realização desta dissertação:
- Ao Professor Doutor Paulo Martins e ao Professor Doutor Ramiro Gonçalves, que aceitaram orientar o meu trabalho. Agradeço-lhes o apoio dado, a sua disponibilidade, bem como todas as orientações, opiniões, sugestões, críticas e conselhos dados ao longo de todo o trabalho desenvolvido na realização desta tese.
- À minha esposa Carina Sanfíns, que foi quem me convenceu e incentivou a retomar os meus estudos e me deu toda a confiança de que precisava para tomar essa decisão. Agradeço-lhe ainda toda a paciência, compreensão e apoio nos momentos mais difíceis onde foi necessário abdicar de alguns momentos da vida a dois, sem o qual não teria sido possível terminar este trabalho.
- Aos meus pais, Carlos Rodrigues e Gracinda Ambrósio, que desde sempre me apoiaram em todas as minhas escolhas, quer pessoais, quer profissionais, incentivando-me a ir sempre mais longe e acreditando sempre nas minhas capacidades. Agradeço, ainda, a educação que me proporcionaram, ajudando-me em tudo que lhes era possível.
- À minha irmã, Elisete Rodrigues, pela sua amizade e carinho. Agradeço-lhe ainda o seu incentivo e apoio na minha continuada procura de saberes e conhecimentos.
- À Directora da Escola Secundária Camilo Castelo Branco de Vila Real, Fátima Rodrigues, que permitiu a realização do workshop sobre programas de realização de testes, bem como do respectivo inquérito.
- A todos os Professores e Professoras que participaram de forma empenhada no
workshop e no preenchimento do respectivo inquérito.
- A todos as outras pessoas que, directa ou indirectamente, permitiram que a realização desta dissertação fosse possível.
Resumo
As novas tecnologias de informação e comunicação e todas as ferramentas que foram criadas nesta área têm proporcionado novos métodos de trabalho a nível do ensino nas escolas básicas e secundárias. A avaliação é um dos aspectos mais importantes do ensino e pode ser actualmente feita com ferramentas informáticas de criação e utilização de testes.
Existem diversos tipos de ferramentas que possibilitam avaliar os alunos através de meios informáticos sob a forma de programas, sites e plataformas e-learning. A nível do ensino básico e secundário os mais adequados parecem ser os programas por ter um número razoável de funções, contrariamente aos sites, e não serem demasiadamente complexos como as plataformas e-learning. No entanto, a diversidade dos programas dificulta a escolha do mais adequado por parte dos professores.
Assim, o problema é o de encontrar uma forma de facilitar a escolha do programa mais adaptado à situação específica de cada professor do ensino básico e secundário. Tem que se ter em atenção que as necessidades individuais podem ter diferenças substanciais quanto à importância das diversas características apresentadas pelos programas de criação e utilização de testes.
Neste trabalho é apresentada uma proposta de ferramenta de análise aos programas de criação e utilização de testes com o intuito de os classificar através de um sistema de categorização e avaliação das características dos programas. Para apoiar a proposta é apresentado um estudo das diversas ferramentas, com enfoque especial nos programas, bem como uma análise de algumas ferramentas de comparação de sistemas e-learning para servir de base de trabalho, uma vez que não são conhecidas ferramentas de comparação de programas de criação de testes. É apresentado ainda um inquérito sobre as características dos programas e uma análise dos mesmos, bem como uma proposta para as categorias, as características e os sistemas de classificação para avaliar as características dos programas.
Abstract
The new information and communication technologies and all the tools that had been created in this area have proportionate new work methods at the level of education in the basic and secondary schools. The evaluation is one of the most important aspects of education and it can currently be made with informatic tools of creation and use of tests.
There are diverse types of tools that make possible to evaluate the students through informatic ways under the form of programs, sites and e-learning platforms. At the level of basic and secondary education the most adjusted seem to be the programs for having a reasonable number of functions, contrarily to sites, and not to be much complex as the e-learning platforms. However, the diversity of the programs makes it difficult the choice of the most adjusted by part of the teachers.
Thus, the problem is to find a form to facilitate the choice of the most adapted program to the specific situation of each basic and secondary education teacher. It has to be noted that the individual necessities can have substantial differences regarding to the importance of the diverse characteristics presented by the programs of creation and use of tests.
In this work it is presented a proposal of analysis tool to the programs of creation and use of tests with the intention of classify them through a system of categorization and evaluation of the program characteristics. To support the proposal a study of the diverse tools is presented, with special approach in the programs, as well as an analysis of some tools of comparison of e- learning systems to serve as a work base, since there are not known comparison tools of programs of creation of tests. It is also presented an inquiry about the program characteristics and an analysis of the same ones, as well a proposal for the categories, the characteristics and the classification systems to evaluate the program characteristics. Finally, it is described the proposal of the analysis tool that uses a system of modules and submodules with distinct functions to support the evaluation of the programs of creation and use of tests and the consultation of these evaluations.
Índice Geral
Agradecimentos ...I Resumo ...III Abstract ... V Índice Geral ... VII Índice de Figuras ...XII Índice de Tabelas ...XIII Índice de Gráficos ... XV Acrónimos ... XVII
Capítulo I - Introdução ...1
I.1 - O Ensino e a Avaliação ...4
I.2 - Ferramentas no Ensino Básico e Secundário ...12
I.3 - Objectivos ...15
I.4 - Organização da Dissertação ...17
I.5 - Metodologias de Investigação Utilizadas ...20
Capítulo II - Estado da Arte em Criação de Testes ...23
II.1 - Breve Retrospectiva ...24
II.2 - Programas de Criação de Testes ...34
II.2.1 - Hot Potatoes ...35
II.2.2 - Teaching Templates Quiz Maker ...40
II.2.3 - Tanida Quiz Builder ...44
II.2.4 - ITest ...48
II.2.6 - QuizFaber ...55
II.3 - Sites de Criação de Testes ...58
II.3.1 - ProProfs Quiz School ...58
II.3.2 - EasyTestMaker ...59
II.3.3 - E-QCM ...59
II.3.4 - ThatQuiz ...60
II.4 - Plataformas de E-Learning ...62
II.4.1- Desire2Learn ...62
II.4.2 - Blackboard ...66
II.4.3 - Moodle ...71
II.5 - Conclusões Sobre o Estado da Arte em Criação de Testes ...77
Capítulo III - Ferramentas de Comparação de Sistemas E-Learning ...79
III.1 - CMS Matrix ...80
III.1.1 - Os Itens e Categorias do CMS Matrix ...80
III.1.2 - Os Sistemas de Classificação do CMS Matrix ...83
III.1.3 - Funcionamento do CMS Matrix ...84
III.2 - Content Management System Software Review ...85
III.2.1 - Os Itens e Categorias do Content Management System Software Review ...86
III.2.2 - Os Sistemas de Classificação do Content Management System Software Review ...88
III.2.3 - Funcionamento do Content Management System Software Review ...89
III.3 - EduTools ...90
III.3.1 - Os Itens e Categorias do EduTools...91
III.3.2 - Os Sistemas de Classificação do EduTools ...96
III.3.3 - Funcionamento do EduTools ...96
III.4 - Conclusões sobre as Ferramentas de Comparação de Sistemas E-Learning ...98
IV.1 - Inquérito ...102
IV.2 - Análise Comparativa dos Programas de Testes ...114
IV.3 - As Categorias e Itens da Ferramenta ...115
IV.3.1 - Hardware Compatível ...117
IV.3.2 - Software Compatível...120
IV.3.3 - Outros Requisitos ...121
IV.3.4 - Compatibilidade com Outras Ferramentas ...123
IV.3.5 – Tipos de Testes Disponíveis ...124
IV.3.6 - Ferramentas de Configuração dos Testes ...129
IV.3.7 - Organização dos Conteúdos ...131
IV.3.8 - Segurança ...133
IV.3.9 - Facilidade de Utilização ...134
IV.3.10 - Correcção e Resultados ...136
IV.4 - Os Diferentes Sistemas de Classificação dos Itens ...138
IV.4.1 - O Sistema de Classificação “Sim/Não” ...139
IV.4.2 - O Sistema de Classificação “Sim/Mais ou Menos/Não” ...140
IV.4.3 - O Sistema de Classificação “1 a 5” ...142
IV.4.4 - O Sistema de Classificação “0 a 5” ...144
IV.4.5 - O Sistema de Classificação “0 a 10” ...144
IV.4.6 - O Sistema de Classificação “0 a 20” ...145
IV.4.7 - O Sistema de Classificação Livre ...145
IV.4.8 - A Tomada de Decisão/Que Sistema Escolher? ...146
IV.5 - Conclusões sobre o Sistema de Categorização e de Classificação da Ferramenta Proposta ...147
Capítulo V - A Ferramenta de Análise ...149
V.1.1 - A Definição das Categorias ...155
V.1.2 - A Definição dos Itens ...157
V.1.3 - A Definição dos Sistemas de Classificação ...158
V.1.4 - A Junção das Definições ...160
V.1.5 - A Definição dos Programas a Avaliar ...161
V.1.6 - A Definição da Versão ...162
V.2 - Módulo Principal de Recolha de Informações ...162
V.2.1 - A Selecção dos Sistemas de Classificação...163
V.2.2 - A Escolha dos Programas e das Pontuações ...165
V.2.3 - O Armazenamento da Versão e das Pontuações ...166
V.3 - Módulo Principal de Produção de Resultados ...167
V.3.1 - A Análise de Dados ...167
V.3.2 - A Apresentação dos Resultados ...169
V.4 - Módulo Principal de Selecção ...172
V.4.1 - A Selecção da Versão ...174
V.4.2 - A Selecção das Categorias...174
V.4.3 - A Selecção dos Itens ...175
V.4.4 - A Definição de Pesos ...175
V.5 - Módulo Principal de Visualização de Resultados ...178
V.5.1 - A Definição da Visualização ...178
V.5.2 - A Visualização dos Resultados...179
V.6 - Os Destinatários dos Módulos ...179
V.7 - Conclusões Sobre a Ferramenta de Análise ...180
Capítulo VI - Conclusão ...183
Bibliografia ...187
Anexo B – Análise dos Programas ...197
Anexo C – Exemplo de Escolha das Pontuações ...201
Anexo D – Gráficos da Avaliação dos Itens dos Programas...205
Anexo E – Gráficos da Avaliação das Categorias dos Programas ...207
Anexo F – Gráficos da Avaliação de um Item dos Vários Programas ...209
Anexo G – Gráficos da Avaliação de Todas as Categorias dos Vários Programas ...211
Anexo H – Gráficos da Avaliação Global dos Vários Programas ...215
Anexo I – Outros Gráficos da Avaliação dos Programas ...217
Índice de Figuras
Figura 1 – Tipos de avaliação ...5
Figura 2 – Capítulos e seus conteúdos ...17
Figura 3 – Processos de realização do trabalho ...22
Figura 4 - Hot Potatoes...36
Figura 5 - Teaching Templates Quiz Maker ...40
Figura 6 - Tanida Quiz Builder ...45
Figura 7 - ITest ...48
Figura 8 - Qedoc Quiz Maker ...51
Figura 9 - QuizFaber ...56
Figura 10 - ProProfs Quiz School ...58
Figura 11 - EasyTestMaker ...59
Figura 12 - E-QCM ...60
Figura 13 - ThatQuiz ...61
Figura 14 - CMS Matrix ...80
Figura 15 – Content Management System Software Review ...86
Figura 16 - EduTools ...90
Figura 17 – Categorias das ferramentas de comparação ...98
Figura 18 – Esquema de interacção dos módulos ...151
Figura 19 – MPC (Módulo Principal de Configuração) ...154
Figura 20 – Relacionamento entre classificações, itens e categorias ...160
Figura 21 - MPRI (Módulo Principal de Informações) ...163
Figura 22 - MPPR (Módulo Principal de Produção de Resultados) ...167
Figura 23 - MPS (Módulo Principal de Selecção) ...173
Índice de Tabelas
Tabela 1 - O sistema de classificação “Sim/Mais ou Menos/Não” ...141
Tabela 2 – Associação entre os módulos e os seus destinatários ...152
Tabela 3 – As Categorias e os sistemas de classificação escolhidos ...165
Tabela 4 – Tipos de análises de dados ...168
Tabela 5 – Características dos programas na categoria Hardware Compatível ...197
Tabela 6 – Características dos programas na categoria Software Compatível ...197
Tabela 7 – Características dos programas na categoria Outros Requisitos ...197
Tabela 8 – Características dos programas na categoria Compatibilidade com Outras Ferramentas ...198
Tabela 9 – Características dos programas na categoria Tipos de Testes Disponíveis ...198
Tabela 10 – Características dos programas na categoria Ferramentas de Configuração dos Testes ...198
Tabela 11 – Características dos programas na categoria Organização de Conteúdos ...198
Tabela 12 – Características dos programas na categoria Segurança ...199
Tabela 13 – Características dos programas na categoria Facilidade de Utilização ...199
Tabela 14 – Características dos programas na categoria Correcção e Resultados ...199
Tabela 15 – Escolha das pontuações na categoria Hardware Compatível ...201
Tabela 16 – Escolha das pontuações na categoria Software Compatível ...201
Tabela 17 – Escolha das pontuações na categoria Outros Requisitos ...201
Tabela 18 – Escolha das pontuações na categoria Compatibilidade com Outras Ferramentas ...201
Tabela 19 – Escolha das pontuações na categoria Tipos de Testes Disponíveis ...202
Tabela 20 – Escolha das pontuações na categoria Ferramentas de Configuração dos Testes ...202
Tabela 21 – Escolha das pontuações na categoria Organização de Conteúdos ...202
Tabela 23 – Escolha das pontuações na categoria Facilidade de Utilização ...203
Tabela 24 – Escolha das pontuações na categoria Correcção de Resultados ...203
Tabela 25 – Avaliação global de todas as categorias dos programas ...204
Tabela 26 – Análise de dados personalizada da categoria Hardware Compatível ...223
Tabela 27 – Análise de dados personalizada da categoria Software Compatível ...223
Tabela 28 – Análise de dados personalizada da categoria Outros Requisitos ...223
Tabela 29 – Análise de dados personalizada da categoria Compatibilidade com Outras Ferramentas ...223
Tabela 30 – Análise de dados personalizada da categoria Tipos de Testes Disponíveis ...224
Tabela 31 – Análise de dados personalizada da categoria Ferramentas de Configuração dos Testes ...224
Tabela 32 – Análise de dados personalizada da categoria Organização de Conteúdos ...224
Tabela 33 – Análise de dados personalizada da categoria Segurança ...225
Tabela 34 – Análise de dados personalizada da categoria Facilidade de Utilização ...225
Tabela 35 – Análise de dados personalizada da categoria Correcção e Resultados ...225
Índice de Gráficos
Gráfico 1 – Avaliação dos itens da categoria Ferramentas de Configuração de Teste do programa
Teaching Templates Quiz Maker em colunas ...205
Gráfico 2 – Avaliação dos itens da categoria Organização de Conteúdos do programa ITest em barras ...206
Gráfico 3 – Avaliação dos itens da categoria Organização de Conteúdos do programa Quedoc Quiz Maker em radar ...206
Gráfico 4 – Avaliação das categorias do programa Hot Potatoes em colunas ...207
Gráfico 5 – Avaliação das categorias do programa Teaching Templates Quiz Maker em barras....208
Gráfico 6 – Avaliação das categorias do programa Hot Potatoes em radar ...208
Gráfico 7 – Avaliação do item Sistemas Operativos Compatíveis da categoria Software Compatível nos diversos programas em colunas ...209
Gráfico 8 – Avaliação do item Tipo de Máquina da categoria Hardware Compatível nos diferentes programas em barras ...210
Gráfico 9 – Avaliação do item Alteração do Aspecto do Texto da categoria Ferramentas de Configuração nos diferentes programas em radar ...210
Gráfico 10 – Avaliação das categorias dos programas em colunas com os programas no eixo dos XX ...211
Gráfico 11 – Avaliação das categorias dos programas em colunas com as categorias no eixo dos XX ...212
Gráfico 12 – Avaliação das categorias dos programas em barras com os programas no eixo dos YY ...212
Gráfico 13 – Avaliação das categorias dos programas em barras com as categorias no eixo dos YY ...213
Gráfico 14 – Avaliação das categorias dos programas com os programas em radar ...213
Gráfico 15 – Avaliação das categorias dos programas com as categorias em radar ...214
Gráfico 16 – Avaliação global dos programas em colunas ...215
Gráfico 18 – Avaliação global dos programas em radar ...216 Gráfico 19 – Avaliação dos itens da categoria Hardware Compatível dos programas em colunas .217 Gráfico 20 – Avaliação dos itens da categoria Software Compatível dos programas em barras ....218 Gráfico 21 – Avaliação dos itens da categoria Outros Requisitos dos programas em colunas ...218 Gráfico 22 – Avaliação dos itens da categoria Compatibilidade com Outras Ferramentas dos
programas em barras ...219 Gráfico 23 – Avaliação dos itens da categoria Tipos de Testes Disponíveis dos programas em barras ...219 Gráfico 24 – Avaliação dos itens da categoria Ferramentas de Configuração dos Testes dos
programas em colunas ...220 Gráfico 25 – Avaliação dos itens da categoria Organização de Conteúdos dos programas em barras ...220 Gráfico 26 – Avaliação dos itens da categoria Segurança dos programas em colunas ...221 Gráfico 27 – Avaliação dos itens da categoria Hardware Compatível dos programas em radar ....221 Gráfico 28 – Avaliação dos itens da categoria Software Compatível dos programas em radar ...222
Acrónimos
AICC Aviation Industry CBT Committee (CBT – Computer Based Training) CBT Computer Based Training
CMS Content Management System ou Content Management System CMSSR Content Management System Software Review
ETM EasyTestMaker
GATo Gestão de Actividades TIC na Educação HoPo Hot Potatoes
IEEE Institute of Electrical and Electronics Engineers IMS Information Management Standard
LCMS Learning Content Management System LMS Learning Management System
LSS Learning Support System MCQ Multiple Choice Questions MLE Managed Learning Environment MPC Módulo Principal de Configuração
MPPR Módulo Principal de Produção de Resultados MPRI Módulo Principal de Recolha de Informações MPS Módulo Principal de Selecção
MPVR Módulo Principal de Visualização de Resultados PPQS ProProfs Quiz School
QFa QuizFaber
QQM Qedoc Quiz Maker QQP Qedoc Quiz Player
SCORM Sharable Content Object Reference Model
SGC Sistema de Gestão de Conteúdos ou Sistema de Gestão de Cursos SMAD SubMódulo de Análise de Dados
SMAR SubMódulo de Apresentação dos Resultados
SMAVP SubMódulo de Armazenamento da Versão das Pontuações SMDC SubMódulo de Definição das Categorias
SMDI SubMódulo de Definição dos Itens
SMDPA SubMódulo de Definição dos Programas a Avaliar SMDSC SubMódulo de Definição dos Sistemas de Classificação SMDV SubMódulo de Definição da Visualização
SMDVD SubMódulo de Definição da Versão das Definições SMEPP SubMódulo dos Programas e das Pontuações SMDP SubMódulo de Definição dos Pesos
SMJD SubMódulo de Junção das Definições SMSC SubMódulo de Selecção das Categorias SMSI SubMódulo de Selecção dos Itens
SMSSC SubMódulo de Selecção dos Sistemas de Classificação SMSV SubMódulo de Selecção da Versão
SMVR SubMódulo de Visualização dos Resultados TQB Tanida Quiz Builder
TTQM Teaching Templates Quiz Maker VLE Virtual Learning Environment WWW World Wide Web
Capítulo I - Introdução
O ensino tem sido referido como uma das áreas fundamentais e imprescindíveis para a evolução de uma nação, sendo a escola o seu principal factor de sustentação e progresso. Desde criança as vivências experimentadas na escola contribuem para o desenvolvimento e crescimento do indivíduo, preparando-o para a vida em sociedade e permitindo a aquisição de conhecimentos necessários para uma melhor integração do mesmo na sociedade em que se insere, sendo assim de vital importância todo o percurso vivido ao longo da passagem pela escola. Como refere Ricardo Vieira, “As escolas são
instituições imprescindíveis para o desenvolvimento e para o bem-estar das pessoas, das organizações e das sociedades. É nas escolas que a grande maioria das crianças e dos jovens aprendem uma diversidade de conhecimentos e competências que dificilmente poderão aprender noutros contextos.” (Vieira, 2009). Os conhecimentos adquiridos ao
longo da formação são muito diversificados e não serão, como é natural, todos utilizados ao longo da vida, no entanto, contribuem para a formação e o crescimento da pessoa que poderá estar melhor preparada se os conhecimentos adquiridos forem os mais adequados. Também a sociedade necessita do ensino de forma a, pelo menos, reproduzir-se a si mesma e se possível progredir, pois os seus elementos envelhecem e é necessário uma renovação constante, bem como um progresso positivo nas competências e conhecimentos das pessoas que a constituem.
O ensino e a educação têm sido alvos de inúmeros estudos em diversos contextos, como por exemplo a nível da sua importância para determinadas áreas, da sua estrutura, do seu funcionamento ou da eficácia do mesmo em atingir determinados objectivos quer a nível da forma de avaliar a qualidade do mesmo como, mais recentemente, a nível do enfoque especial dado ao paradigma de avaliação dos professores. O objectivo é analisar e
estudar os contextos educativos actuais e históricos de forma a propor soluções de mudanças para a melhoria dos sistemas educativos onde esses estudos de inserem. “Falar
de Educação implica ter presente que o fenómeno educativo se dá no seio de uma determinada sociedade e num período de tempo determinado. Da evolução dos distintos grupos sociais no decorrer do tempo, surgem forçosamente os diferentes modelos educativos, que pouco a pouco uma vezes e de forma mais repentina noutras, vão experimentando as mudanças que facilitam ou possibilitam melhorar, a nomeada evolução sócio-económica-educativa.” (Fernández, 2006). É possível encontrar na Internet uma
grande quantidade de artigos e teses sobre educação em diversas áreas, existindo um grande número de documentos em arquivos como bibliotecas virtuais ou repositórios de teses, bem como listas de teses disponíveis na área da Educação, como por exemplo, a listagem de teses de mestrado em educação especial e Reabilitação do Departamento de Educação Especial e reabilitação da Universidade Técnica de Lisboa que se encontra disponível no
site da Faculdade de Motricidade Humana1 e cujo factor comum a todas elas, é a preocupação com a educação para pessoas que tenham dificuldades motoras.
O conjunto destes estudos tem tido uma grande importância nas mudanças realizadas a nível mundial nas últimas décadas, e várias abordagens foram testadas em vários países dando origem a várias tendências pedagógicas que definem a importância da pedagogia com base em diferentes perspectivas de como se devem desenvolver as actividades de ensino-aprendizagem. Por exemplo, segundo Libâneo, as tendências estão divididas em liberais (tradicional, renovada progressista, renovada não directiva e tecnicista) e progressistas (libertadora, libertária e crítico-social dos conteúdos). As tendências liberais sustentam que “a escola tem por função preparar os indivíduos para o
desempenho de papéis sociais, de acordo com as aptidões individuais. Para isso, os indivíduos precisam aprender a adaptar-se aos valores e às normas vigentes na sociedade de classes, através do desenvolvimento da cultura individual” (Libâneo, 1990). As
tendências progressistas referem-se a “tendências que, partindo de uma análise crítica das
realidades sociais, sustentam implicitamente as finalidades sociopolíticas da educação.
1
Evidentemente a pedagogia progressista, não tem como institucionalizar-se numa sociedade capitalista; daí ser ela um instrumento de luta dos professores ao lado de outras práticas sociais.” (Libâneo, 1990). Existem ainda outras tendências, modelos e teorias
referidas em diversos estudos cuja divisão e perspectiva é diferente da apresentada anteriormente. Todas estas perspectivas permitem sistematizar o estudo das práticas lectivas através de perspectivas bem definidas, permitindo analisar, tirar conclusões sobre cada uma das perspectivas, aplicá-las em diversas situações e tirar conclusões sobre os efeitos positivos ou negativos que elas têm ao nível do ensino.
É de salientar que, devido às grandes alterações dos tempos actuais, também em Portugal foram implementadas sucessivas reformas que pretenderam encontrar soluções viáveis para que o sistema de ensino português possa melhorar e adaptar-se a uma nova sociedade mais aberta ao exterior. “A evolução dos sistemas educativos, situou-se, durante
os últimos trinta anos, no contexto de um processo acelerado de integração económica supranacional, fenómeno de âmbito mundial do qual faz parte a construção da União Europeia.” (Canário, 2006). Nas últimas décadas as transformações foram muitas e várias
formas de ensino foram utilizadas, tendo sido testadas de forma a encontrar quais as melhores para preparar os jovens e integrá-los na sociedade adequadamente. “Note‑se que,
a partir de 1975, aceleraram‑se as mudanças políticas, sociais e económicas, as condições de vida e os valores que a orientavam, com as consequentes mudanças a nível do sistema de ensino, já em parte referidas. Mas não é só a nível do sistema que se notam mudanças. Começa a surgir uma forte apetência pelo conhecimento científico na área educativa, que possibilitasse novas perspectivas e intervenções mais fundamentadas…” (Estrela, 2006).
Independentemente da correcção ou não das medidas tomadas nas últimas décadas, é importante que sejam realizados mais estudos sobre os diversos aspectos do ensino e as soluções actuais para detectar problemas, dificuldades e potencialidades que permitam analisar e encontrar soluções mais adequadas do que as anteriormente utilizadas. As tarefas desenvolvidas a nível do ensino são diversificadas e passam por diversos itens, tais como, a planificação das actividades, as actividades de ensinamento, aprendizagem e avaliação, bem como outras actividades que contribuam para o desenvolvimento de todas as acções desenvolvidas na área da educação.
É importante referir que esta área tem vindo a sofrer grandes alterações devido essencialmente ao aparecimento de novos instrumentos de trabalho que permitem melhorar as diversas actividades realizadas, nomeadamente, as novas tecnologias de informação e comunicação e mais em particular a criação e utilização de testes através de ferramentas electrónicas.
Para além de se poderem criar documentos (contendo testes e fichas) através de meios electrónicos, nomeadamente processadores de texto, e de se poderem fornecer os mesmos em suporte de papel aos alunos, actualmente já existem muitas ferramentas que permitem criar e utilizar fichas e testes de avaliação directamente no computador. Assim, torna-se cada vez mais fácil realizar actividades de avaliação através de ferramentas como programas, sites da Internet e platformas de e-learning completas. No entanto, o cada vez maior número de ofertas dificulta a escolha das ferramentas mais adequadas. É neste último âmbito que se insere este trabalho, focando-se numa pequena mas importante área do ensino que é a realização de fichas de trabalhos e testes com ajuda de meios electrónicos, bem como a análise e avaliação de programas que tenham esta função e que possam ser utilizados a nível do ensino básico e secundário.
I.1 - O Ensino e a Avaliação
Apesar da diversidade de tarefas existentes no desenvolvimento das actividades no ensino poder ser caracterizada pela importância de cada uma dessas tarefas, um dos aspectos mais importantes do ensino, para além da transmissão das matérias e dos conhecimentos aos alunos, é o momento da avaliação, isto é, a sua preparação através de actividades com os alunos, a realização presencial ou não dos testes e, finalmente, o controlo dos resultados obtidos pelos alunos. “Ao longo dos tempos, tem-se atribuído
diferentes significados à avaliação, assim como as suas funções têm vindo a ampliar-se, no entanto, a função pedagógica da avaliação é vista como um processo fundamental do ensino e da aprendizagem.” (Vale, 2005). Outro facto importante é o de normalmente
existirem vários tipos de avaliação utilizados, existindo um conjunto de conceitos sobre os mesmos que permite ver a avaliação através de vários objectivos e várias perspectivas.
Alguns dos aspectos importantes da avaliação são a quantificação, estimação ou apreciação da competência de uma pessoa numa determinada área de conhecimento ou numa determinada tarefa. Contudo, a importância da avaliação não é só caracterizada pelo seu lado de quantificação dos conhecimentos e das capacidades adquiridas, mas também pela possibilidade de aprendizagem através dos erros e da reorientação da aprendizagem com base nestes. Dos vários tipos de avaliação, podem identificar-se alguns (ver Figura 1 – Tipos de avaliação).
Figura 1 – Tipos de avaliação
TIPOS DE AVALIAÇÃO Inicial Diagnóstica Contínua Formativa Final Sumativa Interna / Externa Autoavaliação / Hetero-avaliação Quantitativa / Qualitativa Aferida / Especializada Certificativa / Prognóstica
No ensino básico e secundário, ao longo do ano, são fundamentalmente utilizadas a avaliação diagnóstica, a avaliação formativa e a avaliação sumativa.
A avaliação diagnóstica ou inicial é aquela que permite no primeiro contacto dos alunos com novos conteúdos, determinar a que nível os mesmos se situam em relação a determinados conceitos e conhecimentos. Assim, poderão conhecer-se as bases de partida dos alunos e a distância existente entre o conhecimento inicial destes e o ponto que se pretende atingir com os ensinamentos e aprendizagens futuras. ”Esta modalidade de
avaliação justifica-se sempre que se pretende identificar um ponto de partida, tendo em conta as características da turma e dos seus alunos, assim como, aos conhecimentos que estes possuem sobre assuntos relacionados com os conteúdos curriculares e as competências que desenvolveram. Assim, este tipo de avaliação, permite fornecer ao professor elementos que lhe permitirão adequar os trabalhos que vai realizar às características e conhecimentos dos alunos com quem irá trabalhar.” (Vale, 2005). Esta
avaliação inicial pode ser de importância fundamental para a adaptação dos métodos utilizados, para atingir o grau necessário relativamente aos conteúdos programáticos e para adequar os mesmos às necessidades encontradas.
A avaliação formativa ou contínua tem como função exercitar os conteúdos abordados ao longo da formação, revelando com a sua realização quais os assuntos correctamente aprendidos, quais os que não o foram e quais aqueles em que ainda existem algumas lacunas. É assim possível a partir deste tipo de avaliação fazer um ponto da situação na progressão dos alunos e utilizar os resultados para orientar as actividades futuras, mantendo o mesmo rumo ou reformulando-os consoante as necessidades de adaptação ao contexto. Sendo uma forma de controlar a aprendizagem, pode-se dizer que a avaliação formativa está ligada indirectamente à avaliação no que diz respeito ao auto-conhecimento do grau de aprendizagem adquirido. “A avaliação é formativa se assegura
que os processos de formação se vão adequando às características dos alunos, permitindo a adaptação do ensino às diferenças individuais. Esta avaliação, ainda que considere os resultados da aprendizagem, incide preferencialmente sobre os processos desenvolvidos pelos alunos face às tarefas propostas. Mas a avaliação só é verdadeiramente formativa
quando é compreendida pelo aluno nas suas diferentes dimensões e lhe permite regular a sua aprendizagem, o que supõe a escuta dos pares e o confronto de pareceres facilitadores da auto-avaliação e do auto-controle.” (Ferraz, et al., 1994). Assim, esta avaliação tem
também uma função diagnóstica e pode ser uma boa ferramenta de apoio ao desenvolvimento da aprendizagem que vai desde a avaliação inicial diagnóstica até à avaliação final sumativa.
A avaliação sumativa ou final permite aferir os conhecimentos dos alunos através de um momento pontual onde serão classificados através de uma avaliação quantitativa e por vezes qualitativa, que permitirá definir se o aluno atingiu os objectivos necessários a nível dos saberes no que diz respeito à parte dos testes e, assim, decidir se cumpriu os mínimos necessários para obter uma classificação positiva. No entanto, pode-se dizer que este tipo de avaliação tem um objectivo meramente pontual e o seu objectivo primário não é ajudar os alunos na sua aprendizagem, mas sim ter um referencial que permita classificar e comparar o nível de cada um dos alunos. “Em suma, podemos dizer que as perspectivas a
que vimos fazendo referência atribuem, na sua generalidade, um carácter esporádico à avaliação sumativa, situando-a fora do processo de ensino-aprendizagem. Identificando a avaliação sumativa com a atribuição de classificações, reservam-lhe, sobretudo, objectivos de selecção e entendem que os alunos não são os seus principais destinatários.” (Longle,
2008). As ferramentas informatizadas existentes são ideais para este tipo de avaliação pois permitem classificar os utilizadores dos testes e atribuir-lhes uma nota em conformidade com os exercícios realizados por estes. Pode-se, assim, realizar testes formativos com base nestas tecnologias e facilitar a avaliação sumativa do aluno no que diz respeito à correcção e avaliação das tarefas realizadas.
Para além destes três tipos de avaliações são ainda utilizadas a auto-avaliação e a hetero-avaliação como suporte à análise efectuada aos diversos resultados obtidos através das avaliações anteriormente apresentadas.
A auto-avaliação não é só o acto de um aluno dizer no final de um determinado período ou do ano, qual é a classificação que merece em relação às diversas actividades de
aprendizagem realizadas. Esta avaliação é, também, a capacidade de o aluno ao longo do seu processo de aprendizagem aferir o seu nível de conhecimento e os seus progressos, de forma a verificar qual o grau de aprendizagem atingido e quais as lacunas que devem ser preenchidas através de mais aprendizagem. “A apreciação crítica do aluno relativamente
ao seu trabalho, ao seu processo de aprendizagem, permite identificar e compreender as etapas que o constituem, analisar e compreender os erros cometidos e os sucessos alcançados, comparar a acção desenvolvida com o plano pensado, confrontar os produtos obtidos com os produtos esperados e as operações realizadas com as concepções que delas tinha à partida, planificar as tarefas de aprendizagem a desenvolver... Sob esta forma, a auto-avaliação consistirá então, na regulação do processo de aprendizagem pelo sujeito dessa aprendizagem: antecipação das operações a realizar para que determinada aprendizagem se verifique, identificação dos erros de percurso cometidos e procura de soluções alternativas.” (Barbosa & Alaiz, 1994). Mais uma vez, algumas das ferramentas
de criação de testes são perfeitamente adaptadas a este tipo de avaliação, permitindo que um aluno possa ter testes que lhe dêem um feedback dos resultados obtidos através da análise pormenorizada dos resultados ou através de uma indicação sistemática da assertividade ou não das respostas dadas, o que permite que o aluno se auto-avalie.
A hetero-avaliação, por seu lado, permite que os alunos sejam avaliados pelos seus pares, proporcionando quer ao professor quer aos alunos uma outra perspectiva do grau atingido por cada um dos estudantes. “Os alunos avaliam-se uns aos outros no trabalho de
grupo em experiencias de co-gestão de aula.” (Olivé, 1997). No dicionário português
Priberam da Internet a hetero-avaliação é definida como a “avaliação feita por uma ou
mais pessoas que não estão a ser avaliadas nesse momento”. Esta avaliação é de facto
também utilizada por parte do professor para avaliar, pois quando este avalia o aluno está a realizar uma avaliação de outro indivíduo, isto é, está a realizar uma hetero-avaliação.
É de referir que estes dois tipos de avaliação podem estar ligados à avaliação dita formativa, pois permitem pensar e ponderar sobre as aprendizagens adquiridas por cada um dos alunos, quer a nível do próprio aluno quer a nível do professor com base em informações e perspectivas que poderia não obter de outra forma. Ainda existe um grande
número de tipos de avaliação referidos por diversos autores dos quais alguns serão apresentados nos parágrafos a seguir.
A avaliação quantitativa permite avaliar através de critérios ligados à matemática. É normalmente associada à ideia de critérios objectivos, com uma definição clara da valorização de cada um desses critérios. “O avaliador quantitativo necessita de
instrumentos estruturados (como questionários ou entrevistas estruturadas) com categorias estandardizadas que permitam encaixar as respostas individuais.” (Coutinho, 2005). Este
tipo de avaliação é normalmente utilizada para quantificar tarefas realizadas, nomeadamente, trabalhos, fichas, testes, etc. É normalmente com base na avaliação quantitativa que a avaliação final de um aluno é calculada, pois para obter aprovação o aluno deverá atingir um determinado valor quantitativo sem o qual se considerará que ele não adquiriu conhecimentos suficientes ou não atingiu o nível de aprendizagem adequado. A avaliação qualitativa é uma avaliação mais subjectiva onde se consideram patamares de aprendizagem classificados através de palavras com um determinado significado (muito mau, mau, medíocre, médio, bom, muito bom, excelente), que podem em certos casos ser vinculados a um valor quantitativo, sem que no entanto esse vínculo tenha uma ligação objectiva. Pois, o intervalo de valores para definir o “muito bom” pode ser diferente de pessoa para pessoa. “O avaliador qualitativo ausculta as opiniões individuais (entrevista
não estruturada ou livre, observação participante ou não participante) sem se preocupar em categorizar as respostas de antemão; pressupõe ser fundamental atender às características individuais dos intervenientes num programa/intervenção, porque é da forma como estes se empenham que tudo depende.” (Coutinho, 2005). Pode-se considerar a
avaliação qualitativa como um complemento da avaliação quantitativa, para dar um significado compreensível à avaliação para além do valor quantitativo obtido pelo aluno.
A avaliação interna é realizada pelos elementos internos da escola através de várias actividades, avaliações em aulas, testes relativos a conteúdos e também exames internos à escola. Todos os critérios de avaliação, datas, conteúdos e matrizes são definidos pelos professores, e todo o processo de avaliação é realizado, controlado, finalizado e registado pela própria escola. “Os professores avaliam os seus alunos e as suas turmas e, as
qualificações que são assinaladas são colocadas em registos…” (Olivé, 1997). Neste
âmbito os elementos externos à escola não têm influência directa na avaliação. A avaliação externa é realizada por elementos exteriores à escola, de forma a avaliar a progressão dos alunos dessa escola através de exames que sejam comuns a muitas escolas e poder assim comparar os resultados obtidos pelos alunos das diversas escolas. É o caso dos exames nacionais realizados no ensino básico e secundário. Este tipo de avaliação pode, também, ser utilizado para certificar os alunos relativamente aos conteúdos avaliados. “Realizada
por pessoas que não estão directamente relacionadas com os alunos, com o objectivo de facilitar o diagnóstico de modo amplo de sujeitos e de seleccioná-los.” (Olivé, 1997). No
entanto, apesar de a avaliação na maior parte dos casos ser externa, esta requer a ajuda da estrutura interna das escolas para poder ser realizada, pois esta fornece a plataforma para que os exames possam ser realizados convenientemente.
José Pacheco refere quatro tipos de modalidades de avaliação, das quais duas são diferentes das anteriormente nomeadas, isto é, formativa, sumativa, aferida e especializada. A avaliação aferida permite conferir os conhecimentos que os alunos adquiriram numa determinada matéria, sem que tal tenha influências na sua avaliação de período ou de ano, refere-se assim a “uma validação externa, sem efeitos na progressão do aluno, e é da
competência tanto do Ministério da Educação como do Conselho Pedagógico da escola, assumindo neste último um carácter facultativo…” (Pacheco, 1993). Quanto à avaliação
especializada é uma avaliação transversal às várias disciplinas de um currículo e é utilizada para actividades interdisciplinares, sendo definida como “uma avaliação personalizada que
permite observar as dificuldades de aprendizagem dos alunos não em função de normas estandartizadas mas sim em função da progressão real e condicionantes individuais”
(Pacheco, 1993).
Philippe Perrenoud, por sua vez, refere as avaliações formativas, certificativas e prognósticas. A avaliação certificativa é relacionada com a aquisição de competências técnicas que permitam apreender conteúdos e realizar actividades que preparam os alunos para uma determinada área de actividade, o que é o caso dos Cursos Profissionais a nível do Ensino Secundário e dos Cursos de Educação e Formação a nível do Ensino Básico, assim,
“A avaliação certificativa garante aquisições em relação a terceiros, no mercado de trabalho, e com rigor no final de um ciclo de estudos: ela intervém no final de um determinado curso.” (Perrenoud, 2001). A avaliação prognóstica permite analisar as
aptidões que os alunos poderão ter para se adaptarem a determinadas áreas de estudo no sentido de orientar os mesmos da melhor forma em relação às capacidades detectadas, sendo que, “A avaliação prognóstica funde as decisões de selecção ou de orientação em
função da aptidão presumida para seguir um novo curso, por exemplo uma determinada área do secundário: ela situa-se num momento anterior de um curso e pressupõe uma escolha.” (Perrenoud, 2001).
Ainda podem ser referidos muitos outros tipos de avaliação estudados, como por exemplo, avaliação burocrática, avaliação autocrática, avaliação democrática e muitos outros termos para identificar diversos modelos de avaliação com características diferentes. Como se pode constatar, para além dos tipos de avaliação mais frequentemente referidos e utilizados, existem muitos outros que se referem a perspectivas distintas da avaliação e dos seus objectivos. No entanto, qualquer que seja o tipo de avaliação empregada é importante, nos dias de hoje, ter ferramentas de apoio de criação de testes informatizados e, assim, ter mais um instrumento que pode ser profícuo no desenvolvimento da avaliação.
Uma grande parte da avaliação realizada nas escolas básicas e secundárias utiliza como base de sustentação a realização de fichas de trabalho e de testes. É neste âmbito que se podem introduzir as ferramentas informatizadas actuais de criação de testes e fichas de avaliação que pouco a pouco têm vindo a surgir e a ganhar terreno, sendo cada vez mais utilizadas nas escolas portuguesas, nas universidades, bem como nas empresas que realizam a formação dos seus funcionários.
Obviamente a avaliação dos alunos, nos graus de ensino básico e secundário, também é feita através de outros critérios, como por exemplo a assiduidade, a pontualidade, o comportamento, o interesse, a participação, as atitudes, o respeito pelos outros, as actividades práticas, etc. No entanto, nenhum destes parâmetros pode ser avaliado com a ajuda das ferramentas de criação de testes, uma vez que estas não se adaptam a esses tipos
de avaliação. É pois impossível avaliar a assiduidade, o comportamento ou mesmo o respeito pelos outros através das respostas fornecidas pelo aluno nas fichas ou testes realizados em suporte informático. Estes itens só poderão ser avaliados através de um registo por parte do professor. Assim, é importante salientar que a análise das ferramentas realizadas neste estudo será orientada fundamentalmente no contexto da criação e utilização de fichas e testes de avaliação.
I.2 - Ferramentas no Ensino Básico e Secundário
Nos últimos anos, o ensino tem vindo a sofrer transformações significativas devido em grande parte à introdução das novas tecnologias de informação e comunicação e à sua cada vez mais frequente utilização. “Inspirado por políticas europeias, as últimas décadas
registaram, a nível nacional, o desenvolvimento de vários projectos relativos às TIC no ensino-aprendizagem, que permitiram a introdução progressiva das novas tecnologias nas escolas portuguesas.” (Alves J. D., 2006). Com alguma frequência as escolas básicas e
secundárias têm visto os seus equipamentos informáticos actualizados quer a nível do hardware quer a nível do software e têm surgido vários projectos para a educação e várias plataformas de ajuda e apoio aos professores, como por exemplo, a ferramenta GATo2 (Gestão de Actividades TIC na Educação), que permite realizar requisições de salas e equipamentos através da Internet, a introdução do Moodle nas escolas e outros projectos
e-learning.
As tecnologias de informação e comunicação têm tido uma importância cada vez maior na educação, permitindo realizar tarefas e actividades que antigamente não eram possíveis. “No contexto educativo, são de referir, entre outras vantagens, a interacção
diferenciada que o professor pode estabelecer com os seus alunos quando recorre a software específico, a pesquisa on-line dirigida, a possibilidade de comunicação por e-mail para tirar dúvidas, enviar ficheiros, conversar com os encarregados de educação, etc.”
2
(Paiva, 2002). Nas escolas básicas e secundárias, os professores têm utilizado com maior frequência estas tecnologias para procurar informações na Internet, preparar as suas actividades lectivas, apresentar conteúdos através de diapositivos electrónicos, comunicar com diversos elementos da comunidade educativa, realizar actividades de aula, entre muitas outras tarefas. As escolas estão actualmente melhor equipadas com várias salas específicas com computadores e outros equipamentos e, algumas, já têm projector e alguns computadores em todas as salas com actividades lectivas. Também já é frequente encontrar escolas com computadores na biblioteca e até uma sala de mediateca com muitos computadores disponíveis.
Têm surgido cursos em todo o mundo, apoiados em plataformas de ensino on-line já muito desenvolvidas, que permitem a uma instituição ter soluções completas para a realização de acções e de cursos através de computadores ligados em rede, onde todas as actividades necessárias à realização do curso são feitas através de meios electrónicos. “Os
dados estatísticos sobre ensino a distância, nos últimos anos, são surpreendentes. Demonstram enorme crescimento do sector em um curto espaço de tempo. Entretanto, não acreditamos que esse salto (qualitativo, inclusive) se deva somente aos méritos do ensino a distância ou dos profissionais que nela acreditam. Sem dúvida, as possibilidades pedagógicas desse método, marcadas pela democratização do acesso ao conhecimento, contribuíram profundamente para os avanços dos recentes números.” (Soto, Mayrink, &
Gregolin, 2009). No entanto, no Ensino Básico e Secundário, essas tecnologias não têm sido muito utilizadas até aos dias de hoje devido a vários factores que são difíceis de ultrapassar, como por exemplo, o custo deste tipo de plataformas, a resistência à mudança, a falta de formação na área, a especificidade destes níveis de ensino (sendo a maior parte dos alunos menores) e ainda outros obstáculos que dificultam a implementação e implantação destas soluções. No entanto, como já foi referido anteriormente, existem tentativas de introdução de algumas tecnologias que, embora não substituam o ensino presencial, já permitem apoiar o mesmo em algumas actividades, como é o caso da realização de fichas e testes no computador.
Relativamente a este último aspecto já existe uma grande quantidade de soluções que podem ser utilizadas (algumas gratuitas e outras pagas), integradas em qualquer sistema de ensino e adaptadas a diversas situações encontradas nas escolas básicas e secundárias actuais, é o caso de programas como o Quiz Faber, o Hot Potatoes, o Quedoc Quiz Maker e muitos outros.
O tipo de soluções existentes é muito diversificado, quer a nível de ferramentas, quer a nível de conteúdos, o que permite ter uma grande quantidade de soluções e escolher a que melhor possa servir em cada situação. Sendo essas soluções diferenciadas, é assim necessário, antes de realizar qualquer escolha, conhecer as suas características e analisar quais são as mais susceptíveis de se adaptarem às tarefas a desenvolver.
Apesar de existir esta oferta de soluções, ainda há muitas Escolas Básicas e Secundárias que utilizam as novas tecnologias de forma muito básica, não indo muito além da utilização da Internet para pesquisa de informações e conteúdos, do Word para criação de documentos, fichas e testes, do Excel para a realização do cálculo das notas e gráficos sobre as mesmas, e ainda de um ou outro programa específico ligado às várias disciplinas.
Entretanto, já são cada vez mais os professores que utilizam ou pretendem utilizar programas específicos de criação e utilização de testes no computador.
Devido à grande quantidade de ferramentas existentes, a tarefa de procura da solução mais adequada por parte de cada professor, individualmente, pode tornar-se uma tarefa faraónica, tornando-se impossível de realizar, ou tornando-se uma escolha mais ou menos aleatória. Este facto deve-se por um lado à falta de estudos comparativos sistematizados sobre essas ferramentas e ainda à pouca análise efectuada às diversas soluções existentes no mercado.
O problema existente é, então, o de encontrar uma forma de auxiliar os professores na sua tarefa de análise e escolha da ou das ferramentas mais adequadas às tarefas que
pretende realizar, através de um instrumento que permita a avaliação de diversas ferramentas usando critérios definidos, bem como a análise comparativa das mesmas.
Para ajudar a resolver o problema de escolha de ferramentas de teste adequadas, era importante que existisse uma ferramenta cuja função fosse a de analisar e avaliar as diversas propostas existentes no mercado, através de uma comparação das mesmas, possibilitando aos futuros utilizadores identificar as características que são mais importantes para resolver o seu problema e indicar quais as melhores soluções para cada professor em particular. Obviamente, comparar ferramentas deste tipo é uma tarefa difícil, pois não existe obrigatoriamente um paralelo entre as diversas funcionalidades existentes em cada uma delas, nem tão pouco uma semelhança entre muitas das funções apresentadas por cada uma delas. Esta realidade obrigará a uma comparação entre as ferramentas sem por vezes existir uma correspondência entre os diversos itens a analisar.
Outro dos factores que poderá influenciar a escolha é o factor humano, pois cada pessoa tem a sua visão pessoal sobre as necessidades que realmente tem relativamente a ferramentas deste tipo. Será então necessário ter em conta a grande diversidade de opiniões sobre o que é ou não realmente importante que essas ferramentas tenham.
I.3 - Objectivos
O objectivo principal deste trabalho foi o de construir o modelo de uma ferramenta cuja função fosse avaliar e classificar os programas informáticos de criação de testes e tivesse flexibilidade para se adaptar aos diversos tipos de programas existentes e à evolução futura dos mesmos. A finalidade era proporcionar um método de comparação das ferramentas para facilitar aos professores e formadores que pretendem utilizar este tipo de programas a escolha dos instrumentos mais adequados às suas actividades. Para atingir o objectivo principal foram identificados um conjunto de objectivos parcelares que deveriam ser atingidos no sentido de obter informações que permitissem suportar a elaboração do modelo.
O primeiro passo deste trabalho foi o de abordar o problema a estudar através de um levantamento do estado da arte na qual fossem apresentados alguns conceitos importantes, nomeadamente no que se refere à avaliação e às ferramentas existentes no Ensino Básico e Secundário.
Sendo o principal objectivo deste trabalho propor uma solução para análise, avaliação e comparação de programas de criação de testes, era importante numa primeira fase categorizar o tipo de ferramentas que existissem para realizar esta tarefa. Deveriam ser analisadas cada uma das categorias com base na escolha de algumas ferramentas representativas das mesmas e com a identificação das características fundamentais de cada uma. Como forma de apoio à criação do modelo de análise das ferramentas deveria ser realizado um quadro das características das categorias mais adequadas ao Ensino Básico e Secundário, nomeadamente, os programas de criação de testes e fichas. Relativamente aos programas deveria ainda ser realizado um inquérito aos professores no sentido de perceber melhor qual a forma como as características deveriam ser apresentadas e qual a sua importância.
Após este estudo seria importante sistematizar a informação recolhida de forma a criar categorias e itens que fossem servir de base ao sistema de avaliação das ferramentas. Neste ponto seria também importante verificar se já existem algumas soluções ou propostas de soluções deste género.
Para atingir o objectivo principal seria também importante criar uma proposta de solução que fosse ao encontro de três aspectos fundamentais: ter um sistema comparativo dos programas; permitir ao utilizador definir quais são os aspectos importantes desejados; e cruzar as informações para fornecer uma solução individualizada com base nos dois aspectos anteriores. Importa referir que este estudo não pretendia ser uma análise exaustiva de todas as ferramentas existentes actualmente, mas sim, uma análise das características mais comuns que servissem de suporte à criação da ferramenta de análise e comparação das diversas soluções existentes.
I.4 - Organização da Dissertação
Esta dissertação é composta por seis capítulos, tal como apresentados na Figura 2.
Figura 2 – Capítulos e seus conteúdos
No primeiro capítulo, Introdução, é apresentada uma contextualizada do estudo através da apresentação de alguns conceitos iniciais sobre a importância do ensino, salientando mais em particular os diversos tipos de avaliação existentes, bem como a
Capítulo I - Introdução O Ensino e a avaliação Ferramentas no Ensino Básico e Secundário
Objectivos Organização da Dissertação
Metodologias de Investigação
Utilizadas
Capítulo II - Estado da Arte em Criação de Testes
Breve Retrospectiva Histórica Programas de Criação de Testes Sites de Criação de Testes Plataformas de E-Learning Conclusões sobre o Estado da Arte em Criação de Testes
Capítulo III - Ferramentas de Comparação de Sistemas E-learning
CMS Matrix Content Management System Software Review EduTools Conclusõe sobre as Ferramentas de Comparação de Sistemas
Capítulo IV - Sistemas de Categorização e de Classificação das Ferramentas Propostas Inquérito Análise Comparativa dos Programas de Testes As Categorias e Itens da Ferramenta Os Diferentes Sistema de Classificação dos Itens Conclusões sobre o Sistema de Categorização e de Classificação
Capítulo V - A Ferramenta de Análise
Módulo Principal de Configuração Módulo Principal de Recolha de Informações Módulo Principal de Produção de Resultados Módulo Principal de Selecção Módulo Principal de Resultados O Destinatário dos Módulos Conclusões Sobre a Ferramenta de Análise Capítulo VI - Conclusão
importância das fichas e dos testes. São ainda referidas algumas características do Ensino Básico e Secundário relativamente à utilização de ferramentas de criação de testes. São mostrados os objectivos desta dissertação, bem como a sua estrutura organizativa. Finalmente são apresentadas as metodologias de investigação utilizadas na elaboração da presente dissertação e no final um esquema do percurso percorrido para realizar este trabalho.
No segundo capítulo, Estado da Arte em Criação de Testes, será apresentada uma breve retrospectiva da evolução tecnológica no que diz respeito à utilização das Tecnologias de Informação e Comunicação a nível de testes e avaliação, onde serão referidos brevemente os sistemas de e-learning, no sentido de mostrar o panorama actual destes últimos. De seguida, irão ser abordados aspectos da utilização das novas tecnologias a nível do ensino, nomeadamente, programas de criação de testes, sites de criação de testes, plataformas de e-learning. Os programas de criação de testes são programas mais ou menos complexos que podem ser instalados num ou em vários computadores de forma a criar e utilizar testes electrónicos de vários tipos. Os sites de criação de testes são sites da Internet que estão construídos de forma a fornecer funcionalidades para criação e acesso a testes na sua maioria do tipo escolha múltipla. As plataformas de e-learning são ferramentas que são compostas por programas e interfaces que permitem o ensino a distância através da Internet, existindo muitas que permitem a utilização ou criação de testes para a avaliação de estudantes.
No terceiro capítulo, Ferramentas de Comparação de Sistemas E-Learning, serão apresentadas ferramentas de comparação existentes, estudando as mesmas de forma a verificar como estão estruturadas e como é o seu funcionamento. As características destas ferramentas serão analisadas de forma a poderem ser uma base de apoio informativa para a ferramenta desenvolvida neste trabalho. Também serão estudados os diversos itens utilizados para comparar as ferramentas de e-learning, bem como os sistemas de classificação usados. Estes dois aspectos também servirão para ajudar a propor itens e sistemas de classificação adequados para a avaliação de programas de criação e utilização de testes. As ferramentas de comparação estudadas estão integrados no âmbito dos CMS
(Content Managment System), não sendo exactamente do mesmo tipo da ferramenta que se pretende desenvolver, são no entanto suficientemente próximas para se poder realizar um paralelo entre estas e a futura ferramenta proposta neste trabalho. As ferramentas analisadas neste trabalho são o CMS Matrix, o EduTools e o Content Management System Software Review.
Após a análise das ferramentas de comparação, no quarto capítulo, Sistema de Categorização e de Classificação da Ferramenta Proposta, será inicialmente apresentado um inquérito a professores sobre os programas de criação de testes bem como um estudo das características dos mesmos em tabelas. Posteriormente, será apresentada uma análise de várias soluções possíveis para a ferramenta, quer a nível dos sistemas de classificação, quer a nível das categorias e itens que poderão ser avaliados relativamente às ferramentas de testes. No que se refere aos sistemas de classificação, serão apresentados vários em conjunto com as suas características, bem como as vantagens e desvantagens de forma a verificar quais são os mais adequados à resolução dos problemas. Relativamente às categorias e itens, será apresentada uma proposta organizada com um conjunto de categorias e os seus itens respectivos que decorre do estudo efectuado nos pontos anteriores.
No quinto capítulo, A Ferramenta de Análise, serão apresentados conceitos iniciais sobre a filosofia que está na base do modelo apresentado e será feita a descrição pormenorizada da futura ferramenta proposta, explicando quais são os aspectos mais importantes em que se apoiam o seu funcionamento, bem como as diversas características da mesma. Os diversos módulos da ferramenta serão apresentados com base em esquemas funcionais acompanhados de uma explicação dos mesmos.
Finalmente, no sexto capítulo, Conclusão, será feita uma avaliação global do trabalho realizado com a apresentação dos aspectos mais preponderantes deste estudo e serão realizadas diversas propostas de trabalhos a realizar no futuro para que este modelo de ferramenta se possa concretizar, através da sua criação e de outros trabalhos que permitam testar e por à prova a ferramenta.
I.5 - Metodologias de Investigação Utilizadas
Para a realização deste trabalho foram utilizadas quer a abordagem quantitativa que
“considera que tudo pode ser quantificável, o que significa traduzir em números opiniões e informações para classificá-las e analisá-las” (Silva & Menezes, 2001), quer a abordagem
qualitativa que “considera que há uma relação dinâmica entre o mundo real e o sujeito,
isto é, um vínculo indissociável entre o mundo objetivo e a subjetividade do sujeito que não pode ser traduzido em números” (Silva & Menezes, 2001), pois cada uma delas permite
focar aspectos distintos, complementando-se na investigação e análise dos diversos conteúdos abordados.
A abordagem quantitativa foi utilizada em diversas partes deste trabalho, nomeadamente, na realização de um inquérito aos professores sobre as características dos programas de realização de testes e sobre a sua importância, na análise quantificada das características mais comuns das diversas ferramentas de criação de testes, no estudo de ferramentas de comparação no que respeita aos itens e aos sistemas de classificação utilizados pelas mesmas e na análise de diversos sistemas de classificação e dos seus resultados.
A abordagem qualitativa foi utilizada, na definição do quadro inicial deste trabalho, no estudo da evolução e caracterização dos diversos tipos de ferramentas de criação de testes, na definição de itens e categorias de itens e na criação da estrutura do modelo da ferramenta de Análise de Testes.
Quanto aos objectivos António Carlos Gil refere as pesquisas exploratórias, descritivas e explicativas. Neste trabalho foram utilizadas as pesquisas exploratórias e descritivas. As pesquisas exploratórias “têm como objectivo proporcionar maior
familiaridade com o problema com vista a torná-lo mais explícito ou a constituir hipóteses. Pode-se dizer que estas pesquisas têm como objectivo principal o aprimoramento de ideias ou a descoberta de intuições.” (Gil, 1991). “As pesquisas descritivas têm como objectivo primordial a descrição das características de determinada população ou fenómeno ou,
