Utilização de métodos qualitativos na avaliação do desenvolvimento profissional na educação continuada

(1)

Utilização de métodos qualitativos na

avaliação do desenvolvimento profissional

na educação continuada

Using qualitative methods to assess professional development in continuing education

PATRICIA SOMERS*

MARYELLEN MILLS**

DIANE GINSBURG***

ROSALIR VIEBRANTZ****

RESUMO – O texto em estudo pretende demonstrar que as aproximações qualitativas, para avaliar a aprendizagem dos educadores envolvidos na educação continuada, fornecem subsídios mais interessantes no processo da avaliação dos professores. Isso, por sua vez, faz com que os mestres se tornem mais ativos e reflexivos em sua práxis educacional.

Descritores – Avaliação; aprendizagem; educação continuada; avaliação participativa e prática reflexiva.

ABSTRACT – The text in study intends to demonstrate that the qualitative approaches, to evaluate the learning of the involved educators in the continued education, supply more interesting subsidies in the process of the evaluation of the professors. This, in turn, makes with that the masters if become active and reflective more in its práxis educational.

Key word – Evaluation; learning; education continued; participativa evaluation and practical reflexiva.

–––––––––––––––––––––––––––– ––––––––––––––––––––––––––––

* Associate Professor of Higher Education. University of Texas at Austin. E-mail: pasomers@mail.utexas.edu

** Doctoral Student, University of Texas at Austin. *** Doctoral Student, University of Texas at Austin. **** Doutoranda, PUCRS.

Artigo recebido em: agosto/2007. Aprovado em: agosto/2007.

(2)

IIIIINTRODUÇÃONTRODUÇÃONTRODUÇÃONTRODUÇÃONTRODUÇÃO

A globalização, a rapidez nas mudanças tecnológicas e as condições econômicas internas estão constantemente formando e reformulando a natureza do trabalho no mundo. Neste contexto de transformações, os desafios de preparar os estudantes para ingressarem no mercado de trabalho são fundamentais. Ao mesmo tempo, a ênfase crescente na qualidade e a eficácia de programas formativos requerem professores para definirem padrões claros, medidas e resultados de aprendizagem em suas salas de aula.

Para os autores Edwards e Nicoll (2006), os professores re-con-ceberam o ensino e a aprendizagem em novos contextos incorporando técnicas alternativas que podem ajudá-los a realçar a qualidade e a eficácia de programas educativos (p.116-117).

A avaliação da aprendizagem tem sido realizada tradicionalmente, em larga escala, de forma somativa, posicionada no final do ciclo formativo, e focada apenas em avaliar se os objetivos originais e os resultados de aprendizagem foram executados (SIMMS e DOBBS, 2002). Uma vez que os dados numéricos são mais fáceis de serem coletados e trabalhados, os métodos avaliativos usados nas avaliações somativas são freqüentemente quantitativos. Entretanto, a ênfase crescente na qualidade da aprendizagem requer dos educadores a ampliação das estratégias de avaliação a fim de examinar como aqueles resultados são conseguidos e como preparam, satisfatoriamente, os aprendizes para o mundo do trabalho.

Nos últimos anos os métodos qualitativos de pesquisa redefiniram o conceito de medida e providenciaram novas estratégias para a avaliação formativa e somativa da aprendizagem. A pesquisa qualitativa focaliza no “que” e “como” da educação, os quais correspondem precisamente aos tipos de perguntas que geraram o movimento para a melhoria na qualidade. Os métodos quantitativos da avaliação produzem geralmente os dados nu-méricos que têm um escopo descritivo limitado, e a avaliação qualitativa proporciona dados em forma de palavras que podem dar um resultado mais rico, com mais detalhes na “pintura” de como as narrativas dos processos de aprendizagem se manifestam e se relacionam aos resultados. As “palavras, organizadas especialmente em incidentes ou em histórias, têm uma vivência concreta e um nítido sabor significativo que freqüentemente prova uma distância mais convincente do que as páginas de números sumarizados” (MILES e HUBERMAN, 1994, p. 1). Pautados os funda-mentados em abordagens qualitativas para avaliação, os educadores podem preservar aspectos do contexto local, do fluxo cronológico e dos

(3)

relacio-namentos entre os eventos e as conseqüências que criam introspecções críticas para a prática e o planejamento (MILES e HUBERMAN, 1994).

Sendo assim, a finalidade deste “papel” é fornecer uma visão geral de como as medidas qualitativas da avaliação podem ser utilizadas para avaliar uma aprendizagem reflexiva e prática em continuidade nos programas de educação. Na segunda parte, as aproximações qualitativas selecionadas da avaliação são discutidas para ilustrar a avaliação qualitativa e para su-gerir possíveis aplicações profissionais.

A A A A

AVALIAÇÃOVALIAÇÃOVALIAÇÃOVALIAÇÃOVALIAÇÃO Q Q Q Q QUANTITATIVAUANTITATIVAUANTITATIVAUANTITATIVAUANTITATIVA EEEEE P P P P PRÁTICARÁTICARÁTICARÁTICARÁTICA R R R R REFLEXIVAEFLEXIVAEFLEXIVAEFLEXIVAEFLEXIVA

Houve a desaprovação da qualidade de ensinar e de aprender em todos os níveis educacionais na medida em que foi dada pouca ênfase no pensar, colocando as habilidades em uma ordem mais elevada. Conseqüentemente, “… uma grande quantidade daqueles processos para o conhecimento é um pouco mais do que a abstração acumulou no alto de suas “abstrações”, desconectada da experiência tangível, dos problemas reais, e dos lugares onde nós vivemos e trabalhamos” (ORR, 1992, p. 126). A Prática reflexiva introduzida por Schön, em 1983, é uma aproximação endereçada de tal fragmentação, conduzindo os profissionais a estudarem suas próprias experiências e a usarem os insights resultantes para realçar sua prática profissional. Na educação, a prática refle-xiva envolve o educador que estuda os seus próprios métodos de ensino e determina qual o melhor trabalho para os educandos.

O pensador Schön (1983) afirma que os profissionais eficazes em todos os campos compartilham da habilidade de refletir e aprender de suas experiências enquanto manifestam suas práticas diárias. Durante essa reflexão-em-ação, a aprendizagem torna-se consciente da necessidade de compreender as conexões entre a ação profissional e o contexto pessoal. A reflexão subseqüente faz parte da experiência imediata e implica uma retrospectiva mais contemplativa, em cujo aprendizado se considera o significado de suas experiências, projetos e como essa compreensão pode dar forma ao ensino.

Se a reflexão é imediata ou retrospectiva, o elemento crítico é o papel da reflexão na aprendizagem. A reflexão “envolve fazer exame do material bruto coletado na experiência e de descobrir, nas experiências, a maneira de dar sentido aos acometimentos. Isso envolve explorar freqüentemente os acontecimentos desordenados e confusos, e focalizá-los nos pensamentos e nas emoções que os acompanham” (BOUD, 2001, p. 11).

Os autores Fernsten e Fernsten (2005) descrevem este processo reflexivo, o “metacognição”, que envolve “um diálogo interno antes, durante e depois de um desempenho e incluem o saber que um sabe, saber quando e

(4)

como isso veio a ser sabido, pensando e planejando, representa eficazmente o conhecimento e pode avaliar a competência” (p. 305-306). A reflexão, então, é um constante diálogo entre a própria compreensão e a ação.

Os educadores que são hábeis na prática e no ensino reflexivos empregam um considerável tempo encorajando o educando a resolver problemas e a reconstruir seus significados. Esses educadores assumem uma postura pró-ativa na investigação e compreendem que a prática reflexiva existe de modo contínuo ou com um “alcance reflexivo”.

Figura 1 – O ciclo da aprendizagem reflexiva (Adapted from DICK (1997). Ação Planejamento Reflexão Avaliação U U U U

UTILIZAÇÃOTILIZAÇÃOTILIZAÇÃOTILIZAÇÃOTILIZAÇÃO DEDEDEDEDE M M M M MÉTODOSÉTODOSÉTODOSÉTODOSÉTODOS Q Q Q Q QUALITATIVOSUALITATIVOSUALITATIVOSUALITATIVOSUALITATIVOS DEDEDEDEDE A A A A AVALIAÇÃOVALIAÇÃOVALIAÇÃOVALIAÇÃOVALIAÇÃO

De acordo com os autores (ANGELO e CROZ, 1996; BROOKHART, 1997; MEZESKE e MEZESKE, 2007), a pesquisa qualitativa oferece muitas aproximações ao coletar e ao analisar os dados verbais e visuais que podem ser adaptados ao avaliar a aprendizagem reflexiva: portfolios, jornais, observações, entrevistas, análise do discurso, etnografia de foto e de vídeos, análises narrativas e narrativas históricas. Para alguns professores a avaliação reflexiva da aprendizagem é desconcertante, exige um tempo intensivo além de ser inevitavelmente subjetiva. Certamente, sem planejamento e estrutura adequada, a avaliação qualitativa transforma-se em uma mistura de palavras sem sentido, que frustram, mas, permitem uma compreensão mais profunda daquilo que tem sido aprendido.

O planejamento sistemático, entretanto, pode fornecer a definição e a estrutura necessárias para avaliar de forma consistente e eficiente os re-sultados da aprendizagem. As rubricas que são fornecidas aos estudantes com as recomendações descritivas e os critérios de performance

(5)

preestabe-lecidos de desempenho são atribuições e ferramentas eficazes do ensino e da avaliação. As rubricas detalhadas resumem os objetivos de atribuições, as instruções e os padrões da avaliação em um único documento, em uma página. Quando uma rubrica é usada, os estudantes começam o trabalho com a informação completa sobre o que se espera deles, por que eles são importantes e como seu trabalho será avaliado.

A primeira etapa para desenvolver uma rubrica é determinar quais resultados mensuráveis específicos de aprendizagem serão desejados. O número dos resultados deve ser limitado e os critérios em que cada um será avaliado devem ser elencados junto à escala da avaliação (básico-profi-ciente-avançado, por exemplo). Esses critérios fornecem o padrão de ava-liação de desempenho do estudante nos termos do grau em que os critérios específicos sejam de atual a ausente; completo a incompleto; maior a menor; consistente a inconsistente; muitos a nenhum; ou sempre a raramente. A edição crítica, portanto, tem uma visão ou um plano para a avaliação im-plementada por meio de uma rubrica detalhada, a qual permite ao educador e o professor verificar que a aprendizagem e a reflexão ocorreram.

Os três tipos de estratégias de avaliação apresentadas aqui – observação, estudo de caso, e paper (registro de acontecimentos diários) – ilustram como as técnicas qualitativas podem ser usadas enriquecendo a aprendizagem e avaliando o progresso dos professores em cursos da instrução continuada. Cada uma dessas técnicas discutidas pode suportar a reflexão, o envolvimento e a aprendizagem de uma ordem mais elevada. Do mesmo modo, cada uma oferece oportunidades de extrair conclusões signi-ficativas sobre o “o quê” e o “como” os estudantes aprenderam. Para as finalidades dos casos apresentados abaixo foi usado o termo educando/ professor para a formação continuada do professor. O Mestre é a pessoa que instrui a classe e o educador/professor faz o exame.

A O A OA O

A OA OBSERVAÇÃOBSERVAÇÃOBSERVAÇÃOBSERVAÇÃOBSERVAÇÃO

Na pesquisa qualitativa, assim como no ensino, as técnicas de obser-vação são usadas para a coleta de dados, a fim de verificar de que forma os processos e os relacionamentos acontecem em um determinado contexto.

A observação pode ser usada de várias formas, e o educando/professor pode aprender de ambos os modos: observando e sendo observado. A avalia-ção com a observaavalia-ção é efetiva em níveis múltiplos e o educando/professor pode aprender com outros educandos/professores. Por exemplo, observando modelos de demonstrações de ensino ou observando seus pares. O edu-cando/professor pode também ser o assunto das observações, variando de

(6)

uma simples discussão do grupo, de uma apresentação, ou demonstração de uma sala de aula da faculdade, a uma avaliação formal do ensino em sala de aula por um supervisor. Com o vídeo, os professores podem se preparar e gravar demonstrações pedagógicas para submeter à avaliação, uma apro-ximação que serve particularmente para a aprendizagem a distância.

As observações individuais servem particularmente para avaliar as aplicações da aprendizagem teórica à prática profissional. As observações dos grupos são fontes ricas da introspecção “ensaites” em habilidades co-laborativas e interativas. Na maioria das aplicações, especialmente na educação a distância, requer-se que o educando/professor se submeta a uma avaliação reflexiva de sua experiência na observação, podendo adicionar uma dimensão importante à avaliação.

Considerando um exemplo de como a observação pode ser usada para avaliar um módulo de ensino no planejamento eficaz da “lição”, o educando/ professor poderia ser designado para apresentar, em trinta minutos, uma aula minuciosa, na qual demonstre um planejamento eficiente e uma aproximação com o ensino centrado no estudante.Tal exercício envolveria habilidades de abstração/pensamento mais elevadas (Anderson e outros, 2000; Flor, 1956), e essa postura desafia a atividade do ensino.

Nessa proposta, o educando/professor pode criar um plano de aula focalizado em habilidades argumentativas e planejar atividades em peque-nos grupos, peque-nos quais os estudantes usam o modelo de Toulmin para construir uma posição básica do argumento em um contexto controverso.

Um segundo nível de avaliação desse critério pode verificar como foram comunicadas as instruções e as expectativas à classe, como também, a partir do planejamento eficiente, verificar como a atividade planejada coube em um período de tempo. O uso de uma atividade colaborativa do grupo demonstraria uma aproximação, e uma avaliação adicional desse critério poderia incluir como o educando/professor interage com os grupos. As possibilidades para a avaliação não são limitadas àquelas con-duzidas pelo docente. Entretanto, utilizando os critérios estabelecidos nas rubricas da atribuição, o educando/professor pode escrever uma reflexão autocrítica e uma avaliação. Em segundo lugar, pode-se solicitar ao edu-cando/professor um feedback oral ou escrito. E, para finalizar, há a possi-bilidade de requerer ao educando/professor que ele reflita sobre todas as avaliações e sintetize um ou dois objetivos para o seu crescimento.

A observação da simulação do ensino é ideal para um único curso de prática de professores. Pode ser feita online ou por vídeo gravado. Se gravada, poderia ser parte de um portfolio maior do trabalho que o educando/professor usa para refletir em sua prática.

(7)

O O O O

OSSSSS R R R R REGISTROSEGISTROSEGISTROSEGISTROSEGISTROS

Para o autor Moon (1999), o registro escrito dos processos reflexivos da aprendizagem possui muitas intenções. A fonte dos registros bem planejados capacita os educandos a se tornarem mais envolvidos com seus próprios processos de aprendizagem e realça a qualidade de aprendizagem incentivando o pensamento crítico. A escrita dos registros pode ser usada em um número quase infinito de atividades de aprendizagem, com documentos altamente estruturados, livre nas reflexões pessoais, sem consciência fluida, em forma de brainstorming. Em termos de aprendizagem, os registros ocorrem onde os acontecimentos e as experiências são gravados, bem como são verificados os meios pelos quais são processados e reformados. Esse trabalho com os acontecimentos é pretendido como um caminho para fazer o sentido das experiências que resultam deles, reconhecendo a aprendizagem alcançada e construindo uma fundação para as novas experiências que provocarão uma aprendizagem nova (Boud, 2001, p.11).

Como ferramentas da avaliação, os registros são particularmente eficazes em avaliações formativas e no produto de avaliação somativa. As atribuições dos processos dos registros incentivam os estudantes a considerarem o percurso da aprendizagem, para pensar conscientemente sobre as estratégias que foram eficazes e ineficazes, monitorar como elas relacionam expectativas e desempenho para considerar como poderão alterar sua abordagem no futuro (Fernsten e Fernsten, 2005, p.308). O produto dos registros está focado nos resultados da aprendizagem. Uma entrada nos registros somativos pode pedir que os estudantes avaliem as forças em uma parte particular da escrita, para analisar como um projeto particular se encontrou com exigências específicas, ou sintetizar uma discussão de como a experiência de aprendizagem particular pode dar forma à sua aprendizagem futura. Cada um desses alertas requer um tipo diferente de pensar, mas cada um move o estudante para uma compreensão mais clara, desobstruída do que realizou, e como realizou. Nesse caminho o estudante internalizou a aprendizagem e estende o impacto da lição original ao que poderia ser feito no futuro.

O registro pode ser uma ferramenta na avaliação de múltiplos-níveis, capaz de documentar a complementação das atribuições, de avaliar o envolvimento e o conteúdo do curso, de avaliar habilidades do pensamento crítico, ou de seguir o desenvolvimento do estudante no tempo. Utilizando esses elementos, os docentes podem comparar os primeiros e os últimos registros para avaliar o progresso final e as atribuições intermediárias da revisão para a evidência de como o estudante conseguiu esse progresso. Tal

(8)

registro pode ser utilizado em um único curso ou ser estendido sobre diversos cursos como parte de um portfolio, do progresso do estudante, fornecendo uma ferramenta poderosa para avaliar seu crescimento.

Pode-se considerar, também, o uso do registro dialógico como um exercício da classe ética. Nos registros dialógicos, os estudantes resumem o texto ou a discussão atribuída na coluna da esquerda e escrevem uma resposta ao texto na da direita. Em uma unidade de justiça social, por exemplo, o professor pode criar a situação – se os bolsistas da faculdade podem ser comparados na necessidade ou no mérito – e, a partir disso ou a partir dessa problematização, atribuir uma série de discussões. Nos registros, os estudantes podem examinar as idéias com relação aos seus pontos de vista e aos valores existentes, e considerá-los com re-lação àqueles de seus pares. Os critérios da avaliação nesses tipos de registro são mais bem moldados em termos de engajamento do estudan-te no diálogo.

Para muitos professores, entretanto, avaliar a aprendizagem com re-gistros é um desafio. Com planejamento apropriado, os rere-gistros podem ser uma ferramenta de avaliação de múltiplos níveis, capazes de do-cumentar a conclusão das atribuições, de avaliar o envolvimento com o conteúdo do curso, de avaliar as habilidades do pensamento crítico, ou de seguir o desenvolvimento do estudante no tempo. Com o uso de alertas apropriadamente estruturados da escrita, os docentes podem comparar as primeiras e as últimas anotações registradas para avaliar o progresso total, e reverem atribuições intermediárias para a evidência de como o estudante conseguiu esse progresso.

Um exercício acadêmico pode ser o de analisar uma lista de alunos que foram admitidos a universidade e quais deles receberam bolsa integral. Isso permite que o educando/professor discuta seus próprios valores e contraste-os com os valores de seus pares. O estágio seguinte é fazer o mesmo exercício com a sala de aula do educando/professor. Essa atividade fornece uma oportunidade de discutir a formação dos valores na sala de aula. O educando/professor pode usar os registros para refletir sobre os valores diferentes representados em sua sala de aula e como responder a esses valores diferentes e como responder a essa diferença.

Essas questões são mais difíceis de ensinar devido aos diferentes pontos de vistas dos estudantes e de seus valores. Como o educando/ professor aborda essas diferenças está no ato de ensinar. Esta abordagem multinível dos registros permite que o educando/professor se depare com difíceis questões ao fornecer elementos significativos para avaliar a aprendizagem.

(9)

E E E E

ESTUDOSSTUDOSSTUDOSSTUDOSSTUDOS DEDEDEDEDE C C C C CASOASOASOASOASO

Os estudos de caso são populares nas aulas das Faculdades de Direito, Medicina, na Educação e nos Negócios. Na verdade, Harvard, nos Estados Unidos, foi a universidade que introduziu os estudos de caso como pedagogia plena, no ensino de administração e negócio. Os estudos de caso são fundamentados geralmente em situações da vida real ou em uma combinação de diversos cenários da vida cotidiana e podem variar no tamanho, desde diversos parágrafos até uma dúzia de páginas. Segundo Gillespie (1996), quando se trabalha com narrativas é “como trabalhar com argila […] trabalhar com um caso é como trabalhar com um processo e um produto final. O protagonista está inserido em um contexto que é limitado estrategicamente, em busca de generalibilidade” (p. 21). Quando uma história se transforma em um caso, a ocorrência do controle do autor vem do que é consumido como a evidência da inferência da generalização.

Os personagens são retratados como ficcionais, permitindo que uma platéia “responda e interprete de uma distância. Ninguém é vulnerável. Nada real está seguro” (p. 21). Os exemplos escritos do educando/professor podem ser particularmente relevantes e poderosos. Alguns casos têm uma série de questões e outros apresentam o desafio para resolver o problema do caso.

Os estudos de casos são singularmente eficazes em apresentar a complexidade da prática em todo o ambiente profissional. Eles suportam uma ordem mais elevada de aprendizado e realçam as habilidades de uma comunicação relevante à prática profissional. Participando no estudo de caso os estudantes podem analisar seus valores, suposições e conhecimentos práticos. Os casos escritos pelos estudantes podem ser particularmente importantes e poderosos.

Vamos considerar comoum estudo de caso os problemas de com-portamento na gestão de uma sala de aula. Os grupos de educandos/pro-fessores em uma sala de aula consideram o caso, discutem alternativas, regras de opções do jogo e fazem recomendações para a mudança. Todos os grupos presentes apresentam suas opções e recomendações à classe inteira. O educando/professor e o docente avaliam as opções e refletem sobre as recomendações. A sala de aula inteira avalia as ações que foram aprendidas no progresso.

Os estudos de caso permitem a discussão e a reflexão de questões atuais na educação. A avaliação da aprendizagem pode estar no formulário de uma rubrica pré-determinada, em um consenso em uma sala de aula e de uma reflexão em que cada estudante se manifesta por meio da escrita.

(10)

C CC

CCONCLUSÃOONCLUSÃOONCLUSÃOONCLUSÃOONCLUSÃO

As aproximações qualitativas para avaliar a aprendizagem dos professores envolvidos na educação continuada podem fornecer, além de subsídios mais consistentes, maior nuance no progresso da avaliação dos educadores. Isso, por sua vez, pode gerar um relevante número de dados e reflexões em que o educador torna-se mais ativo e reflexivo.

R RR

RREFERÊNCIASEFERÊNCIASEFERÊNCIASEFERÊNCIASEFERÊNCIAS

ANDERSON, L. W.; KRATHWOHL, D. K. (Org.). A taxonomy for learning, tea-ching, and assessing: a revision of Bloom’s taxonomy of educational objectives. New York: Longman, 2001.

BLOOM, B. Taxonomy of educational objectives. Handbook 1: cognitive domain. New York: Addison-Wesley, 1956.

BROOKHART, S.M. The art and science of classroom assessment: the missing part of pedagogy. Thousand Oaks: Jossey Bass, 1999.

BOUD, D. Using journal writing to enhance reflective practice. New Directions for Adult and Continuing Education, 90, p. 9-17, 2001.

CROSS, K; ANGELO, T.A. Classroom assessment techniques: a handbook for college teachers. 2. ed. Thousand Oaks: Sage, 1993.

DICK, B. Action learning and action research [Online]. Available at <http:// www.scu.edu.au/schools/gcm/ar/arp/actlearn.html>, 1997.

EDWARDS, R; Nicoll, K. Expertise, competence and reflection in the rhetoric of professional development. British Educational Research Journal, n. 32, p. 115-131, 2006. FERNSTEN, L.; FERNSTEN, J. Portfolio assessment and reflection: enhancing learning through effective practice. Reflective Practice, n. 6, p. 303-309, 2005. GILLESPIE, D. Narrative and reflective teaching practice. Innovative Higher Education, n. 21, p. 11-22, 1996.

MEGESHE, R. I; MEGESHE, B. A. (Org.). Beyond tests and quizzes: creative assessment in the college classroom. Thousand Oaks: Jossey Bass, 2007.

MOON, J. Reflection in learning and professional development. London: RoutledgeFalmer, 1999.

ORR, D. Ecological literacy: education and the transition to a postmodern world. New York: SUNY Press, 1992.

SCHÖN, D. A. The reflective practitioner: how professionals think in action. New York: Basic Books, 1983.