Dificuldades de avaliar impactos ou efeitos da formação continuada e

Já na década de 1980, Sousa e Brito (1987) apontavam a necessidade de avaliar não só as mudanças havidas na prática profissional dos egressos dos cursos, mas também sua influência no desempenho dos alunos por eles atendidos, sem deixar de considerar a natureza e o sentido de todas as mudanças observadas. Arrolavam também as dificuldades inerentes à avaliação de efeitos, traduzindo para o contexto da avaliação da formação continuada (ou da capacitação dos profissionais em educação) questões de metodologia e as ameaças à validade apontadas no início do capítulo. Chamavam a atenção do avaliador ou do pesquisador em avaliação para problemas relativos a isolar os efeitos de outras intervenções que poderiam ser concomitantes – e, portanto, influenciar os resultados –, bem como o tempo de experiência

anterior do professor e as condições contextuais em que ele trabalhava implementando os pressupostos que aprendia durante a formação (Sousa; Brito, 1987, p. 24).

Essas questões interferem diretamente nos desenhos e nas técnicas de pesquisa adotadas para a avaliação da influência das atividades de educação continuada e desenvolvimento profissional e sobre os alunos.

Em artigo mais recente, Guskey (2009) arrolou outros problemas para a produção de estudos cientificamente válidos, confiáveis e fidedignos capazes de trazer fortes evidências sobre a temática:

1) Dificuldades para avaliar a efetividade das atividades de formação (rigor metodológico, restrições de tempo e de recursos financeiros, tecnológicos e humanos, coleta de dados pertinentes).

2) Dificuldades para isolar as diversas variáveis que acompanham as atividades de formação e que podem influir nos resultados da escola e dos alunos devido à natureza multifacetada do desenvolvimento da educação escolar.

3) Planejamento casual de atividades posteriores à formação e da avaliação do curso. 4) Resistência dos formadores de professores e responsáveis pelas atividades em geral às críticas que podem ser feitas a essas atividades, fato que dificulta a apreensão de problemas relacionados ao andamento da atividade.

Para o autor, melhorar as pesquisas sobre os efeitos das atividades de formação continuada passaria pelo reconhecimento de suas fragilidades e da necessidade de melhoria em sua qualidade e precisão, inclusive por meio da coleta de dados mais precisos e do uso de desenhos de pesquisa mais rigorosos. Guskey (2009) explica que, apesar de as pesquisas sobre as características efetivas das atividades de formação de professores ainda não serem conclusivas, elas ainda são metodologicamente mais simples do que as que se propõem a avaliar o impacto da formação no desempenho dos alunos, e haveria um longo caminho metodológico a trilhar se o objetivo for entender as relações entre a formação dos professores e o desempenho dos estudantes.

Wallace (2009) também aponta a necessidade de continuar as pesquisas em busca de mais profundidade, e uma condição seria o desenvolvimento de bases de dados sobre características dos professores e dos cursos de formação continuada que se pudessem interconectar. Também Grossman e Hirsh (2009) se preocupam com a disponibilidade de dados para pesquisa.

Desimone (2009) sugere aplicar os conhecimentos de pesquisas recentes para melhorar a conceituação, as medidas e a metodologia de estudos e pesquisas sobre os efeitos da

formação continuada em professores e estudantes. Ela argumenta que deve haver um consenso entre os pesquisadores para apoiar o uso de um conjunto de características essenciais e arcabouço conceitual comuns em estudos de impacto de desenvolvimento profissional e convida pesquisadores interessados no tema a se afastarem de preconceitos a favor ou contra o uso de observação, entrevistas ou pesquisas (surveys) em tais estudos.

Para Desimone (2009), um quadro conceitual comum elevaria a qualidade dos estudos sobre desenvolvimento profissional e, posteriormente, a compreensão geral sobre a melhor forma de modelar e implementar oportunidades de aprendizagem para professores visando seu máximo benefício e o dos estudantes. Ao contrário de Guskey (2009), ela defende que os desafios de medir a qualidade do desenvolvimento profissional e seus efeitos na prática são semelhantes, quer em estudos experimentais, quase-experimentais ou correlacionais. Em essência, examinar os efeitos do desenvolvimento profissional seria análogo a aferir a qualidade das experiências de aprendizagem dos professores, a natureza da mudança nos professores ou em que medida essa mudança afeta a aprendizagem dos alunos. Assim, seu foco de análise recai sobre as orientações para a escolha de estratégias adequadas para aferição dos efeitos do desenvolvimento profissional na mudança da prática do professor.

Desimone (2009) considera ainda que, apesar de as abordagens de métodos mistos, que combinam estratégias de mensuração quantitativa e qualitativa, serem uma excelente promessa para transformar a pesquisa em aprendizagem de professores, elas ainda não contornam o viés inerente à medida empírica da aprendizagem de professores e seus impactos no ensino.

Guskey e Sparks (1991) delineiam a complexidade da relação entre o desenvolvimento da equipe e os resultados de aprendizagem dos estudantes, ressaltando o papel dos fatores externos nessa relação. Defendem que qualquer modelo que se propusesse a avaliar os efeitos da formação continuada dos professores nos alunos deveria ir além das medidas de mudança nos participantes após a atividade de formação – o que eles pensavam, acreditavam e faziam como resultado da participação no programa (p. 3).

Os autores não aprofundam a justificativa de suas indicações. Contudo, como lembra Gatti (2003), não basta dar informações e novos conteúdos, trabalhar a “racionalidade dos profissionais” para produzir “mudanças em posturas e formas de agir” (p. 192). A autora chama a atenção para a centralidade das representações sociais e da cultura dos grupos como elemento limitador da aplicação da aprendizagem de aspectos cognitivos, por meio de cursos de formação continuada, nas salas de aula.

A partir do relato da pesquisa realizado com o Proformação, do Ministério da Educação (MEC), a autora mostra a necessidade de que “os programas que visam a inovações educacionais, aperfeiçoamentos, atualizações, tenham um entrelaçamento concreto com a ambiência psicossocial em que esses profissionais trabalham e vivem” (Gatti, 2003, p. 203).

O fato de o professor ter participado de uma atividade de formação não significa necessariamente que incorporará o aprendizado à sua prática. Ao analisar modelos mais gerais de impacto de atividades de treinamento no trabalho, Brito e Neiva (2007) explicam que os eventos educacionais tendem a focalizar os indivíduos participantes, sua aprendizagem, desenvolvimento e mudança, negligenciando o fato de que “a necessidade de mudança, a implementação de intervenções e a transferência de habilidades treinadas estão incluídas no contexto da equipe, subunidade e da organização” (p. 90).

Para esses autores, a análise dos impactos de atividades de formação ou treinamento pode ser feita a partir de dois focos: 1) o foco de transferência horizontal, que ocorre no nível individual e busca mensurar os efeitos da atividade no nível do participante, de sua satisfação para com a atividade, se ele aprendeu os conteúdos e habilidades previstos e se é capaz de aplicá-los em seu ambiente de trabalho e 2) o foco de transferência vertical, que ocorre no nível do grupo ou da organização de trabalho, que pressupõe que a transferência da aprendizagem tenha ocorrido horizontalmente, para então modificar o desempenho do grupo ou da organização e, a partir dessas mudanças coletivas, produzir resultados em outros níveis.

Fechando parênteses e transferindo essa lógica para o programa Letra e Vida, por exemplo, pode-se concluir que não basta que o professor transfira o que aprendeu para sua prática. Seria necessário que outros professores da equipe, submetidos ao mesmo curso, também fossem capazes de operar mudanças em sua prática pedagógica para que, coletivamente, buscassem as metas da escola. (No caso do programa Letra e Vida, as metas poderiam ser traduzidas no alcance de melhores resultados no desempenho dos alunos ao final do ciclo de alfabetização, por exemplo.).

O que, então, avaliar na pesquisa sobre impactos da formação de professores nos resultados dos alunos?

Na reunião anual da American Education Research Association (Aera) de 1991, Guskey e Sparks (1991) apresentaram um modelo que identificava três aspectos do programa de desenvolvimento profissional a ser avaliados: a qualidade, o conteúdo e as características do contexto em que seria aplicado.

Na qualidade do programa, consideravam essenciais alguns critérios de avaliação, baseados em pesquisas anteriores: instrumentalidade das práticas, congruências com o

currículo oficial ou práticas adotadas pelos professores, custo (tempo e esforço extra requeridos pelas novas práticas em comparação com os benefícios que elas podem acarretar), apresentação da teoria, modelagem e demonstração, simulação de práticas, devolutivas estruturadas e abertas, supervisão da prática.

Para os autores, alguns desses critérios referiam-se à garantia da implementação do programa e não deveriam ser uma etapa descolada da formação propriamente dita; portanto, constituiriam um componente de sua qualidade:

[...] prevê-se incluir não só o treinamento inicial, mas também as atividades de leitura que antecedem o programa, as práticas e estágios que acontecem durante a formação, assim como as atividades de acompanhamento e suporte que acontecem durante a implementação do programa30 _{(Guskey; Sparks,} 1991, p. 8, tradução nossa).

Os autores acreditam que a análise do conteúdo é importante porque um curso pode se fundamentar numa teoria inovadora baseada em pesquisas e, portanto, sua aplicação traria influência positiva aos resultados comprovadamente, ou o conteúdo poderia ser fruto de um modismo ou baseado em teorias educacionais pouco conhecidas, dificultando afirmar que fariam diferença no aprendizado dos alunos. Além disso, argumentam que as diferenças no grau de implementação do programa e de seu gerenciamento explicariam as diversas magnitudes dos efeitos observados em cada contexto de aplicação dos pressupostos aprendidos na formação por ele propiciada.

Finalmente, ao afirmar que a cultura de cada organização e o clima influenciariam a implementação inicial e a continuidade do uso dos pressupostos e das práticas aprendidas nas atividades de formação continuada, Guskey e Sparks (1991) defendem que variáveis de contexto como suporte administrativo, apoio e confiança, suporte à tomada de decisões coletivas e prestação de assistência para a solução de problemas são importantes para o entendimento dos efeitos da formação continuada sobre os resultados dos alunos.

Numa releitura do trabalho, Guskey (1999) organiza o modelo de avaliação de programas de formação continuada em cinco níveis: reações dos participantes, aprendizagem dos participantes, suporte organizacional e mudança, uso dos participantes dos novos conhecimentos e habilidades e impactos nos resultados de aprendizagem dos estudantes.

Posteriormente, em 2002, os autores reveem o modelo adicionando uma dimensão relativa ao suporte e acompanhamento dos pais ao trabalho realizado pelos professores,

30 _{“[...] it is envisioned to include not only initial training, but also the readiness activities that precede training,}

the practice and coaching that take place during training, as well as the follow-up and support activities that take place during program implementation” (Guskey; Sparks, 1991, p. 8).

traduzido não só por seu conhecimento sobre as práticas adotadas na escola (pela participação em reuniões, por exemplo), mas também por seu acompanhamento e suporte às tarefas dos filhos em casa, em lições de casa e trabalhos. Além disso, acrescentam uma dimensão que denominam política – a inserção do desenvolvimento profissional na política educacional mais ampla, que é mais do que um dado de contexto, pois muitas vezes inviabiliza a própria concretização do aprendizado nos cursos de formação (Guskey; Sparks, 2002).

De qualquer forma, independentemente das dificuldades inerentes à avaliação dos efeitos da formação continuada dos professores nos resultados dos alunos, há que continuar procurando caminhos metodológicos alternativos que permitam avançar no entendimento sobre como os saberes dos professores influenciam a aprendizagem dos alunos, a fim de continuar pesquisando os fatores que potencializam essa aprendizagem e que, portanto, devem ser foco das políticas públicas educacionais.

1.3.3 Panorama das pesquisas e avaliações da formação continuada de professores: