Esta etapa integra duas fases: uma teórica, de revisão de literatura, e outra empírica que contempla entrevistas semiestruturadas interligadas pelo tema central.
14 Observe-se que é feito um recorte analítico de sistemas de ensino já estabelecidos a partir de valores e
situações gerais da vida coletiva, o que reveste a Educação Comparada de um caráter interdisciplinar cuja natureza é aqui investigada em apenas algumas de suas conseqüências expressas nas leis, estrutura e formas de organização do ensino superior e nos aspectos de sua avaliação.
Fase A – Pesquisa bibliográfica e documental. As orientações teóricas presentes neste estudo foram múltiplas e fez-se uso, essencialmente, da revisão de literatura disponível sobre o tema, permitindo amalgamar, entre outros, aspectos ligados à Educação Superior nos dois países: expansão, natureza e internacionalização; principais concepções de avaliação; à caracterização geral dos dois sistemas nacionais de avaliação Brasil x Portugal; às modalidades de avaliação para fins educativos e avaliação para fins de regulação, às tendências internacionais de avaliação presentes nos dois sistemas nacionais de avaliação nos dois países: homogeneização e diferenciação.
Realizou-se levantamento bibliográfico e documental e procedeu-se uma revisão bibliográfica sobre as questões gerais ligadas à Avaliação da Educação Superior através de livros, revistas, jornais, sites e publicações especializadas da área, tanto no Brasil como em Portugal, e levantamento de legislação pertinente, nos dois países, com o objetivo de um referencial teórico estruturado e fundamentado.
Procurou-se fazer uma análise dos dois sistemas de avaliação dos dois países, em seus objetivos e finalidades essenciais à luz dos documentos norteadores das políticas avaliativas dos dois países selecionados. Tomaram-se, como base, bibliografia geral e específica sobre avaliação, informações acessadas na Internet, dissertações de mestrado e teses de doutorado, documentos formais, leis, dados estatísticos do Ministério da Educação dos dois países e informações extraídas em congressos e seminários relacionados ao tema.
Fase B – Instrumento de coleta de dados. Com o intuito de compreender e interpretar a configuração dos dois sistemas de avaliação e neles os dois modelos de avaliação reguladora e avaliação formativa/educativa e as duas tendências internacionais: homogeneização e diferenciação, esta fase caracterizou-se como um estudo comparativo de casos com predominância exploratória e para isso recorreu-se a uma técnica de recolha de dados de natureza qualitativa – a entrevista semiestruturada.
As entrevistas semiestruturadas têm atraído muito interesse dos pesquisadores e têm sido amplamente utilizadas em função da ideia de que é mais provável que os pontos de vistas dos sujeitos entrevistados sejam expressos com mais facilidade em uma entrevista, com um planejamento relativamente aberto, do que em uma entrevista totalmente padronizada ou em um questionário (FLICK, 2004). A opção pelas entrevistas semiabertas ou semiestruturadas decorreu da necessidade de escuta dos sujeitos envolvidos com a Avaliação da Educação Superior dos dois países. Foi, portanto, uma abordagem mais flexível, embora tenha havido necessidade de se fazerem perguntas objetivas através de roteiro pré-estabelecido. Mas, apesar
disso, a entrevista semiestruturada foi adequada para o resgate de “percepções, atitudes, motivações etc., muito mais do que o permitido para uma entrevista com perguntas fechadas”. Para Flick (2004), é possível distinguir diversos tipos de entrevistas semiestruturas como uma das bases de pesquisa qualitativa: a entrevista focal, a entrevista semi-padronizada, a entrevista centrada no problema, a entrevista etnográfica e a entrevista com especialistas, como é o caso do presente estudo.
Meuser e Nagel (1991 apud Flick, 2004) discutem as entrevistas com especialistas como forma específica de aplicar entrevistas semiestruturadas. Segundo eles, deve haver, por parte do entrevistador, pouco interesse no entrevistado enquanto pessoa e mais interesse em sua capacidade e seus conhecimentos no campo específico. Ainda para os autores, os entrevistados são integrados ao estudo não como um caso único, mas representando um grupo específico de especialistas.
População. Foram realizadas 18 entrevistas (09 no Brasil e 09 em Portugal), entre 2007 e 2009, com especialistas na área da avaliação, assim como com representantes do Governo dos dois países e que participaram na concepção e implementação dos dois sistemas nacionais de avaliação dos dois países.
Apresentam-se a seguir os Quadros 01 e 02 com os nomes dos entrevistados (Brasil – Quadro 01 e Portugal – Quadro 02), local das entrevistas, ano em que foram realizadas e os cargos/ titulação dos entrevistados.
Nome do
entrevistado Local da entrevista
Ano da entrevista
Cargo/titulação do entrevistado
Nadja Viana Salvador (FTE) 2008 Integrante da CONAES
Divo Ristoff Brasília (MEC) 2008 Integrante da Comissão
Especial de Avaliação (CEA)
Simon Shwartzman Brasília (ABMES) Setembro
2008 Pesquisador
Sergio Franco Viva-voz (entrevista
gravada por telefone) 2008 Ex-presidente da CONAES
Reynaldo Fernandes Salvador (Congresso
Maria Beatriz Luce Salvador (Congresso
ABAVE) 2009 Conselheira (CNE)
Maria Helena Castro Salvador (Congresso
ABAVE) 2009 Ex-presidente do INEP
Geni de Araújo Costa Salvador (Faculdade
Social da Bahia) 2009
Avaliadora MEC
(Institucional e de Cursos)
Nadja Viana Salvador (ABAMES) 2009 Presidente da CONAES
Quadro 1 - Entrevistas – Brasil (09 entrevistas) Fonte: Quadro elaborado pelo autor.
Nome do
entrevistado Local da entrevista
Ano da entrevista
Cargo/titulação do entrevistado
Alberto Amaral Porto – CIPES 2008
Presidente do Centro de Investigação de Políticas para o Ensino Superior (CIPES)
Virgilio Meira Soares Lisboa – Universidade
de Química 2008 Ex-presidente do Conselho Nacional de Avaliação Antônio Magalhães Porto – Faculdade de Psicologia e Ciências de Educação do Porto 2008 Professor da Universidade de Porto e pesquisadora do CIPES na área de avaliação
Domingos Fernandes Lisboa – Faculdade de Psicologia e Ciências de Educação (FPCE) 2007 Pesquisador e coordenador da Comissão Interna de Avaliação da Universidade de Lisboa
Ana Veiga Simão Lisboa – FPCE 2008
Pesquisadora na área de avaliação e coordenadora do projeto EVALUE
Adriano Moreira Lisboa – Ministério da
Ciência e Tecnologia 2008
Ex-presidente do CNAVES e Ex-ministro de Salazar
Cristina Marques Lisboa – CNE 2008 Técnica em Avaliação (Conselho Nacional de Educação) Maria de Lourdes Machado Tereza Estrela e Albano Estrela Porto – CIPES Lisboa – Faculdade de Psicologia e Ciências de Educação 2008 2008 Professora e pesquisadora da Universidade do Porto Pesquisadora e Ex-reitor da FPCE
Quadro 2 - Entrevistas – Portugal (09 entrevistas) Fonte: Quadro elaborado pelo autor.
Em relação às entrevistas semiestruturadas com especialistas, como foi o caso desta pesquisa, a característica mais marcante, de acordo com os autores já citados, é que esse tipo de entrevistas necessita de um “fio condutor”, e esse guia tem um papel fundamental e uma função diretiva no tocante a tópicos essenciais. Portanto, o desafio durante todo o percurso das entrevistas foi fazer escolhas contínuas entre seguir certos tópicos apresentados no guia da entrevista e, ao mesmo tempo, o entrevistador manter-se aberto e flexível respeitando o modo individual do entrevistado falar sobre determinados tópicos de relevância para ele. Essas decisões só puderam ser tomadas na própria situação de entrevista e exigiram, por parte do entrevistador, adaptações contínuas e uma boa sensibilidade e escuta, além de ter sido necessária uma mediação permanente entre o curso natural das entrevistas e o guia de entrevista.
As entrevistas aos especialistas basearam-se, de uma maneira ou de outra, nesse guia da entrevista previamente elaborado e composto por questões objetivas constantes na primeira parte e respondidas por todos os entrevistados, além de uma segunda parte, mais flexível, reservada a informações que possibilitaram uma melhor compreensão dos valores, crenças, sentimentos e opiniões dos sujeitos (LAVILLE; DIONE, 1999). Esse roteiro da entrevista aos especialistas foi estruturado nos seguintes blocos de questões:
1. Histórico e evolução da avaliação do Ensino Superior no Brasil e em Portugal. 2. Características principais e componentes do sistema atual de avaliação do Ensino
Superior nos dois países.
3. Presença ou não da avaliação educativa/formativa e/ou avaliação reguladora nos dois sistemas nacionais de avaliação do Ensino Superior do Brasil e de Portugal, considerando as finalidades, os instrumentos e o uso dos resultados da avaliação pela IES e pelos órgãos do Governo.
4. Presença ou não de aspectos de homogeneização e diferenciação nos dois sistemas, sua compatibilização ou antagonismo.
A primeira entrevista (Nadja Viana – CONAES/Brasil) funcionou como pré-teste para as entrevistas seguintes realizadas no Brasil e Portugal, servindo, assim, de base para que fossem feitas algumas modificações no roteiro da entrevista semiestruturada, assim como em alguns indicadores.
A segunda entrevista que foi realizada (Ristoff – INEP/Brasil), as modificações ensejadas após o pré-teste tiveram papel importante, embora ainda as categorias de análise essenciais não tivessem sido bem aprofundadas, apesar das modificações realizadas. Foi difícil também para o entrevistador direcionar a conversa apenas para as categorias apresentadas e, em vários momentos a entrevista foi saindo do roteiro planejado, havendo perda de objetividade. As restantes entrevistas realizadas no Brasil foram sendo aprimoradas com experiência das primeiras, mas ainda sentiu-se falta de alguns indicadores que pudessem direcionar mais as entrevistas para o objeto principal do estudo.
Em Portugal, procurou-se seguir a mesma sistemática, mas o roteiro mostrou-se cansativo e, em alguns momentos, inadequado para os entrevistados portugueses, considerando os termos linguísticos que são usados, diferentemente, nos dois países. Em relação às categorias de análise que faziam parte do roteiro das entrevistas, os entrevistados de Portugal tiveram dificuldade de responder a cada uma delas, principalmente àquelas que se referiram a “técnicas” usadas na avaliação, assim como “estratégias” adotadas em Portugal no desenvolvimento dos sistemas de avaliação. Foi verbalizado para o pesquisador que este, de posse das informações gerais, é que devia fazer as denominações e interações necessárias, assim como o aprofundamento de cada categoria, ao longo da organização do texto da pesquisa. Com isso foram retiradas essas duas categorias do instrumento usado em Portugal e o conteúdo das entrevistas assumiu caráter mais geral e exigiu do pesquisador mais flexibilidade na condução das entrevistas e um tempo bem maior na organização e sistematização das ideias, na etapa seguinte do tratamento dos dados.