Um modelo para gerenciamento de cursos e programas de pós-graduação com ênfase na eficácia para atender aos critérios de avaliação da CAPES

Texto

(1)UNIVERSIDADE FEDERAL DE SANTA CATARINA CENTRO TECNOLÓGICO DEPARTAMENTO DE ENGENHARIA DE PRODUÇÃO E SISTEMAS PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA DE PRODUÇÃO. DEISY CRISTINA CORRÊA IGARASHI. UM MODELO PARA GERENCIAMENTO DE CURSOS E PROGRAMAS DE PÓS-GRADUAÇÃO COM ÊNFASE NA EFICÁCIA PARA ATENDER AOS CRITÉRIOS DE AVALIAÇÃO DA CAPES. FLORIANÓPOLIS, 2009..

(2) DEISY CRISTINA CORRÊA IGARASHI. UM MODELO PARA GERENCIAMENTO DE CURSOS E PROGRAMAS DE PÓS-GRADUAÇÃO COM ÊNFASE NA EFICÁCIA PARA ATENDER AOS CRITÉRIOS DE AVALIAÇÃO DA CAPES. Tese de Doutorado apresentada ao Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina como requisito parcial para obtenção do título de Doutora em Engenharia de Produção. Orientador: Edson Pacheco Paladini, Dr.. FLORIANÓPOLIS, 2009..

(3) ,. Ficha Catalográfica Elaborada pela Bibliotecária Eleonora M. F. Vieira – CRB – 14/786. I24u Igarashi, Deisy Cristina Corrêa Um modelo para gerenciamento de cursos e programas de pós-graduação com ênfase na eficácia para atender aos critérios de avaliação da CAPES / Deisy Cristina Corrêa Igarashi. – Florianópolis, 2009.. 240p. Tese (Doutorado) – Universidade Federal de Santa Catarina Programa de PósGraduação em Engenharia de Produção.. 1. Gerenciamento. 2. Avaliação Externa. 3. Gestão da Qualidade. 4. Indicador de Desempenho. 5. Programa de Pós-graduação. – Título.

(4) DEISY CRISTINA CORRÊA IGARASHI. UM MODELO PARA GERENCIAMENTO DE CURSOS E PROGRAMAS DE PÓS-GRADUAÇÃO COM ÊNFASE NA EFICÁCIA PARA ATENDER AOS CRITÉRIOS DE AVALIAÇÃO DA CAPES Esta tese foi julgada adequada pelo Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina como requisito parcial para obtenção do título de Doutora em Engenharia de Produção. Florianópolis, 28 de Abril de 2009.. ____________________________________________ Prof. Antônio Sérgio Coelho, Dr. Coordenador do Programa. Banca Examinadora:. ____________________________________________. Prof. Edson Pacheco Paladini, Dr. Orientador. ____________________________________________. Prof. Antônio Sérgio Coelho, Dr. Presidente da Banca. ____________________________________________. Prof. Edelvino Razzolini Filho, Dr. Membro Externo. ____________________________________________. Prof. Luiz Fernando Rodrigues Campos, Dr. Membro Externo. _____________________________________________. Prof. Jovane Medina Azevedo, Dr. Membro Externo. _____________________________________________. Prof. Jair dos Santos Lapa, Dr. Membro Interno.

(5) Pelo amor, compreensão e apoio dedico esta tese a Wagner Igarashi..

(6) AGRADECIMENTOS. Ao meu esposo Wagner Igarashi, por ter me encorajado em minha carreira acadêmica, por estar sempre ao meu lado, por me incentivar, e por acreditar em meu potencial quando nem eu mesma acreditava. Obrigada pela paciência, durante os quatorze anos em que estudamos juntos; Aos meus pais Romildo Corrêa e Maria Inês Lara Corrêa, por compreenderem minhas ausências durante este período; A minha irmã Denise Virginia Corrêa Hercos e seu esposo José Brás Hercos Junior, por estarem ao lado de meus pais todas as vezes que não pude estar, e ao meu sobrinho Vitor Hugo Corrêa Hercos, por lhes proporcionar alegria; À minha família, por afinidade, por acolherem a mim e a meu esposo com tanto amor e consideração durante todos os anos que moramos em Florianópolis, especialmente a Antônio Medeiros; Aos amigos Arlindo Agenor Clemente da Silva e Rosana Machado e às suas filhas Nicoli Machado da Silva e Larissa Machado da Silva, pelo carinho, pelos conselhos, pela paciência, por todos os momentos que passamos juntos, por todas as vezes que nos ajudaram a superar nossas dificuldades e problemas, por estarem ao lado do Wagner, durante o período de transição para Foz do Iguaçu, agradeço por fazer parte desta família. Ao professor Edson Pacheco Paladini, pelas orientações, pelos ensinamentos e por ter sido verdadeiramente um amigo, por me auxiliar, mesmo nas situações mais delicadas; e por acreditar em meu potencial; À Secretaria do Programa, por sanar muitas dúvidas quanto à documentação e pela paciência todo trimestre no período de matrícula; À Direção do Centro de Ciências Sociais Aplicadas e ao Colegiado do Curso de Ciências Contábeis da UNIOESTE campus de Foz do Iguaçu pela compreensão durante as vezes que precisei me ausentar para as orientações; Aos acadêmicos do Curso de Ciências Contábeis da UNIOESTE campus de Foz do Iguaçu pelo incentivo e pelo apoio..

(7) São as nossas escolhas, que revelam o que realmente somos muito mais do que as nossas qualidades. J. K. Rowling.

(8) RESUMO. Este estudo tem como objetivo construir, sob a ótica da gestão da qualidade, um modelo de gerenciamento para cursos ou programas de pós-graduação stricto sensu, com base no processo de avaliação em uso pela CAPES, que possibilite a cada curso ou programa se apresentar como eficaz, quando avaliado pelo órgão. A partir do exposto o tema deste estudo enfoca a avaliação da educação, de modo mais específico, a área de desempenho de programa de pós-graduação, com ênfase na gestão da qualidade. Para ampliar os conhecimentos sobre o tema foram realizadas pesquisas teóricas, as quais permitiram uma análise detalhada sob os conceitos vinculados ao tema. Dentre estes se destacam os processos de avaliação de desempenho, e de modo mais específico o em uso pela CAPES. Para isso, foi necessário analisar a estrutura do processo de avaliação em uso pelo órgão, tanto em termos dos indicadores individuais, quanto de sua agregação. Tal conhecimento possibilitou a construção de um modelo direcionado ao gerenciamento a partir das concepções externas (CAPES). Ao construir tal modelo, foram realizadas as adequações consideradas necessárias para promover o gerenciamento de cursos ou programas segundo os requisitos considerados pela CAPES. Dentre as adequações realizadas se destacam: (a) a construção de indicadores para os elementos considerados objetos de avaliação pela CAPES; (b) a ordenação destes segundo as ações da qualidade (on-line, off-line, in-line); (c) a identificação de pesos para os elementos que compõem o modelo, a fim de se agrupar os indicadores e apresentar além da avaliação local, a avaliação global; (d) a aplicação da lógica difusa ao nível de quesitos, a fim de gerar conhecimento quanto ao grau de pertinência com que cada classificação é atribuída. Estruturado o modelo, passou-se a fase de operacionalização deste, a título de viabilidade de aplicação. Tal processo demonstrou que o modelo aqui proposto é factível, uma vez que este proporciona benefícios, dentre os quais se destacam: (a) gera conhecimento e compreensão quanto aos critérios de avaliação externos em uso pela CAPES, (b) captura aspectos antes despercebidos no processo de avaliação, os quais causavam aos cursos ou programas dúvidas quanto às classificações atribuídas; (c) gera subsídios aos programas por possibilitar a visualização de quais elementos apresentaram desempenho de menor impacto; (d) auxilia os cursos ou programas no sentido de minimizar sua dificuldade na identificação de aspectos/objetivos pontuais, merecedores de ações de melhoria; (e) identifica informações a serem transcritas para a avaliação externa; (f) gera maior consciência e entendimento quanto às classificações atribuídas pela CAPES, por demonstrar o grau de pertinência com que estas foram atribuídas, devido à inserção da lógica difusa. Assim, o gerenciamento de cursos ou programas de pós-graduação stricto sensu passa a ser estruturado a partir de concepções externas. Estas informações podem ser utilizadas como insumos para que os cursos ou programas desenvolvam o processo de avaliação interna, com vistas a identificar ações que gerem melhorias direcionadas à alavancagem de seus desempenhos quando avaliados pela CAPES.. Palavras-chave: Gerenciamento. Avaliação Externa. Gestão da Qualidade. Indicador de Desempenho. Programa de Pós-graduação..

(9) ABSTRACT. This study aims to build, from the viewpoint of quality management, a management model for stricto sensu graduation courses or programs, based on CAPES evaluation system, enabling each course or program self show effective, when evaluated by CAPES. Starting from the objective exposed, the subject of this study focuses on the education evaluation, more specifically, the performance area of stricto sensu graduation program, with emphasis on quality management. Theoretical researches were accomplished to increase the knowledge on the theme, which allowed an analysis detailed under the concepts linked to the theme. Of these knowledge they are pointed out the processes of performance evaluation, and in a more specific way the process used by CAPES. Here is related this theoretical referential to model in use by CAPES, aiming to propose a management model, which supports the quality management. For that, it was necessary to analyze the structure of the evaluation model adopted by the national assessment evaluating, both in terms of individual indicators, as well as its aggregation. Such knowledge allowed the construction of a model addressed to the management starting from the external conceptions (CAPES). When building such model, the necessary considered adaptations were accomplished to promote the management of courses or programs according to the requirements considered by CAPES. The adaptations in prominence are: (a) the construction of indicators for the elements considered evaluation objects by CAPES, (b) the ordering of these according to the actions of the quality, (c) the identification of weights for the elements that integrate the model, in order to group the indicators and presents the local evaluation and the global evaluation, (d) the application of fuzzy logic on the perspective level, in order to generate knowledge about the pertinence degree with which each classification is assigned. The model structured was operationalized for illustration purpose. This process has demonstrated that the proposed model here is feasible, since it generates benefits, of which are pointed out: (a) generates knowledge and understanding about the external evaluation criteria in use by CAPES, (b) captures aspects before unperceived in the evaluation process, which caused to the courses or you program doubts with relationship to the attributed classifications, (c) generates subsidies to programs by allowing them to visualize elements of which had low impact performance, (d) assists the courses or programs in order to minimize its difficulty in identifying specifics aspects/objectives, worthy of improvements actions, (e) identifies information to be transcribed for external evaluation; (f) creates greater awareness and understanding about the classifications assigned by CAPES, for demonstrating the pertinence degree with which classification was assigned, because the insertion of fuzzy logic. Thus, the stricto sensu graduation courses or programs management has been structured from of external concepts. These information can be used as input so that the courses or programs develop the evaluation process it interns, with the objective of identifying actions that generate improvements addressed to the leverage of its performances when evaluated by CAPES.. Keywords: Management. External Evaluation. Quality Management. Perfomance Indicators. Graduation..

(10) LISTA DE FIGURAS. Figura 1: Conjuntos clássicos versus difusos ...........................................................................52 Figura 2: Sistema de inferência difusa .....................................................................................56 Figura 3: O sistema de medição de desempenho e sua disposição no processo de gestão.......72 Figura 4: Processo Decisório sob as perspectivas da MCDA ..................................................78 Figura 5: Classes do desempenho de um programa de pós-graduação ..................................126 Figura 6: Ilustração do modelo que se pretende construir......................................................127 Figura 7: Etapas que compõem o modelo ..............................................................................130 Figura 8: Modelo antes da operacionalização ........................................................................140 Figura 9: Visualização do processo de alimentação no software RockOn Fuzzy ..................141 Figura 10: Visualização do desempenho após a inserção da lógica difusa ............................143 Figura 11: Modelo após a operacionalização .........................................................................147 Figura 12: Pontuação obtida pelo curso CCSA_curso_A ao se aplicar a lógica difusa .........151 Figura 13: Pontuação obtida pelo curso CCSA_curso_B ao se aplicar a lógica difusa .........152 Figura 14: Pontuação obtida pelo curso CCET ao se aplicar a lógica difusa.........................153.

(11) LISTA DE QUADROS. Quadro 1: Artigos que enfocam a avaliação externa no segmento educacional identificada em pesquisa realizada junto a SCIELO e ao Portal de Periódicos da CAPES ...............................35 Quadro 2: Artigos que enfocam a avaliação interna no segmento educacional identificada em pesquisa realizada junto a SCIELO e ao Portal de periódicos da CAPES ...............................42 Quadro 3: Tendências emergentes em estudos nacionais e internacionais que enfocam a pósgraduação..................................................................................................................................58 Quadro 4: Processos de Medição de Desempenho...................................................................73 Quadro 5: Elementos presentes no perfil da organização sob a ótica do PNQ ........................76 Quadro 6: Critérios e itens em uso pelo PNQ ..........................................................................76 Quadro 7: Objetivos, funções e exemplos de indicadores relativos às perspectivas do BSC ..80 Quadro 8: Aspectos a serem observados na construção do painel de desempenho .................82 Quadro 9: Análise dos pesos em uso nos critérios de avaliação trienal (2004 - 2006) ............87 Quadro 10: Classificação dos indicadores por ambiente segundo a ótica da qualidade.........133 Quadro 11: Indicadores segundo a ótica da qualidade ...........................................................135 Quadro 12: Ilustração do modelo antes de se aplicar a lógica difusa.....................................148 Quadro 13: Ações de melhoria sugeridas para a alavancagem dos objetivos com desempenho abaixo do nível regular ...........................................................................................................155.

(12) GLOSSÁRIO. Ambiente in-line – “é um ambiente da qualidade voltado para a área produtiva, o enfoque desse ambiente é no produto, para que ele esteja adequado ao uso, ou seja, na ausência total de não-conformidades.” (CORREIA; MELO; MEDEIROS, 2008, p. 114). Ambiente off-line – é um ambiente da qualidade voltado para a “área de apoio às áreas produtivas, as que não estão ligadas diretamente ao setor produtivo, porém, sendo de extrema importância para que o produto final atenda às necessidades dos clientes” (CORREIA; MELO; MEDEIROS, 2008, p. 114).. Ambiente on-line – é um ambiente da qualidade voltado para a “busca de informações das possíveis alterações do mercado, hábitos de consumo, comportamento, entre outras, a fim de que essas informações sejam repassadas aos departamentos de projeto ou diretamente à área de produção” (CORREIA; MELO; MEDEIROS, 2008, p. 114).. Avaliação – é um processo que implica em reflexão crítica sobre a prática, no sentido de captar avanços, resistências, dificuldades e possibilita a tomada de decisão, pois auxilia a superar os obstáculos. (SANTOS; VARELA, 2007). Avaliação externa – é realizada por especialistas de diferentes áreas do conhecimento, mas não diretamente vinculados à Instituição que está sendo avaliada (LOUSADA E MARTINS, 2005). Avaliação interna – é aquela desenvolvida pelos integrantes da própria Instituição e coordenada por comissões responsáveis (LOUSADA E MARTINS, 2005). Ferramenta de avaliação – é um instrumento gerencial útil para a busca de melhorias no controle interno e na avaliação de desempenho da instituição (PEIXOTO; PINTO; REIS, 2005).. Gerenciamento – é uma “modificação institucional que nasce [...] da transformação progressiva das competências existentes, das posturas profissionais, do reordenamento da utilização dos recursos disponíveis internamente” (VASCONCELOS, 2008, p. 53).. Gestão da qualidade – é uma forma de planejamento, controle e aprimoramento, realizado “a partir de políticas e objetivos estabelecidos pela direção. Requer organização e flexibilidade para poder servir como base de avaliação e aprimoramento contínuo dos produtos e processos envolvidos” (CORREIA; MELO; MEDEIROS, 2008, p. 112)..

(13) Indicador de desempenho – são índices que servem de medida para diversos aspectos das organizações e podem ser considerados como um alerta para um melhor e mais aprofundado conhecimento do desempenho das mesmas (FONTES; MACEDO, 2003). Lógica difusa – é a lógica que permite traçar relações graduais de pertinência, busca substituir a lógica de verdadeiro ou falso, por uma lógica na qual são permitidos diferentes graus de pertinência (COSENZA; et al., 2008).. Metodologia multricritério de apoio à decisão – é uma metodologia que auxilia na modelagem do contexto decisional, a partir da consideração das convicções e valores dos indivíduos envolvidos, de tal forma a permitir a construção de um modelo (ENSSLIN; et al., 2008). Pós-graduação stricto sensu – é um dos elementos que compõem a base do ensino educacional, o qual é direcionado a candidatos diplomados em cursos de graduação e que atendam às exigências das instituições de ensino, estes compreendem cursos ou programas de mestrado e de doutorado (BRASIL, Lei 9.394/96).

(14) LISTA DE SIGLAS. BSC – Balanced scorecard CAPES – Coordenação de Aperfeiçoamento de Pessoal de Nível Superior CNPq – Conselho Nacional de Desenvolvimento Científico e Tecnológico CTC – Conselho Técnico-Consultivo FAP – Fundo de Amparo a Pesquisa FINEP – Financiadora De Estudos E Projetos IES – Instituição de Ensino Superior INEP – Instituto Nacional de Estudos e Pesquisas Educacionais MCDA-C – Metodologia Multricritério de Apoio à Decisão MINTER – Mestrado Interinstitucional PNPG – Plano Nacional de Pós-Graduação PNQ – Prêmio Nacional da Qualidade PROCAD – Programa Nacional de Cooperação Acadêmica SCIELO – Scientific Electronic Library Online.

(15) SUMÁRIO. 1 O PROBLEMA DE PESQUISA E SEUS DELINEAMENTOS ..................................... 15 1.1 OBJETO DE ESTUDO ......................................................................................................15 1.2 QUESTÕES DE PESQUISA .............................................................................................18 1.3 PRESSUPOSTOS DA PESQUISA....................................................................................20 1.4 OBJETIVOS DA PESQUISA ............................................................................................21 1.4.1 Objetivo geral.................................................................................................................22 1.4.2 Objetivos específicos......................................................................................................22 1.5 JUSTIFICATIVA ...............................................................................................................23 1.6 CARACTERÍSTICAS DO ESTUDO ................................................................................25 1.6.1 Quanto à relevância.......................................................................................................26 1.6.2 Quanto à originalidade..................................................................................................26 1.7 DELIMITAÇÃO DO ESTUDO.........................................................................................27 1.8 ALCANCE DO ESTUDO..................................................................................................29 1.9 ORGANIZAÇÃO DA PESQUISA ....................................................................................30 2 REFERENCIAL TEÓRICO .............................................................................................. 32 2.1 CONCEITUAÇÃO DE AVALIAÇÃO DE INSTITUIÇÕES DE ENSINO .....................32 2.2 TENDÊNCIAS IDENTIFICADAS NO CONTEXTO NACIONAL E INTERNACIONAL RELATIVA À AVALIAÇÃO REALIZADA SOB O ENFOQUE EXTERNO......................34 2.3 TENDÊNCIAS IDENTIFICADAS NO CONTEXTO NACIONAL E INTERNACIONAL RELATIVAS À AVALIAÇÃO REALIZADA SOB O ENFOQUE INTERNO ....................41 2.4 INDICADORES SEGUNDO A ÓTICA DA QUALIDADE ............................................47 2.5 LÓGICA DIFUSA..............................................................................................................51 2.6 SÍNTESE DO CAPÍTULO.................................................................................................57 3 APORTE PRÁTICO ........................................................................................................... 64 3.1 ASPECTOS METODOLÓGICOS.....................................................................................64 3.1.1 Quanto à natureza do problema ..................................................................................65 3.1.2 Quanto à abordagem do problema e a natureza das variáveis pesquisadas............66 3.1.3 Quanto à estratégia........................................................................................................68 3.1.4 Quanto ao método de abordagem ................................................................................69 3.1.5 Quanto ao ambiente ......................................................................................................70 3.2 PROCESSOS DE AVALIAÇÃO.......................................................................................71.

(16) 3.2.1 Malcolm Baldrige e o Prêmio nacional da qualidade.................................................74 3.2.2 Metodologia multricritério de apoio à decisão............................................................77 3.2.3 Balanced scorecard........................................................................................................79 3.2.4 Processo de avaliação em uso pela CAPES .................................................................82 3.2.4.1 Proposta do programa...................................................................................................89 3.2.4.2 Corpo docente...............................................................................................................94 3.2.4.3 Corpo discente ............................................................................................................101 3.2.4.4 Produção intelectual ...................................................................................................107 3.2.4.5 Inserção social e relevância ........................................................................................110 3.2.4.6 Outros aspectos considerados pela CAPES................................................................113 4 CORRELAÇÃO ENTRE ASPECTOS TEÓRICOS E PRÁTICOS QUE INFORMAM A CONSTRUÇAO DO MODELO...................................................................................... 115 4.1 ASPECTOS TEÓRICOS QUE DIRECIONAM À CONSTRUÇAO DO MODELO .....115 4.2 ASPECTOS PRÁTICOS QUE DIRECIONAM A CONSTRUÇAO DO MODELO .....123 4.3 ELEMENTOS CENTRAIS QUE INFORMAM A CONSTRUÇÃO DO MODELO.....124 4.4 ESTRUTURA GERAL DO MODELO ...........................................................................128 4.5 DETALHAMENTO DAS ETAPAS DO MODELO .......................................................132 4.6 CONSIDERAÇÕES FINAIS QUANTO AO MODELO CONSTRUÍDO......................144 5 PROPOSTA DE OPERACIONALIZAÇÃO DO MODELO........................................ 146 5.1 OPERACIONALIZAÇÃO DO MODELO PROPOSTO ................................................146 5.1.1 Ilustração do processo de gerenciamento..................................................................154 5.2 RESULTADOS OBTIDOS COM A OPERACIONALIZAÇÃO DO MODELO...........156 6 CONCLUSÃO E RECOMENDAÇÃO ........................................................................... 160 6.1 CONCLUSÕES EM RELAÇÃO AOS OBJETIVOS......................................................160 6.2 CONCLUSÕES EM RELAÇÃO ÀS QUESTÕES PROPOSTAS..................................163 6.3 CONCLUSÕES EM RELAÇÃO AOS PRESSUPOSTOS CONSIDERADOS..............165 6.4 RECOMENDAÇÕES PARA FUTURAS PESQUISAS .................................................166 REFERÊNCIAS ................................................................................................................... 168 APÊNDICE A – Classificação dos indicadores segundo a ótica da qualidade ............... 186 APÊNDICE B – Indicadores segundo a ótica da qualidade ............................................. 198 APÊNDICE C – Ilustração do modelo operacionalizado ................................................. 223 APÊNDICE D – Ilustração do modelo antes de se aplicar a lógica difusa...................... 230.

(17) 15. 1 O PROBLEMA DE PESQUISA E SEUS DELINEAMENTOS. Este capítulo apresenta os aspectos que contextualizam e delineiam este estudo. Para tanto, aborda os antecedentes conceituais e caracteriza o problema de pesquisa, cujo enfoque é a avaliação de cursos ou programas de pós-graduação stricto sensu. A partir da problemática selecionada são construídas as questões, os pressupostos e os objetivos da pesquisa. Na seqüência, são apresentados os elementos que justificam desenvolver o trabalho, bem como os aspectos que caracterizam este estudo como uma tese. Este capítulo apresenta, ainda, a delimitação e o alcance do estudo e a estrutura do texto. Ao longo deste capítulo são apresentados alguns conceitos extraídos de autores, os quais buscam gerar suporte teórico aos elementos que compõem a estrutura do capítulo.. 1.1 OBJETO DE ESTUDO. Pesquisas desenvolvidas na área de avaliação de pós-graduação visam gerar aos envolvidos subsídios que os auxiliem neste processo. Quer seja em relação à identificação dos elementos que devam ser observados no processo de avaliação, quer seja em relação às ações geradas e direcionadas para a melhoria do desempenho. Este estudo, de modo específico, enfoca a pós-graduação stricto sensu (mestrado e doutorado), a qual a partir de 1965 passou a ser diferenciada da pós-graduação lato sensu (especialização) (MARTINS, 2002a). Tal diferenciação se apresenta no parecer 977/65 do Conselho de Ensino Superior, o qual prevê que “o Conselho baixará normas fixando os critérios de aprovação dos cursos”. As normas foram estabelecidas de modo efetivo com o Parecer no 77/69, do Conselho Federal de Educação. Ao estabelecê-las, passa a existir uma forma de avaliação específica para os cursos ou programas de pós-graduação que busca fazer uma distinção entre cursos ou programas aptos a atuar, dos não aptos (CAPES, 2006; MEC, 2006), cuja responsabilidade, no âmbito da pós-graduação stricto sensu, é da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), sob a rubrica “Avaliação dos programas de pós-graduação”, realizada a cada triênio, conforme normas em vigor. Outro enfoque do estudo está no processo de avaliação dos cursos ou programas de pós-graduação stricto sensu, que é desenvolvida sob duas dimensões, a saber: (a) aborda.

(18) 16. aspectos externos à pós-graduação, considera os elementos observados no processo de avaliação, a partir dos requisitos de operação fixados pela CAPES e dos indicadores aceitos pelos programas de pós-graduação, ou seja, observa o contexto externo, pois cabe aos cursos ou programas adaptarem-se ao processo de avaliação; e (b) contempla aspectos internos, os quais envolvem o processo de gerenciamento dos cursos ou programas, ou seja, observa o contexto interno, pois cabe aos cursos ou programas delinearem os elementos que compõem o processo de avaliação, e que se referem a elementos considerados sob controle. Incluem-se, na primeira dimensão, o estudo de questões como a análise de pertinência relativa à estruturação dos indicadores para efeito da avaliação da qualidade do curso; a classificação, em termos de importância, dos indicadores utilizados (estratégicos, táticos e operacionais ou ainda associados aos ambientes, segundo o enfoque da Avaliação Estratégica da Qualidade). A partir destes elementos, estruturados com base nos parâmetros externos, busca-se promover o gerenciamento da pós-graduação stricto sensu, quer seja de cursos de mestrado ou de doutorado, quer seja de programas, quando ocorre a oferta concomitante de cursos de mestrado e de doutorado. Essa dimensão também considera a existência de um órgão externo, neste estudo em específico a CAPES, a qual realiza a avaliação da pós-graduação stricto sensu. A partir da dimensão externa pretende-se estruturar o processo de avaliação interna. Para isso, adotam-se por base os indicadores externos e as informações geradas por eles. Enfocam-se, também, os desempenhos que requerem melhorias imediatas, bem como as melhorias que geram impactos estratégicos. Assim, as informações advindas do processo de avaliação externa podem ser utilizadas como insumos para que os cursos ou programas realizem o gerenciamento de suas ações com vistas a gerar melhorias direcionadas à alavancagem de seus desempenhos, ou seja, que tenha impacto direto no seu desempenho quando avaliado pelo ao órgão avaliador (CAPES). Pesquisas teóricas realizadas sobre o assunto sinalizam existir espaço para o desenvolvimento deste estudo. Entre estas se destacam alguns elementos, tais como: ü “O “modelo ideal” (pois é com essa linguagem que o sistema de avaliação nos leva a raciocinar) é uno. Quem chega mais perto, recebe classificação mais alta. Quanto mais singular o programa, quanto maior sua especificidade, maiores as dificuldades para avaliá-lo” (FONSECA, 2001, p. 270);.

(19) 17. ü “Os modelos tradicionais de avaliação a que os programas são submetidos são inadequados, pois não evidenciam de uma maneira justa, consistente e coerente a real contribuição [...] para a sociedade” (SANTOS, 2002, p. 97); ü “O modelo de avaliação aplicado pela CAPES à pós-graduação no Brasil, objeto da nossa análise, não parece capaz de contemplar a diversidade e a heterogeneidade” (SIMÕES, 2004, p.126); ü “Um modelo que até admite a diversidade, mas, em sua monopólica apreensão, homogeneíza o desigual” (HORTA e MORAES, 2005, p. 111).. A partir dos comentários apresentados, os autores sinalizam limitações quanto ao processo de avaliação em uso pela CAPES. Dentre os questionamentos resgatam-se indagações quanto a: (a) ponderação de elementos vinculados ao bem social; (b) aspectos vinculados às especificidades dos programas; e (c) critérios adotados no processo de homogeneização dos conceitos atribuídos. Entretanto, de modo geral Sousa (2002) destaca que são contínuos os esforços da CAPES em aperfeiçoar o processo de avaliação. Outro elemento objeto de crítica é a subjetividade do processo de avaliação. Miranda e Almeida (2004, p. 59), com relação a esta questão, observam que “grande parte da avaliação dos programas é feita de forma subjetiva, e que talvez outros critérios, não estabelecidos aqui, também seriam considerados, porém não foram explicitados”. Hortale (2003, p. 1838) faz menção à subjetividade ao observar “[...] que, embora os indicadores de qualidade analisados nas diferentes dimensões fossem poucos, ao final o resultado se expressa por meio de uma única nota, com predominância dos indicadores quantitativos”. A partir dos elementos expostos, resgatam-se dois questionamentos quanto à avaliação da pós-graduação stricto sensu, a primeira vinculada às especificidades dos cursos ou programas e a segunda vinculada à subjetividade do processo de avaliação em uso pela CAPES. Em função destes elementos, Kuenzer e Moraes (2005, p. 1.350) sugerem “retomar um velho mote – de ‘avaliar a avaliação’, buscando novos formatos que avancem para além dos resultados conseguidos e superem os limites do modelo em curso”. Por outro lado, Leite, Tutikian e Holz (2000, p. 31) destacam que a avaliação realizada pela CAPES “através de relatórios anuais, credenciamento de cursos, recredenciamento a cada três anos com visitas aos locais e avaliação aos pares [...], constitui hoje um sistema exemplar, inclusive para outros países”. Ao observar os elementos destacados emerge o primeiro foco desta problematização, qual seja, a fragilidade dos elementos que compõem o processo de avaliação.

(20) 18. da pós-graduação stricto sensu. Destacam-se, em um primeiro momento, duas características que auxiliam a delinear a problemática deste estudo:. a. Os aspectos teóricos vinculados ao processo de avaliação, relacionados à pósgraduação stricto sensu, nos quais se mesclam preocupações advindas do contexto interno e externo; b. O fato dos autores pesquisados terem opiniões divergentes quanto ao processo de avaliação em vigor: alguns o consideram como exemplar, enquanto outros sugerem desenvolver novos processos, pautados em um formato diferenciado.. A partir do exposto, resgata-se a percepção de Andrade (2002) acerca do problema de pesquisa, quanto a este ser teórico ou prático. O presente estudo enfoca aspectos teóricos (conceituais) vinculados ao processo de avaliação, e práticos (empíricos), vinculados a análise das práticas adotadas pelos programas de pós-graduação stricto sensu.. 1.2 QUESTÕES DE PESQUISA. Uma vez delineada a problemática do estudo, busca-se apresentar as questões a serem investigadas, as quais direcionam o seu desenvolvimento e auxiliam a elucidar os pressupostos do estudo. Minayo (2005, p. 17) observa que segundo o axioma do empirismo “nada pode ser intelectualmente um problema, se não tiver sido, em primeiro lugar, um problema da vida prática”. Esta percepção é compartilhada por Popper (1993, p.50), o qual considera “que todo enunciado científico deve se mostrar capaz de ser submetido a teste”. A partir destas observações, busca-se construir o problema de pesquisa deste estudo, o qual é composto por questões de ordem geral e de caráter específico. ü Questão geral Para cada dimensão, externa e interna do curso ou programa de pós-graduação, são consideradas as seguintes questões gerais..

(21) 19. Para a dimensão externa: •. Quais adequações são necessárias no processo adotado pela CAPES para que os programas compreendam e viabilizem o uso desse processo de modo eficaz no processo de gerenciamento dos cursos e programas de pós-graduação?. Para a dimensão interna: •. Os critérios gerais de avaliação da CAPES permitem que se crie um processo consistente de avaliação interna para os cursos e programas de pós-graduação?. •. Como gerenciar um curso ou programa de pós-graduação de modo a ele apresentar o melhor desempenho possível, quando avaliado pela CAPES?. Essas questões conduzem a outras mais específicas, que contemplam aspectos metodológicos do processo de avaliação, mecanismos de gestão dos programas e a introdução de processos para acompanhar e avaliar as possíveis melhorias. Algumas delas são: ü Questões específicas •. O processo de avaliação em uso pela CAPES é questionado no meio acadêmico. Isto ocorre pela falta de compreensão dos elementos que compõem o processo ou por discordância dos parâmetros críticos que são empregados na avaliação?. •. O processo em uso pela CAPES atende às concepções teóricas com relação aos elementos que compõem um processo de avaliação?. •. Pode-se considerar que os indicadores do processo de avaliação em uso pela CAPES são coerentes em termos individuais e em termos da agregação feita a partir deles?. •. Os processos de gestão de cursos ou programas de pós-graduação stricto sensu são mais eficazes e eficientes quando adotam parâmetros do processo de avaliação externo?.

(22) 20. Ao se apresentar o problema de pesquisa, passa-se a abordar o pressuposto da pesquisa, o qual, segundo Triviños (1987, p. 105), “surge após a formulação do problema [...]. Diante dele o investigador vislumbra prováveis soluções”; ou seja, pode apresentar uma resposta ao problema em questão.. 1.3 PRESSUPOSTOS DA PESQUISA. A concepção de Triviños (1987) é compartilhada por Severino (2002), Marques (2002) e Moura Castro (2002), os quais consideram que os pressupostos representam uma solução proposta para o problema, mediante um esforço de análise e síntese. Gil (2002, p. 31) corrobora este entendimento ao observar que o pressuposto “é uma proposição testável que pode vir a ser a solução de um problema”. Além dos elementos que correlacionam o pressuposto ao problema de pesquisa, Severino (2002, p. 151) observa que este processo é apoiado “na evidência de fatos, com raciocínio lógico”. A este entendimento Lakatos e Marconi (1992, p. 104) agregam a “relação entre, pelo menos, duas variáveis”, as quais para Kerlinger (1980, p. 38) podem ser expressas por “sentenças declarativas e relacionam de alguma forma variáveis a variáveis”. Apesar de Kerlinger (1980, p. 57) admitir a correlação entre as variáveis, o autor alerta que, caso não seja possível identificar a correlação entre elas, o estudo pode enfocar “características de determinada população ou amostra”, o qual é considerado como “legítimo e muitas vezes importante”. Popper (1993) complementa que um pressuposto com validade científica deve ser passível de teste, ou seja, ele deve estar relacionado a eventos observáveis, tais como comportamentos ou resultados. Esta percepção também é compartilhada por Kerlinger (1980, p. 41), o qual observa que para os pressupostos serem científicos e válidos, eles “precisam ser testáveis, ou no mínimo, conter implicações para teste”. Neste caso, ao se proceder ao teste, o pressuposto pode ser aceito ou não. Destaca-se que os pressupostos enunciados, a seguir, representam uma resposta provisória ao problema de pesquisa supra enunciado..

(23) 21. ü Pressupostos •. O processo de avaliação adotado pela CAPES é consistente, sob a ótica de gestão da qualidade.. •. O processo de avaliação adotado pela CAPES permite a estruturação de um modelo gerencial para os cursos ou programas de pós-graduação.. Identificados os pressupostos, faz-se necessário estabelecer considerações sobre as duas possibilidades, de ambas serem aceitas ou não. Caso sejam aceitas, torna-se evidente a importância de analisar e conhecer os procedimentos adotados pela CAPES, e de explicitá-los junto à comunidade acadêmica. Neste caso, o gerenciamento de cursos ou programas de pósgraduação stricto sensu, deveria estruturar-se a partir de concepções externas. O processo de avaliação interna consideraria os valores dos indicadores externos e geraria, por exemplo, informações quanto aos aspectos que requeriam melhorias imediatas. Assim, as informações advindas do processo de avaliação externa deveriam ser utilizadas como insumos para que os programas desenvolvessem um processo de avaliação interno: tal procedimento possibilitaria identificar ações que geram melhorias direcionadas à alavancagem do desempenho do programa. Considera-se que é possível construir um modelo de gerenciamento para cursos ou programas de pós-graduação stricto sensu de modo a possibilitar a cada um apresentar-se como eficaz, quando avaliado pela CAPES. Por outro lado, caso um dos pressupostos sejam refutados, isto significa que o processo em uso pela CAPES não gera subsídios que apóiem o gerenciamento dos cursos ou programas de pós-graduação. Neste caso, o processo tem apenas como finalidade a avaliação externa, pois ela gera apenas uma categorização quanto ao desempenho dos cursos ou programas. Deste modo, cabe aos mesmos adotarem processos de gerenciamento calcados em suas próprias experiências.. 1.4 OBJETIVOS DA PESQUISA. Apresentada a problemática, as questões de pesquisa e formulado os pressupostos que direcionam este estudo, passa-se aos objetivos, os quais são formulados de modo a conduzir à obtenção de respostas às perguntas apresentadas..

(24) 22. Em relação à segmentação dos objetivos geral e específicos, Lakatos e Marconi (1992, p. 102) observam que o objetivo geral refere-se “a uma visão global e abrangente do tema. Relaciona-se com conteúdo intrínseco”, ao passo que os objetivos específicos “têm função instrumental, permitindo, de um lado, atingir o objetivo geral e, de outro, aplicar este a situações particulares”. Acerca desta segmentação, Gil (2002) observa que o objetivo geral refere-se a um ponto de partida, ao passo que os específicos possibilitam delinear parâmetros para a investigação. Destaca-se que a diferenciação entre os objetivos, apresentada pelos autores supracitados é adotada neste estudo.. 1.4.1 Objetivo geral. Em relação ao objetivo geral, este estudo busca construir, sob a ótica da gestão da qualidade, um modelo de gerenciamento para cursos ou programas de pós-graduação stricto sensu, com base no sistema de avaliação da CAPES, que possibilite a cada curso ou programa de pós-graduação, apresentar-se como eficaz, quando avaliado pela CAPES.. 1.4.2 Objetivos específicos. A partir do objetivo geral foram delineados quatro objetivos específicos:. a). Revisar os aspectos teóricos sobre o processo de avaliação, vinculados à. pós-graduação stricto sensu, a fim de identificar e diferenciar os elementos que compõem o processo externo (adaptar-se ao processo), dos que compõem o processo interno (gerenciamento); b). Estruturar um sistema de avaliação direcionado ao gerenciamento dos. cursos ou programas de pós-graduação stricto sensu, com vistas a agregar elementos segundo a ótica da qualidade, com base no sistema de avaliação externo (CAPES);.

(25) 23. c). Operacionalizar o modelo de avaliação proposto neste estudo, por meio de. uma ilustração, ou seja, de uma aplicação, a título de análise da viabilidade em se aplicar a proposta; d). Analisar, na ilustração o modo como modelo proposto neste estudo gera. melhorias e fornece subsídios aos cursos ou programas de pós-graduação stricto sensu, tanto em relação à avaliação externa, quanto à ótica do gerenciamento.. Com relação aos objetivos, Köche (1997, p. 144) considera que eles “delimitam a pretensão do alcance da investigação, o que se pode fazer, que aspecto pretende analisar. Os objetivos servem de complemento para a delimitação do problema”. Por isso, são apresentados alguns comentários acerca dos objetivos deste estudo, os quais abordam aspectos teóricos e práticos. Quanto ao aspecto teórico busca-se: identificar elementos que compõem o processo de avaliação, observar quais deles estão relacionados ao contexto interno e quais estão relacionados ao contexto externo. A partir deste processo, pretende-se identificar elementos calcados no referencial teórico que auxiliem a explicitar as práticas em uso pela CAPES. Quanto aos aspectos práticos, em um primeiro momento, enfoca-se o processo de avaliação externa, vinculado a CAPES, para, num segundo momento, propor um modelo de gerenciamento, o qual será operacionalizado junto a cursos ou programas stricto sensu vinculados a áreas distintas, a serem selecionados. Conhecidos e identificados, no âmbito teórico e prático, quais elementos são adotados para proceder-se uma avaliação, torna-se possível identificar elementos divergentes ou convergentes que compõem o processo.. 1.5 JUSTIFICATIVA. A justificativa consiste em uma exposição sucinta, mas completa, das razões de ordem teórica e prática que tornam importante o desenvolvimento do estudo (GIL, 2002). O presente estudo enfoca a concepção de avaliação de pós-graduação stricto sensu. Este tipo de avaliação, segundo Ferreira e Moreira (2002), desde a década de 50, é realizada por órgãos normatizadores ou reguladores..

(26) 24. Durante este período, a percepção quanto à avaliação de pós-graduação stricto sensu foi se modificando de modo contínuo, e a CAPES tem realizado esforços no sentido de fazer com que o processo de avaliação em uso também evolua. Esta afirmação é confirmada por Ferreira e Moreira (2002) ao listarem os enfoques que a avaliação tem adotado ao longo do tempo, a saber: (a) em um primeiro momento, o conceito de avaliação esteve vinculado à seleção de candidatos a uma vaga em curso de pós-graduação, devido à pequena oferta por cursos deste nível; (b) em um segundo momento, a concepção de avaliação voltou-se para o docente, com vistas a aperfeiçoar o corpo docente das pós-graduações; (c) em um terceiro momento, emergiu a concepção de avaliação que analisa a co-relação entre ensino, pesquisa e extensão, bem como a inter-relação entre docentes e discentes, em particular nas relações orientador-orientando, e na produção acadêmica decorrente. Esta última percepção de avaliação é resultante da expansão, tanto dos cursos e programas de pós-graduação no país, quanto do número de discentes, e visa manter a qualidade dos cursos e programas de pós-graduação. Assim, a avaliação é entendida como a análise de uma determinada situação observada e comparada com parâmetros existentes, acompanhada de uma conclusão sobre os resultados. Deste modo, obtém-se o julgamento sobre uma determinada situação, a partir de fatos, idéias e objetivos pré-estabelecidos a serem considerados (DIAS SOBRINHO, 1997; RISTOFF, 1995; STEIN, 2003). Além disso, o processo de avaliação deve observar aspectos relativos aos objetivos propostos, uma vez que tal processo depende de vários fatores tais como: (a) as bases informativas; (b) as variáveis consideradas; (c) os critérios, conceitos e princípios; e (d) as crenças, valores e habilidades que permeiam a situação a ser avaliada (CAHAN e ELBAZ, 2000; RUMBERGER e PALARDY, 2005; DIAS SOBRINHO, 1997). De acordo com Lousada e Martins (2005) e Franco (1993) o processo de avaliação pode ser desenvolvido sob dois enfoques diferenciados, o externo e o interno. Apesar dos enfoques diferenciados, isto não significa que eles não possam ser complementares. A partir desta percepção, justifica-se desenvolver o estudo para as dimensões externa e interna dos cursos ou programas de pós-graduação. Deste modo, busca-se, na dimensão externa, analisar a estrutura do processo de avaliação em uso pela CAPES, tanto em termos dos indicadores individuais considerados, quanto de sua agregação. A partir das premissas advindas da ótica externa, espera-se propor o modelo de gerenciamento direcionado aos cursos ou programas de pós-graduação stricto sensu, ou seja, direcionado a dimensão interna, o qual será operacionalizado neste estudo a título de análise de viabilidade de aplicação..

(27) 25. Ao entender que se faz necessário compreender o que vai ser avaliado (DIAS SOBRINHO, 1997; RISTOFF, 1995), o desenvolvimento deste estudo justifica-se pela possibilidade de verificar se o processo da avaliação em uso pela CAPES está alinhado à concepção teórica e prática que rege um processo de avaliação. Ao proceder esta análise, espera-se gerar compreensão, frente ao meio acadêmico, dos elementos e parâmetros críticos adotados no processo de avaliação em uso pela CAPES. Deste modo, espera-se gerar um processo consistente de avaliação interna para os cursos ou programas de pós-graduação, bem como observar se, ao adotar este processo de gestão, eles se tornam mais eficazes, frente à avaliação externa. Por fim, destaca-se a importância de um curso ou programa ser bem avaliado, no sentido de se obter maior acesso aos recursos financeiros que, em última análise, garantem a sobrevivência, a consolidação e o crescimento do mesmo. A partir do exposto, ser bem avaliado está vinculado a uma característica estratégica para o curso ou programa, a qual pode vir a impactar a sua continuidade.. 1.6 CARACTERÍSTICAS DO ESTUDO. Para que um estudo venha a ser considerado como tese, Leite (1978, p. 1) observa que este deve “promover a aquisição de novos conhecimentos com o objetivo de interpretação, predição e controle do fenômeno em estudo”, de modo a contribuir para o enriquecimento do saber no âmbito do assunto em foco. Para Salomon (2001, p. 267), este precisa observar alguns aspectos, como ser “um trabalho de pesquisa, de fôlego, de alto nível de qualificação, de conteúdo original, de profunda reflexão no tratamento das questões teóricas, mesmo quando se identifica com pesquisa empírica”. Eco (2001, p. 2) complementa esta percepção ao relatar que a tese de doutorado se “constitui um trabalho original de pesquisa, com o qual o candidato deve demonstrar ser um estudioso capaz de fazer avançar a disciplina a que se dedica”. A partir dos elementos expostos, nota-se que para uma pesquisa ser considerada tese, faz-se necessário observar aspectos quanto à sua relevância e à sua originalidade..

(28) 26. 1.6.1 Quanto à relevância. Em relação à relevância, Demo (1991, p. 43) observa a relevância segundo a ótica social e considera que “embora as teses de pós-graduação tenham como escopo apenas o exercício formal, poderiam ser mais pertinentes se também fossem relevantes em termos sociais, ou seja, estudassem tema de interesse comum e se dedicassem a confrontar-se com problemas sociais preocupantes”. Triviños (1987) considera que a relevância envolve a nãotrivialidade da pesquisa. Acredita-se que este estudo apresenta enfoque diferencial quanto a duas dimensões: (a) aspectos externos; e (b) aspectos internos da pós-graduação. A primeira considera o conjunto de elementos que devem ser observados no processo de avaliação a partir dos requisitos de operação dos cursos fixados pela CAPES. Neste caso, observa-se a pertinência relativa à estruturação dos indicadores para efeito da avaliação da qualidade do curso ou programa, bem como a classificação, em termos de importância, dos indicadores utilizados (estratégicos, táticos e operacionais), ou seja, associados aos ambientes organizacionais, segundo o enfoque da avaliação estratégica da qualidade. Assim, a partir dos parâmetros externos, é estruturado o gerenciamento dos cursos ou programas de pós-graduação, ou seja, ele gera subsídios à segunda dimensão (aspectos internos), por envolver o processo de gerenciamento do curso ou programa. Aqui, se considera, em um primeiro momento, o desempenho dos indicadores externos, os quais geram informações quanto aos aspectos que requerem melhorias imediatas. Tais melhorias impactam também no maior acesso aos recursos financeiros (bolsas, custeio, capital) que, em última análise, garantem a sobrevivência dos cursos ou programas, bem como apóiam sua consolidação e expansão. Tais fatores têm relação, de modo direto, com a continuidade dos mesmos.. 1.6.2 Quanto à originalidade. Em relação ao elemento originalidade deste estudo, Martins e Lintz (2000, p. 24) observam as “possibilidades de encontrar novos resultados ainda não disseminados no ambiente científico-profissional”. Esses autores também observam que “o original em síntese.

(29) 27. é a leitura do aluno autor sobre o tema pesquisado. É evidenciado pelo valor da reconstrução racional lógica do tema escolhido”. Eco (2001) compartilha da percepção destes autores ao observar que o elemento originalidade está relacionado à capacidade do pesquisador auxiliar no avanço da pesquisa, ou descobrir algo novo sobre o tema. No âmbito deste estudo não foram identificados estudos com a proposição de estruturação de um modelo gerencial para os cursos ou programas de pós-graduação stricto sensu, nos moldes aqui apresentados, que toma por base o sistema de avaliação externo em uso pela CAPES; considera indicadores segundo a ótica da gestão da qualidade; utiliza elementos que advém da lógica difusa em termos de sua agregação. Tal afirmação está pautada nas pesquisas teóricas realizadas para o desenvolvimento desta tese, as quais são apresentadas no Capítulo 2. As pesquisas teóricas foram realizadas no Portal de periódicos da CAPES e no SCIELO, os resultados obtidos são apresentados nos Quadro 1, Quadro 2 e Quadro 3 e comentados ao longo do Capítulo 2.. 1.7 DELIMITAÇÃO DO ESTUDO. A delimitação é uma etapa essencial para o desenvolvimento do estudo. Cervo e Bervian (2002, p. 72) observam que “dentro de um mesmo tema deve-se selecionar um tópico para ser estudado e analisado em profundidade, tornando-o viável de ser pesquisado”. Eles, também, alertam que temas amplos podem resultar em trabalhos superficiais. Andrade (2002, p. 43) considera que a delimitação consiste em “definir sua extensão e profundidade, o tipo de abordagem”. A autora complementa a percepção anterior e observa que a delimitação do assunto pode abranger a “extensão ou ao tipo de enfoque: psicológico, sociológico, histórico, filosófico, estatístico etc. [...] Delimita-se um tema, também, fixando-se circunstâncias, principalmente de tempo e de espaço, pela indicação do quadro histórico-geográfico em cujos limites se localiza o assunto.” Em relação à delimitação, Eco (2001, p. 10) considera que “quanto mais se restringe o campo, melhor e com mais segurança se trabalha”, ou seja, este elemento faz menção aos aspectos objeto de estudo e possibilita ao pesquisador maior segurança. Ao desenvolver este estudo, busca-se contemplar elementos relacionados à profundidade e ao foco. Para tanto, são necessárias delinear as delimitações que observam as seguintes dimensões: conceitual, de escopo, temporal, geográfica e de consolidação..

(30) 28. Com relação à dimensão conceitual, este estudo aborda o processo de avaliação vinculado às instituições de ensino e enfoca de modo específico três momentos: (a) a conceituação de avaliação (o que é avaliação); (b) os aspectos procedimentais (quais elementos são observados no processo de avaliação interna e externa); e, (c) os aspectos organizacionais (como se aplica às organizações, tanto no âmbito externo quanto interno). Além do aspecto conceitual vinculado ao processo de avaliação, são abordados, também, elementos relativos à qualidade (quais elementos deveriam ser observados no processo de avaliação) e também a lógica difusa (de que modo se proceder à conversão de aspectos qualitativos em quantitativos). Quanto ao escopo o estudo não aborda a revisão cronológica histórica. A pesquisa teórica apresentada no Capítulo 2 está direcionada a identificar os elementos que compõem o processo de avaliação, a fim de observar se há elementos que impossibilitam a comunicação entre a avaliação externa e a interna. Para tanto, foram realizadas pesquisas em publicações de diversos períodos, mas tal heterogeneidade não caracteriza esta revisão teórica como cronológica e/ou histórica. Em relação ao escopo o estudo não faz uso de outros processos de avaliação propostos para pós-graduação, que não aquele em uso pela CAPES, pois o foco deste estudo é utilizar informações advindas deste para construir um modelo de gerenciamento. Contudo, salienta-se que, no Capítulo 3, é feita menção a determinados processos utilizados para avaliar a pós-graduação stricto sensu apenas com intuito de informar aos interessados sobre o tema em pauta quanto à existência de diferentes processos. Por fim, quanto ao escopo, este estudo não contempla a avaliação docente ou discente de modo específico. Estas serão abordadas ao longo do modelo que aqui se propõem, uma vez que o processo em uso pela CAPES contempla elementos da avaliação docente e discente. Contudo, tais elementos não são pesquisados de modo pontual, apenas são considerados os resultados das ações que eles realizam quando vinculados a um curso ou programa de pós-graduação, visto que tais ações impactam o desempenho do programa. Com relação às dimensões temporal, geográfica e de consolidação, estas se referem à pesquisa de campo, a qual enfoca cursos ou programas de pós-graduação credenciados na CAPES no triênio (2004 - 2006), cujos dados foram coletados em 2007 e 2008. Este estudo, quanto à dimensão temporal, foi desenvolvida durante o mesmo período. A geográfica enfoca a pós-graduação stricto sensu, de modo mais específico os cursos ou programas credenciados pela CAPES, ou seja, instituições instaladas no Brasil. Quanto à dimensão de consolidação, a pesquisa não faz restrição, ou seja, pode ser pesquisado tanto um.

(31) 29. curso ou programa recém credenciado (conceito 3), que ofereça apenas mestrado, quanto um consolidado, credenciado há vários anos (conceitos 4, 5, 6, 7) e que ofereça tanto mestrado como doutorado. As delimitações apresentadas nesta seção não restringem este estudo a ponto de ele ser aplicável apenas a alguns casos específicos ou muito particulares. Ao contrário, mesmo com as delimitações apresentadas, o estudo continua válido, útil e aplicável a um grande número de situações, ou seja, ele é aplicável a diversos cursos ou programas de pósgraduação do país. Entretanto, destaca-se que, em alguns casos, é necessário realizar adequações no modelo que aqui se propõe, as quais variam de acordo com a área cujo curso ou programa em questão esteja vinculado. Salienta-se que inicialmente havia a intenção de se operacionalizar o modelo na área de Engenharia III. Entretanto, durante o processo de construção do mesmo, observou-se que não havia a necessidade de delimitar uma área específica para se analisar a viabilidade de operacionalização. Por isso, no capítulo 5 onde se apresenta os resultados da operacionalização, optou-se por selecionar três cursos ou programas de áreas distintas.. 1.8 ALCANCE DO ESTUDO. Esta seção aborda os aspectos que necessitam ser observados em caso de se fazer uso dos resultados do estudo. Esta observação, segundo Luna (1996, p. 21), é pertinente uma vez que “por mais abrangente que possa ser, uma pesquisa toma sempre um ‘pedaço’, uma amostra de um fenômeno para estudo”. Esta concepção encontra-se alinhada à de Kerlinger (1980, p. 8), o qual observa que a “[...] compreensão de um fenômeno é sempre incompleta, parcial e probabilística”. A partir do exposto, destacam-se determinados elementos que precisam ser observados, caso venha a se fazer uso dos resultados. Um dos aspectos que limitam o alcance do estudo refere-se ao fato de serem considerados, no âmbito prático, apenas os cursos ou programas de pós-graduação stricto sensu, credenciados pela CAPES. Por isso, mesmo que a população selecionada para o estudo seja relevante, os resultados retratam apenas a realidade circunscrita a essa população. Ou seja, ao se fazer inferências para os demais cursos ou programas de pós-graduação stricto sensu não pesquisados, é necessário observar se as informações necessitam de adaptação..

(32) 30. Outra limitação refere-se aos critérios de avaliação trienal, obtidos junto a CAPES, os quais, neste estudo, assumem a forma de coleta transversal. Esta, segundo Perin et al. (2000), refere-se a coleta de informações que ocorre apenas uma vez no tempo. Neste caso, a coleta de informações utilizou como base o triênio 2004 - 2006, e aqueles disponíveis online em maio de 2008. Portanto, recomenda-se cuidado ao fazer inferências aos aspectos vinculados à coleta de informação longitudinal, uma vez que, ao se estender os resultados a quaisquer intervalos de tempo além deste, existe a possibilidade de imprecisões. Contudo, mais uma vez observa-se que as limitações apresentadas, quanto ao alcance do estudo não o restringem a ponto de o mesmo ser aplicável apenas a determinados casos específicos ou muito particulares. Ao contrário, mesmo com as limitações apresentadas este estudo continua válido, útil e aplicável a um grande número de situações, ou seja, é aplicável a diversos cursos ou programas de pós-graduação do país. Entretanto, destaca-se que em alguns deles seria necessário realizar adequações ao modelo proposto, as quais podem variar de acordo com a área cujo curso ou programa em questão está vinculado.. 1.9 ORGANIZAÇÃO DA PESQUISA. Este estudo, quanto à sua organização, foi segmentado em seis capítulos e busca seguir um encadeamento lógico. No Capítulo 1 são apresentados a caracterização da situação problemática, as questões, os pressupostos, os objetivos geral e específicos, os elementos que justificam desenvolver o estudo e os aspectos relativos à relevância e originalidade. Neste capítulo são apresentadas também as delimitações e o alcance do estudo. No Capítulo 2 são apresentados os elementos teóricos que estão alinhados à problemática em questão. Dentre estes aspectos, contemplam-se os observados em um processo de avaliação externa e interna, e os vinculados à qualidade e à lógica difusa, considerados necessários para o desenvolvimento do estudo. No Capítulo 3 são abordados os elementos considerados necessários para o entendimento dos procedimentos metodológicos adotados, com destaque àqueles vinculados aos objetivos, à natureza, à abordagem e às variáveis do problema, à estratégia, ao método de abordagem e ao ambiente em questão..

(33) 31. No Capítulo 3 são apresentados os processos de avaliação de desempenho Prêmio Nacional da Qualidade e Malcolm Baldrige, a Metodologia Multricritério de Apoio à Decisão, Balanced scorecard. Nele, também é apresentado o processo em uso pela CAPES analisando seus procedimentos. Para tanto, se procede à releitura dos critérios de avaliação trienal relativo ao período 2004 - 2006. Nesta etapa, busca-se verificar as possíveis variações no processo de avaliação que podem ocorrer de uma área de conhecimento para outra. No capítulo 4 são correlacionados os aspectos teóricos identificados no capítulo 2, aos procedimentos em uso pela CAPES no processo de avaliação discutido no capítulo 3. A partir desta correlação busca-se salientar os elementos que tornam viável desenvolver este estudo. Neste capítulo são apresentados, também, os elementos que informam a construção do modelo, seu detalhamento e a descrição dos procedimentos utilizados. No capítulo 5 são apresentados os resultados obtidos ao ser operacionalizado o modelo proposto neste estudo, a partir da ótica da gestão da qualidade, o qual visa o gerenciamento de cursos ou programas de pós-graduação stricto sensu, baseado no sistema de avaliação da CAPES, que possibilite a cada curso ou programa de pós-graduação, apresentarse como eficaz, quando avaliado pelo órgão. No Capítulo 6 são apresentadas as conclusões. Estas são segmentadas em elementos que apontam como os objetivos do estudo foram atingidos, em parâmetros utilizados para serem respondidas as questões de pesquisa, elementos que apontam para a viabilidade de confirmar os pressupostos, bem como as recomendações do estudo. Após o capítulo 6 são apresentadas as referências utilizadas no desenvolvimento deste estudo, bem como os apêndices..