S17
Suplemento dos Anais do IHMT
Desenvolvimento de modelos para avaliação das redes de conhecimento:
um estudo de avaliabilidade no Centro de Pesquisa René Rachou (Fiocruz Minas), Brasil
Development of evaluation models on research networks: an evaluability study in Centro de Pesquisa
René Rachou (Fiocruz Minas), Brazil
Eliete Albano de Azevedo Guimarães
Universidade Federal de São João Del Rei (UFSJ), São João Del Rei, Minas Ge-rais, Brasil. Centro de Pesquisa René Rachou, Fundação Oswaldo Cruz (Fiocruz Minas), Belo Horizonte, Brasil.
Zulmira Hartz
Professora catedrática convidada de Avaliação em Saúde; Global Health and Tropical Medicine, GHTM, Instituto de Higiene e Medicina Tropical, IHMT, Universidade Nova de Lisboa, UNL, Lisboa, Portugal.
Zélia Maria Profeta da Luz
Centro de Pesquisa René Rachou, Fundação Oswaldo Cruz (CPqRR/Fiocruz), Belo Horizonte, Brasil.
Fonte financiadora: Coordenação de Aperfeiçoamento de Pessoal de Nível Supe-rior – CAPES (PNPD/CAPES 2015).
Resumo
Realizou-se um estudo de avaliabilidade (EA) de uma rede de colaboração em pesquisa da Fiocruz Minas, considerando a descrição da intervenção, o desenvolvimento dos modelos teórico e lógico da avaliação e a identificação das perguntas avaliativas. Para executar essa etapa da avaliação foram utili-zados os sete elementos, propostos por Thurston e Ramaliu (2005). Foram elaborados os modelos teórico e lógico e as matrizes de medidas e análise, pautados na revisão de documentos, na observação e nas entrevistas. Os informantes-chave proveram informações, documentos e arquivos eletróni-cos, além de participar em reuniões e encontros de trabalho. O modelo lógi-co permitiu visualizar graficamente a lógi-constituição dos lógi-componentes da rede e da sua forma de operacionalização até aos resultados esperados a curto e longo prazo. Foram estabelecidas as perguntas avaliativas, os critérios e parâ-metros, os instrumentos de pesquisa e os procedimentos para sistematização e análise da implantação da rede. O EA constatou a possibilidade de avalia-ções posteriores do programa e apresentou cenário favorável para o seu de-senvolvimento. Esta é uma importante estratégia avaliativa que permite que as avaliações subsequentes sejam desenvolvidas com maior facilidade, maxi-mizando seus potenciais, além de favorecer a racionalização de recursos.
Palavras Chave:
Pesquisa, centro de pesquisa, avaliação de programas e projetos de saúde, estudo de avaliabilidade.
Abstract
Research networks have been stimulated as strategies to intensify sci-entific and technological development and its impact on productivity. Evaluability study (ES) was conducted in a Fiocruz Minas Structured Program, considering intervention description, logic model develop-ment and the identification of evaluative questions. The qualitative ap-proach was based on Seven Element System proposed by Thurston and Ramaliu (2005). Theoretical and logical models and matrices of meas-ures and analysis were built, guided by document review, observation and interviews. The logical model allowed graphically viewing the crea-tion of program components and their way of operacrea-tion from its plan-ning to expected results in short and long term. The matrix of measures described evaluative questions, instruments, data collection phase and procedures for systematization and analysis of data. Key informants have provided information, documents and electronic files, as well as partici-pate in meetings and workshops. It was evident the interest of managers to use assessment information to reflect on strategies to implement the program. The ES found the possibility of further assessment of RIPAg and presented a favorable environment for its development.
Key Words:
Research, research center, program evaluation, evaluability assessment.
e redes
de conhecimento
Introdução
As redes de colaboração em pesquisa referem-se a uma es-trutura organizacional em que as pessoas e instituições, en-tre outras entidades, interagem com a finalidade de produzir conhecimento para aumentar a capacidade de resposta e ino-vação.1 Essas estruturas vêm sendo defendidas como estra-tégias que influenciam as políticas governamentais e fortale-cem a capacidade de fazer pesquisas.2Tal condição contribui para o desempenho dos serviços e do ensino, e por isso, se caracteriza como uma potencialidade de melhorar o cuida-do, a gestão, a educação e a própria pesquisa.3
A consolidação de redes de colaboração em pesquisa torna--se estratégia imprescindível, tendo em vista o padrão atual de desenvolvimento científico e tecnológico e seu impacto na produtividade e aplicabilidade.4 Atualmente os programas em rede estão muito valorizados e tendem a constituir-se em modelos apropriados para enfrentar as novas demandas da sociedade, em que as equipas com diferentes competên-cias e formações trabalham de forma colaborativa e nego-ciada.1,5
Seguindo essa proposta, o Centro de Pesquisa René Rachou (Fiocruz Minas), unidade vinculada à Fundação Oswaldo Cruz (Fiocruz), localizado em Belo Horizonte, Minas Ge-rais, entende que é necessário fortalecer na instituição ativi-dades que integram pesquisa, desenvolvimento tecnológico, ensino e práticas de serviços. Nesta perspetiva, em 2009, a Fiocruz Minas implantou os programas estruturantes com o propósito de estabelecer programas num formato mais ho-rizontal que pudessem ser conduzidos para propiciar mais integração de pesquisadores em diferentes áreas de conheci-mento, otimizar recursos, espaços e equipamentos, além de potencializar a produção e utilização do conhecimento para a implementação das práticas das instituições e empresas.6 Essa proposta ia de encontro com a nova organização da Ins-tituição, que saía da estrutura de laboratório para a criação de grupos de pesquisa.7
Esses programas em rede constituem-se em mecanismo de apoio a projetos integrados envolvendo grupos de pesquisa que compartilharão conhecimentos e recursos, para respon-der questões relevantes da saúde, aglutinando diversas áreas do conhecimento ou vários aspetos de uma mesma área. Essa intervenção visava a geração de produtos académicos e li-cenciamento de patentes, a formação de recursos humanos e a geração de conhecimentos fundamentais para políticas públicas, intervenções sociais ou para o estabelecimento ou revisão de marcos legais.6
Com o desenvolvimento das atividades, a Fiocruz Minas identificou a necessidade de avaliar a implantação8 desses programas, por ser uma experiência inovadora na estrutura organizacional passando de laboratórios para grupos de pes-quisa; constituir em mecanismo de apoio a projetos integra-dos; propiciar a interação entre pesquisadores de diferentes grupos de pesquisa e áreas de conhecimento; promover a
formação e capacitação de recursos humanos; envolver in-vestimento financeiro; e haver necessidade de acompanhar a implantação e a reorganização que esses programas podem ou não alcançar.
Cressman, Lewis, Wixted1 (2009) enfatizam que a avaliação de redes de conhecimento objetiva dentre outras coisas, in-centivar colaborações de pesquisa; inin-centivar a integração de pesquisadores e usuários (e outras partes interessadas), a construção de agendas de pesquisa multidisciplinares, a construção de massa crítica em áreas específicas da pesquisa. Ademais, tem havido pouca pesquisa sobre a maneira de ava-liar redes de colaboração em pesquisa, bem como as formas de atuação, relações e interações dentro delas. A maioria das publicações sobre isso avalia os produtos (publicações e pa-tentes) e reproduz apenas a quantificação das citações e das coautorias dos pesquisadores.8
Foi proposta, então, uma avaliação que contribuísse na identificação de melhorias e dificuldades relacionadas com a organização e funcionamento dos programas em rede e sustentasse decisões direcionadas ao seu aprimoramento e consolidação. A primeira etapa dessa avaliação de implanta-ção constou do estudo de avaliabilidade (EA). Essa estraté-gia avaliativa é desenvolvida antes da avaliação propriamente dita e busca descrever de forma coerente um plano para a avaliação, incluindo as relações entre as partes interessadas e a lógica de funcionamento, a análise de plausibilidade e da viabilidade dos seus objetivos, tornando-a mais consistente e com maior credibilidade.9 Espera-se de um EA a descrição completa da intervenção, dos modelos lógico e teórico, das questões fundamentais a serem abordadas pela avaliação, do plano de avaliação e do acordo entre as partes interessadas. Este resultado permite que as avaliações subsequentes sejam desenvolvidas com maior facilidade, maximizando os seus potenciais, além de favorecer a racionalização de recursos. 9,10
Desde 1977, a condução de EA era recomendada como uma pré-avaliação para melhor direcionamento ao objetivo e à escolha do método a ser utilizado na avaliação.11 Recente-mente, este tipo de abordagem é cada vez mais frequente no Brasil10,12,13, pois permite um entendimento aprofundado sobre o objeto da pesquisa e uma apreciação prévia das pos-sibilidades de avaliação posteriores.14,15
Neste propósito, o presente estudo buscou realizar o EA de uma rede de colaboração em pesquisa da Fiocruz Minas, considerando a descrição da intervenção, o desenvolvimento dos modelos teórico e lógico da avaliação e a identificação das perguntas avaliativas. Optou-se por avaliar um progra-ma estruturante, a Rede Fiocruz Minas para Identificação, Produção e Avaliação de Antígenos de Patógenos causadores de Doenças Infecto- Parasitárias (RIPAg), que integra vários grupos de pesquisa e laboratórios do Centro os quais com-partilham conhecimentos e recursos, para responder a ques-tões relevantes da saúde nas diversas áreas do conhecimento e de atuação.6
Materiais e métodos
Realizou-se um EA para caso único16, com abordagem quali-tativa, baseado no sistema dos sete elementos proposto por Thurston e Ramaliu9 (2005)[3], são estes: (a) a descrição do programa identificando as metas, os objetivos e as atividades que o constituem; (b) a iden tificação e revisão dos documen-tos disponíveis no programa; (c) a modelagem dos recursos disponíveis, das atividades pre tendidas, impactos esperados e conexões causais presumidas (Modelo Lógico do Progra-ma – MLP); (d) a supervisão do prograProgra-ma, ou obtenção de um entendimento preliminar de como opera; (e) o desen-volvimento de um Modelo Teórico da Avaliação (MTA); (f) a identificação de usuários da avaliação e outros principais envolvidos; e (g) a obtenção de um acordo quanto ao pro-cedimento de uma avaliação. Durante o EA foram seguidos alguns parâmetros necessários para conduzir a avaliação de forma adequada para garantir a sua qualidade e utilidade. Para isso, considerou-se como referência os eixos da meta--avaliação: utilidade, factibilidade e viabilidade, propriedade e precisão, atributos importantes para avaliação da qualidade da avaliação.17
Para operacionalizar este estudo foram analisados documen-tos, no período entre junho e dezembro de 2015, incluindo: manual organizacional da Fiocruz, regimentos, atas e relatos de reuniões, editais internos, relatórios técnicos científicos e materiais de divulgação. Concomitantemente, a pesquisado-ra manteve contacto in loco com representantes do Conselho Consultivo dos Programas Estruturantes institucional, Co-mité gestor da RIPAg e coordenadores dos projetos de pes-quisa em colaboração para entender a organização da rede e para identificar os possíveis informantes-chave na avaliação, a sua forma de contribuição e o tipo de apoio no estudo. Entre os identificados, participaram deste estudo 4 mem-bros do Conselho consultivo dos programas estruturantes; 5 membros do Comité gestor da RIPAG, sendo 4 deles coor-denadores de projetos de pesquisa em colaboração; e um profissional administrativo.
Foram realizadas 10 entrevistas semiestruturadas com abor-dagem dos seguintes itens: estruturas e tecnologias, intera-ção com as equipas de pesquisa, equipa de trabalho (nome, instituição, cargo, formação, área de atuação), fluxo de in-formações, mecanismos de monitoramento e avaliação, fa-cilidades e dificuldades na realização dos projetos, objetivos atendidos e produtos apresentados, relevância dos resultados das pesquisas na formação de opinião de grupos e institui-ções envolvidos ou interessados no objeto ou no processo da pesquisa. Nas entrevistas foi atribuído um código a cada um dos participantes, buscando-se ao máximo o anonimato das informações. As entrevistas foram realizadas pela pesquisa-dora visitante.
No desenvolvimento da pesquisa foram também realizadas uma reunião com a diretora da Fiocruz Minas e a comissão gestora da RIPAg para apresentar a proposta avaliativa, e três
encontros de trabalho com pesquisadores para apresentar os modelos teórico e lógico, bem como as perguntas e os cri-térios para a avaliação. Esses instrumentos foram enviados previamente aos pesquisadores por meio eletrónico e, com base nas respostas e sugestões, estes foram revistos e finali-zados. A construção em conjunto garantiu o cumprimento dos atributos de qualidade: precisão (a identificação e de-finição dos procedimentos irão garantir que as descobertas sejam consideradas corretas) e da utilidade (a definição dos padrões e procedimentos de coleta de dados garante que os resultados da avaliação possam ser úteis).17
A análise das informações foi feita por meio dos dados ob-tidos nos documentos e aquelas obtidas nas entrevistas e na observação. As entrevistas foram transcritas e processadas a partir da leitura exaustiva dos textos, seguidas pela clas-sificação dos trechos que continham as ideias centrais dos informantes-chave, conforme as categorias analíticas pré--estabelecidas no modelo lógico do programa. Foi utilizada a análise de conteúdo temática, que consiste em descobrir os núcleos de sentido que compõem a comunicação e cuja presença, ou frequência de aparição, pode significar alguma coisa para o objetivo analítico escolhido.18
Este estudo foi aprovado pelo Comité de Ética do Centro de Pesquisa René Rachou, Fundação Oswaldo Cruz (CAAE 49148715.0.0000.5091, parecer: 1.259.897).
Resultados
Compreendendo a intervenção: a descrição da intervenção e a obtenção de um entendimento preliminar de como opera (elementos a, b, d,
pro-postos por Thurston e Ramaliu, 2005).
A discussão da implantação dos Programas Estruturantes na Fiocruz Minas iniciou por volta de 2008 e estendeu-se também em 2009, com o propósito de estabelecer pro-gramas num formato mais horizontal que pudessem ser conduzidos para propiciar mais integração de pesquisado-res em diferentes áreas de conhecimento, além de otimi-zar recursos, espaços e equipamentos. Essa proposta ia de encontro à nova estrutura organizacional da Instituição, que saía da estrutura de laboratório para a criação de gru-pos de pesquisa. Os programas estruturantes constituem--se em mecanismo de apoio a projetos integrados envol-vendo grupos de pesquisa que compartilharão conheci-mentos e recursos, para responder a questões relevantes da saúde, aglutinando diversas áreas do conhecimento ou vários aspetos de uma mesma área. Essa intervenção visa-va a geração de produtos académicos e licenciamento de patentes, a formação de recursos humanos, a otimização de recursos e a transferência de conhecimentos e tecnolo-gias para os setores empresariais e de governo.6
Um dos programas implantados foi a RIPAg, cuja orga-nização apresentou-se como uma experiência de gestão
participativa que foi se construindo ao longo do processo de implantação. Esta dinâmica apresentou-se como uma experiência de gestão participativa que favoreceu a ela-boração de uma proposta conjunta e descentralizada. A rede é composta por pesquisadores de diferentes grupos e linhas de pesquisa da Fiocruz Minas e de outras insti-tuições externas, integrando 20 grupos de pesquisa. Tem como missão exercer uma ação integrada das atividades de pesquisa visando a identificação, produção e caracte-rização de antígenos/proteínas de patógenos de impor-tância médica para contribuir com o desenvolvimento de métodos de diagnóstico, vacinas e biomarcadores de resistência e/ou susceptibilidade às doenças. O seu pro-pósito é o de mesclar experiências e integrar os pesqui-sadores para potencializar a geração de conhecimentos e o desenvolvimento de produtos. A rede possui regimento próprio e conta com um Comité gestor composto por um coordenador, vice coordenador e quatro pesquisado-res associados e visa apoiar as decisões e as atividades de forma compartilhada. Identificou-se ainda a existência de uma coordenação geral representada pela vice diretoria de pesquisa e de um conselho consultivo formado pela di-retoria, pelos coordenadores dos programas e convidados externos à instituição.6
Dentre as atividades realizadas pela RIPAg destacam-se, no seu regimento, a realização de projetos em colabora-ção, o monitoramento e avaliação das atividades da rede e das pesquisas em andamento, a elaboração de relatórios trimestrais e realizações de reuniões semestrais com os coordenadores de projetos e, anualmente, com todos os integrantes. Conta no documento sobre a distribuição de recursos financeiros que será de acordo com a demanda do projeto, número de participantes e participação em diferentes eixos do programa.19
Quanto ao funcionamento da RIPAg algumas evidências surgiram a partir da triangulação de técnicas de coletas de dados. Entre as potencialidades do programa, destaca--se, a princípio, a existência de um Comité atuante que permitiu articulações de propostas e ações significativas atuando como um espaço de mediação de interesses e demandas, promoveu reuniões periódicas e avaliações, realizou oficinas e treinamentos e elaborou atas e rela-tórios técnicos. Participou ainda da seleção de propostas de chamadas internas, da definição conjunta de projetos em colaboração, e da estruturação do Laboratório RIPAg como espaço multiusuário, com manutenção e capacita-ção dos usuários. Este último foi considerado por una-nimidade, como o evento que efetivou a integração de pesquisadores, estudantes e tecnologistas e otimizou re-cursos, espaços e equipamentos. Atualmente esse espaço, denominado de Laboratório Multiusuário de Produção de Recombinantes – ProRec, atende aos pesquisadores não só da RIPAg, mas de toda a instituição e encontra-se vin-culado à vice diretoria de pesquisa.
Outra questão em potencial destacada foi a criação do Serviço de apoio a projetos (SAPRO), implantado em 2013 pela Diretoria da Fiocruz Minas. O serviço realiza a gestão financeira dos projetos de pesquisa, dá suporte e apoio aos pesquisadores no gerenciamento dos projetos e na sistematização das informações sobre a pesquisa. Este acontecimento na perceção de todos os entrevistados foi uma forma de otimizar tempo e experiência dos pesqui-sadores.
Dois outros factos importantes aconteceram no final de 2015: houve a recomposição da vice diretoria de pes-quisa e foi prorrogado o prazo (12 meses) para o desen-volvimento dos projetos aprovados na chamada interna - Edital Programa de Excelência em Pesquisa– PROEP20 (2012), pois metade deles não tinha atingido os objetivos e as metas propostas. Na mesma época foi iniciada a ava-liação desses projetos.
Contudo, entre os anos de 2013 e 2015 observou-se um vazio de informações, documentos, editais e resoluções pressupondo-se que houve uma interrupção nas ativida-des gerenciais da rede. Alguns eventos influenciaram ne-gativamente a atuação do Comité gestor nesse período. Contraditoriamente, o PROEP 25 influenciou a atuação do Comité gestor que perdeu seu foco em virtude do forta-lecimento da gestão dos projetos em colaboração apro-vados. Foi consenso, por um lado, que o PROEP é uma iniciativa importante e necessária para fortalecer progra-mas como a RIPAg, progra-mas, por outro lado, esta iniciativa fragilizou a atuação do Comité gestor da rede, uma vez que as atribuições de gestão a partir de então, deram-se mais no interior de cada projeto em colaboração e não mais na rede. Ferramentas importantes de gestão, como o monitoramento e a avaliação foram transferidas para dentro dos projetos aprovados no PROEP.
Outro evento crítico como a não formalização da subs-tituição do coordenador da RIPAg durante o seu afasta-mento influenciou as atribuições previstas no seu Regi-mento, podendo citar a ausência de reuniões periódicas e a elaboração de relatórios. Houve também mudança da vice diretoria de pesquisa e cabia a ela supervisionar o cumprimento dos programas estruturantes; atuar junto dos coordenadores para o bom funcionamento; propor editais e trabalhar para a captação de recursos; organizar o processo de avaliação, entre outras atribuições.6 De maneira unânime, a RIPAg foi considerada uma expe-riência inovadora importante para o Instituto e deve ser mantida e estimulada. Se este for o propósito, medidas precisam ser incorporadas pela direção e integrantes do Comité gestor para que o programa alcance os resultados esperados.
A Linha do Tempo apresentada na Figura 1 aponta os prin-cipais acontecimentos e os processos que a caracterizam, expressos tanto nos documentos analisados quanto nos discursos dos entrevistados.
Desenvolvimento dos modelos teórico
e lógico da avaliação (elementos c, e)
A teoria do programa subsidia o desenvolvimento do mo-delo lógico que permite identificar recursos, atividades, e possíveis resultados esperados, além de explicitar re-lações de premissas ligando tais elementos. Para tanto,é preciso entender as premissas teó-ricas do programa, de como se espe-ra que determinadas ações conduzam a determinados resultados para os seus utilizadores.10 O modelo teórico apresentado na Figura 2 foi baseado no modelo de Wixted e Holbrook21 (2009). O modelo aponta para a or-ganização, os indivíduos interessados e as relações estabelecidas nos espa-ços instituídos dentro e fora da rede, constituindo-se assim o contexto in-terno do programa; e para outros elementos contextuais (contexto ex-terno) que podem influenciar os efei-tos do programa, podendo destacar o orçamento institucional da Fiocruz, a vice diretoria de pesquisa, o programa de excelência em pesquisa (PROEP) e os órgãos financiadores de pesqui-sa. Essa estrutura fica dentro de um universo maior de partes interessadas. Assim, a estrutura de rede de pesquisa constitui-se de uma liderança da rede (Comité gestor), de pesquisadores, estudantes e tecnologistas envolvidos nas atividades da rede, além das cone-xões estabelecidas com as instituições externas. Dentro dessa rede os mem-bros estabelecem diversas interações (formais/informais) num ambiente com várias possibilidades de ativida-des semi-relacionadas, com ou sem financiamento.21
O próximo passo foi o desenvolvi-mento do modelo lógico do progra-ma. Os modelos lógicos são instru-mentos que delineiam os aspetos bá-sicos de uma intervenção, desde o seu planeamento até aos resultados espe-rados. Esta descrição torna explícitos os pressupostos que o norteiam, ser-vindo de quadro de referência para o planeamento e gerenciamento da avaliação.22
Por meio da análise de documentos, entrevistas e conceções teóricas revi-sadas foram definidos, para o contexto interno (progra-ma propriamente dito), quatro componentes: a Interação
entre pesquisadores que consiste na estruturação da rede,
conexão e presença de mecanismos de interação entre os grupos de pesquisa; o Desenvolvimento de pesquisas em
cola-boração no cumprimento dos objetivos e prazos previstos
nos projetos e na geração de produtos e de processos ino-2009
•Implantação dos programas estruturantes institucional.
•Resultado da chamada pública (Edital Fiocruz Minas/CpqRR - pesquisas em colaboração).
•Formalização do programa “Rede Fiocruz Minas para Identificação, Produção e Avaliação de Antígenos de Patógenos causadores de Doenças Infecto- Parasitárias “ - RIPAg
•Formação do Comitê Gestor •I Encontro dos pesquisadores da RIPAg
2010
•Elaboração do primeiro relatório técnico científico
•Reunião com a Vice-diretora de Pesquisa e Laboratórios de Referência para apresentação das atividades executadas
•Reunião com diretores de Bio-Manguinhos e Farmanguinhos e membros da diretoria para apresentação dos projetos em colaboração e discussão de parcerias
2011 •Primeira avaliação da RIPAg•Proposta da instalação de um espaço multiusuário - Núcleo de produção de antígenos recombinantes
2012
•Recomposição dos membros do comitê gestor •Elaborado o regimento do programa
•Resultados da chamada pública Edital Programa de Excelência em Pesquisa – PROEP (2012-2015)
2013
•Estruturação do Laboratório RIPAg como espaço multiusuário. •Implantação do Serviço de apoio a projetos (SAPRO) •Mudança na direção da Fiocruz Minas/CPqRR
2014
•Laboratório multiusuário foi vinculado à Vice-Diretoria de Pesquisa, como Laboratório Multiusuário de Produção de Recombinantes – ProRec.
2015
•Recomposição da vice-diretoria de pesquisa.
•Prorrogado o prazo (12 meses) para o desenvolvimento dos projetos PROEP.
•Pesquisadores da RIPAg realizaram oficinas e treinamentos para organização e capacitação dos usuários do ProRec.
•Avaliação dos projetos em colaboração aprovados no PROEP (2012).
Figura 1. Linha do Tempo dos principais eventos do Programa Estruturante RIPAg, CPqRR, 2015.
Desenvolvimento dos modelos teórico e lógico da avaliação (elementos c , e)
A teoria do programa subsidia o desenvolvimento do modelo lógico que permite identificar recursos, atividades, e possíveis resultados esperados, além de explicitar relações de premissas ligando tais elementos. Para tanto, é preciso entender as
premissas teóricas do programa, de como se espera que determinadas ações conduzem a determinados resultados para os seus utilizadores.11 O modelo teórico apresentado na
Figura 1 foi baseado no modelo de Wixted e Holbrook20 (2009). O modelo aponta para
a organização, os indivíduos interessados e as relações estabelecidas nos espaços instituídos dentro e fora da rede constituindo-se assim o contexto interno do programa; e para outros elementos contextuais (contexto externo) que podem influenciar os efeitos
Figura 1. Linha do Tempo dos principais eventos do Programa Estruturante RIPAg, Fiocruz Minas, 2015.
Figura 2. Modelo teórico do Programa Estruturante RIPAg, Fiocruz Minas, 2015.
23
do programa, podendo destacar o orçamento institucional da Fiocruz, a vice diretoria de pesquisa de pesquisa, o programa de excelência a pesquisa (PROEP) e os órgãos financiadores de pesquisa. Essa estrutura fica dentro de um universo maior de partes interessadas. Assim, a estrutura de rede de pesquisa constitui-se de uma liderança da rede (comitê gestor), de pesquisadores, estudantes e tecnologistas envolvidos nas atividades da rede, além das conexões estabelecidas com as instituições externas. Dentro dessa rede os membros estabelecem diversas interações (formais/informais) em um ambiente com várias possibilidades de atividades semi-relacionadas, com ou sem
financiamento.20
Pesquisadores – estudantes - tecnologistas Atividades da rede Comitê gestor Rede informal: instituições externas RIPAG
(Baseado no modelo de Wixted e Holbrook, 2009)
Rede Interna
Fiocruz Minas/CPqRR
Mesclar experiência e integrar os pesquisadores potencializar a geração de conhecimentos e o desenvolvimento de produtos promoção da melhoria da saúde da população Conselho Consultivo
Instituições externas - Orgãos financiadores de pesquisa
Figura 1. Modelo teórico do Programa Estruturante RIPAg, CPqRR, 2015.
O próximo passo foi o desenvolvimento do modelo lógico do programa. Os modelos lógicos são instrumentos que delineiam os aspectos básicos de uma intervenção, desde o seu planejamento até os resultados esperados. Esta descrição torna explícitos os pressupostos que o norteiam, servindo de quadro de referência para o planejamento e
vadores; a translação do conhecimento nas ações de dissemi-nação ou troca do conhecimento com entidades de saúde, empresas e sociedade, e na contabilização dos produtos académicos e tecnológicos; e a Formação e capacitação de
recursos humanos na formação de pesquisadores e
capacita-ção de profissionais (Figura 3).
Para cada um dos componentes descritos foram apre-sentados os recursos disponíveis, atividades pretendidas, impactos esperados e conexões causais presumidas. Os efeitos imediatos esperados foram: interações estabele-cidas - estrutura em redes de colaboração em pesquisa, geração do conhecimento, disseminação e/ou aplicação do conhecimento e qualificação de pessoas. A médio pra-zo o efeito foi fortalecer a capacidade instalada na insti-tuição para potencializar a geração de conhecimentos e o desenvolvimento de produtos e processos inovadores e, a longo prazo, fortalecer o papel estratégico da Fiocruz Minas na promoção da inovação, formação e capacitação de pessoas, fortalecimento da pesquisa e da infraestrutura científica e tecnológica.
Destacam-se no contexto externo, o orçamento institucio-nal da Fiocruz, a vice diretoria de pesquisa, o programa de
excelência em pesquisa (PROEP) e os órgãos financiadores de pesquisa. Fatores que podem influenciar os efeitos e, con-sequentemente, o desempenho da RIPAg.
O modelo lógico subsidiou a seleção das perguntas avalia-tivas classificando-as quanto à prioridade, utilidade e via-bilidade. Para cada pergunta foram definidos o critério, a descrição ou método de cálculo, o parâmetro, o tipo de abordagem (qualitativa e/ou quantitativa), o tipo de dado e a técnica de coleta, constituindo-se assim a matriz de medidas. A próxima etapa constituiu-se na elaboração da matriz de análise e julgamento (Quadro 1). Foram definidos os valo-res atribuídos e os pontos de corte utilizados para classifi-car se os resultados encontrados no estudo estão, ou não, de acordo com os padrões ou parâmetros estabelecidos. O total máximo de pontos foi estabelecido em 115. Foi pactuada a pontuação máxima de 45 pontos para as atividades do ponente Interação entre pesquisadores, 30 pontos para o com-ponente Desenvolvimento de pesquisas em colaboração, 30 pontos para o componente translação do conhecimento e 10 pontos para as atividades relacionadas com o componente Formação e
capacitação de recursos humanos. Essa matriz será desenvolvida
na análise de implantação da RIPAg a posteriori.
a
•Parcerias estabelecidas entre grupos de pesquisa institucionais (internos).
•Elaboração de projetos integrados alinhados com a missão e visão dos programa.
•Existência de chamada interna para projetos em colaboração
•Participação de intercâmbio entre instituições parceiras.
•Criação do comitê gestor. •Elaboração de regimento.
•Existência de acesso às redes informacionais on-line. •Realização de reuniões para apresentação das atividades do Programa e dos resultados dos projetos. •Elaboração de relatórios técnicos científicos.
Fortalecer o papel estratégico do CPqRR /Fiocruz Minas na promoção da inovação, formação e capacitação de pessoas, desenvovl-mento da pesquisa e da infraestrutura científica e tecnológica para a promoção da melhoria da saúde da população
PROGRAMA ESTRUTURANTE - RIPAg
Translação do conhecimento Desenvolvi-mento de pesquisas em colaboração
CONTEXTO INTERNO CONTEXTO EXTERNO
Em
outras
palavras
, ele
pode
melhora
r o
âmbito
intelect
ual para
a
tomada
de
decisõe
s.
Orçamento institucio-nal da Fiocruz Interação entre pesquisadores Formação e capacitação de recursos humanos•Objetivos dos projetos cumpridos.
•Desenvolvimento das pesquisas no prazo previsto. •Geração de produtos e de processos inovadores. •Orçamento suficiente e disponibilizado em tempo hábil para a realização das pesquisas.
•Captação de recursos externos durante a vigência dos projetos.
•Divulgação dos resultados da pesquisa aos usuários utilizando redes eletrônicas.
•Parcerias com universidades, governos ou empresas (externos).
•Realização de atividades de educação científica para a instituição, governo, empresas e sociedade. •Auxílio à implementação de políticas ou à elaboração de materiais técnicos.
•Publicação de artigos científicos, livros, capítulos de livros.
• Registro de patentes.
•Apresentação de trabalhos com publicação de resumos em anais de eventos científicos.
•Orientação de alunos de iniciação científica, mestrandos e doutorandos.
•Supervisão de pesquisadores no pós-doutorado. •Realização de cursos/capacitações. Estrutura em redes de colaboração de pesquisa Disseminação e aplicação do conhecimento Qualificação de recursos humanos Produção científica e tecnológica Fortalecer a capacidade instalada na instituição para potencializar a geração de conhecimen-tos e o desenvolvi-mento de produtos e processos inovadores Órgãos financiado-res de pesquisa Vice diretoria de pesquisa -CPqRR /ocruz Minas Programa de Excelência de Pesquisa - PROEP
Figura 3. Modelo lógico do Programa Estruturante RIPAg, Fiocruz Minas, 2015.
Perguntas avaliativas Critérios Parâmetros Pontuação máxima = 115
pontos Descrição do valor ou ponto de corte Componente: Interação entre pesquisadores
Foram estabelecidas parcerias entre grupos de pesquisa institucionais
(internos)? Integração de grupos de pesquisa Estar presente 5 Não = 0 Sim =5 Houve intercâmbio de integrantes dos projetos entre instituições
parceiras (universidades, governos, empresas)? Existência de intercâmbio Estar presente 5 Não = 0 Sim =5 Foram propostos editais internos para captação conjunta de recursos
(projetos em colaboração)? Existência de chamada interna para projetos em colaboração
Editais publicados
(interno) 5 3=5 2=4
1=3 Nenhum=0 As instalações/equipamentos são utilizadas em parcerias para a
realização dos projetos? Existência de instalações e equipamentos multiusuário
Adequado 5 Sim =5
Em parte=3 Não = 0 É disponibilizado acesso às redes informacionais para a comunicação,
interação e divulgação? Existência de acesso às redes informacionais Adequado 5 Em parte=3 Sim = 5 Não = 0 Há regimento do Programa instituído contendo a missão, visão, forma
de funcionamento e os critérios de avaliação e monitoramento dos projetos integrados?
Presença de Regimento Estar presente 5 Sim =5 (Não = 0 Foi criado o comitê gestor do Programa? Existência de comitê
gestor Estar presente 5 Não = 0 Sim =5 Quantas reuniões foram realizadas para apresentação das atividades e
dos resultados dos projetos? Número de reuniões realizadas Uma reunião semestral 5 3 ou mais reuniões= 5 2 reuniões = 4 1 reunião=2 Nenhuma = 0 Foram elaborados relatórios técnicos científicos? Número de relatórios
realizados Um relatório anual 5 3 relatórios ou + =5 2 relatórios = 4 1 relatório = 2
Nenhum = 0
Total 45
Componente: Desenvolvimento de pesquisa em colaboração Os objetivos e metas dos projetos em colaboração foram atingidos no
prazo previsto? Objetivos atingidos em 36 meses Adequado 5 Em andamento= 3 Sim = 5 Não = 0 Os projetos partilham métodos e processos de áreas afins? Métodos e processos
compartilhados Adequado 5 Em parte=3 Sim=5 Não = 0 Os projetos fizeram alguma proposta de inovação (produtos ou
processos/atividades) para o campo da saúde? Propostas inovadoras Existência 5 Não = 0 Sim =5 O orçamento aprovado para os projetos em colaboração foi
disponibilizado em tempo hábil para a realização das pesquisas? Orçamento aprovado em tempo hábil Adequado 5 Não = 0 Sim =5 O recurso empregado aprovado para desenvolver os projetos de
pesquisa em colaboração foi suficiente? Recursos suficientes Suficiente 5 100%= 5 75%=4 50%=3 25%=2 Houve captação de recursos externos durante a vigência dos projetos
em colaboração? Existência de captação de recursos externos Estar presente 5 Não = 0 Sim =5
Total 30
Componente: Translação do conhecimento (Síntese do conhecimento, disseminação, partilha de conhecimento, aplicação do conhecimento) Foram formalizadas parcerias com universidades, governos ou
empresas para realização das pesquisas? Existência de parcerias (externa) Estar presente 5 Não = 0 Sim =5 Houve divulgação dos projetos e seus produtos por meio de folhetos
informativos e redes eletrônicas? Atividades de divulgação Estar presente 5 Não = 0 Sim =5 Houve pedido de registro de patentes? Patentes registradas Estar presente 5 2 ou mais pedidos de
registros= 5 1 pedido de registro= 3
Nenhum= 0 Foram elaborados materiais técnicos (protocolos, manuais), auxiliando
a implementação de políticas da instituição, governo, empresas? Elaborados informes técnicos. Estar presente 5 Não= 0 Sim= 5 Houve publicação de resumos em anais de eventos científicos? Resumos publicados em
anais Existência 5 Não = 0 Sim =5
Houve publicação de artigos em colaboração com pesquisadores de
grupos de pesquisa institucionais (internos)? Artigos em colaboração Existência 5 Em andamento= 3 Sim = 5 Não = 0
Total 30
Componente: Formação e capacitação de recursos humanos
O programa contribuiu para a formação recursos humanos (iniciação
cientifica, mestrado, doutorado pós-doutorado? pesquisadores Formação de Estar presente 5 Em andamento=3 Sim = 5 Não = 0 Foram realizados eventos (workshops/cursos
teórico-práticos/oficinas/capacitações)? Eventos realizados Estar presente 5 Não = 0 Sim = 5
Total 10
Identificação dos interessados
na avaliação e à obtenção
de um acordo
quanto ao procedimento
de uma avaliação (elementos f, g)
Para a identificação dos interessados na avaliação procurou definir-se as pessoas quanto ao tipo de interesse e de apoio de cada uma delas (aliado, neutro ou oponente). Este estudo teve a adesão das pessoas (informantes-chave) que conhe-ciam a situação e os aspetos da intervenção avaliada, sendo estas coordenadores e executores em diferentes níveis de atuação do programa. Os informantchave aprovaram e es-timularam a avaliação, forneceram informações, documen-tos e arquivos eletrónicos, além de participar das reuniões e encontros de trabalho.
Discussão
O EA mostrou-se útil no esclarecimento dos propósitos e ob-jetivos da intervenção, no desenvolvimento da teoria do pro-grama, na elaboração de um modelo capaz de verificar a plau-sibilidade das relações entre o problema, as suas atividades, os resultados esperados e na delimitação da matriz de análise. Este estudo permitiu ainda descrever a conceção e organização da RIPAg com apontamentos dos eventos críticos e em poten-cial considerando o período de observação das experiências da sua implantação até 2015. Neste aspeto, o embasamento teórico dos propósitos, meios e fatores condicionantes da in-tervenção são relevantes para a identificação de nós críticos pertinentes à avaliação inicial da proposta.23
O estudo foi conduzido por um avaliador externo à institui-ção que apesar de seu distanciamento com o objeto avalia-do, foi considerado positivo, pois permitiu visualizar ques-tões não percetíveis pelos integrantes da rede no cotidiano. A avaliação externa permite ruturas com o senso comum em situações que as pessoas envolvidas com a gestão não conseguem visualizar.24 Contudo, no decorrer da pesquisa valorizou-se a identificação dos coordenadores e dos seus interesses na implantação e operacionalização do programa, tendo em vista a possibilidade de contextualizar a avaliação e ampliar a compreensão das práticas e a identificação de problemas. O envolvimento de pessoas interessadas na ava-liação quase sempre elucida problemas ligados com a gestão, com ênfase nas deficiências estruturais ou nas questões re-lacionadas com os integrantes do programa. 24 Ademais, os autores enfatizam que essas pessoas são geralmente toma-dores de decisão ou executores, que poderão incorporar os resultados da avaliação para aperfeiçoar, ampliar ou modifi-car a intervenção. Essa articulação entre perspetivas interna e externa numa avaliação constitui-se na abordagem mais desejável para identificar problemas e explicações do objeto avaliado.
Para a identificação dos documentos, os informantes-chave providenciaram todos os disponíveis necessários para a es-truturação do EA. Foram identificados poucos documentos e os encontrados requerem revisão, em função da sua dimen-são e complexidade, para explicitar melhor os objetivos, as metas e as atividades da intervenção. Em regra, os documen-tos refletem a coerência da proposta, os tipos de serviços a realizar e as perspectivas de mudanças almejadas.14 Para complementar as informações, foram realizadas entrevistas e visitas no local da pesquisa para ampliar a descrição do ob-jeto avaliado. O uso de diferentes abordagens e fontes de evidência possibilitou a triangulação dos dados aumentando a confiabilidade e a validade interna do estudo.24 Atualmente a combinação dessas abordagens na avaliação de programas é importante, não são excludentes ou antagónicos, antes pelo contrário, traduzem, cada qual à sua maneira, as articula-ções entre o singular, o individual e o coletivo, presentes nos processos de saúde/doença/cuidado e gestão de serviços de saúde. Isto pode ser explicado devido ao desenvolvimento do enfoque interdisciplinar, o caráter coletivo do trabalho em saúde, a necessidade de descrever, explicar e interpretar os fenómenos identificados, o reconhecimento de maior efi-cácia dos procedimentos quando se leva em conta a perceção e as necessidades das pessoas que os utilizam.24,25
O conjunto de informações analisadas facilitou a elabora-ção dos modelos teórico e lógico da avaliaelabora-ção. É relevante compreender as premissas teóricas em que o programa se fundamenta para definir exatamente o que deve ser medido e qual a parcela de contribuição do programa nos resultados observados. 26 O modelo teórico aponta que a RIPAg foi or-ganizada pautada na perspetiva de rede de colaboração em pesquisa2, que busca a construção de relacionamentos e ta-refas de compartilhamento, a colaboração na elaboração de projetos e no desenvolvimento de pesquisas. Essas estruturas em redes, definidas como um conjunto de pessoas, institui-ções, entidades, linguagens e culturas que estão em relação, vêm sendo defendidas como estratégias que estimulam o
brainstorm, fazem conhecer os resultados dos trabalhos,
in-fluenciam as políticas governamentais e fortalecem a capaci-dade de fazer pesquisas.27
Por outro lado, explicitar o modelo lógico da intervenção implica definir exatamente as atividades realizadas e a estru-tura utilizada para conduzir a determinados resultados para os beneficiários do programa.10 Neste estudo o modelo lógi-co permitiu visualizar graficamente a lógi-constituição dos lógi- com-ponentes da RIPAg, e da sua forma de operacionalização, desde o planeamento até aos resultados esperados a curto e longo prazo. Para a validação do modelo foram realizadas: a checagem dos componentes do programa pelos informan-tes-chave, para torná-lo o mais completo possível; o teste de consistência para, a partir das hipóteses levantadas, sugerir uma série de assertivas, considerando os elementos do mo-delo; e a análise de vulnerabilidade para identificar os ele-mentos de invalidação das apostas contidas na estruturação
do modelo lógico, considerando os fatores contextuais.26 Todos os entrevistados conheciam a forma de organização e a proposta de trabalho da RIPAg, e isso facilitou a adequação das perguntas avaliativas e da matriz de medidas. A matriz de medidas descreveu as perguntas avaliativas, os instrumentos, a fase de coleta de dados e os procedimentos para sistemati-zação e análise dos dados. Estabelecer critérios, indicadores e parâmetros é condição necessária para o plano de avaliação, pois são esses quesitos que permitirão não apenas descrever o programa, mas realizar um julgamento sobre o objeto ava-liado.22,23
Outro item relevante na avaliação é identificar se os resul-tados da avaliação serão utilizados e se existe indicativo de sustentabilidade da intervenção.11 Na análise evidenciou-se interesse dos gestores (diretoria e Comité gestor) em usar as informações da avaliação para refletir sobre estratégias que possam implementar o programa. A nova estrutura de laboratórios da Fiocruz Minas, que passa a ser horizontal, precisa ser fortalecida, para se constituir de facto como um mecanismo de apoio a projetos que integrem vários grupos de pesquisa e diversas áreas do conhecimento e de atuação. Bozeman, Flay e Slade28 (2013) reafirmam a importância da pesquisa em colaboração e sugerem pontos fundamentais para o seu constante aprimoramento, notadamente relacio-nados com a necessidade de cuidado na mensuração dos im-pactos e nos vários níveis de análise, bem como uma maior atenção no que tange à motivação dos pesquisadores e de-mais colaboradores.
Por fim, recomenda-se a revisão de documentos para melho-rar a clareza e adequação dos objetivos e metas do programa, considerando as condições concretas dos contextos de de-senvolvimento e o prazo previsto para o alcance dos obje-tivos; o componente translação do conhecimento que inclui a síntese, disseminação, partilha e aplicação do conhecimento requer maior atenção quanto aos itens divulgação dos proje-tos e seus produproje-tos e elaboração de materiais técnicos para implementação de políticas da instituição; todos os compo-nentes elencados no modelo lógico podem ser avaliados e os resultados poderão ser utilizados para a implementação da RIPAg, que vai depender do contexto e dos múltiplos inte-resses envolvidos.
Destaca-se que as etapas avaliativas realizadas neste estudo
favoreceram o cumprimento dos padrões de qualidade da avaliação e dos objetivos do EA que incluem: identificar con-cordâncias quanto aos objetivos, metas e população-alvo; ve-rificar a existência de dados disponíveis a um custo razoável e averiguar se o conhecimento gerado será utilizado pelos gestores e demais integrantes da intervenção.24
Considerações finais
O EA constatou a possibilidade de realizar uma avaliação sis-temática de caráter mais extenso e apresentou um cenário favorável para o seu desenvolvimento, pois a intervenção em si precisa ser revista. A apropriação do modelo lógico e das matrizes de medidas e de análise poderá contribuir para ve-rificar até que ponto os objetivos do programa estão a ser alcançados, elucidar os produtos e tecnologias gerados e a sua utilização, informar sobre a formação e capacitação de recursos humanos e, ainda, abalizar os avanços e desafios en-contrados na implantação do programa e execução dos pro-jetos em colaboração.
Ademais, a partir desse estudo, foram apresentadas as per-guntas avaliativas oportunas para a avaliação da RIPAg - Qual o grau de implantação da RIPAg? Qual a influência do grau de implantação da RIPAg nos efeitos observados? Que ele-mentos foram facilitadores e ou dificultadores para a sua implantação? - e o plano de avaliação tipo análise de implan-tação com a proposta de elaboração de um estudo de caso, desenvolvido posteriormente e finalizado em dezembro de 2016.
Agradecimentos
À Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – CAPES; ao Centro de Pesquisa René Rachou – Fiocruz Minas; à Universidade Federal de São João Del Rei – UFSJ; ao Instituto de Higiene e Medicina Tropical - IHMT / Universidade Nova de Lisboa – UNL.
Conflito de interesses: Os autores declaram que não
Bibliografia
1. Cressman D, Holbrook JA, Lewis BS, Wixted B. Capturing the outcomes and impacts of publicly funded research: a fremework for evaluation formal research networks. 2009. Vancouver 6(5): 1-38.
2. International Development Research Centre. IDRC and Research Networks: Allies for Development. IDRC, Ottawa, ON, CA. Evaluation highlight, 2006; 11:1-6.
3. TrentiniM; Vieira da SilvaDMG. Grupos de pesquisa em enfermagem: a trans-feribilidade do conhecimento para a prática. Texto Contexto Enferm, Florianópo-lis, 2012. 21(4):723-4.
4. Ke Q, Ahn YY. Tie strength distribution in scientific collaboration networks. Phys Rev E Stat Nonlin Soft Matter Phys. 2014, 90(3):401-502. [citado 2016 abril 20]; Disponível em: http://arxiv.org/pdf/1401.5027v3.pdf
5. World Health Organization. World Key enabling factors in effective and sus-tainable research networks: findings from a qualitative research study. Geneva, 2016. [citado 2016 julho 09]; Disponível em: http://apps.who.int/iris/hand-le/10665/205283
6. Centro de Pesquisas René Rachou. Fundação Oswaldo Cruz. Regimento dos Programas Estruturantes do Centro de Pesquisas René Rachou/Fiocruz Minas. Mi-nas Gerais, Brasil, 2012.
7. Centro de Pesquisas René Rachou. Fundação Oswaldo Cruz. Plano Estratégico Instituto René Rachou 2011-2014. Relatório da Oficina de Planeamento. Minas Gerais, Brasil; 2011.
8. Leite D, Caregnato CE, Lima EGS, Pinho I, Miorando BS, Silveira PB. Avalia-ção de Redes de Pesquisa e ColaboraAvalia-ção. AvaliaAvalia-ção (Campinas; Sorocaba), 2014. 19(1):291-312.
9. Thurston W, Ramaliu A. Evaluability assessment of a survivors of torture pro-gram: lessons learned. Canadian Journal of Program Evaluation. 2005;20(2):1-25.
10. Natal S, Samico I, Oliveira LGD, Assis AMJ. Estudo de avaliabilidade da rede de formação de recursos humanos da Secretaria de Vigilância em Saúde do Ministério da Saúde. Cad Saúde Colet. 2010:18(4): 560-71.
11. Wholey, J. S. Evaluability assessment. In: Rutman, L. (Ed.). Evaluation resear-ch methods: A base guide. Beverly Hills CA: Sage, 1977. p. 41-56.
12. Padilha MA, Oliveira, CM; Figueiró AC. Estudo de avaliabilidade do Progra-ma Academia Carioca da Saúde: desafios para a promoção da saúde. Saúde debate. 2015:39(105): 375-386.
13. Pereira CN, Luiza VL, Cruz MM. Serviços farmacêuticos na atenção primária no município do Rio de Janeiro: um estudo de avaliabilidade. Saúde debate. 2015: 39(105): 451-468.
14. Thurston W, Potvin L. Evaluability assessment: a tool for incorporating evalua-tion in social change programmes. Evaluaevalua-tion, Londres. 2003: 9(4): 453-469. 15. Trevisan MS, Walser TM. Evaluability assessment: Improving evaluation quality and use. CA: Sag.,Thousand Oaks; 2014.
16. Yin, RK. Estudo de caso: planeamento e métodos. 4ed. Porto Alegre: Book-man; 2010.
17. Hartz ZMA, Contandriopoulos AP. Do quê ao pra quê da meta-avaliação em saúde. In: Hartz ZMA, Felisberto E, Vieira-da-silva LM (Orgs.). Meta-avaliação da Atenção básica à Saúde. Teoria e prática. Fiocruz, Rio de Janeiro, Brasil. 18. Bardin, L. Análise de Conteúdo. 4 ed. Lisboa: Edições. 2008:70; 2010. 19. Centro de Pesquisas René Rachou. Fundação Oswaldo Cruz. Regimento da Rede Fiocruz Minas para Identificação, Produção e Avaliação de Antígenos de Pató-genos causadores de Doenças Infecto- Parasitárias - RIPAg. Minas Gerais, 2012. 20. Centro de Pesquisas René Rachou. Fundação Oswaldo Cruz. Chamada de Pes-quisa Programas Estruturantes do Centro de PesPes-quisas René Rachou - CPqRR - PROEP/Programa Estruturante. Minas Gerais, 2012.
21. Wixted B, Holbrook, JA. Conceptual Issues in the Evaluation of Formal Re-search Networks, CPROST Report, 2009. [citado 2016 abril 20]; Disponível em: http://blogs.sfu.ca/departments/cprost/wp-content/uploads/2012/10/1103. pdf
22. Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP. Modelizar as In-tervenções. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz ZMA, organizadores. Avaliação em saúde: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011.
23. Worthen BR, Sanders JR, Fitzpatrick JL. Avaliação de programas: concepções e práticas. Editora Gente, São Paulo, Brasil; 2004.
24. Vieira-da-Silva LM. Avaliação de políticas e programas de saúde. Fiocruz, Rio de Janeiro, Brasil; 2014.
25. Minayo MCS, Assis SG, Souza ER, organizadores. Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Fiocruz; 2005. 26. Bezerra LCA, Cazarin G, Alves CKA. Modelagem de Programas: da Teoria à Operacionalização. In: Samico I, Felisberto E, Figueiró AC, Frias PG. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010:65-78. 27. The national implementattion Research Network (Canadá). Implementation Research: a synthesis of the literature. 2005. [citado 2016 abril 20]; Disponível em: htpp://nirn.fmhi.usf.edu/resources/publications/monograph
28. Bozeman B, Fay D, Slade CP. Research collaboration in universities and aca-demic entrepreneurship: the-state-of-the-art. 2013. [citado 2016 julho 13]; Dis-ponível em:
http://cord.asu.edu/wp-content/uploads/2015/02/Research-collaboration-in--universities-and-academic-entrepreneurship.pdf
