Métodos de Avaliação de Políticas Públicas

Top PDF Métodos de Avaliação de Políticas Públicas:

AVALIAÇÃO DE IMPACTO DE POLÍTICAS PÚBLICAS: MÉTODOS NÃO-EXPERIMENTAIS

AVALIAÇÃO DE IMPACTO DE POLÍTICAS PÚBLICAS: MÉTODOS NÃO-EXPERIMENTAIS

O presente artigo tem como objetivo fazer uma introdução aos métodos não- experimentais de avaliação de políticas públicas. Os métodos não-experimentais, apesar de não constituírem a primeira e mais adequada das opções em termos de avaliação de impacto, precisam ser conhecidos e dominados por avaliadores de políticas públicas. Considerando que nem sempre é possível planejar um programa antes de ele ser executado, é altamente provável que o analista de política, ao longo de sua carreira, precisará trabalhar com dados gerados a priori, quando o projeto objeto da avaliação já ocorreu. Além disso, algumas vezes há a necessidade de se utilizar métodos não-experimentais mesmo quando um experimento foi construído, pois alguns fatores ao longo do processo (implementação, desenho, etc.) podem fazer com que a comparação simples entre os grupos de tratamento e controle não gere resultados precisos. Nesses casos, métodos estatísticos não-experimentais são essenciais para contornar essas questões.
Mostrar mais

17 Ler mais

Avaliação de políticas públicas : um estudo sobre os métodos de avaliação do Programa Mais Médicos

Avaliação de políticas públicas : um estudo sobre os métodos de avaliação do Programa Mais Médicos

Avaliação de políticas públicas foi construída historicamente para diagnosticar as principais políticas públicas utilizadas para recuperação social ocorrida após a segunda grande guerra e com a evolução do papel de ação do Estado aumentou a importância do campo de avaliação do meio público. Além disso, faz-se necessário o estudo sobre como executar as avaliações e quais ferramentas utilizar. Os mecanismos de avaliação são fundamentais para que se possam ser atingidos resultados desejados e de qualidade para que auxiliem na tomada de decisão dos gestores e administradores dos programas, além do mais essa é uma das principais funções da avaliação, dar suporte para futuras decisões sobre as políticas públicas. Dessa forma, este estudo tem a finalidade de buscar responder ao seguinte questionamento: como está sendo construída a avaliação do Programa Mais Médicos e também saber quais foram os métodos utilizados para a construção dessa avaliação. Foram utilizadas ferramentas de pesquisas consolidadas pela comunidade acadêmica como pesquisa bibliográfica e entrevistas com atores envolvidos ao programa, tais como: gestor do programa, médicos participantes e médicos supervisores. Foram utilizadas ferramentas como o Marco Lógico para a elucidação da necessidade de avaliação do PMM e o Mapa de Processos e Resultados que ajudam a entender o programa. A conclusão do trabalho forneceu meios de responder a pergunta inicial e foram encontrados documentos novos e atualizados sobre a situação do PMM que ajudaram a identificar os possíveis resultados do programa.
Mostrar mais

54 Ler mais

Métodos Quantitativos para Avaliação de Políticas Públicas

Métodos Quantitativos para Avaliação de Políticas Públicas

frequentadas. A fim de controlar as aptidões dos estudantes e pelos esforços fora da sala de aula, você inclui entre as variáveis explicativas a nota acumulada durante todo o curso, a nota do teste de avaliação de conhecimentos para ingresso em curso superior e as medidas do

22 Ler mais

AVALIAÇÃO DE IMPACTO DE POLÍTICAS PÚBLICAS: MÉTODOS EXPERIMENTAIS

AVALIAÇÃO DE IMPACTO DE POLÍTICAS PÚBLICAS: MÉTODOS EXPERIMENTAIS

Portanto, estão sendo considerados três grupos. Têm-se aqueles que decidirão aderir ao programa, os chamados de tratados, e os que não irão aderir, os não tratados. Há ainda aqueles que, independentemente de encorajamento ou não, nunca vão querer ser tratados. A Figura 6 ilustra esse experimento em três tipos de pessoas: os azuis, os amarelos e os verdes. Os verdes são os que não querem ser tratados, independentemente do incentivo. Os amarelos querem sempre ser tratados e sempre irão aderir ao programa, com ou sem incentivo. Já o grupo azul é composto por aqueles que, se não for dado encorajamento, não serão tratados, mas, se for dado, serão tratados. Logo, o grupo relevante para a avaliação de impacto será o grupo azul. Dessa forma, comparamos os integrantes do grupo azul que não receberam o encorajamento, com os que receberam.
Mostrar mais

13 Ler mais

Conceitos e métodos para a avaliação de programas sociais e políticas públicas

Conceitos e métodos para a avaliação de programas sociais e políticas públicas

Desenvolve-se nos anos em que iniciaram os estudos avaliativos das políticas públicas dirigidas ao combate da pobreza nos EUA. Entre os principais autores que trabalharam nesta perspetiva Stame (2007:26) inclui Hyman, Suchman eWeiss com seus primeiros trabalhos, Campbell, o teórico da experimentação, e os autores mais ecléticos, como Rossi, Freeman e Lipsey e Chen. De acordo com esta abordagem, a tarefa principal da avaliação é mensurar os efeitos de um programa, o que implica a capacidade de definir com precisão os seus objetivos e estabelecer os indicadores aptos para efetuar tais mensurações. Para superar as dificuldades advindas da não clareza dos objetivos, foi introduzida a distinção entre finalidades (goals) ou as aspirações não quantificáveis e os objetivos (objectives), ou seja, as metas a serem alcançadas e mensuradas através dos indicadores (Rossi et al., 1999: 94). Esta abordagem recorre a desenhos experimentais ou quase-experimentais, a técnicas de pesquisa quantitativas e a avaliadores externos ao programa para atender ao requisito da objetividade na avaliação. O foco desta abordagem é a avaliação ex-post (ou somativa), sem a mínima preocupação em analisar o processo de implementação do programa (avaliação formativa). De facto, um dos maiores limites deste modelo é a própria dificuldade em aceder à “caixa preta” do programa, ou seja, compreender o seu funcionamento e os mecanismos intermediários que relacionam as causas com os efeitos esperados (Moro 2009: 48). Sucessivamente, esta rígida posição inicial evoluiu, reconhecendo que um programa pode ser implementado diferentemente do seu desenho inicial, ser gerenciado de forma ineficaz ou ficar comprometido por ingerência política (Rossi et al., 1999). Assim, foram desenvolvidas diversas técnicas de monitoramento e de aferição intermediária dos resultados. Outro limite deste modelo é sua
Mostrar mais

22 Ler mais

MÉTODOS QUANTITATIVOS APLICADOS À AVALIAÇÃO DE POLÍTICAS PÚBLICAS USANDO STATA. Prof. Leonardo Sangali Barone

MÉTODOS QUANTITATIVOS APLICADOS À AVALIAÇÃO DE POLÍTICAS PÚBLICAS USANDO STATA. Prof. Leonardo Sangali Barone

O curso tem como objetivo oferecer ao participante instrumental básico para a análise econométrica dos efeitos de políticas públicas, de programas de treinamento, educacionais ou profissionais, e de tratamentos em pesquisa com dados observáveis utilizando o software estatístico STATA. Espera-se que o curso contribua tanto para ampliar as habilidades dos participantes na manipulação de dados e produção de análises estatísticas quanto para o desenvolvimento de desenhos de pesquisas quantitativas que envolvam a identificação de efeitos causais.
Mostrar mais

6 Ler mais

AVALIAÇÃO PARTICIPATIVA NAS POLÍTICAS PÚBLICAS

AVALIAÇÃO PARTICIPATIVA NAS POLÍTICAS PÚBLICAS

sociais e seus benefícios para uma determinada sociedade. Através deste levantamento, procura-se discorrer em quais aspectos se deve elaborar uma avaliação de impacto e relacioná-los com o desempenho e resultados alcançados pelos programas de ações populares. Ponderou-se também sobre o ato de avaliar entendendo que este é de primordial relevância para se chegar ao consenso do que esperar com a avaliação. Pois é esse entendimento necessário para elencar o que é bom ou ruim para a população e se o que está sendo feito abrange todos os aspectos sociais ou não. Além de que, necessário de faz, a escolha do melhor método a ser utilizado, pois este depende mais do objetivo da política e da observação de seu escopo do que da preferência do avaliador, do seu talento e destreza para com as técnicas de avaliação. Observando-se ainda que a avaliação de impacto das políticas sociais recorre a métodos qualitativos, que irá ajudar a decidir se continua ou não o projeto e quantitativos que permite avaliar se modifica ou não a programação estabelecida. Reforçando que é preciso analisar quais os pressupostos ideológicos e os princípios de cada política. Para finalmente chegar a conclusões de que a eficiência e a eficácia do programa irão fornecer informações referentes às verdadeiras mudanças provocadas pela intervenção. Podendo essas ser esperadas e inesperadas, positivas ou negativas.
Mostrar mais

11 Ler mais

DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS II

DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS II

Programa: 1. O campo da avaliação das políticas públicas. 2. Percursos paradigmáticos: perspectivas políticas, epistemológicas e teórico-metodológicas em avaliação; 3. Abordagens clássicas e o paradigma pós-construtivista experiencial em avaliação; 4. Perspectivas teórico- metodológicas para uma avaliação em profundidade: avaliação em contextos e tempos específicos; análise de conteúdo e bases conceituais das políticas; trajetórias institucionais dos programas e políticas; e produção de indicadores; 5. Metodologias e técnicas de pesquisa: a pesquisa etnográfica em avaliação. 6. Triangulação de métodos; 7. Diferentes perspectivas de interpretação e relações entre sujeito e objeto da pesquisa avaliativa; 8. Práticas em avaliação de políticas públicas: exercícios exploratórios, leituras analíticas de estudo de casos e elaboração de projetos de pesquisa avaliativa.
Mostrar mais

10 Ler mais

Três ensaios em avaliação de políticas públicas

Três ensaios em avaliação de políticas públicas

emprego e crescimento em 99 países. Os resultados apontaram que as pequenas empresas (em particular, as empresas com menos de 100 funcionários) e empresas maduras (em particular, as empresas com mais de 10 anos) possuiriam as maiores quotas de emprego total e criação de emprego. Fajnzylber et al. (2006) apresentaram evidências de que políticas para pequenas empresas funcionariam de forma semelhante para México e Estados Unidos em termos de ge- ração de emprego e renda. Courseuil e de Moura (2011) apontaram em seus resultados que as pequenas empresas beneficiadas pelo Simples Federal no Brasil proporcionaram aumento no número de admissões e salários se comparado a empresas não elegíveis para o período de 1997 e 99. Recentemente, Neumark et al. (2011) utilizaram dois métodos para estudar os padrões de criação de emprego nos EUA com base no estabelecimento de séries temporais nacionais. Descobriram que pequenos estabelecimentos criam mais empregos. Haltiwanger et al. (2013) ao replicar seu trabalho utilizando um banco de dados longitudinal de empresas, demonstrou a importância da idade da empresa na contabilização da relação entre tamanho da empresa e cri- ação de emprego. Documentou também que as empresas jovens cresceriam mais rapidamente à condição de sobrevivência, mas também alta probabilidade de sair do mercado. De Mel et al(2014) demonstraram na pesquisa que as injeções de capital podem levar a lucros mais eleva- dos em microempresas, mas a pouco crescimento sustentado. Ao trabalhar com uma amostra de 1.525 empresas do Sri Lanka, descobriu que incentivos salariais podem levar a níveis mais elevados de emprego, porém, não a lucros mais elevados.
Mostrar mais

137 Ler mais

Dois ensaios em avaliação de políticas públicas

Dois ensaios em avaliação de políticas públicas

Diversos outros estimadores de medição causal poderiam ter sido utilizados além do escolhido no presente trabalho. Podemos destacar, por exemplo, o PSM com pareamento por kernel, entre os métodos não paramétricos, e as regressões reponderadas por escores de propensão, entre os semi paramétricos. A escolha entre qual método utilizar envolve, em geral, um trade off entre viés e eficiência dos estimadores. O PSM a partir do pareamento pelo vizinho mais próximo, ao selecionar no grupo de controles somente aqueles mais parecidos em características observáveis com os tratados, busca minimizar ao máximo o viés da estimação. Entretanto, neste processo ocorre a perda de algumas observações (consideradas fora do suporte comum) o que pode acarretar em menor eficiência. Já os métodos citados anteriormente, consideram todas as observações dentro do grupo de controle, atribuindo diferentes pesos para cada. Sendo assim, destaca-se como ponto positivo a eficiência destes estimadores. Em contra partida, ao considerar todos os controles, acaba controlando menos os possíveis vieses por características observáveis e por ausência de suporte comum.
Mostrar mais

69 Ler mais

Elementos a considerar na avaliação de políticas públicas

Elementos a considerar na avaliação de políticas públicas

Resumo: O presente artigo tem por objetivo dialogar relexivamente sobre o tema da avaliação de políticas públicas no Brasil articulando uma discussão sobre os principais conceitos envolvidos nesse campo metodológico. Trata-se de um estudo de caráter teórico que se fundamenta em autores que têm se dedicado a realizar estudos e pesquisas sobre tal temática. Tem-se como problemática a relevância dada à avaliação de políticas públicas no Brasil. Para melhor compreensão do assunto foi abordado o sentido do termo avaliação e os tipos comuns de métodos de avaliação, como também a importância da construção de indicadores sociais para a melhoria do desempenho das políticas e programas sociais.
Mostrar mais

10 Ler mais

[MANUAL DE] METODOLOGIAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS

[MANUAL DE] METODOLOGIAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS

5. Conclusões O objetivo de aumentar a performance em inovação como fator essencial para o desenvolvimento económico e social está espelhado na atual estratégia Europeia e Nacional. Portanto, é necessário melhorar a gestão e avaliação de políticas públicas para a inovação. A inovação é um fenómeno complexo e sistémico que ocorre num ecossistema em constante mutação. As politicas públicas que incidem sobre esse ecossistema são hoje consideradas politicas transversais ou de espectro largo. A diversidade de programas e instrumentos e de formas de atuação, bem como a natureza intangível dos resultados e impactos das politicas de inovação aconselha à utilização de diferentes métodos de avaliação. Em geral, dependendo do tipo de medida e respetivos objetivos a avaliação deve considerar uma particular combinação de métodos que envolva por exemplo inquéritos, entrevistas, monitorização e análise
Mostrar mais

14 Ler mais

Avaliação de políticas públicas versus avaliação de impacto legislativo:

Avaliação de políticas públicas versus avaliação de impacto legislativo:

R esumo O objetivo deste trabalho é buscar uma aproximação das definições e objetivos relacionados às técnicas de avaliação de políticas públicas e da avaliação de impacto legislativo, a fim de apresentar uma demonstração do estado da arte dos dois campos de estudos e a justificação para indicar que se trata da mesma abordagem. A locução: políticas públicas é plurívoca do ponto de vista doutrinário. A partir dessa multiplicidade de conceitos, verifica-se, também, uma confusão sobre a relação entre avaliação de políticas públi- cas, avaliação de programas sociais e avaliação de impacto legislativo. Nesse contexto, com base na pesquisa doutrinária e no método de abordagem de- dutivo, a primeira parte do estudo apresenta conceitos, campos de atuação e processo de avaliação das políticas públicas; na sequência, é feito um resumo da Legística, do campo de origem da avaliação de impacto legislativo e suas concepções. Ao final, o estudo mostra que os objetivos são comuns aos dois processos — avaliação de políticas públicas e avaliação de impacto legislati- vo —, uma vez que os dois campos se utilizam de métodos singulares para a realização das avaliações quanto aos aspectos da eficiência, eficácia e efeti- vidade das políticas. Ademais, o processo de avaliação de políticas públicas e de avaliação de impacto legislativo têm como objeto comum de análise as políticas constituídas por meio da norma jurídica.
Mostrar mais

24 Ler mais

Avaliação de políticas públicas no Brasil: uma análise do semiárido

Avaliação de políticas públicas no Brasil: uma análise do semiárido

Uma primeira de ordem natural, referente à localização geográfica dos ter- ritórios, considerando sua proximidade a fontes de água que viabilizem este tipo de política, embora, mais recentemente, esta possibilidade tenha se ampliado em razão da transposição do rio São Francisco, proporcionando, potencialmente, melhores perspectivas aos municípios do semiárido assolados pela seca. Cabe, contudo, ressaltar que essa nova realidade deve ser melhor avaliada, não sendo alvo de análise pormenorizada neste trabalho. Em segundo lugar, deve ser consi- derada a questão da sustentabilidade, quanto à capacidade de suporte das fontes disponíveis de água na região, dada a necessidade em atender às suas demandas múltiplas – irrigação, abastecimento hídrico humano, geração de energia, transporte etc. Nesse caso, é importante que se estimule o emprego de técnicas e práticas de irrigação condizentes com um consumo racional da água, por exemplo, a partir de desincentivos a práticas de irrigação que desperdiçam água, como aquelas por inundação ou sulco, em prol de métodos mais eficientes, como por gotejamento e microaspersão, bem como por intermédio de treinamento dos profissionais para que operem os equipamentos de maneira adequada.
Mostrar mais

404 Ler mais

Novas perspectivas metodológicas na avaliação de políticas públicas

Novas perspectivas metodológicas na avaliação de políticas públicas

A obra aqui apresentada, Frameworks for policy analisis, de autoria de Raul Lejano, nascido nas Filipinas e atualmente professor da Universidade da Califórnia, consiste em uma proposta inovadora e polêmica para a área de avaliação de políticas públicas. Ino- vadora porque fornece novos referenciais teórico-metodológicos capazes de integrar as perspectivas quantitativas e qualitativas de análise, de forma a alcançar um nível mais profundo de compreensão de questões não resolvidas pelos métodos tradicionais. Polê- mica porque o autor coloca em questão os modelos positivistas de análise que há dé- cadas vem orientando os estudos na área de políticas públicas, afirmando e mostrando quão limitados são em seu poder explicativo. O livro é composto de três partes. Na pri- meira, o autor examina os fundamentos das análises correntes de políticas públicas, pers- crutando os caminhos que influenciaram o desenvolvimento dos modelos pautados numa racionalidade positivista. Na segunda parte, o autor, da mesma forma, busca traçar os caminhos que levaram à reação contra os modelos positivistas e redundaram na emer-
Mostrar mais

3 Ler mais

Políticas públicas e avaliação: onde estamos para onde vamos?

Políticas públicas e avaliação: onde estamos para onde vamos?

O que nos chama mais a atenção neste documento proposto pelo Governo é que o que deveria ser um referencial curricular, apresenta-se na verdade como um currículo “mínimo” pronto e acabado prestes a ser digerido pelas escolas e professores de todo o país como um pacote didático. Todos nós sabemos o quanto esta discussão e reflexão ficou restrita e pouco aprofundada com os intelectuais, professores e alunos que têm produzido conhecimento na área específica da Educação Física. O PCN ultrapassou a própria idéia de parâmetros, para propor estruturalmente os objetivos, conteúdos, métodos, temas transversais e avaliação para cada área de conhecimento e ainda o tempo pedagógico de aprendizagem em cada ciclo, tendo como objetivo a aquisição de determinadas competências básicas pela maioria dos alunos ao final de cada etapa do ensino. Seria esta uma forma de uniformizar o ensino e garantir, via avaliação externa, que as escolas de todo o país seguissem a mesma cartilha como nos indicou Freitas? E a favor de quem estariam os objetivos e avaliação propostos nos parâmetros?
Mostrar mais

17 Ler mais

APLICAÇÕES DE TÉCNICAS AVANÇADAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS

APLICAÇÕES DE TÉCNICAS AVANÇADAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS

O padrão ouro na avaliação de políticas públicas é o experimento aleatório, desenhado antes da implementação de uma dada política, com coleta de dados antes e depois da mesma. Esta metodologia, livre de vieses, apresenta duas deficiências cruciais. Primeiro, possui uma implementação cara. Segundo, sofre de grande resistência por parte dos gestores públicos, que têm dificuldade em aceitar o sorteio de quem será beneficiado por sua política. Quando o método experimental não pode ser aplicado, então os avaliadores devem ser criativos e se contentar com as imperfeições dos vários métodos de natureza quase-experimental. O livro Aplicações de técnicas avançadas de avaliação de políticas públicas, organizado por Ernesto Amaral, Guilherme Quaresma e Samantha Haussmann, apresenta vários casos em que esta criatividade é colocada à pro- va, avaliando diferentes políticas com diversas técnicas de análise observacional (não-experimental). O livro traz um belo elenco de casos e reflete a trajetória de ensino e pesquisa de um excelente acadêmico e seus orientandos.
Mostrar mais

52 Ler mais

APLICAÇÕES DE TÉCNICAS AVANÇADAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS

APLICAÇÕES DE TÉCNICAS AVANÇADAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS

O padrão ouro na avaliação de políticas públicas é o experimento aleatório, desenhado antes da implementação de uma dada política, com coleta de dados antes e depois da mesma. Esta metodologia, livre de vieses, apresenta duas deficiências cruciais. Primeiro, possui uma implementação cara. Segundo, sofre de grande resistência por parte dos gestores públicos, que têm dificuldade em aceitar o sorteio de quem será beneficiado por sua política. Quando o método experimental não pode ser aplicado, então os avaliadores devem ser criativos e se contentar com as imperfeições dos vários métodos de natureza quase-experimental. O livro Aplicações de técnicas avançadas de avaliação de políticas públicas, organizado por Ernesto Amaral, Guilherme Quaresma e Samantha Haussmann, apresenta vários casos em que esta criatividade é colocada à pro- va, avaliando diferentes políticas com diversas técnicas de análise observacional (não-experimental). O livro traz um belo elenco de casos e reflete a trajetória de ensino e pesquisa de um excelente acadêmico e seus orientandos.
Mostrar mais

51 Ler mais

APLICAÇÕES DE TÉCNICAS AVANÇADAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS

APLICAÇÕES DE TÉCNICAS AVANÇADAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS

O padrão ouro na avaliação de políticas públicas é o experimento aleatório, desenhado antes da implementação de uma dada política, com coleta de dados antes e depois da mesma. Esta metodologia, livre de vieses, apresenta duas deficiências cruciais. Primeiro, possui uma implementação cara. Segundo, sofre de grande resistência por parte dos gestores públicos, que têm dificuldade em aceitar o sorteio de quem será beneficiado por sua política. Quando o método experimental não pode ser aplicado, então os avaliadores devem ser criativos e se contentar com as imperfeições dos vários métodos de natureza quase-experimental. O livro Aplicações de técnicas avançadas de avaliação de políticas públicas, organizado por Ernesto Amaral, Guilherme Quaresma e Samantha Haussmann, apresenta vários casos em que esta criatividade é colocada à pro- va, avaliando diferentes políticas com diversas técnicas de análise observacional (não-experimental). O livro traz um belo elenco de casos e reflete a trajetória de ensino e pesquisa de um excelente acadêmico e seus orientandos.
Mostrar mais

63 Ler mais

APLICAÇÕES DE TÉCNICAS AVANÇADAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS

APLICAÇÕES DE TÉCNICAS AVANÇADAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS

O padrão ouro na avaliação de políticas públicas é o experimento aleatório, desenhado antes da implementação de uma dada política, com coleta de dados antes e depois da mesma. Esta metodologia, livre de vieses, apresenta duas deficiências cruciais. Primeiro, possui uma implementação cara. Segundo, sofre de grande resistência por parte dos gestores públicos, que têm dificuldade em aceitar o sorteio de quem será beneficiado por sua política. Quando o método experimental não pode ser aplicado, então os avaliadores devem ser criativos e se contentar com as imperfeições dos vários métodos de natureza quase-experimental. O livro Aplicações de técnicas avançadas de avaliação de políticas públicas, organizado por Ernesto Amaral, Guilherme Quaresma e Samantha Haussmann, apresenta vários casos em que esta criatividade é colocada à pro- va, avaliando diferentes políticas com diversas técnicas de análise observacional (não-experimental). O livro traz um belo elenco de casos e reflete a trajetória de ensino e pesquisa de um excelente acadêmico e seus orientandos.
Mostrar mais

69 Ler mais

Show all 10000 documents...