Denizar Melo MÓDULO II Coordenadores da Graduação. Avaliação em Instituições de Ensino Superior CPA

(1)

(2)

Denizar Melo

MÓDULO II – Coordenadores da Graduação

(3)

(4)

Comissão Própria de Avaliação

• Art. 11 da Lei nº 10.861/2004 – Sinaes

• “Toda IES constituirá a CPA, com as atribuições de

conduzir os processos de avaliação internos

da

instituição, bem como de

sistematizar e prestar as

informações

solicitadas pelo Inep.

• A CPA deve coordenar os processos internos para

coleta de dados das diferentes dimensões

do

(5)

AUTOAVALIAÇÃO = AUTOCONHECIMENTO

• Processo contínuo, que visa a

construção de conhecimento

sobre

realidade da Universidade

para a reflexão sobre o que deve ser

mantido

e o que precisa ser

aperfeiçoado

, fornecendo subsídios

para a tomada

de decisão

em busca da

excelência acadêmica

.

• Sistematiza informações

, que propiciam a

análise de sentidos,

significados e resultados

das

práticas acadêmicas

desenvolvidas pela

instituição. Fornecem indicadores que auxiliam a compreender a

relação entre esses resultados e as formas de organização,

administração e ações

, permitindo não só a

identificação de fragilidades

e potencialidades

, mas também o

planejamento de estratégias

de

superação de problemas e promoção da qualidade das práticas

acadêmicas.

(6)

Alunos

_Docentes

Avaliação de disciplinas

Interlocução

Objetivo:

potencializar a aprendizagem

Utilização dos resultados

Compreensão ampliada da realidade

(7)

Objetivos da autoavaliação

• Produzir conhecimentos sobre a realidade da

Universidade;

• compreender os significados do conjunto das atividades

para melhorar a qualidade educativa e alcançar maior

relevância social;

• identificar as potencialidades e fragilidades;

• aumentar a consciência pedagógica e capacidade

profissional do corpo docente e técnico-administrativo;

• fortalecer as relações de cooperação entre os diversos

atores institucionais;

• tornar mais efetiva a vinculação da Instituição com a

comunidade;

• prestar contas à sociedade.

CONAES. Orientações gerais para o roteiro de autoavaliação das instituições.

(8)

Requisitos da autoavaliação

• Compromisso por parte dos dirigentes da IES;

• existência de uma equipe de coordenação;

• participação da comunidade acadêmica e

comunidade externa;

(9)

(10)

(11)

Organograma da Assessoria de Planejamento e Avaliação

Apoio Adm.

Mariane de Souza Lisboa

Planejamento

Elisabeth Abdala Beatris Maurmann Gustavo Koetz Azambuja

Josilene Martins Rocha

Avaliação/Regulação

Marion Creutzberg - PI Maria Inês Corte Vitoria

Lisiane Trevisan Sandi Denizar Melo

Assessora

Vanessa Manfredini/ Vinícius Brasil (interino)

CPA

Coordenador: Denizar Melo

(12)

CPA

COMISSÃO PRÓPRIA DE

AVALIAÇÃO

ATRIBUIÇÕES

 Apreciar e referendar o plano e os relatórios de autoavaliação institucional elaborado pela CTA  Apreciar criticamente processos avaliativos.

 Participar de eventos de sensibilização, divulgação, reflexão e validação de processos e relatórios de avaliação.

 Participar dos reuniões solicitadas por Comissões de Avaliação Externa à PUCRS.

Consultiva e deliberativa

Nomeação a partir de

indicações

Portaria da Reitoria

COMPOSIÇÃO

 Assessoria de Planejamento e Avaliação – ASPLAN

 Pró-Reitoria de Graduação e Educação Continuada – PROGRAD  Pró-Reitoria de Pesquisa e Pós-graduação – PROPESQ

 Pró-Reitoria de Extensão e Assuntos Comunitários – PROEX  Representante do corpo docente: ADPPUCRS

 Representante do corpo de técnicos administrativos: AFPUCRS  Representante do corpo discente da Graduação

 Representante do corpo discente da Pós-Graduação  Pesquisador institucional (PI/e-MEC)

(13)

CTA

COMISSÃO TÉCNICA DE AVALIAÇÃO ATRIBUIÇÕES

 Elaborar e implementar o plano de autoavaliação institucional.

 Orientar os setores para a coleta de dados e elaboração de relatórios de avaliação.  Gerenciar o sistema de avaliação institucional.

 Elaborar o relatório anual de autoavaliação institucional.

 Participar de eventos de sensibilização, divulgação, reflexão e validação de processos e relatórios de avaliação.

 Analisar relatórios de avaliação externa.

 Subsidiar o processo de planejamento e gestão da Universidade.  Integrar a comissão de elaboração do PDI.

Executiva

Nomeação a partir de indicações

Portaria da Reitoria

COMPOSIÇÃO

 Representante da CPA

 Assessoria de Planejamento

 Pró-Reitoria de Graduação e Educação Continuada  Pró-Reitoria Pesquisa de Pesquisa e Pós-graduação  Pró-Reitoria de Administração e Finanças

 Pró-Reitoria de Extensão e Assuntos Comunitários  Assessor estatístico

+ ASCOM + GTIT

(14)

AVALIAÇÃO

INSTITUCIONAL

ENADE Exame Nacional de Desempenho de Estudantes Prograd AVALIAÇÃO INTERNA AVALIAÇÃO CURSOS DE GRADUAÇÃO Prograd

SINAES

Sistema Nacional de Avaliação da Educação Superior

2004

CAPES

Avaliação PPG Stricto Sensu Propesq

CONAES

MEC

CNE

SERES

INEP

CTAA

AUTOAVALIAÇÃO INSTITUCIONAL AVALIAÇÃO

EXTERNA

Conduzida pela CPA

Apoiada / subsidiada pela CPA

(15)

 Avaliação da atenção ao corpo

docente e técnico administrativo

 Pesquisa de clima organizacional

1

Missão e PDI

3

Responsabilidade Social

5

Políticas de pessoal

7

Infraestrutura

8

Planejamento e avaliação

Avaliação Institucional - PUCRS

Eixo 1 –

Planejamento

e avaliação institucional

Eixo 2 –

Desenvolvimento institucional

Eixo 4 –

Políticas de gestão

Eixo 5 –

Infraestrutura física

Mobilidade Acadêmica IN e OUT

Desenvolvimento Social, MCT, Atividades Culturais

MCT (visitantes)

Parque Esportivo (usuários)

 Autoavaliação Institucional  Meta-avaliação

 Análise dos resultados: IGC

 Indicadores do PDI  Análise de cenários  Avaliação da infraestrutura  Avaliação de serviços  Avaliação da biblioteca

6

Organização e gestão

10

Sustentabilidade financeira

9

Atendimento aos discentes

Eixo 3 –

Políticas acadêmicas

Avaliação das disciplinas: graduação

Avaliação dos PPG Stricto Sensu

Análise dos resultados do ENADE e CAPES

Perfil dos vestibulandos e ingressantes

Avaliação com formandos Avaliação da atenção ao corpo discente Avaliação com bolsistas PROUNI

Avaliação de BIC

Avaliação da extensão

Avaliação Lato Sensu

Avaliação com Diplomados

(16)

Reenvio da análise à

CTA

CPA/CTA: Organização dos dados / resultados

• quantitativos • qualitativos

Análise preliminar e

documentos para análise

Etapas dos processos de Autoavaliação Institucional - PUCRS

3 Análise dos dados

2 Coleta de dados

•participação individual por meio de sistema on-line

Análise coletiva

•Sob orientação da CPA/CTA •alunos / professores / técnicos administrativos

•setores / grupos específicos: Pró-Reitorias

Assessorias Faculdades

Unidades Universitárias

5 Disponibilização dos relatórios

•Divulgação aos participantes dos diferentes segmentos e setores para uso no

•Planejamento Estratégico

(17)

A [auto]avaliação e o planejamento da IES:

como aproximar?

C

Alam de Oliveira Casartelli

Marion Creutzberg

http://ebooks.pucrs.br/edipucrs/Ebooks

Experiência da PUCRS

(18)



Instrumento de Avaliação Institucional Externa

_{: reforça a} necessidade da discussão sobre a articulação entre a avaliação e o

planejamento [Eixo 1]

 Pressuposto de que

avaliação subsidia a gestão e tomada

de decisão

não é novo.

Na proposição do SINAES [2003]: avaliação institucional como fruto de trabalho coletivo e tem as funções de

(19)



A articulação da avaliação com o planejamento estratégico não é

automática –

exercício permanente e inacabado!



Um processo de amadurecimento e de alinhamento consolidado

aspectos que favoreceram a articulação

Possibilidades para a aproximação entre a

autoavaliação e o planejamento

I. A constituição da CPA: articulação dos setores

II. A organização da avaliação: geração de indicadores

III. As etapas da autoavaliação: geração de subsídios para o planejamento IV. O fluxo das informações: subsídio para a tomada de decisões

(20)

I. A constituição da CPA: articulação dos setores

 Inclusão de representante do Planejamento - essencial para

que, ao longo do tempo, fossem sendo construídas relações entre a autoavaliação e o plano estratégico.

 Inclusão de representante da CPA no processo de discussão e

elaboração do Plano Estratégico e acompanhamento.

 Elaboração conjunta do PDI (PE coordenado pelo Planejamento,

PDI coordenado pela CPA)

 Participação do PI e coordenadores / assessores de

avaliação, como membros da CPA - permitiu à CPA qualificar a

articulação das dimensões interna e externa da avaliação.

(21)

II. A organização da avaliação: geração de indicadores

(22)

III. As etapas da autoavaliação: geração de subsídios para o

planejamento

 A disponibilização dos resultados na íntegra para setores

envolvidos: apropriação do resultado, mobiliza para o uso na

gestão e planejamento

(23)

IV. O fluxo das informações: subsídio para a tomada de decisões

 A divulgação e a reflexão sobre os resultados para a gestão e o

planejamento são aspectos indispensáveis para que a avaliação se consolide como ferramenta de gestão.

 A não utilização dos resultados tornaria inócuo o processo avaliativo.

 Processo de contínuo aprendizado e que exige o fomento e a orientação para que possa ocorrer.

 Organização das estruturas e das ferramentas

(24)

(25)

Disciplinas da Graduação Professores e Estudantes

Cursos Lato Sensu Professores e Estudantes

Projeto Pedagógico Formandos

Mobilidade IN – OUT

 Demandas junto à GTIT

o implantação de procedimentos o abertura de processos

o cadastramento

 Interação com Unidades Acadêmicas

o definição de responsáveis pelo acompanhamento o avaliação dos percentuais diários do resultado da

participação  Divulgação

o banco de mails

o edição de mensagens

 ASCOM

o atualização do Site da Avaliação Institucional  GTIT

o emissão dos relatórios com o resultado da avaliação

Cursos Stricto Sensu Professores e Estudantes

Metaavaliação

(26)

(27)

Relatórios disponíveis aos gestores

→ análise crítica

Universidade Escola Curso/Currículo/Nível Turma Alunos Professores UA _Disc . c ur so s da UA Di sc. cu rs os ou tra s UA UA _Disc . C ur so s da U A Di sc. cu rs os ou tra s UA UA R1 R2 R3 R4 R5 R6 Depto R8 R9 R10 R11 R12 R13 Curso R33 R34 R35 R36 R37 R38 Currículo R15 R16 R17 R18 R19 R20 Departamento Específicas: 51,52,53 – EAD/Estagio/TCC Curso: 57 Formando: 63,64

Mobilidade: 67 (in), 68 (out)

(28)

Relatórios Disponíveis aos Gestores → análise crítica

• Relatórios da Avaliação de disciplinas

–

Disciplinas “gerais”

–

disciplinas EAD

–

disciplinas de estágio

–

disciplinas de TCC

• Outras Avaliações

–

meta-avaliação

–

avaliação de formandos

–

avaliação da mobilidade IN/OUT

–

avaliação dos Cursos de Pós-Graduação Lato Sensu

–

avaliação dos PPG Stricto Sensu

Indicadores no PE

- desdobrados

(29)

Avaliação da Graduação

Informações Quantitativas

COMISSÃO PRÓPRIA DE AVALIAÇÃO

COMISSÃO TÉCNICA DE AVALIAÇÃO

(30)

Participação da Avaliação de Disciplinas: Professores e Estudantes

Universidade

37,40 45,24 38,11 34,00 40,08 35,88 39,33 _31,51 33,60 26,04 27,49 26,84 29,80 _25,12 29,83 22,51 23,21 78,70 77,98 _76,72 _75,42 73,72 _71,95 _71,98 64,30 71,18 66,13 72,94 69,00 75,00 _66,85 65,22 57,35 69,50 0 10 20 30 40 50 60 70 80 90 100 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2009 2010 2011 2012 2013 2014 2015 2016 2017

Avaliação de Disciplinas da Graduação - PUCRS

Percentual de respondentes (2009-2017)

(31)

Avaliação de Disciplinas: Satisfação

Professores/Universidade

0 10 20 30 40 50 60 70 80 90 100 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 2012 2013 2014 2015 2016 2017

Avaliação de Disciplinas da Graduação – Universidade

Percentual de Satisfação - PROFESSORES

(32)

Avaliação de Disciplinas: Satisfação

Professores/Escola

0 10 20 30 40 50 60 70 80 90 100 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2012 2013 2014 2015 2016 2017

Avaliação de Disciplinas da Graduação - Escolas

Percentual de Satisfação - PROFESSORES

(33)

Avaliação de Disciplinas: Satisfação

Estudantes/Universidade

(34)

0,00 10,00 20,00 30,00 40,00 50,00 60,00 70,00 80,00 90,00 100,00 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2012 2013 2014 2015 2016 2017

Avaliação de Disciplinas da Graduação

Percentual de Satisfação - ESTUDANTES

(35)

Avaliação do PPC – Formandos

Percentual de Satisfação – Universidade

(36)

Avaliação do PPC – Formandos

Percentual de Satisfação – Escolas

0,00 10,00 20,00 30,00 40,00 50,00 60,00 70,00 80,00 90,00 100,00 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2012 2013 2014 2015 2016 2017

Avaliação do PPC pelos Formandos

Percentual de Satisfação – Escolas

(37)

Avaliação da Graduação

Categorização das Percepções

Discentes

COMISSÃO PRÓPRIA DE AVALIAÇÃO

COMISSÃO TÉCNICA DE AVALIAÇÃO

(38)

Análise qualitativa da Avaliação de disciplinas

• Tipo de análise

- Análise qualitativa (análise de conteúdo), por meio do software Nvivo® - Análise estatística (SAI - Sistema de Avaliações Institucionais)

- Amostra: 36436 manifestações de alunos

• Fonte:

- R33 Avaliação de disciplinas [R1, R25, R33]

- R39 Avaliação geral do semestre [R39]

- R63 Avaliação do PPC pelos formandos [R62, R63]

(39)

AVALIAÇÃO GERAL DA PUCRS AVALIAÇÃO GERAL DO CURSO DISCIPLINAS

GERAL

ORGANIZAÇÃO RELEVÂNCIA

DISCIPLINAS SEMIPRESENCIAIS - AULAS EAD ESTÁGIOS OBRIGATÓRIOS

TCC

AÇÃO DOCENTE [ENSINO, SALA DE AULA] PROCEDIMENTOS DIDÁTICOS

CONVIVÊNCIA

quando pertinente

Categorias de análise

(40)

Aspectos a destacar

• Das avaliações utilizadas como fonte

–

é a percepção do aluno

[unicamente, especialmente, no espaço da sala de aula]

:

• não tem a condição de ver as outras atividades do professor

• não tem finalidade de avaliar desempenho docente em sua amplitude – é uma versão da ação docente no ensino

–

constitui instrumento diagnóstico, importante, sim!

• é avaliação complementar, reconhecida na literatura nacional e internacional, como essencial [complementar a outras já realizadas – ou que podem vir a ser realizadas - considerando pesquisa, produção de conhecimento, ensino em outros níveis, extensão e gestão]

• indica fragilidades e potencialidades e pode subsidiar o acompanhamento pedagógico dos docentes e cursos

não invalida a necessidade de revisão do processo [já em

(41)

(42)

(43)

8606 3890

Ação Docente na PUCRS

Satisfação Insatisfação

69%

n= 12.696

(44)

2452 80 264 831 996 830 1130 2023 1281 82 136 497 287 ₂₀₂ 579 826 0 500 1000 1500 2000 2500

Politécnica Negócios Medicina Humanidades Direito Ciências Com Design Saúde

Nº r es po sta s Ação Docente Satisfação Insatisfação 65,68 49,38 66,00 _62,58 77,63 80,43 66,12 71,01 0 20 40 60 80 100

(45)

3110

273

1343

RELEVÊNCIA DAS DISCIPLINAS - PUCRS

Satisfação Sugestões Insatisfação

66% 28%

6%

n= 4.726

(46)

705 278 47 300 440 308 423 609 46 ₂₀ 6 32 56 25 22 66 335 126 14 50 194 154 193 277 0 100 200 300 400 500 600 700

Nº R es po st as

RELEVÂNCIA DAS DISCIPLINAS - ESCOLAS

68 69 77 86 69 ₆₇ 69 69 0 20 40 60 80 100

(47)

63 7 4 10 25 10 10 32 598 90 ₆₄ ₇₇ 217 111 125 382 0 100 200 300 400 500 600 700

(48)

307 56 11 113 716 195 141 258 288 0 6 5 31 22 18 35 970 154 52 164 442 305 318 626 0 100 200 300 400 500 600 700 800 900 1000

nº R

es

po

sta

s

FORMAS E MÉTODOS DE APRENDIZAGEM

(49)

75 38 3 34 53 20 20 110 131 55 8 75 27 35 50 113 277 42 31 98 44 30 96 124 0 50 100 150 200 250 300

Politécnica Negócios Medicina Humanidades Direito Ciências Com Design Saúde AVALIAÇÃO GERAL DO CURSO

n= 1.589

(50)

Conclusões

• O aspecto dos “procedimentos didáticos” é o que gera a maior

insatisfação e, portanto, necessita atenção

• Há indicativos que podem subsidiar a capacitação e acompanhamento

dos docentes;

• Há elementos que indicam para a necessidade de preparar docentes e

alunos para as novas propostas pedagógicas em andamento.

• A ação docente (atitude) também merece atenção.

• O aspecto do entendimento da “relevância das disciplinas” indica para

desafios na vivência da interdisciplinaridade e integração de áreas.

• A convivência, muito pautada no convívio de turmas, parece mobilizar

mais algumas áreas que outras, e deve nos desafiar à reflexão no que

tange ao relacionamento alunos x aluno, professor x aluno.

(51)

Avaliação de Disciplinas:

Avaliação Intermediária

COMISSÃO PRÓPRIA DE AVALIAÇÃO

COMISSÃO TÉCNICA DE AVALIAÇÃO

(52)

I. Objetivos

 Verificar o andamento da disciplina no semestre;

 Buscar soluções para eventuais desafios apresentados pelos alunos;  Utilizar os resultados para a gestão da sala de aula;

 Garantir a divulgação dos resultados ainda no próprio semestre (com período curto entre coleta e disponibilização de resultados ao professor e gestores);  Dar retorno aos estudantes do resultado da avaliação;

 Ampliar subsídios para ao NDE e à Comissão Coordenadora de curso a avaliação das disciplinas e acompanhamento do PPC (somado às demais avaliações);

 Incluir no cronograma institucional de acompanhamento da avaliação;  Propiciar os estudantes os benefícios das melhorias oriundas do processo

(53)

II. Estratégias

 Aplicação do instrumento de avaliação na metade do semestre (fim de abril e fim de setembro), numa semana específica;

 Instrumentalizar o NDE e a comissão coordenadora no processo de análise e reflexão dos resultados junto aos professores;

 Estabelecer no plano de ensino o “dia da devolução” para discussão dos resultados junto aos alunos;

(54)

II. Dimensões do instrumento da avaliação intermediária

 Aspectos gerais a todas as disciplinas  Ação do professor

 Organização do plano de ensino.  Forma de avaliação e Feedback