Materiais para medidas de eficácia da intervenção

Para avaliar a eficácia do programa foi aplicado um conjunto de instrumentos no pré e pós-teste nos grupos controle e experimental, conforme descrição a seguir.

1. Questionário de Caracterização: este instrumento tem como objetivo levantar dados de caracterização pessoal e acadêmica do participante.

2. Escala de Autoeficácia para a Formação Superior: AEFS (Polydoro & Guerreiro- Casanova, 2010) - a Escala foi produzida no contexto nacional e é composta por 34 itens que verificam a percepção do estudante em relação à capacidade referente aos diversos aspectos que compõem as experiências no ensino superior. O item a seguir é um exemplo das situações apresentadas na escala, ―item 6 - Quanto eu sou capaz de pedir ajuda, quando necessário, aos colegas nas atividades do curso‖. O instrumento possui cinco dimensões, a saber: a) Autoeficácia acadêmica (confiança percebida na capacidade de aprender, demonstrar e aplicar o conteúdo do curso), que apresentou alfa de 0,88 e variância explicada de 37,87%; os itens que constituem essa dimensão são: 1, 2, 3, 4, 11,12, 14, 24 e 32). b) Autoeficácia na regulação da formação (confiança percebida na capacidade de estabelecer metas, fazer escolhas, planejar e autorregular suas ações no processo de formação e desenvolvimento de carreira), que obteve alfa de 0,87 e variância explicada de 6,15%; os que compõem a dimensão são: 8, 9, 10, 16, 19, 22 e 31. c) Autoeficácia na interação social (confiança percebida na capacidade de relacionar-se com os colegas e professores com fins acadêmicos e sociais), alfa encontrado foi de 0,80 e a variância explicada de 4,85%; os itens que constituem essa dimensão são: 5, 6, 13, 17, 23, 28 e 29. d) Autoeficácia em ações proativas (confiança percebida na capacidade de

aproveitar as oportunidades de formação, atualizar os conhecimentos e promover melhorias institucionais), alfa de 0,85 e a variância explicada foi 4,26%; os itens que representam essa dimensão são: 7, 15, 20, 25, 30, 33 e 34. E por fim, e) Autoeficácia na gestão acadêmica (confiança percebida na capacidade de envolver-se, planejar e cumprir prazos em relação às atividades acadêmicas), Alfa de 0,80, com variância explicada de 3,53%; os itens que agregam essa dimensão são: 18, 21, 26, 27. A consistência interna segundo o Alfa de Cronbach para toda a escala foi de α = 0,94 explicando 56,68% da autoeficácia na formação superior, apresentando indicadores satisfatórios (Polydoro, Azzi & Vieira, 2010). As percepções podem variar em Likert de 10 pontos, de modo que o valor 1 corresponde a pouco capaz e o valor 10 a muito capaz. As pontuações em cada dimensão ou no total devem ser obtidas com a soma dos pontos assinalados pelos respondentes em cada um dos itens correspondentes à dimensão ou à escala total, divididos pelo número de itens que compõe cada dimensão, ou no caso da escala completa, dividir pelo número total de itens.

3. Escala Procrastinação Acadêmica: (Costa & Rosário, 2007) - a Escala de Procrastinação Acadêmica (EPA) é uma escala de autorrelato, que avalia comportamentos específicos de procrastinação durante o estudo. Tem procedência portuguesa e foi adaptada e identifica evidencias de validade para o Brasil (Polydoro et al, 2015). Originalmente é intitulada: Questionário de Procrastinação no Estudo (Rosário et al., 2009; Costa, 2007), sendo destinada aos alunos do Ensino Fundamental e Médio. O instrumento é composto por 10 itens, distribuídos em duas dimensões, a saber: a) procrastinação no estudo diário - trata do adiamento da realização de tarefas em sala de aula, de trabalhos escolares e do estudo contínuo. Um exemplo é o item 1 ―Quando o professor solicita uma tarefa na aula, começo a fazê-la imediatamente‖. Esse fator explicou 12,45% da variância dos resultados, apresentando coeficiente de Alfa 0,73; é composto por cinco itens (itens 1,4,6,7 e 8). b) Procrastinação no estudo para testes - refere-se aos comportamentos que interferem no estudo para provas. Um exemplo é o item 3 ―Perco-me em tantas coisas/atividades que não sobra tempo para estudar para as provas‖. Este fator também é composto por cinco itens (itens 2,3,5,9 e 10) e explica 36,98% da variância dos resultados, apresentando 0,74 de consistência interna. Segundo estudo de Rosário et al (2009) esses fatores juntos explicavam 49,43% da variância total e com o alfa Cronbach de 0,80. As pontuações obtidas para cada uma das dimensões correspondem à média aritmética da pontuação obtida nos itens que as compõem,

considerando que os itens (1, 4, 5, 7 e 10) precisam ter sua pontuação invertida antes do cálculo. Os itens são apresentados em formato Likert de cinco pontos, indicando a frequência do comportamento, de nunca (1) a sempre (5). A interpretação da pontuação versa que índices elevados indicam maior probabilidade de procrastinar, dito de outra maneira, valores menores indicam baixa tendência de apresentar a procrastinação acadêmica. Esse instrumento foi adaptado semântica e culturalmente para a realidade brasileira e para o nível superior de ensino, sendo intitulado Escala de Procrastinação Acadêmica (EPA). O instrumento preservou o formato Likert de cinco pontos, indicando a frequência do comportamento: de nunca (1) a sempre (5), no qual as pontuações obtidas correspondem à soma total dos itens dimensão ou no total, divididas pelo número de itens da escala ou dimensão (Sampaio, 2011). O estudo sobre a evidência de validade da escala para realidade nacional utilizou análise fatorial com rotação ortogonal Varimax. Pelo critério de seleção de fatores com autovalor maior que um, sendo obtidas duas dimensões com cinco itens cada um. A Dimensão Procrastinação no estudo para prova explicou 10,9% da variância (autovalor 1,09) e apresentou coeficiente de consistência interna (Alfa

de Cronbach) de 0,73. Compõem essa dimensão os itens: 2, 3, 6, 7, e 9. A Procrastinação

no estudo diário explicou 38,3% da variância (autovalor 3,83) e apresentou coeficiente de

Alfa de 0,72. Compõem essa dimensão os itens: 1, 4, 5, 8 e 10 (itens invertidos). O

coeficiente de consistência interna, para medir a confiabilidade da escala EPA, com dez itens, foi de 0,81 que explicam 49,2% da variabilidade total.

4. Inventário de Enfoques de aprendizagem: IPE (Rosário, 2007) – Foi utilizada a versão brasileira do Inventário de Enfoques de Aprendizagem (Rosário, 2007), que avalia o enfoque predominante dos estudantes nos seus estudos, ou seja, profundo ou superficial. Ele apresenta 12 afirmações que devem ser respondidas em uma escala Likert de cinco pontos, variando entre nunca e sempre. Pina e colaboradores (2006) submeteram o instrumento original português à análise fatorial de rotação Varimax e constataram a identificação de dois fatores: a) enfoque profundo - explicava 23,35% da variância e possui consistência interna de acordo com o Alfa de Cronbach de 0,70. Um exemplo dessa dimensão é o item 1 ―Memorizo as matérias das disciplinas, mesmo sem compreendê-las completamente, para reproduzi-las nas provas.‖; essa dimensão compõe-se dos itens: 1, 3, 5, 7, 9 e 11 ; b) enfoque superficial - explicava 19,89% da variância e possui consistência interna de acordo com o Alfa de Cronbach de 0,75. Um exemplo é o item 4 ―Estudo ao longo do semestre e releio regularmente as minhas anotações.‖ Essa dimensão é composta

pelos itens restantes. A versão portuguesa foi adaptada para o contexto brasileiro, mantendo-se o Likert de cinco pontos (Polydoro et al, 2015). Com 12 itens agrupados nos mesmos dois fatores que a escala original, explicaram 37,4% da variância. O Alfa de

Cronbach obtido para o fator enfoque superficial foi de 0,62 e o Alfa de Cronbach obtido

para o fator enfoque profundo foi de 0,6.

5. Questionário sobre as Estratégias de Autorregulação – CEA (Rosário, 2009a) - este instrumento é de origem portuguesa adaptada e foi identificada evidencias de validade para o Brasil (Polydoro et al, 2015). O objetivo é avaliar os conhecimentos dos alunos sobre estratégias de aprendizagem. Ele é composto por 10 questões fechadas com três opções de respostas, sendo duas falsas e uma verdadeira. As questões englobam as estratégias mais importantes e que normalmente são trabalhadas para a intervenção sobre a autorregulação da aprendizagem. Dividem-se em quatro grupos: estratégias cognitivas, estratégias metacognitivas, estratégias motivacionais e gestão de recursos. Como exemplo temos o item 4; a partir da sentença ―Para realizar anotações que sejam eficazes para estudar e se preparar para as provas, é importante:‖ o aluno deverá escolher entre três alternativas de resposta a opção que considera a mais correta, que neste item são: a) Tentar escrever literalmente tudo o que o professor diz; b) Fazer cópias anotações do(a) melhor aluno(a) da turma.; c) Anotar os aspectos mais importantes e completá-los em casa com outras informações. A resposta correta para o item 4 é a alternativa c. A pontuação é dada somando o número de acertos das questões; cada acerto vale um ponto.

6. Questionário de Instrumentalidade da Autorregulação: (Rosário, 2009c) - esse instrumento é composto por 10 afirmações, sendo que para cada uma o aluno deverá responder em que medida a considera útil. Ele responde por meio de uma escala Likert que varia desde um (nada útil) a cinco (muito útil). Para exemplificar a escala, temos o item 2; o aluno deve assinar em que medida considera útil ―Organizar o meu tempo para conseguir fazer tudo o que preciso‖. Segundo Castro (2007) há a presença de um único fator-dimensão no instrumento denominado de instrumentalidade dos processos de autorregulação da aprendizagem. Este fator explicava 46,5% da variância total, segundo análise fatorial exploratória com rotação Varimax. O índice total é obtido a partir da somatória de todos os itens, divididos por dez. No estudo de Nuñes (2009), o Alfa de

Cronbach foi de 0,87. A versão portuguesa foi adaptada para o contexto brasileiro e os

dez itens, agrupados em um único fator-dimensão explicam 37,5% da variância (Polydoro et al, 2015). O Alfa de Cronbach obtido para a escala foi de 0,80. Este instrumento é

apresentado ao estudante integrado ao questionário de autoeficácia para autorregulação da aprendizagem, que será descrito a seguir.

7. Questionário de Autoeficácia para autorregulação da aprendizagem: (Rosário, 2009c) - esse instrumento tem origem portuguesa e é composto pelas mesmas dez afirmações da escala citada anteriormente, sendo que, para cada uma delas, o aluno deverá responder em que medida se sente capaz de utilizá-las. No caso do item 2, aluno responde em que medida se sente capaz para ―Organizar o meu tempo para conseguir fazer tudo o que preciso‖. Ele responde por meio de uma escala Likert que varia desde um (nada capaz) a cinco (muito capaz). No estudo de Castro (2007) houve presença de um único fator- dimensão no instrumento denominado de autoeficácia para autorregular-se. Esse fator explicava 44,8% da variância total, segundo a rotação Varimax e a consistência interna foi de 0,93 para o Alfa de Cronbach. No estudo de Rosário et al (2009) e de Nunes (2009), os

alphas de Cronbach obtidos são de 0,91. O índice total é obtido a partir da somatória de

todos os itens, divididos por dez. A versão portuguesa foi adaptada para o contexto brasileiro, mantendo o Likert de cinco pontos (Polydoro et al, 2015) Por meio da análise fatorial foi obtido único fator-dimensão, que explica 39,8% da sua variância. O Alfa de

Cronbach obtido para a escala foi de 0,83.

8. Inventário de Processos de Autorregulação da Aprendizagem – Universidade –

IPAA (Rosário, 2009b): o Inventário de Processos de Autorregulação da Aprendizagem

- IPAA (Rosário et al., 2007) é uma escala de autorrelato que procura avaliar processos da aprendizagem autorregulada de estudantes. Segundo o estudo de Castro (2007), há a presença de um único fator-dimensão no instrumento denominado de autorregulação, que explica 39,5% da variância total, segundo a rotação Varimax, com consistência interna medida pelo Alfa de Cronbach de 0,85. Nos estudos de Costa (2007), Rosário et al. (2007), Magalhães (2009), Nunes (2009), o Alfa de Cronbach encontrado foi de 0,87. O instrumento engloba três fases do processo de autorregulação da aprendizagem, a saber: o planejamento, a execução e a avaliação (Rosário, Núnez & Gonzalez-Pienda, 2006; Rosário, 2004b). Desenvolvido em Portugal, originalmente é constituído por nove itens em formato Likert de cinco pontos, indicando a frequência de resposta entre (1) Nunca e (5) Sempre. O item, a seguir, é um exemplo dos que compõem a escala ―Faço um plano antes de começar um trabalho/projeto, penso no que vou fazer e no que é preciso para completá-lo‖. O índice total é obtido a partir da somatória de todos os itens, divididos por nove. Ressalta-se que, na escala IPAA, os índices elevados indicam alta autorregulação face aos estudos. A versão portuguesa foi adaptada para o contexto

brasileiro, mantendo o Likert de cinco pontos (Polydoro et al, 2015). Por meio da análise fatorial, observou-se que o IPAA manteve a composição original de nove itens agrupados em um único fator-dimensão, explicando 32,22% da sua variância. O Alfa de Cronbach na versão brasileira foi de 0,72.

9. Questionário para avaliação qualitativa da intervenção: esse material foi construído especialmente para o estudo e aplicado somente no grupo experimental. Visa obter a avaliação da intervenção mediante os seguintes aspectos: expectativas sobre a intervenção, impacto dos conteúdos abordados, as condições propiciadoras das mudanças, além de sugestões e observações. Para isso, foram criadas 16 questões, sendo nove no formato de escala ou de múltipla escolha e as demais dissertativas. Um exemplo é a questão 11, dissertativa, em que o aluno é questionado se a participação na disciplina contribuiu para modificação de algum aspecto relacionado à sua vida acadêmica e são solicitados exemplos.

10. Planilha de desempenho acadêmico: trata-se de uma planilha para registro do desempenho do GE e do GC ao final de cada período letivo (antes e após a intervenção). O banco de dados foi composto por: RA (registro acadêmico), curso, semestre, CR (coeficiente de rendimento3 - calculado todo final de semestre e considera a somatória de todas as notas ao longo do curso divididas pelo número de créditos realizados durante todo o curso), e situação acadêmica atual.

O quadro 5 sintetiza as informações sobre grande parte dos instrumentos de avaliação utilizados para medida da eficácia da intervenção. O mesmo reúne informações sobre o que foi avaliado em cada instrumento, número de itens e dimensões, tipo de questão, dados psicométricos de consistência interna (Alfa de Cronbach) e um exemplo de item.

3 _{O Coeficiente de Rendimento (CR) é o índice que mede o desempenho acadêmico do aluno ao longo de seu}

Quadro 5: Informações sobre os instrumentos utilizados na medida da eficácia da intervenção

Instrumento O que mede Número de itens e Dimensões

do instrumento

Tipo de questão Alfa de

Cronbach

Exemplo

Escala de

Autoeficácia para a Formação Superior: AEFS (Polydoro & Guerreiro-Casanova, 2010)

Percepção sobre capacidade referente aos diversos aspectos que compõem as experiências no ensino superior Total de 34 itens 1. Autoeficácia acadêmica – 9 itens; 2. Autoeficácia na regulação da formação – 7 itens; 3. Autoeficácia na interação social – 7 itens; 4. Autoeficácia em ações proativas – 7 itens; 5. Autoeficácia na gestão acadêmica – 4 itens. Likert – 10 pontos 1 - pouco capaz até 10 - muito capaz

α = 0,94 Quanto eu sou capaz de

pedir ajuda, quando

necessário, aos colegas nas atividades do curso

Escala Procrastinação Acadêmica: (Costa & Rosário, 2007) Percepção dos comportamentos específicos de procrastinação durante o estudo Total de 10 itens 1. Procrastinação no

estudo diário – 5 itens; 2. Procrastinação no

estudo para prova – 5 itens.

Likert – 5 pontos 1- nunca e 5 sempre

α = 0,81 Quando o professor solicita uma tarefa na aula, começo a fazê-la imediatamente Inventário de Enfoques de aprendizagem: IPE (Rosário, 2007) O enfoque predominante do estudo (Superficial ou profundo) Total de 12 itens 1. Enfoque superficial 2. Enfoque profundo Likert – 5 pontos 1- nunca e 5 sempre

α = 0,62 Estudo ao longo do semestre e releio regularmente as minhas anotações Questionário sobre as Estratégias de Autorregulação Conhecimentos sobre estratégias de aprendizagem

10 questões Questões fechadas com

três opções de

respostas, sendo duas falsas e uma verdadeira

Não se

aplica

Para realizar anotações que sejam eficazes para estudar e se preparar para as provas, é importante:

a) Tentar escrever

literalmente tudo o que o professor diz;

b) Fazer cópias anotações do(a) melhor aluno(a) da turma.;

importantes e completá-los

em casa com outras

informações. Questionário de Instrumentalidade da Autorregulação: (Rosário, 2009c) Percepção de instrumentalidade da autorregulação da aprendizagem

10 itens e unidimensional Likert – 5 pontos 1- nunca e 5 sempre

α = 0,80 Organizar o meu tempo para conseguir fazer tudo o que preciso Questionário de Autoeficácia para autorregulação da aprendizagem: (Rosário, 2009c) Percepção de capacidade pessoal para autorregular a aprendizagem

10 itens e unidimensional Likert – 5 pontos 1- nunca e 5 sempre

α = 0,83 Organizar o meu tempo para conseguir fazer tudo o que preciso Inventário de Processos de Autorregulação da Aprendizagem – Universidade – IPAA (Rosário, 2009b):

Percepção dos processos da aprendizagem autorregulada

9 itens e unidimensional Likert – 5 pontos 1- nunca e 5 sempre

α = 0,72 Faço um plano antes de

começar um

trabalho/projeto, penso no que vou fazer e no que é preciso para completá-lo