Estrutura do Estudo Empírico

Tomando por referência os objetivos deste trabalho, traçaram-se as linhas de orienta- ção para os alcançar. Assim, decidiram-se as estratégias de investigação a executar, adap- tadas à metodologia de pesquisa que se reconheceu mais adequada ao tipo de estudo a de- senvolver. Também se definiram os instrumentos de avaliação a utilizar, assim como os momentos da sua aplicação aos elementos da população alvo disponíveis para colaborar na pesquisa. No planeamento do trabalho incluiu-se ainda a decisão acerca das técnicas de análise a aplicar aos dados recolhidos, quer no âmbito do estudo fundamental da investiga- ção, quer no da análise das características metrológicas do instrumento de avaliação de conhecimentos a utilizar.

De acordo com estabelecido, o estudo empírico foi estruturado da seguinte forma.

M

I

A metodologia de investigação utilizada pode ser definida genericamente como “cor- relacional” ou “diferencial”. Situada entre o método experimental (de natureza laboratorial, envolvendo a manipulação de variáveis independentes e o estabelecimento de relações causais) e os métodos qualitativos (que não produzem, regra geral, dados submetidos a tratamento estatístico, centrando-se frequentemente numa compreensão e interpretação holista dos fenómenos sob estudo), o método correlacional caracteriza-se por adotar uma postura baseada na análise quantitativa de dados, mas com uma preocupação descritiva das relações entre variáveis recolhidas em condições naturais, sem estabelecer entre elas, ne- cessariamente, nexos lineares ou de natureza causal (Almeida & Freire, 2008; Christensen, 2007; Gilles, 2008).

Assim, no âmbito dos procedimentos deste método de investigação, incidiu-se pri- mordialmente na análise descritiva de variáveis diferenciadoras dos indivíduos com impacto no seu sucesso académico, nomeadamente em unidades curriculares de Matemáti- ca do 1.º ano do ensino superior. Em simultâneo, estudaram-se as relações entre essas mesmas variáveis, ou entre elas e outras de interesse como, por exemplo, variáveis demo- gráficas (género e outras) ou de subdivisão da amostra (como diferentes instituições de ensino).

E

I

Realizaram-se estudos de natureza diversa, alicerçados na metodologia correlacional, tendo em vista os diferentes objetivos propostos.

Estudo metrológico - analisaram-se as características metrológicas do teste de co-

nhecimentos utilizado nesta investigação;

Estudo quantitativo e interpretativo - analisaram-se os resultados da avaliação es-

tandardizada praticada na investigação, quer quantitativamente, quer qualitativamente (in- terpretando as respostas dadas face ao enunciado e às alternativas de resposta dos itens) a fim de identificar o nível de conhecimentos dos estudantes por área de conteúdo e os erros mais comuns que cometeram;

Estudos correlacionais - estabeleceram-se correlações entre variáveis observadas

(classificações nas unidades curriculares de Matemática do 1.º semestre, resultados em provas de conhecimentos de Matemática, em questionários de dados pessoais e noutras técnicas diferenciais de avaliação de construtos pertinentes) a fim de identificar as relações e associações, bem como o seu valor preditivo relativamente a critérios de sucesso acadé- mico;

Estudos de comparação intergrupal - estudou-se o impacto diferenciador no desem-

penho em Matemática de fatores que distinguem grupos, com base nos resultados obtidos por amostras diferenciadas em variáveis pertinentes, como o género, a área de formação e as notas da prova de ingresso e do 12.º ano de escolaridade;

Estudo longitudinal - estabeleceram-se comparações entre os resultados dos mesmos

participantes na mesma prova de conhecimentos de Matemática, recolhidos no início de cada semestre do 1.º ano, para determinar o efeito do treino de competências no âmbito da formação proporcionada pelas unidades curriculares do 1.º semestre;

Estudo de casos - entrevistaram-se estudantes, de uma subamostra da amostra geral,

contrastados quanto ao nível de conhecimentos em Matemática demonstrado no 1.º semes- tre do ensino superior, no sentido de averiguar a natureza das dificuldades que experimen- taram na aprendizagem da Matemática, assim como as suas emoções e atitudes em relação a esta disciplina, procurando identificar semelhanças e diferenças entre os grupos, em par- ticular fatores facilitadores do sucesso para os estudantes com resultados mais elevados.

I

A

Para se realizarem os estudos atrás mencionados, foi necessário utilizar os seguintes instrumentos de avaliação.

Teste de Conhecimentos de Matemática (PMAT) - instrumento de avaliação estan-

dardizado construído e aperfeiçoado, em ligação com a presente investigação, de modo a criar um método para avaliação objetiva de conhecimentos de Matemática e para despiste de dificuldades, lacunas e necessidades de formação no início das aulas do 1.º ano do ensi- no superior científico e tecnológico;

Escala Multidimensional de Auto-Eficácia Percebida de Bandura - questionário

administrado após a entrega das respostas do PMAT, tendo em vista a validação do teste de conhecimentos;

Protocolo de entrevista semiestruturada - documento concebido, no âmbito desta

investigação, para orientar as entrevistas do estudo de casos, depois de conhecido o de- sempenho dos estudantes nas unidades curriculares de Matemática do 1.º semestre;

Questionário de dados pessoais - questões incluídas na folha de respostas do PMAT,

solicitando aos participantes o ano do seu nascimento, o género e o tipo de exame nacional de Matemática que realizaram no final do ensino secundário.

P

A

Identificada a população alvo com os estudantes que estão a iniciar cursos superiores portugueses com, pelo menos, duas unidades curriculares obrigatórias da área de Matemá- tica no plano de estudos do 1.º ano, recolheram-se amostras por conveniência.

Embora com limitações de representatividade da população, observaram-se amostras formadas por alunos das instituições de ensino superior que colaboraram na aplicação das diferentes versões do PMAT, sucessivamente aperfeiçoadas. Destes participantes, extraiu- -se uma amostra objetiva para desenvolver o estudo de casos, constituída pelos estudantes com os melhores e os piores níveis de desempenho em Matemática no 1.º semestre do res- petivo curso superior.

T

A

D

As técnicas de análise de dados utilizadas envolvem a aplicação dos métodos estatís- ticos mais adequados aos propósitos do estudo e à natureza correlacional predominante da metodologia. Em particular, técnicas de estatística descritiva, de correlação e de compara- ção de grupos (amostras independentes e emparelhadas), em função da natureza de cada questão de investigação, respeitando a verificação dos pressupostos para a aplicação de cada tipo de técnica estatística.

O estudo metrológico do PMAT, que envolve técnicas de análise de itens e de estudo da precisão e validação das medidas proporcionadas pelo teste, teve por referência dois modelos de medida - o modelo da pontuação verdadeira da Teoria Clássica dos Testes e o modelo de Rasch da Teoria da Resposta ao Item.

As respostas aos itens do PMAT e os dados recolhidos nas entrevistas foram subme- tidos a uma análise interpretativa e comparativa. No caso das respostas aos itens, no senti- do de estabelecer hipóteses explicativas dos erros cometidos pelos estudantes e caracterizar o seu conhecimento na área de conteúdo abrangida por cada item; no caso das entrevistas, para sintetizar as respostas obtidas e identificar padrões entre elas.

Os programas informáticos escolhidos para analisar os dados foram o SPSS (Statisti- cal Package for the Social Sciences) (versão 20; IBM Corp., 2011) e o Winsteps (versão 3.74.0; Linacre, 2012a). O Microsoft Excel (2007) foi utilizado para tratar os dados, depois de as respostas dos participantes no PMAT terem sido obtidas por leitura ótica, um traba- lho efetuado pelo Núcleo de Estatística e Prospetiva do Instituto Superior Técnico.