Processo de validação do questionário

Concluída a primeira versão do questionário, foi necessário verificar a validade e a confiabilidade do instrumento de coleta de dados. Para se chegar a essa primeira versão, foram elaboradas e discutidas entre o orientador e a pesquisadora cinco versões preliminares.

A validação do instrumento é uma etapa importante da pesquisa educacional e, segundo Núñez (2020), tem como uma de suas finalidades contribuir para o caráter científico da investigação, estabelecendo relações dialéticas adequadas entre subjetividade e objetividade na construção das informações apreendidas na pesquisa.

3.1.2.1 Validade

Um questionário é válido quando ele é capaz de medir o que se pretende obter como informação, ou seja, quando serve para o propósito para o qual foi construído (ARRIBA, 2004).

Segundo Hair (2009, p. 102), validade é

o grau em que uma medida ou um conjunto de medidas corretamente representa o conceito de estudo – ou o grau em que se está livre de qualquer erro sistemático ou não – aleatório. A validade se refere a quão bem o conceito é definido pela(s) medida(s).

A validade de uma escala, nas palavras de Nogueira (2002), estabelece o quão próximo a sua medida está em relação à variável que ela tenta avaliar, ou seja, pode ser expressa por meio da seguinte questão: até que ponto a escala contempla todos os aspectos relacionados a variável que se quer mensurar? Para esse autor, a validade pode ser dividida em três aspectos: a validade de conteúdo, a validade de construto e a validade preditiva.

O tipo de validade do questionário deste estudo foi o de conteúdo, que, para Nogueira (2002), representa o quanto as facetas, as dimensões ou os aspectos da variável estão cobertas pela escala, ou seja, o quanto a questão avalia os aspectos da variável em questão.

Como estratégia para validar o questionário, foi utilizado o “julgamento de expertos”, como explicam Cuervo e Pérez (2008, p. 29, tradução nossa). Para esses autores, o “julgamento de expertos” é definido como uma opinião informada de pessoas com trajetória no tema, que são reconhecidas por outros expertos qualificados neste tema e podem dar tanto informações e evidências quanto realizar julgamentos e avaliação.

A validação do conteúdo dos enunciados foi verificada por meio da aplicação do instrumento junto a expertos de acordo com as seguintes etapas:

a) definição dos critérios de análise – os enunciados foram analisados com relação à clareza (C), que representa a facilidade de ser compreendido, ou seja, se o item é inteligível; à significatividade (S), que corresponde à precisão e consistência (ausência de ambiguidade), isto é, que os dados de referência são pertinentes para se indicar o objeto de referência sob um determinado ponto de vista; e a adequação (A), que é uma forma de se indicar que os dados de referência podem ser atributos legítimos em relação ao item ao qual se refere, ou seja, se o item avalia efetivamente aquilo que se pretende avaliar, em concordância com o objeto da pesquisa (a habilidade de organização do tempo de estudo).

b) seleção de expertos – foram selecionados onze expertos, entre pesquisadores brasileiros e cubanos, especialistas nas temáticas relacionadas à habilidade, à organização temporal e à atividade de estudo. Apenas nove especialistas devolveram a avaliação concluída.

c) explicitação dos enunciados do questionário – elaborou-se um plano de validação (Anexo A), no qual foram especificados os critérios que seriam utilizados na validação, os objetivos geral e específicos da pesquisa, as definições do domínio, dos subdomínios e das dimensões teóricas utilizadas na elaboração dos enunciados, as explicações de como avaliar o item e um quadro para que fossem anotadas as observações referentes a cada enunciado. Foram enviados 39 enunciados para validação dos expertos, com objetivo de analisar quais deles seriam mais bem avaliados para que pudessem compor o questionário final. Foram elaborados, no mínimo, dois enunciados para cada dimensão teórica.

d) avaliação dos enunciados dos questionários pelos expertos – o plano de validação foi enviado aos expertos e devolvido por eles utilizando seus correios eletrônicos.

e) análise das respostas dos expertos e elaboração da versão final do questionário – para análise das respostas, foi construída uma planilha com a avaliação de todos os expertos para cada enunciado. As respostas e os comentários de cada experto foram analisados. Após a análise, foram incorporados quinze enunciados (Anexo B) à versão final do questionário, um para cada dimensão teórica, os quais foram adequados de acordo com as observações feitas pelos expertos no processo de validação.

3.1.2.2 Confiabilidade

“A confiabilidade é o grau em que um instrumento mede com precisão, sem erro” (MARTÍN, 2004, p. 28, tradução nossa). Ela pode ser valorada utilizando a consistência interna, a estabilidade temporal ou a concordância inter-observadores. A confiabilidade de uma escala, nas palavras de Nogueira (2002), representa o quão consistentes e estáveis são os valores gerados por ela.

Para determinar a confiabilidade dos enunciados constantes na terceira parte do questionário desta pesquisa, foi utilizada a consistência interna por meio do cálculo do coeficiente Alfa de Cronbach (CRONBACH, 1951). A escolha se deu em virtude de esse coeficiente ser utilizado nas situações em que o questionário é aplicado apenas uma vez, quando ele apresenta mais de duas opções de resposta por item e quando a pontuação é interpretada de forma global. Situações essas que coincidem com as constantes nesta pesquisa.

O coeficiente Alfa de Cronbach calcula a correlação de cada item com a soma de todos os demais para estabelecer a consistência interna dos itens (ECHAURI; MINAMI; SANDOVAL, 2013). Ele é calculado por meio da fórmula:

Onde: s2

i é a variância do item i;

s2

t é a variância da soma de todos os itens; e

k é o número de itens.

O coeficiente foi calculado para os quinze enunciados, resultantes das análises da validação pelos expertos, os quais objetivavam identificar a avaliação que os estudantes fazem sobre suas habilidades de organização do tempo de estudo.

Como resultado do processo de validação do questionário, que resultou das análises estatísticas e das avaliações dos expertos, elaborou-se a versão do questionário usada na pesquisa (Anexo C).