Validade

Uma medida pode ser confiável e, no entanto, não ser uma medida válida para o que ser pretende medir (NUNNALLY, 1970). A validade se refere ao que o conjunto de itens mede e até que ponto o faz (ANASTASI, 1992).

As medições do traço latente cumprem três funções: (1) o estabelecimento de uma relação funcional com uma variável específica; (2) a representação de um universo específico de conteúdo e (3) a medição dos domínios dos construtos (NUNNALLY, 1977). Para cumprir esses propósitos há três tipos de validade: validade preditiva; validade de conteúdo e validade de construto.

3.10.2.1 Validade de critério (PASQUALI, 1997; 2003) ou validade preditiva (NUNNALLY, 1978)

A validade de critério está em questão quando o propósito é usar um instrumento para estimar alguma forma importante de ação observável que é externa ao próprio instrumento de medida (NUNNALLY, 1978). Isto é, o grau de eficácia que um conjunto de itens tem em predizer um desempenho específico medido por meio de técnicas independentes do conjunto de itens em avaliação (PASQUALI, 1997, 2003).

A validade de critério tem sido distinguida por: (1) validade preditiva – quando a informação sobre o critério é obtida após a informação sobre o conjunto de itens e (2) validade concorrente – as coletas de informações sobre o critério e sobre o conjunto de itens são

obtidas simultaneamente. Embora Pasquali (1997, 2003) tenha feito essa distinção ele considera que relevante é a determinação de um critério válido para a validação dos conjuntos de itens: “(1) definir um critério adequado e (2) medir, válida e independentemente do próprio teste, este critério” (PASQUALI, 2003, p. 185).

O mesmo autor expõe as dificuldades para a determinação de um critério válido para demonstrar a adequação da medida, pois deixam muita dúvida quanto ao processo de validação do conjunto de itens. Dessa constatação é que a ênfase tem sido para a validade de construto (PASQUALI, 1997, 2003).

A validade preditiva é determinada pelo grau de correspondência entre as duas medidas envolvidas. Alta correlação indica que a medida em conjunto de itens é válida para fins de predição (NUNNALY, 1978).

3.10.2.2 Validade de conteúdo

Para alguns instrumentos, a validade depende da adequação com que um domínio de conteúdo especificado é amostrado (NUNNALY, 1978). Ou seja, se o conjunto de itens constitui uma amostra representativa do conjunto de conteúdos de interesse é dito ter validade de conteúdo. Antes da construção dos itens é preciso especificar (1) a definição do conteúdo e subdivisões em tópicos; (2) os objetivos a serem avaliados e (3) a proporção relativa de representação no conjunto de itens de cada tópico do conteúdo (PASQUALI, 1997, 2003). Esse autor sugere uma técnica para a construção de um conjunto de itens, a qual atesta a validade de conteúdo, conforme mostra o Quadro 3.8.

Passos Descrição

Definição do domínio cognitivo Definir os objetivos gerais e específicos ou os processos que se quer avaliar. Definição do universo de

conteúdo Definir e delimitar o universo do conteúdo em divisões e subdivisões. Definição da representatividade

de conteúdo

Definir a proporção com que cada tópico e subtópico devem ser representado no conjunto de itens.

Elaboração da tabela de

especificação Relacionar os conteúdos com os processos cognitivos a avaliar e a importância relativa a ser dada a cada unidade. Construção do conjunto de

itens Elaborar os itens que irão representar o instrumento (seguindo técnicas de construção de itens, apresentada no Quadro 3.10) Análise teórica dos itens Verificar a compreensão das tarefas propostas no conjunto de itens (análise semântica) e a pertinência do item a determinada unidade, associado ao objetivo ou processo que se quer avaliar (análise de juízes).

Análise empírica dos itens Determinar os níveis de dificuldade e discriminação dos itens por meio da TRI.

Quadro 3.8 – Passos para demonstrar a validade de conteúdo Fonte: Adaptado de Pasquali (1997)

Para a elaboração da tabela de especificação, Pasquali (1997, 2003) recomendou usar a taxonomia de Bloom ou outra. Uma taxonomia, por definição, deve atender a três condições: “(a) cumulatividade, (b) hierarquia e (c) eixo comum” (RODRIGUES JR, 2006, p.282). Esse autor sugeriu outras taxonomias para o estabelecimento dos objetivos no contexto de treinamentos empresariais. A taxonomia do domínio cognitivo “tem como princípio organizador a complexidade dos processos intelectuais e compõem-se de seis categorias ordenadas da menos para a mais complexa” (RODRIGUES JR, 2006, p.284). Uma descrição a cada uma das seis categorias do domínio cognitivo é dada no Quadro 3.9.

Categorias Descrição

Conhecimento Engloba objetivos nos quais se deseja apenas a memorização de informações.

Compreensão Corresponde a objetivos que implicam transformar uma informação original expandindo-a ou resumindo-a, por exemplo.

Aplicação Representa o processo intelectual de resolver problemas ou situações específicas com base em informações genéricas.

Análise Representa o processo intelectual pelo qual se faz a ‘anatomia’ de uma teoria, produto ou informação.

Síntese É o processo reverso de análise e implica produzir algo novo e pessoal partindo de informação conhecida.

Avaliação Caracteriza a capacidade de emitir julgamento com base em critérios. Quadro 3.9 – Categorias da taxonomia do domínio cognitivo e suas descrições

Fonte: Adaptado de Rodrigues Jr. (2006)

3.10.2.3 Validade de construto

A validade de construto de uma medida é demonstrada por validar a teoria que está por trás do instrumento. A validade de construto é definida como a extensão para a qual o conjunto de itens mede um construto teórico (NUNNALLY, 1978). Outras denominações atribuídas para o conceito são: validade intrínseca, validade fatorial e validade aparente (face validity) (PASQUALI, 1997, 2003).

Pasquali (2003) trabalha a validade de construto sob vários ângulos da TCT e da TRI. Com base na TCT, as formas de avaliar a validade de construto de um teste (erro de estimação, análise da consistência interna, análise fatorial, análise por hipótese) têm apresentado certas dificuldades, como exposto em Pasquali (2003).

A TRI tem sido empregada na validade dos testes por meio da função de informação do teste (FIT), vista acima, e função de eficiência relativa, a qual permite comparar a eficiência de um teste em estimar o θ (performance) com a capacidade de estimação de outro teste (PASQUALI, 2003).

Nunnally (1978) apresentou três aspectos amplamente aceitos para a validação de construto: (1) especificar o domínio observável relacionado ao construto; (2) determinar a extensão para a qual o domínio observável tende medir a mesma coisa, algumas ou muitas coisas diferentes de pesquisas empíricas e análises estatísticas e (3) realizar estudos subseqüentes de diferenças individuais e/ou experimentos controlados para determinar a extensão para a qual supostas medidas do construto produzem resultados que são previsíveis de hipóteses teóricas aceitas relativas ao construto. O terceiro aspecto consiste em determinar se uma suposta medida de um construto se correlaciona como esperado com medidas de outros construtos ou é afetada de modo esperado por tratamento experimental particular.

Em Anastasi e Urbino (2000), uma definição para validade de construto é “a extensão em que podemos dizer que o teste mede um construto teórico” (p. 117). Entre os procedimentos de identificação do construto, apresentados por esses autores, encontram-se: correlações com outros conjuntos de itens, análise fatorial, consistência interna e validação convergente e discriminante.

As correlações com outros conjuntos de itens dependem de existirem outros conjuntos de itens semelhantes e validados. A análise fatorial tem suas críticas, conforme exposto em Embretson e Reise (2000). A consistência interna, para Anastasi e Urbino (2000), é uma medida de homogeneidade e exemplificam o procedimento com emprego da correlação bisserial, para itens dicotômicos. Para demonstrar a validação convergente e discriminante, necessita-se de outro conjunto de itens apresentando alta correlação com as variáveis que teoricamente deve-se correlacionar e não apresentar correlação com variáveis que deve diferir.

Churchill (1979) fez uma interpretação para os parâmetros de validade e confiabilidade. Para aquele pesquisador, uma medida é válida quando as diferenças nos escores observados refletem diferenças verdadeiras nas características que se está tentando medir, isto é, X=V. Uma medida é confiável para o grau que medidas independentes, mas comparáveis, do mesmo construto correspondem. A confiabilidade depende de quanto da variação é atribuída a erros aleatórios. Se uma medida é confiável, então E=0. Se uma medida é válida, é confiável, mas a recíproca não é necessariamente verdadeira, porque quando o escore observado E=0 resulta em X=V. Assim, é dito que a confiabilidade é uma condição necessária para a validade, mas não suficiente. A confiabilidade fornece somente evidência negativa da validade da medida.

O objetivo fundamental na medida é produzir escores de X que aproximam V tanto quanto possível. O pesquisador nunca sabe com clareza quais são os escores V, isto é, as medidas são sempre inferências. A qualidade destas inferências depende dos procedimentos que são usados para desenvolver as medidas e suporte para comprovar sua qualidade. Esta comprovação toma a forma de algum índice de confiabilidade ou validade (CHURCHILL, 1979).