Validade interna do experimento

Quanto à validade interna, os estudos em ciências comportamentais e sociais sempre são questionados por conta da utilização de seres humanos como foco da experimentação. Com isso, pesquisas dessa natureza devem empreender o controle das mais diversas variáveis externas. Para isso, esse estudo levou em consideração as principais ameaças ligadas a 12 variáveis externas descritas por Gall, Gall e Borg (2003): História; Maturação; Testes; Instrumentação; Regressão estatística; Seleção diferencial; Mortalidade experimental; Interação seleção-maturação; Difusão do tratamento experimental; Rivalidade compensatória

pelo grupo de controle; Equalização compensatória de tratamentos; e Desmoralização ressentida do grupo de controle.

As variáveis externas “História” e “Maturação” podem afetar o experimento em virtude da

ocorrência de eventos alheios ao tratamento experimental. A primeira é associada às características dos sujeitos da pesquisa e a segunda às mudanças físicas e psicológicas que estes podem sofrer, ao passo que o tratamento experimental está em progresso. Para controle destas, nesse estudo, busca-se assegurar que a amostra seja composta por indivíduos com características similares, tendo todos formação em contabilidade (auditores e contadores). A

variável “Maturação”, especificamente, foi controlada pelo curto período em que os

indivíduos foram submetidos ao experimento.

“Testes” e “Instrumentação” são variáveis externas associadas ao delineamento experimental

em que é administrado um pré-teste antes do tratamento experimental. A variável “Testes” pode impactar os resultados por meio do aprendizado gerado pelos indivíduos quando o pré- teste e o pós-teste são similares, enquanto a “Instrumentação” figura como a mudança na natureza do instrumento de mensuração entre o pré-teste e o pós-teste. Nesse caso, esse estudo utiliza o mesmo instrumento para mensurar os dados ao longo do estudo (caso apresentado no software da EINA e EEG) e o aprendizado gerado entre as etapas do experimento foi controlado através da revisão dos julgamentos acerca da continuidade operacional.

As variáveis externas designadas por “Regressão estatística” e “Seleção diferencial” afetam diferentemente os achados de experimentos. A primeira é a tendência com que o resultado por participantes de experimentos tenda à média no pós-teste, isso porque outros fatores não controlados podem ter contribuído para resultados extremos. Quanto à “Seleção diferencial”, essa é diretamente associada à existência de problemas na atribuição dos sujeitos aos grupos do experimento, o que poderia provocar erros na interpretação dos resultados.

Para evitar os efeitos da regressão estatística, o desenho desse experimento contempla a operacionalização do pré-teste e pós-teste de forma sequencial, não existindo pós-teste em momentos posteriores, o que poderia provocar uma mudança nas condições físicas e psicológicas dos indivíduos. A variável externa “Seleção diferencial” foi evitada pela inexistência de grupos de controle e experimental, visto que os grupos do experimento

(contadores e auditores) foram submetidos ao mesmo tratamento e definidos de acordo com a atuação profissional dos indivíduos.

A variável externa “Mortalidade experimental” é associada aos fenômenos da perda de

participantes ao longo do experimento, da ausência dos mesmos durante o pré-teste e da distração dos mesmos durante o experimento. Nesse estudo, a coleta de dados de cada sujeito ocorreu no mesmo dia, o que eliminou a possibilidade de perda desses participantes ao longo do processo. Com relação à distração destes, o procedimento utilizado para a coleta de dados os manteve atentos, pois tiveram que ler os dados apresentados e, a cada nova evidência dos papéis de trabalho, apresentar as revisões das estimativas acerca da continuidade operacional da empresa auditada.

“Interação seleção-maturação” é uma variável externa similar à “Seleção diferencial”, tendo a

maturação como única variável que impacta nos resultados. Dessa forma, os procedimentos

utilizados para o controle da “Maturação” e da “Seleção diferencial” são os mesmos que

mitigam o risco da ocorrência dessa variável externa.

Quanto à “Difusão do tratamento experimental”, essa pode prejudicar a validade interna do

experimento quando os participantes dos grupos estão próximos na execução do experimento e a condição de tratamento é percebida como aquela mais desejável, com relação à condição de controle. Como os grupos desse experimento foram submetidos ao mesmo tratamento, e a coleta de dados ocorreu de forma individualizada, não existe o risco dos indivíduos perceberem uma condição desejável, sobretudo porque não existem tratamentos distintos.

A variável externa “Rivalidade compensatória pelo grupo de controle” é aquela que ocorre

quando o grupo de controle apresenta desempenho superior ao seu nível usual, tão-somente por perceberem que estão competindo com o grupo experimental. Nesse caso, as características do estudo conduzido já garantem a inexistência dos efeitos dessa variável. O

mesmo pode ser dito quanto ao controle das variáveis externas “Equalização compensatória de tratamentos” e “Desmoralização ressentida do grupo de controle”, visto que a primeira

ocorre quando o grupo experimental recebe bens ou serviços percebidos como desejáveis pelo grupo de controle, e a segunda quando o grupo de controle fica desencorajado em participar

do experimento, ao perceber que o tratamento desejável está sendo dado ao grupo experimental.

O controle das variáveis externas, empreendido nesse estudo, buscou a mitigação do risco de ocorrência de ameaças à validade interna do estudo. O Quadro 2 apresenta uma visão sintética destas ameaças, ressaltando as principais características e medidas adotadas para controlá-las.

Quadro 2 – Variáveis externas que ameaçam a validade interna do experimento

Variáveis externas Características Medidas para controle

História Associada às características dos

sujeitos.

Amostra de indivíduos com características similares.

Maturação Mudanças físicas e psicológicas

sofridas durante o experimento.

Experimento de curta duração.

Testes Aprendizado gerado quando o pós-

teste é similar ao pré-teste.

Revisão das estimativas de continuidade operacional.

Instrumentação Mudança no instrumento de

mensuração entre o pré-teste e o pós- teste.

Utilização do mesmo instrumento de mensuração no pré-teste e pós- teste.

Regressão estatística Tendência com que o resultado por participantes de experimentos tenda à média no pós-teste.

Operacionalização do pré-teste e o pós-teste de forma sequencial. Seleção diferencial Existência de problemas na

atribuição dos sujeitos aos grupos do experimento.

Inexistência de grupos de controle e experimental.

Mortalidade experimental Perda de participantes da pesquisa ao longo do experimento.

Coleta de dados de cada sujeito do experimento no mesmo dia.

Interação seleção-maturação Similar à “Seleção diferencial”, tendo a maturação como única variável que impacta os resultados

Mesmos utilizados para “Maturação” e “Seleção diferencial” Difusão do tratamento

experimental

Condição de tratamento percebida como mais desejável do que a condição de controle.

Coleta de dados de forma individualizada.

Rivalidade compensatória pelo grupo de controle

Grupo de controle apresenta desempenho superior por perceberem que estão competindo com o grupo experimental.

Coleta de dados de forma individualizada e inexistência de grupos de controle e experimental. Equalização compensatória de

tratamentos

Grupo experimental recebe bens ou serviços percebidos como desejáveis pelo grupo de controle.

Coleta de dados de forma individualizada e inexistência de grupos de controle e experimental. Desmoralização ressentida do

grupo de controle

Grupo de controle fica desencorajado ao perceberem que o tratamento desejável a estes está sendo negado.

Coleta de dados de forma individualizada e inexistência de grupos de controle e experimental.