Experimento é uma investigação controlada, rigorosa e formal (WOHLIN et al., 2000, p. 9) com dados quantitativos, pois tem o foco em medir diferentes variáveis. Para esses autores, o objetivo principal de um experimento é avaliar hipóteses ou relacionamentos. A publicação de Wohlin et al. (2000) foi utilizada como base para a definição da metodologia do experimento realizado porque esses autores tratam de experimentos em engenharia de software.
Uma das principais vantagens dos experimentos é o controle de, por exemplo, sujeitos, objetos e instrumentos, o que assegura conclusões mais gerais (WOHLIN, 2000, p. 31). Entre outras vantagens estão a habilidade de realizar análises estatísticas usando métodos para testar hipóteses e oportunidade de replicação dos testes realizados.
O processo do experimento é apresentado na Figura 19.
Definição Planejamento Realização Análise e
interpretação
Apresentação e empacotamento
Figura 19 – Visão geral do processo para realização do experimento Fonte: traduzido de Wohlin et al. (2000, p. 36).
a) Definição
A etapa da definição consiste em definir o problema a ser estudado e os objetivos do experimento. Wohlin (2000) recomenda o uso da abordagem GQM (Goal/Question/Metric) definido por Mashiko e Basili (1997), que consiste no seguinte modelo:
a) objeto de estudo – o que é estudado; b) propósito – qual é a intenção;
c) foco de qualidade – quais efeitos são estudados; d) perspectiva – qual a visão;
e) contexto – localização da condução do experimento.
Neste estudo, busca-se responder à seguinte pergunta: qual a influência das características dos usuários e da tarefa no sucesso de SI. Instanciando o modelo GQM define- se que o experimento consiste em:
a) objeto de estudo: sucesso de SI;
b) propósito: analisar a influência das características dos usuários e da tarefa no sucesso de SI por meio do uso de um SI que implementa a metodologia MCDA-C; b) foco de qualidade: melhoria da decisão;
c) perspectiva: uso de SI para apoio à tomada de decisão; d) contexto: gestores de uma Universidade Pública.
b) Planejamento
A etapa de planejamento consiste em determinar como o experimento será conduzido. Nessa fase, são elaboradas as atividades de seleção do contexto da pesquisa, formulação de hipóteses, seleção das variáveis dependentes e independentes, seleção dos sujeitos, projeto do experimento, preparação do instrumento e avaliação da validade.
A etapa do planejamento tem por objetivo definir como o experimento será conduzido. As atividades dessa etapa são: planejamento, formulação das hipóteses, seleção das variáveis, seleção dos participantes, projeto do experimento, instrumentação e avaliação de validade. O Quadro 11 apresenta a definição conceitual de cada uma dessas etapas.
Etapa Definição
Seleção do contexto da pesquisa
Detalhamento do contexto e escopo da pesquisa e a definição do SI a ser desenvolvido e do processo de desenvolvimento.
Formulação de hipóteses
Definição das hipóteses a serem testadas no experimento. O teste das hipóteses foi realizado pela análise estatística dos dados do experimento.
Seleção das variáveis Definição de escala de medida e os valores que as variáveis podem receber. Seleção dos
participantes
Seleção dos indivíduos participantes do experimento. A seleção foi realizada visando generalização dos resultados por meio da seleção representativa da população. Projeto do Descrição da organização e da execução do projeto do experimento com a definição
experimento das variáveis e das hipóteses que fundamentaram a escolha da análise estatística utilizada.
Instrumentação Preparação da implementação prática do experimento.
Avaliação de validade Verificação da validade dos resultados, considerando os fatores que pode afetá-los. A validação dos resultados foi iniciada na etapa de planejamento para que os riscos referentes à validação fossem reduzidos. Os riscos são fatores que podem interferir nas variáveis dependentes.
Quadro 11 – Etapas da fase de planejamento do experimento
b) Realização - Wohlin et al. (2000) ressaltam que mesmo que o experimento tenha sido adequadamente planejado e os dados coletados e analisados com métodos apropriados, o resultado será inválido se os sujeitos não o executarem com seriedade. A realização do experimento consiste nas etapas de preparação, execução e validação dos dados.
c) Preparação - a preparação consiste em escolher os participantes e elaborar e preparar o material para a produção dos dados. Os participantes devem ser informados sobre o objetivo do experimento e deve ser obtido o aceite deles em participar. Como participantes foram escolhidos docentes da UTFPR, Câmpus Pato Branco, que já haviam exercido ou que exerciam função de gestão no período de realização do experimento. A preparação aborda as etapas de execução e validação. O Quadro 12 apresenta o conceito de cada uma dessas etapas.
Etapa Definição
Execução Execução da tarefa pelos participantes e coleta dos dados produzidos.
Validação Verificação se os dados são válidos e se foram coletados adequadamente que ocorreu pela verificação do preenchimento das respostas aos instrumentos de coleta de dados (tarefa e questionário).
Quadro 12 – Etapas da fase de preparação do experimento
d) Análise e interpretação
A análise e interpretação dos dados coletados por meio do experimento foram realizadas por meio de técnicas estatísticas. As etapas realizadas nessa fase são: estatísticas descritivas, redução do conjunto de dados e teste de hipótese. Neste trabalho foi utilizada a técnica de Modelagem de Equações Estruturais para validar o modelo conceitual da pesquisa. No Quadro 13, cada uma dessas etapas está descrita.
Etapa Definição
Estatísticas descritivas Visualização e compreensão dos dados utilizando estatística descritiva. A estatística descritiva foi utilizada para apresentar os dados relativos às características demográficas dos respondentes. Foram utilizadas comparações de médias para verificar a influência das características individuais e da tarefa no sucesso de SI. Para verificar a influência das características demográficas no sucesso de SI foi utilizada a análise de variância. A ANOVA one-way para comparar as médias de três ou mais situações e o teste t para os casos com apenas dois níveis.
Redução do conjunto de dados
Redução dos dados um conjunto válido. Não houve necessidade de excluir ou realizar redução do conjunto de dados. Todos os dados fornecidos pelos participantes foram válidos. No momento da entrega de cada questionário, a pesquisadora conferiu se não havia dados obrigatórios faltantes.
dos coeficientes de caminho e significâncias estatísticas que foram obtidos do modelo estrutural.
Quadro 13 – Etapas da fase de análise e interpretação do experimento
e) Apresentação e empacotamento
A apresentação e o empacotamento compreendem a documentação e a divulgação dos resultados. Nessa fase os resultados obtidos do experimento devem ser organizados e divulgados para a comunidade.
A documentação pode ser feita por meio de artigos de pesquisa, relatórios, pacotes de laboratório, entre outros. Neste trabalho a documentação dos resultados, inicialmente, será incluída no texto da dissertação e posteriormente organizada sob a forma de artigos para publicação.