Validação e Confiabilidade em Pesquisas na Área de Sistemas de Informação: uma Análise dos Artigos Publicados no Enanpad entre 1998 e 2006
Autoria: Marco V Zimmer, Luciano Ferreira, Norberto Hoppen
Resumo
A área de Sistemas de Informação (SI) vem buscando sua afirmação como disciplina de referência, por meio do desenvolvimento de uma tradição de rigor científico e de criação de um corpus de pesquisa de alta qualidade. Como conseqüência dessa preocupação, houve um incremento na quantidade de artigos científicos analisando esse movimento e buscando avaliar a qualidade da produção científica da área. No Brasil, a preocupação com o rigor das publicações na área é mais recente. No entanto, de forma geral, um aspecto sobressai desta análise: a pouca aplicação de formas de validação nos estudos nacionais, considerando que, para uma disciplina que pretende se tornar referência, a consistência dos mecanismos de validação é determinante para atingir esse objetivo. Assim, o objetivo deste artigo é analisar a ocorrência e a qualidade da validação e da confiabilidade de pesquisas na área de SI, a partir de uma amostra obtida dos Anais do Enanpad no período 1998-2006. Verificou-se que os estudos da área, que utilizam survey, casos e experimentos como base metodológica, apresentam carências na validação e de determinação da confiabilidade dos instrumentos (somente 44% dos artigos apresentam este tipo de procedimento), podendo-se inferir que o rigor metodológico das pesquisas na área de SI ainda continua deficiente.
1 Introdução
A preocupação da área de Sistemas de Informação (SI) em tornar-se uma disciplina de referência vem ganhando corpo nos últimos anos (BASKERVILLE E MEYERS, 2002; PAUL, 2002; BENBASAT E ZMUD, 2003; CHEN E HIRSCHHEIM, 2004; NERUR et al., 2006). A motivação disto se deve à necessidade de afirmação como Ciência, e não como disciplina acessória ou campo de estudo da Administração. Baskerville e Myers (2002) assinalam algumas diretrizes que julgam necessárias para atingir esse fim, como a busca do estudo de SI dentro de um contexto maior, a intensificação de publicações em outros campos de conhecimento, o incremento de pesquisas conjuntas com estudiosos de outras áreas e a participação em congressos dessas áreas.
Além dessas possibilidades, dentro de uma ótica positivista, faz-se necessário a busca de um maior rigor científico nos métodos e desenhos de pesquisa, na coleta, tratamento e análise de dados. Assim, a aplicação de métodos estatísticos rigorosos à validação e à confiabilidade de instrumentos e a adoção de procedimentos metodológicos claramente definidos é de fundamental relevância.
Seguindo as preocupações, observadas no exterior, de tornar a área de SI uma disciplina de referência no Brasil, nos últimos anos, algumas publicações têm buscado analisar a produção científica em SI, tais como Hoppen et al. (1998), Hoppen e Meirelles (2005), Lunardi et al. (2005) e Oliveira et al. (2006). A maioria desses trabalhos, conforme detalhado na seção 2, têm um caráter de análise bastante geral dos artigos, destacando os métodos de pesquisas preferenciais adotados nos trabalhos. Porém, Oliveira et al. (2006), em seu artigo sobre a aplicação do estudo de caso como método de pesquisa na área de SI, chamam a atenção para a importância de se fazer uma análise mais criteriosa e aprofundada dos trabalhos. O pressuposto que guia o presente estudo é que, para uma disciplina que
pretende se tornar referência, a consistência dos mecanismos de validação e a sua enunciação são determinantes para atingir esse objetivo.
No presente trabalho pretende-se dar especial ênfase à questão da validação em pesquisas na área de SI, seguindo na mesma direção de Hoppen et al. (1998). Naquela época os autores analisaram a qualidade dos artigos da área entre 1990 e 1997, apontando baixos índices de aplicação de validação de face, de construto e de confiabilidade. Portanto, torna-se oportuno dar visibilidade a números que atestem o estado-da-arte sobre o tema, mostrando como a área de SI no Brasil avançou na validação dos instrumentos de pesquisa nos últimos anos – no período de tempo após o estudo citado acima.
Assim, o objetivo desse artigo é analisar a ocorrência e a qualidade da validação e da confiabilidade de pesquisas na área de SI. Para se chegar a esse fim, foi selecionada uma amostra obtida a partir dos Anais do Enanpad (Encontro da Associação Nacional de Pós-Graduação em Administração) no período 1998-2006. A escolha dessa amostra se deveu ao fato de o Enanpad ser um congresso de caráter acadêmico, que divulga grande parte da produção científica mais recente na área. O período selecionado visa a prosseguir a análise de Hoppen et al. (1998), que se deteve no período 1990-97, e cujos levantamentos apontavam indícios de consolidação e de melhoria nas pesquisas em SI.
Na próxima seção, serão abordados alguns dos principais estudos publicados sobre a questão de análise de artigos em SI no Brasil e no mundo, em períodos recentes. A seguir, será feita uma revisão teórica sobre aspectos conceituais de validação e de determinação da confiabilidade. Na seção seguinte, serão apresentados os principais pontos relacionados à metodologia de análise aplicada neste artigo para, depois, serem apresentados os resultados. Por fim, serão feitas algumas considerações, indicando limitações e sugestões de pesquisas futuras.
2 Avaliação de pesquisas em Sistemas de Informação
A busca de afirmação de SI como disciplina de referência tem levado pesquisadores da área, há algumas décadas, a realizarem estudos analisando a produção acadêmica e, mais notadamente, sobre aspectos relacionados à pesquisa. Um dos estudos seminais foi o de Straub que, em 1989, analisou a validação de instrumentos na área de Gestão de SI.
Nesse trabalho, Straub apresentava os resultados da análise de três periódicos da área (MIS Quarterly, Communications of the ACM e Information & Management) no período 1985-1988, demonstrando insuficiência na validação de instrumentos aplicados a pesquisas publicadas nesses periódicos: de uma amostra de 117 artigos analisados, apenas 17% realizavam testes de confiabilidade, 14% apresentavam validação de construto e 4%, validação de face (STRAUB, 1989).
Em 1993, Pinsonneault e Kraemer centravam o foco de análise em pesquisas do tipo
survey, demonstrando que aquelas do tipo explanatórias apresentavam boa qualidade,
enquanto exploratórias e descritivas apresentavam baixa ou média qualidade, em geral. Para sua análise, os pesquisadores se valeram de 141 artigos publicados em 16 dos mais representativos periódicos de SI (Academy of Management Journal, Communications of the
ACM, Data Base, Datamation, Data Management, Decision Sciences, Health, Marketing and Consumer Behaviour, Information Age, Information & Management, Information Processing Management, Journal of Management Information Systems, MIS Quarterly, Management
Science, Microprocessing and Microprogramming, Product Inventory Management e Public Administration Review) no período compreendido entre 1980 e 1990.
Em 2001, Boudreau et al. retomaram a análise feita por Straub em 1989 para verificar o que havia mudado no período de dez anos. Para isso, ampliaram o escopo de periódicos analisados para cinco (Information & Management, Information Systems Research, Journal of
Management Information Systems, Management Science e MIS Quarterly). Desses periódicos,
foi selecionada uma amostra de 193 artigos, abrangendo estudos de campo, experimentos de laboratório e de campo, e estudos de caso. Entre os 11 itens analisados, constam a existência de pré-teste, teste piloto, validação de construto e de face, e confiabilidade. Os resultados demonstraram evolução dos quesitos em relação à análise de Straub: validação de construto aumentou de 14% para 37%; validação de face, de 4% para 23%; confiabilidade, de 17% para 63%; e pré-testes e testes piloto, que indicavam 19%, passaram para 47% em 2001 (BOUDREAU et al., 2001). Esse significativo crescimento aponta para uma maior consolidação do uso de técnicas de validação aplicadas a pesquisas em SI no exterior. E no Brasil?
Em 1997, Hoppen et al. propõem um guia para análise de artigos de pesquisa em SI, com base nas mesmas preocupações de rigor científico demonstrados em relação às pesquisas internacionais. Essas grades de análise seriam aplicáveis a surveys, experimentos e pesquisa qualitativa (estudos de caso, pesquisa-ação e observação participante), os métodos mais recorrentemente aplicados em pesquisas de SI no Brasil naquele momento.
No ano seguinte, Hoppen realiza análise de artigos científicos de SI publicados entre 1990 e 1997. A amostra era constituída por 163 artigos constantes dos Anais do Enanpad e dos periódicos Revista de Administração da USP (RAUSP), Revista de Administração de Empresas (RAE), Revista de Administração Pública (RAP), Revista de Administração Contemporânea (RAC), Revista Brasileira de Administração Contemporânea (RBAC) e Organizações e Sociedade (O&S).
As dimensões analisadas no artigo foram: pesquisa empírica x ensaios teóricos, temáticas, estratégias e metodologias (embasamento conceitual, desenho de pesquisa, coleta dos dados, análise dos dados e apresentação dos resultados). Quanto à validade de face, verificou-se ocorrência de 46% em pesquisas do tipo survey e 20% em experimentos; validade de construto, 14% e 10%, respectivamente; e confiabilidade, 23% e 30%, respectivamente.
Entre os resultados, foi apontada, ainda, a predominância de estudos de caso e surveys, bem como uma grande proporção de ensaios teóricos (41% entre 1990 e 1997, e 34% no período 1996-97). No geral, detectou-se baixa qualidade, devido a não explicitação da forma de operacionalização das teorias de base, a problemas na descrição dos procedimentos metodológicos e a não validação dos instrumentos de pesquisa (HOPPEN, 1998).
Esse estudo foi complementado por nova análise, publicada em 2005 por Hoppen e Meirelles, no qual a produção da área foi atualizada. Para o período de 1997-2003, a análise se concentra nos temas abordados e nas estratégias e metodologias de pesquisa, enquanto que, para o período 1990-1997, avaliou-se a qualidade científica dos artigos publicados. As principais conclusões indicavam significativa redução (de 41% para 9,4%) na quantidade de ensaios teóricos – com respectivo incremento de estudos empíricos; predominância de estratégias de pesquisa de cunho exploratório (mas também assinalando tendência de queda, de 83% para 61%); e manutenção de estudos de caso (48%) e surveys (34%) como métodos
mais utilizados. Então, pôde-se depreender uma maior qualidade dos artigos em SI no período, com a seguinte ressalva feita pelos autores: “é um fato que o rigor metodológico das pesquisas – e das publicações resultantes – ainda é insuficiente, tendo em vista as limitações metodológicas verificadas” (HOPPEN e MEIRELLES, 2005, p. 34).
Lunardi et al. (2005), tomando como base os anais do Enanpad e cinco revistas nacionais classificadas pelo Qualis da CAPES com o conceito “A” (RAC, RAE, RAUSP, RAP e O&S), analisaram 334 artigos referentes ao período 1997-2004, sendo 236 (70,7%) obtidos do Enanpad e 98 (29,3%) relativos aos periódicos.
O objetivo dessa análise não foi avaliar a qualidade da produção científica – como feito por Hoppen e Meirelles (2005) –, mas sim “identificar os principais métodos utilizados na investigação dos diferentes tópicos e assuntos de pesquisa e se existe uma predominância de determinado método, dependendo do tema ou assunto estudado” (LUNARDI et al., 2005). Os seguintes resultados, que atendem os propósitos do presente estudo, são destacados:
há predominância de estudos empíricos (83,5%) em relação a ensaios teóricos (16,5%);
quanto à metodologia de pesquisa, detectaram um equilíbrio entre estudos de caso (50,9%) e surveys (47,3%) – diferentemente de Hoppen e Meirelles (2005), que assinalavam predominância de estudos de caso (48%) em relação a
surveys (34%). Tal fato pode ser decorrente de formas de classificação das
metodologias de pesquisa ou devido ao maior período utilizado por Lunardi et
al. (2005), que abrangia o ano de 2004. Mesmo assim, a diferença entre os
resultados dos dois trabalhos chama a atenção.
Oliveira et al. (2006) procuraram avaliar os aspectos relacionados ao planejamento, coleta e análise dos dados do método estudo de caso, de forma específica. A amostra selecionada para pesquisa foram os artigos publicados no período de 2003-2005 na área de Administração da Informação do Enanpad e em periódicos classificados como “A” na área de Administração pelo Qualis da CAPES. A principal contribuição do artigo é a proposição de um framework para avaliar estudos de caso.
Após esse levantamento sobre alguns dos mais significativos estudos internacionais e sobre as mais relevantes pesquisas nacionais referentes à produção científica em SI, pode-se perceber que é necessário que se inicie uma nova etapa de análise dos trabalhos científicos, que tenha como foco central o estado-da-arte de determinados elementos constitutivos de um trabalho científico e que proporcionam a ele esse status. Ressalta-se, portanto, a importância da análise de validação e de confiabilidade como uma das formas de obtenção de maior rigor científico nas pesquisas científicas na área a qual, aliada à relevância dos temas estudados, constitui a base para a consolidação de SI como disciplina de referência.
3 Validação de instrumentos de pesquisa
Um instrumento de pesquisa deve ser avaliado quanto à sua precisão e à sua aplicabilidade, o que envolve a determinação da confiabilidade, validade e possibilidade de generalização da escala. A avaliação da confiabilidade compreende a confiabilidade no teste-reteste, a confiabilidade em formas alternativas e a confiabilidade na consistência interna. Já a validade pode ser avaliada mediante a validade do conteúdo, a validade do critério e a validade de construto (MALHOTRA et al., 2005, p.262).
Antes de apresentar os conceitos relacionados com validade e confiabilidade é necessário descrever o conceito de precisão de uma medida. Medição é um número que reflete a característica de um objeto. Não se trata do valor verdadeiro de uma determinada característica, mas sim de uma observação daquele valor. Diversos fatores podem causar erros de medição, que têm como resultado o fato da medição, ou escore observado, ser diferente do verdadeiro escore da característica que está sendo medida. O modelo de escore verdadeiro fornece um arcabouço para o entendimento da precisão de medida, conforme apresentado a seguir:
XO = XT + XS + XR
onde:
XO = escore ou medida observada
XT = escore verdadeiro da característica
XS = erros sistemáticos
XR = erros aleatórios
Segundo Malhotra et al. (2005), o erro total de medida compreende o erro sistemático e o erro aleatório. O erro sistemático afeta a medida de forma constante e representa fatores estáveis que influem da mesma forma no escore observado, cada vez que se faz a medição. Exemplos de erros sistemáticos são: impressão ruim, excesso de itens no questionário, diferenças na atribuição de escores, análise estatística, entre outros. Por outro lado, o erro aleatório decorre de variações ou diferenças aleatórias nos respondentes ou em situações de medição.
Uma vez apresentado o conceito de precisão de uma medida, pode-se apresentar com maior clareza o conceito de confiabilidade. A confiabilidade mostra até que ponto uma escala produz resultados consistentes se as medidas são tomadas repetidamente. As fontes sistemáticas de erro não têm impacto sobre a confiabilidade, uma vez que afetam a medida de uma forma constante e não conduzem a inconsistências. Em contraste, o erro aleatório causa inconsistências, levando a baixa confiabilidade. Desse modo, a confiabilidade pode ser definida no âmbito em que as medidas estão livres de erro aleatório.
Conforme mencionado anteriormente, Malhotra et al. (2005, p. 264) avalia a confiabilidade de uma medida de três formas: teste-reteste, formas alternativas e consistência interna. Confiabilidade teste-reteste é uma abordagem para avaliar a confiabilidade com que os entrevistados recebem conjuntos idênticos de itens da escala, em duas ocasiões diferentes e em condições de equivalência tão próximas quanto possível. O grau de semelhança entre as duas medidas é obtido calculando-se o coeficiente de correlação: quanto mais alto o coeficiente, maior a confiabilidade. Alguns problemas relacionados com este tipo de confiabilidade são a dificuldade para fazer sucessivas medições, a possibilidade de influência da primeira medição nos resultados da segunda e, ainda, a característica que está sendo medida poder sofrer alterações no decorrer do tempo de medição.
Na confiabilidade de formas alternativas é necessário, primeiramente, construir duas formas equivalentes da mesma escala. A seguir, os mesmos respondentes são avaliados em momentos diferentes, em geral com intervalos de duas a quatro semanas. Os escores das aplicações são correlacionados para avaliar sua confiabilidade. Os principais problemas com este tipo são o tempo e a dificuldade para se construir duas escalas equivalentes.
A confiabilidade de consistência interna serve para avaliar a confiabilidade de uma escala somada, em que vários itens são somados para formar um escore total. A medida mais tradicional para avaliar a consistência interna de uma escala é o Alfa de Cronbach ou simplesmente Alfa. Este coeficiente varia de 0 a 1. Um valor de 0.6 ou menos indica confiabilidade insatisfatória da consistência interna, segundo Malhotra et al. (2005). Esse índice de satisfação pode variar, no entanto, de acordo com outros autores – como, por exemplo, Bisquerra et al. (2005), que situa este valor em 0,75.
A validade de uma escala ou instrumento pode ser definida como o âmbito em que as diferenças em escores observados da escala refletem as verdadeiras diferenças entre objetos quanto à característica que está sendo medida, e não devido a um erro aleatório ou sistemático. Portanto, a validade perfeita exige que não haja qualquer erro na medida, ou seja, XO = XT e XS = 0 e XR = 0. Existem diversas tipologias de validação, de acordo com
diferentes autores, tais como Kerlinger (2003), Hoppen et al. (1996) e Malhotra et al. (2005). Segundo a classificação de Malhotra et al. (2005), existem três tipos: validade do conteúdo, de critério do construto. A validade de conteúdo é uma avaliação subjetiva porém sistemática da exatidão com que o conteúdo de uma escala representa o trabalho de medição em andamento. O pesquisador, ou outra pessoa, examina se os itens da mesma abrangem adequadamente todo o domínio do construto que está sendo medido.
A validade de critério ou preditiva examina se a escala de medida funciona conforme o esperado em relação a outras variáveis selecionadas como critérios significativos, ou seja, uma escala é válida se ela conseguir predizer com sucesso algum critério.
A validade de construto indica que construto ou característica a escala está medindo. Procura-se responder questões teóricas quanto aos motivos pelos quais uma escala funciona e que deduções podem ser feitas em relação à teoria subjacente à escala. Assim, a validade de construto exige uma sólida teoria da natureza do construto que está sendo medido e como ele se relaciona com outros construtos. Para Kerlinger (2003) a validade de construto é a mais difícil de ser alcançada. A validade de construto inclui a validade convergente, discriminante e nomológica.
A validade convergente mede a extensão em que a escala se correlaciona positivamente com outras medidas do mesmo construto. A validade discriminante avalia até que ponto uma medida não se correlaciona com outros construtos, dos quais se supõe que ela difira. Já a validade nomológica determina o relacionamento entre construtos teóricos. Procura-se confirmar correlações significativas entre os construtos, conforme previstas por uma teoria. Hoppen et al. (1996) ainda mencionam a importância da validação de face, cujo propósito é avaliar se a forma e o vocabulário empregados na construção do instrumento de pesquisa são adequados.
Com o objetivo de descrever o processo de validação de construtos e instrumentos de medida, alguns autores sugerem o cumprimento de etapas no desenvolvimento de instrumentos mais fidedignos e robustos, entre eles Churchill (1979), Straub (1989) e Benbasat e Moore (1992).
4 Validade e confiabilidade em estudos de caso
O estudo de caso possui características próprias em relação à forma como são conduzidos e aplicados os testes de validade e de confiabilidade, que extrapolam a validação
do instrumento de pesquisa. Isto se deve ao fato de ser realizado apenas em um contexto organizacional (caso único) ou em mais de um (casos múltiplos). A questão que se discute, numa vertente positivista, é a possibilidade de replicação dos achados verificados em estudos de caso. Visando a defender a possibilidade de generalização das descobertas de um estudo de caso, Yin (2005) propõe uma série do que denomina táticas do estudo para tornar mais rigorosos os processos de validação e confiabilidade relacionadas a esta estratégia de pesquisa.
Quanto à validade de construto, o autor sugere a utilização de fontes múltiplas de evidências, corretamente encadeadas, e com a revisão dos relatórios preliminares do estudo de caso por parte de informantes-chave. Sobre a validade interna (aplicável somente a estudos explanatórios ou causais, e não a exploratórios ou descritivos), recomenda “estabelecer uma relação causal, por meio da qual são mostradas certas condições que levem a outras condições” (YIN, 2005, p. 56), bem como o uso de modelos lógicos para se chegar a essa validação.
Em relação à validade externa, divide em duas estratégias diferentes, de acordo com a estratégia do caso (se único ou de casos múltiplos): utilização de teoria, para o primeiro, e uso da lógica de replicação, para o segundo. Para a confiabilidade, sugere a utilização de protocolo e desenvolvimento de banco de dados.
O quadro 1, a seguir, sintetiza essa abordagem, agregando a informação sobre em qual fase da pesquisa cada uma das táticas de estudo acima deve ser aplicada.
Medidas Táticas do estudo Fase da pesquisa na qual a tática deve ser aplicada
Validade de construto Utiliza fontes múltiplas de evidências Estabelece encadeamento de evidências
O rascunho do relatório do estudo de caso é revisado por informantes-chave
Coleta de dados Coleta de dados Composição Validade interna Faz adequação ao padrão
Faz construção da explanação Estuda explanações concorrentes Utiliza modelos lógicos
Análise de dados Análise de dados Análise de dados Análise de dados Validade externa Utiliza teoria em estudos de caso único
Utiliza lógica da replicação em estudos de caso múltiplos
Projeto de pesquisa Projeto de pesquisa Confiabilidade Utiliza protocolo de estudo de caso
Desenvolve banco de dados para o estudo de caso
Coleta de dados Coleta de dados
Quadro 1 – Medidas de validação e confiabilidade, táticas do estudo e momentos de
sua aplicação no contexto de estudos de caso Fonte: adaptado de Yin (2005)
Feitas essas considerações teóricas sobre validação e confiabilidade, passa-se, na próxima seção, à descrição da metodologia de análise adotada no presente estudo.
5 Metodologia de Análise
Para este trabalho, foram selecionados todos os artigos publicados nos anais do Enanpad no período compreendido entre 1998 e 2006, na área de Administração da Informação – que concentra os artigos de SI selecionados para o congresso. A escolha tanto do período como do evento foi intencional. O Enanpad é o evento científico de maior relevância na área acadêmica de Administração no Brasil, agrupando o maior número de pesquisas recentes da área, principalmente as realizadas no sistema de pós-graduação. O período escolhido permitiu aos pesquisadores a consulta dos artigos em mídia digital (CD-ROM).
Visando a atender ao objetivo do artigo – qual seja, analisar a ocorrência e a qualidade da validação e da confiabilidade dos instrumentos e dos procedimentos metodológicos específicos relativos aos estudos de caso na área de SI –, os atributos propostos por Boudreau
et. al. (2001) foram utilizados como base para avaliar cada um dos artigos presentes na
amostra selecionada, ou seja, para cada artigo foram analisados os seguintes itens: tipo de pesquisa (descritiva, exploratória ou confirmatória); método de pesquisa; realização de pré-teste e/ou estudo piloto; validade de conteúdo; validade de construto; confiabilidade; natureza do instrumento (original ou adaptado). No instrumento original de Boudreau et. al. (2001), foram levantados apenas os tipos de pesquisa descritivo e confirmatório. Para enriquecer a análise, foi incluída, nesse trabalho, a pesquisa exploratória (presente em muitos estudos nacionais).
O total de artigos selecionados foi divido igualitariamente entre dois pesquisadores da área para codificação e análise. Previamente, alguns dos artigos foram escolhidos aleatoriamente e analisados conjuntamente por ambos os pesquisadores, de forma a permitir equalização de procedimentos e a minimizar possíveis diferenças de percepção.
A partir desse momento procedeu-se a codificação e análise de cada artigo de acordo com os atributos apresentados por Boudreau et al. (2001). Para isso, num primeiro momento, os artigos foram classificados entre ensaio teórico e estudo empírico. Em seguida, todos os artigos foram categorizados, por ano, de acordo com o método de pesquisa empregado:
survey, experimento, estudo de caso e pesquisa-ação. A etapa seguinte foi dividida em duas:
identificou-se o instrumento utilizado, separando entre aqueles originais, com ou sem validação, e entre aqueles já existentes e que passaram por novo processo de validação ou não; e
indicou-se a ocorrência ou não de pré-teste, teste piloto, validação de face, validação de construto e confiabilidade, bem como os testes estatísticos empregados em cada um deles.
Para a obtenção do conjunto de informações, foi realizada, num primeiro momento, busca por palavras-chave através da função Localizar dos editores de texto utilizados para a leitura dos artigos.
Num segundo momento, foi feita a leitura de todas as seções de metodologia e de resultados dos artigos, de forma a identificar todos os quesitos relativos à validação, confiabilidade, aplicação ou não de pré-teste e teste piloto. Estes elementos não costumam ser abordados nos resumos dos trabalhos e, em muitos casos, foram identificados pelos métodos estatísticos descritos e o momento em que foram realizados – caracterizando, assim, a ocorrência desses procedimentos ou não. Essa estratégia de trabalho também permitiu
complementar dados faltantes e levou a uma maior acurácia na codificação, tabulação e análise dos dados – uma vez que foram freqüentes equívocos como, por exemplo, a alusão a um método de pesquisa, no resumo, e a caracterização de outro, na seção metodológica do artigo.
Feita a descrição da metodologia empregada para análise dos artigos da amostra, apresentam-se, na próxima seção, os resultados encontrados.
6 Resultados
Inicialmente é importante destacar a evolução do número de artigos publicados no Enanpad no período compreendido entre 1998 e 2006, intervalo de tempo alvo da análise desse trabalho. A partir da Figura 1 observa-se um crescimento, ano a ano, do número de artigos publicados na área de SI, com um pico no ano de 2002, queda no ano seguinte e novo incremento nos anos posteriores, fato que tem relação direta com o próprio crescimento do Encontro em si. . 18 20 26 30 54 32 39 45 59 1998 1999 2000 2001 2002 2003 2004 2005 2006
Figura 1 – Artigos de SI publicados no período analisado
O número total de artigos publicados no período 1998-2006 foi de 323; destes, 274 (ou 85%) correspondem a pesquisas empíricas, conforme Tabela 1. Nos dois últimos anos, percebe-se um incremento do número de trabalhos de base teórica, o que se deve ao fato da subdivisão dos painéis da área e, em especial, à criação de uma área específica, em ADI, para artigos sobre metodologia e análise da informação.
Tabela 1 – Classificação dos artigos na área de SI
Classificação do trabalho 1998 1999 2000 2001 2002 2003 2004 2005 2006 Total %
Pesquisa Empírica 15 19 26 21 45 29 36 35 48 274 85%
Ensaio Teórico 3 1 0 9 9 3 3 10 11 49 15%
Uma vez que se tenha dado uma visão geral sobre o número de artigos publicados, no restante dessa seção, consideram-se, para análise, apenas os artigos científicos empíricos,pois
os ensaios teóricos não utilizam metodologias de pesquisa que requerem validação e confiabilidade. De acordo com a Tabela 2, pode-se constatar que o método de pesquisa predominante nos artigos analisados foi o estudo de caso (53%). Este resultado segue a mesma tendência do levantamento realizado por Hoppen e Meirelles (2005), os quais destacam um aumento da utilização desta metodologia de 42% no período 1990-1993 para 56% no período de 1998-2003. Pode-se perceber também a preferência pelos estudos de caso único, 60% em relação ao total de estudos dessa categoria, e também a ampla predominância dos estudos de casos qualitativos.
A metodologia survey aparece como a segunda mais utilizada (38%), número próximo daquele encontrado por Hoppen e Meirelles (2005), 34%, na análise de artigos no período 1990-2003, demonstrando estabilidade na aplicação dessa metodologia. A pesquisa experimental aparece em 8% dos artigos analisados. Já a pesquisa-ação, foi utilizada em apenas dois artigos (1%) no período analisado. Lunardi et al. (2005) também demonstraram que os métodos preferenciais na área de SI são survey e estudo de caso, com baixa ocorrência de pesquisas experimentais.
Tabela 2 – Mapeamento das metodologias de pesquisa
Método de pesquisa 1998 1999 2000 2001 2002 2003 2004 2005 2006 Total %
Survey 8 3 6 7 22 10 16 15 16 103 38% Pesquisa experimental 0 2 3 7 1 0 3 6 1 23 8% Estudo de Caso 7 14 15 7 22 19 17 14 30 145 53% Caso único - Quantitativo 0 3 3 0 1 3 4 0 7 21 14% Múltiplos casos - Quantitativo 0 2 1 0 1 2 1 0 4 11 8%
Caso único - Qualitativo 6 7 3 2 8 10 7 10 11 64 44% Múltiplos casos -
Qualitativo 1 2 8 5 12 4 5 4 8 49 34%
Pesquisa-Ação 0 0 2 0 0 0 0 0 1 3 1%
Total 15 19 26 21 45 29 36 35 48 239 100%
Uma vez realizada a análise descritiva que contemplou as metodologias de pesquisa preferenciais adotadas nos estudos, partiu-se para a análise dos resultados sobre validade e confiabilidade, objetivo principal da presente pesquisa. Tais aspectos não foram abordados por Lunardi et al. (2005), Hoppen e Meirelles (2005) os analisaram até o ano de 1997 no Brasil, enquanto que Straub (1989) e Boudreau et al. (2001) realizaram esse levantamento em periódicos internacionais.
A Tabela 3 apresenta o resultado do levantamento realizado sobre procedimentos de validação e confiabilidade efetuados nos estudos empíricos que resultaram nos artigos publicados no período analisado (274 artigos).
Tabela 3 – Mapeamento dos procedimentos de validação e confiabilidade
Procedimentos 98 99 00 01 02 03 04 05 06 Total %
Pré-teste 2 2 4 2 4 2 3 2 11 32 16%
Teste Piloto 1 0 0 0 3 0 1 2 4 11 6%
Validade
Validade de Construto 2 2 2 0 5 3 3 4 13 34 17% Não especificado/ não identificável 0 0 2 1 6 6 0 2 4 21 11%
Confiabilidade
Alfa de Cronbach 6 1 1 1 0 2 9 9 9 38 10%
MTMM 1 0 0 0 0 0 0 0 0 1 1%
Não informado/ não identificável 1 0 1 1 10 4 0 0 2 19 10% Confrontando-se os dados da Tabela 3 com os dados da Tabela 2, pode-se inferir que os baixos percentuais constantes da primeira se devem, em parte, ao fato de que a maioria dos artigos no período utilizou a metodologia estudo de caso e, entre estes, ocorreu uma predominância da abordagem qualitativa.
Vale ressaltar que não se está afirmando que estudos de casos não requerem a utilização de mecanismos de validação e confiabilidade, mas sim que está sendo feita uma comparação dos resultados da Tabela 3 com o levantamento realizado por Oliveira et al. (2006). Esses autores, ao analisar a aplicação do método de estudo de caso na área de SI, destacam que a validade de construto foi citada em apenas 3 (5%) dos artigos, que a existência de um protocolo de pesquisa constou de somente 8 (14%) artigos e que o estudo de caso piloto foi referenciado em apenas 4 (7%) artigos.
Esse fato ajuda a explicar os baixos índices encontrados para os procedimentos de validação e de confiabilidade nos estudos de casos, conforme apresentado na Tabela 4. Por outro lado, quando se compara os números obtidos nesse trabalho com os obtidos por Hoppen e Meirelles (2005) para pesquisas do tipo survey e experimento, percebe-se um incremento na quantidade de trabalhos que utilizaram técnicas de confiabilidade (de 23% para 45%) e de validade de construto (de 14% para 25%) em surveys. Nos artigos que utilizaram experimento, houve melhora nos percentuais de validade de face (de 20% para 26%) e de construto (de 10% para 26%). Por sua vez, em periódicos internacionais, Boudreau et al. (2001) encontraram resultados superiores para validação de construto (37%) e confiabilidade (63%), mas números muito parecidos quanto à validação de face (23%). Em relação à confiabilidade, especificamente, cabe destacar ainda a ampla predominância da utilização do Alfa de Cronbach.
Tabela 4 – Cruzamento do tipo de validação e confiabilidade por método de pesquisa
Método de Pesquisa
Tipo de Validação Survey Experimento Estudo de Caso Total Validade de Face 30 – 30% 6 – 26% 4 – 3,0% 40
Validade de Construto 26 – 25% 6 – 26% 2 – 1,5% 34
Confiabilidade 47 – 45% 6 – 26% 5 – 3,5% 58
A Tabela 5 apresenta informações sobre artigos que explicitaram o tipo de instrumento utilizado nas pesquisas. Considerando que há 158 artigos que utilizam as metodologias survey (103), experimento (23) e estudo de caso quantitativo (32), pode-se verificar que o número de instrumentos que foram validados ou revalidados chega a 69 artigos, ou seja, somente 44% dos instrumentos de pesquisa passaram por algum tipo de validação e por medidas de confiabilidade. Há ainda 35 artigos que não aparecem na Tabela 5, pois tratam-se de estudos de caso cuja análise de dados foi realizada por meio de experimentos com modelos – notadamente trabalhos na área de Sistemas de Apoio à Decisão (SAD) – ou aqueles que não especificavam o tipo de instrumento utilizado (novo ou reutilizado).
Tabela 5 – Tipos de instrumento utilizados
Tipo de instrumento 98 99 00 01 02 03 04 05 06 Total %
Instrumento novo sem validação 0 2 3 6 9 6 4 5 3 38 50% Instrumento novo com validação 5 1 2 1 6 2 4 2 15 38 50% Instrumento existente não revalidado 0 1 0 1 5 3 3 1 2 16 35% Instrumento existente e revalidado 2 2 1 2 1 2 9 9 3 31 65%
Total 123 100%
A tabela 6, a seguir, tem como objetivo detalhar a aplicação das táticas do estudo, aplicáveis a estudos de caso, referenciadas por Yin (2005), no conjunto dos estudos de caso de cunho quantitativo publicados no período pesquisado nos anais do Enanpad. Em primeiro lugar, cabe ressaltar que não foi detectado nenhum estudo de caso explanatório-causal, o que demonstra a predominância absoluta de estratégias descritivo-exploratórias quando da aplicação de casos quantitativos. Com isso, os elementos referentes à validade externa não foram avaliados.
Segundo, o encadeamento de referências, terceira tática do estudo sugerida pelo autor para a validade de construto, também não foi analisado. Isto se deve à restrição de tamanho dos artigos selecionados para o Encontro (máximo de 16 páginas), pois o relato desse encadeamento requer explanação detalhada. Já o item utilização de teoria, necessário para a observação da validade interna, não foi considerado, pois todos os artigos enviados e selecionados para esse evento têm, como pressuposto, a existência de teoria – ou seja, 100% deles possuem uma seção específica para a abordagem de revisão de literatura.
Assim, dos atributos passíveis de análise, observou-se a ocorrência de 70% de artigos com fontes múltiplas de evidências, índice bastante alto e que demonstra preocupação dos pesquisadores no cruzamento das mesmas. Por outro lado, a participação de informantes-chave como componente importante para a validade de construto foi muito pouco utilizada – apenas 7% do total de estudos.
Quanto à confiabilidade, apenas 30% dos estudos de caso utilizaram protocolo, o que mostra baixa sistematização e planejamento dos métodos de coleta de dados.
Tabela 6 – Ocorrência das táticas do estudo em casos quantitativos no período pesquisado
Tipo de validação Táticas do Estudo N %
Utiliza fontes múltiplas de evidências 22 70% Validade de construto
O rascunho do relatório do estudo de caso é revisado por
informantes-chave 2 7%
Confiabilidade Utiliza protocolo de estudo de caso 10 30% 7 Considerações finais
A área de SI vem buscando, a passos largos, tornar-se uma disciplina de referência. Visando a atender a esse objetivo, faz-se necessário um maior rigor dos procedimentos metodológicos empregados nas pesquisas científicas desenvolvidas na área. Entre esses procedimentos, a questão da validação e da confiabilidade de pesquisas é ponto preponderante.
A análise dos artigos publicados nos anais do Enanpad no período 1998-2006 permitiu apresentar uma visão geral sobre as metodologias de pesquisa predominantes, bem como analisar a ocorrência da validação e da confiabilidade das pesquisas publicadas. Percebe-se, claramente, o crescimento constante do número de artigos publicados na área de SI.
No que diz respeito a metodologias de pesquisa mais utilizadas pode-se perceber a preferência pelo estudo de caso (53%), em especial estudos de casos qualitativos, e pela pesquisa do tipo survey (38%). Destacou-se também o baixo índice de pesquisas experimentais, apenas 8%.
No que diz respeito à qualidade desses trabalhos, constatou-se os mesmos problemas levantados por outros trabalhos semelhantes e já mencionados anteriormente, ou seja, falta de rigor metodológico, especialmente pelos baixos percentuais de artigos que utilizam técnicas para validação e confiabilidade dos seus instrumentos de pesquisa, tanto em instrumento novos (somente 44%) como em instrumentos já validados em outras pesquisas. Também observou-se uma baixa taxa de adoção de táticas de estudo que permitem melhorar a sistematização da coleta e análise dos dados em estudos de caso de caráter quantitativo.
Para a continuidade desse trabalho, sugere-se realizar uma atualização dos estudos efetuados por Boudreau (2001), no que diz respeito à validação e à confiabilidade em periódicos internacionais, bem como estender esse trabalho para revistas brasileiras. De posse desses resultados, se fazer análises comparativas mais significativas. Além disso, pode-se analisar com maior profundidade as pesquisas qualitativas, em especial sobre estudos de caso, fazendo uma análise crítica sobre sua qualidade (existência de protocolo de dados, rigor e clareza nos procedimentos de campo etc.), dado o grande número de artigos desta natureza publicados, como fizeram Oliveira et al. (2006), porém analisando um período de tempo maior e uma amostra mais ampla de eventos e periódicos acadêmicos da área.
Como reflexão final, a partir dos números apresentados no presente trabalho, ficam alguns questionamentos em aberto, como: quais as conseqüências da falta de aplicabilidade de mecanismos de validação e de confiabilidade para as pesquisas na área de SI? O que se deseja, de fato, em termos de validação e confiabilidade de instrumentos e em termos de processos de validação e de determinação da confiabilidade em estudos de caso? Há métodos de pesquisa com maior pré-disposição para isso? As respostas a estas perguntas, que poderão ser dadas em futuros estudos, podem auxiliar na consolidação da área de SI como disciplina.
Referências bibliográficas:
BASKERVILLE, R.L.; MYERS, M.D. Information Systems as a Reference Discipline.
Management Information Systems Quarterly (MIS Quarterly), v.26, n.1, March 2002,
p.1-14.
BENBASAT, I.; MOORE, G. C. “Development of Measures of Studing Emerging Technologies.” Proceedings, Hawaii International Conference on Systems Science
(HICSS), Vol. 4, jan. 1992, p. 315-324.
BENBASAT, I.; ZMUD, R.W. The Identity Crisis Within the IS Discipline: Defining and Communicating the Discipline’s Core Properties, MIS Quarterly, v. 27, 2003, p. 183-194. BISQUERRA, R., SARRIERA, J.; MARTÍNEZ, F. Introdução à Estatística: enfoque
BOUDREAU, M-C., GEFEN, D.; STRAUB, D.W. Validation in Information Systems Research: A State-of-the-Art Assessment, MIS Quarterly, v.25, n.1, March 2001, p.1-16. CHEN, W.S.; HIRSCHHEIM, R. A paradigmatic and methodological examination of information systems research from 1991 to 2001, Information Systems Journal, v. 14, n.3, 2004, 197-235.
CHURCHILL, G.A., Jr., A Paradigm for Developing Better Measures of Marketing Constructs, Journal of Marketing Research, February 1979, p.64-73.
HOPPEN, N., LAPOINTE, L. e MOREAU, E. Um guia para a avaliação de artigos de pesquisa em Sistemas de Informação. Revista Eletrônica de Administração (REAd), Edição 3, set/out. 1996, 34p.
HOPPEN, N., LAPOINTE, L. e MOREAU, E. Avaliação de artigos de Pesquisa em Sistemas de Informação: proposta de um guia. In: Anais do XXI ENCONTRO ASSOCIAÇÃO
NACIONAL DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO (ENANPAD), Rio das Pedras, Rio de Janeiro, v.1, 1997, p. 1-15.
HOPPEN, N. Sistemas de Informação no Brasil: uma Análise dos Artigos Científicos dos Anos 90. Revista de Administração Contemporânea (RAC), v.2, n.3, set/dez. 1998, p. 151-177.
HOPPEN, N.; MEIRELLES, F.S. Sistemas de Informação: um panorama da pesquisa científica entre 1990 e 2003. Revista de Administração de Empresas (RAE), v.45, n.1, jan/mar. 2005, p. 24-35.
JOIA, L.A., COSTA, M.F.C., Treinamento Corporativo a Distância via Web Uma Investigação Exploratória acerca de Fatores Chaves de Sucesso In: Anais do XXVIII
ENANPAD, Brasília, 2005.
KERLINGER, F. Metodologia da pesquisa em ciências sociais: um tratamento conceitual. São Paulo: Editora Pedagógica e Universitária, 2003.
LUNARDI, G., RIOS, L. e MAÇADA. A.C.G. Pesquisa em Sistemas de Informação: uma análise a partir dos artigos publicados no Enanpad e nas principais revistas nacionais de Administração. In: Anais do XXVIII ENANPAD. Brasília, 2005.
MALHOTRA, N.K. et al. Introdução à Pesquisa de Marketing. São Paulo: Prentice Hall, 2005.
NERUR, S.P.; MAHAPATRA, R.; BALIJEPALLY, V.; MANGALARAY, G. Is Information Systems a Reference Discipline? Proceedings of the 39th Annual Hawaii International
Conference on System Sciences (HICSS '06), v. 8, jan-2006, p. 203-212.
OLIVEIRA, M.; MAÇADA, A.C.G.; GOLDONI, V. Análise da Aplicação do Método Estudo de Caso na Área de Sistemas de Informação. In: Anais do XXIX ENANPAD, Salvador, 2006.
PAUL, R. J. Is Information Systems an intellectual subject?, European Journal of Information Systems, v. 11, n. 2, jun-2002, p. 174-177.
PINSONNEAULT, A.; KRAEMER, K.L. “Survey Research in Management Information Systems: An Assessement”, Journal of Management Information Systems, Fall 1993, p. 75-105.
STRAUB, D.W. Validating Instruments in MIS Research. MIS Quarterly, v. 13, n. 2, June 1989, p. 147-169.
