Validação de um modelo para medir a satisfação dos usuários finais de
sistemas business-to-business (B2B)
Leonardo Ramos Rios (UFRGS) lrrios@ea.ufrgs.br Antonio Carlos G. Maçada (UFRGS) acgmacada@ea.ufrgs.br
Guilherme Lerch Lunardi (UFRGS) gllunardi@ea.ufrgs.br
Resumo
Avaliar a satisfação dos usuários de Sistemas de Informação (SI) é importante para caracterizar o sucesso de sua implementação e garantir seu continuado uso. Sem uma avaliação adequada, é impossível determinar se o investimento realizado no desenvolvimento ou na aquisição de um SI foi ou não propriamente recuperado. Este trabalho fez a validação de um instrumento para mensurar a satisfação de usuários de sistemas Business-to-Business (B2B). O estudo foi uma pesquisa survey realizada com 139 usuários de um sistema B2B logístico, utilizando como base parte do modelo proposto por Chin e Lee (2000). O instrumento foi validado em face, conteúdo e constructo (através de técnicas estatísticas), confirmando as dimensões originalmente propostas (conteúdo, precisão, velocidade, formato, pontualidade e facilidade de uso) com pequenas adaptações. Espera-se que o instrumento validado possa ser utilizado por diferentes organizações na avaliação de seus sistemas de informação, identificando os aspectos que mais afetam a satisfação dos usuários, bem como os pontos de destaque do sistema e aqueles que necessitam ainda de melhorias.
Palavras-chave: TI, Avaliação de Sistemas, satisfação. 1. Introdução
O uso eficaz da tecnologia de informação (TI) é considerado um fator determinante para obter vantagem competitiva, aumentar a produtividade e, principalmente, melhorar os resultados financeiros das organizações (TORKZADEH e LEE, 2003). Os elevados investimentos realizados em TI fizeram com que a avaliação de diferentes Sistemas de Informação (SI) ganhasse cada vez mais importância entre acadêmicos e executivos. Uma das formas de medir e identificar o retorno destes investimentos é através da satisfação do usuário final.
Por muitas décadas, pesquisadores da área têm se preocupado com a evolução e o sucesso da implementação e uso dos SI. Estas pesquisas foram motivadas pela falta de medidas objetivas para avaliar o sucesso destes sistemas. Assim, os pesquisadores têm voltado suas atenções para desenvolver modelos que possibilitem avaliar a satisfação do usuário final, através de suas percepções, como uma forma de melhorar a qualidade do sistema, a qualidade da informação, o uso do sistema, o impacto individual e o impacto organizacional (AMOLI e FARHOOMAND, 1996). Na busca por desenvolver e validar instrumentos para avaliar a satisfação de usuários em relação ao SI, vários autores têm contribuído de forma significativa (BAILEY e PEARSON, 1983; IVES et al. 1983; BAROUDI et al., 1986; MAHMOOD, 1987; DOLL e TORKZADEH, 1988; CHIN e LEE, 2000).
Nos últimos anos, o uso de sistemas web tem sido intenso nas organizações (KUECHLER Jr. et al., 2001; PHAN, 2003; GRIEGER, 2003). Além de facilitarem o gerenciamento da informação, estes sistemas têm mostrado uma vantagem sobre os tradicionais SI através de redução de custos, maior foco nos clientes e na diferenciação de serviços (LEDERER et al., 1998). Observa-se na literatura de SI uma quantidade expressiva de estudos visando medir a satisfação do usuário final (DOLL e TORKZADEH, 1988; DeLONE e McLEAN, 1992;
GOODHUE, 1995; TORKZADEH e LEE, 2003), mas muito pouca atenção tem sido dada aos sistemas web (HUANG et al., 2004; ABDINNOUR-HELM et al., 2005).
Assim, pretende-se com este estudo validar um instrumento para mensurar a satisfação de usuários de sistemas Business-to-Business (B2B), utilizando para tal um sistema de informações logísticas de um dos maiores terminais de contêineres brasileiros em movimentação.
2. Satisfação do usuário em SI
A implementação de um SI é sempre uma tarefa que exige um grande esforço de todas as pessoas envolvidas. Segundo Maçada e Borenstein (2000), a avaliação de um SI é uma importante atividade para caracterizar o sucesso do sistema e garantir seu continuado uso. Sem uma avaliação adequada, é impossível determinar se o investimento feito no SI foi ou não propriamente recuperado. Mahmood et al. (2000) salientam que os investimentos em SI continuam aumentando, assim como os problemas relacionados às falhas nas implementações dos sistemas.
Verifica-se uma grande insatisfação por parte dos executivos quanto ao retorno obtido pelos elevados investimentos em TI e, ainda, pela forma como estes são justificados. Para tornar mais claros tais resultados, inúmeros pesquisadores têm se dedicado ao desenvolvimento de instrumentos para avaliação do impacto de um SI na organização. As análises tradicionais, focalizadas somente em aspectos financeiros ou tecnológicos, são vistas como insuficientes para avaliar os diversos benefícios obtidos a partir da implantação de diferentes tecnologias. A satisfação do usuário, por sua vez, é vital para a avaliação do sistema em si, e ainda, dos investimentos futuros a serem feitos em sistemas de informação, pois são os usuários que determinam o retorno do investimento, no que tange à produtividade individual e da organização onde atuam. Esta abordagem, conhecida por métrica de satisfação com a TI (MARCHAND et al., 2004), é vista como uma forma alternativa de se avaliar os efeitos proporcionados por tais sistemas.
A satisfação do usuário como um indicador de sucesso para um sistema, provavelmente se originou com Cyert e March (1963). Eles salientaram que os SI que atendem as necessidades dos usuários reforçam a sua satisfação com o sistema. A medida supõe que o usuário não estará satisfeito com o sistema se não fornecer a informação de uma forma satisfatória.
Bailey e Pearson (1983) buscaram, mais tarde, avaliar a satisfação com os serviços de computação, identificando uma série de fatores que afetam a satisfação dos usuários de SI. Através de oito estudos empíricos, encontraram 39 fatores significativos em relação à satisfação do usuário final. Já Ives et al. (1983), simplificaram e melhoraram o instrumento de Bailey e Pearson. Aplicaram em uma amostra de gerentes de produção de empresas de manufatura dos Estados Unidos. Seis fatores com baixa correlação foram retirados do instrumento, deixando apenas 13 fatores originais, sendo 5 fatores referentes ao produto “sistema de informação”, 5 fatores sobre “qualidade e serviços” e 3 fatores sobre o “envolvimento do usuário”.
Mahmood e Becker (1985) e Montazemi (1988) também utilizaram o instrumento de Bailey e Pearson. O primeiro estudo utilizou uma amostra de 59 diretores ou vice-presidentes de empresas, encontrando existência de relação significativa entre a satisfação do usuário e a maturidade da organização. O estudo de Montazemi (1988) aplicou o instrumento numa amostra de 164 usuários de 83 empresas de pequeno porte. O autor encontrou que a satisfação do usuário final está positivamente correlacionada com o número de analistas presentes na empresa e a participação de usuários finais no projeto do sistema, além do nível de descentralização da organização.
O instrumento mais utilizado e validado nos últimos anos foi o desenvolvido por Doll e Torkzadeh (1988), que iniciou com 38 itens retirados da literatura e reduzidos a 12, sendo distribuídos em 5 constructos, postulados como: “conteúdo”, “precisão”, “formato”, “facilidade de uso” e “pontualidade” do sistema.
Um dos últimos instrumentos criados para medir a satisfação dos usuários em SI e disponíveis na literatura é o de Chin e Lee (2000). O instrumento é constituído de 3 dimensões: satisfação, expectativas e desejos. Os autores, apesar de utilizarem o instrumento de Doll e Torkzadeh como base para sua pesquisa, salientam que o mesmo não consegue medir corretamente a satisfação dos usuários de SI e que alguns constructos são conceitualmente incompatíveis. Por isso, um novo instrumento foi desenvolvido e validado com um novo foco para os 5 constructos, além da inclusão de mais um constructo – “velocidade do sistema” (System Speed). Desta forma, propõem um novo modelo, onde salientam que os sentimentos de satisfação do usuário final aumentam quando este combina suas percepções de avaliação do nível de discrepância a respeito dos desejos e das expectativas.
3. Sistemas de Informação e-business (B2B)
A tecnologia Digital, particularmente a Internet, tem sido apontada como uma tecnologia capacitadora no apoio ao processo de gestão das organizações e na busca de vantagens competitivas (PHAN, 2003). Segundo a E-consulting (2005), e-business é o processo de transformação digital, ou seja, a transformação das relações (processos, fluxos, departamentos...), relacionamentos com agentes (parceiros, clientes, fornecedores, colaboradores...) e trocas (informações, conhecimento, recursos...) a partir de meios digitais, incluindo ações e transações corporativas. Timmers (1999) resume o conceito dizendo que e-business significa ‘fazer negócios eletronicamente.’ O termo B2B surge como uma forma de business baseada na relação entre empresas. Grieger (2003) salienta que B2B é o tipo de e-business baseado na Internet, que vem se tornando cada vez mais popular e importante.
O comércio B2B também vem crescendo aceleradamente na web. Em nível global, as transações somaram um total de US$ 110 bilhões em 1999, passando para quase US$ 1 trilhão em 2002 e, para 2005, estima-se que as transações cheguem a mais de US$ 4 bilhões (quase 400% de aumento). Cabe ressaltar que 50% destas transações ocorrem nos Estados Unidos (http://idgnow.uol.com.br).
No Brasil, o volume de transações realizadas pela internet entre indústrias e empresas somou R$ 139,5 bilhões no ano passado, revelou um balanço da Associação Brasileira de E-business. O Brasil representa 75,4% de todos os negócios transacionados eletronicamente entre empresas na América Latina. A estimativa dessa associação para 2005 é que o total movimentado chegue a R$ 152,5 bilhões, 9,3% a mais do que no ano passado (http://idgnow.uol.com.br).
Estudos realizados por grupos de consultoria em tecnologia estimaram que, em 2004, 25% de todos os negócios entre empresas (B2B) seriam realizados pela Internet – com um volume de transações em dólar 10 vezes maior do que o realizado pelos negócios B2C (business-to-consumer) (KUECHLER Jr. et al., 2001). Apesar do grande volume de movimentação, Pires e Aisbett (2003) revelam que o impacto dos investimentos em ambientes web B2B permanecem incertos. Entende-se que através da satisfação do usuário seja possível identificar e medir os impactos dos investimentos de um SI web B2B.
4. O Sistema analisado
O sistema TeconLine (http://www.tecon.com.br/teconline) é um sistema de informação web B2B com banco de dados integrado com o sistema SCOL, que é o ERP (Enterprise Resouce Planning) desenvolvido internamente pelo terminal, em tecnologia proprietária Oracle
(Forms). O TeconLine consulta diretamente a base de dados do SCOL e dentre as consultas disponíveis, incluindo as restritas, destaca-se: Programação de Navios; Consulta e detalhes de contêiner; Consulta de movimentação operacional; Estatísticas; Situação de berço; Sailing breakdown; Relatório de Reefers; e Relatório de Overtime.
A arquitetura de informação do Tecon Rio Grande no nível operacional é composta por dois sistemas principais. Um deles é o SCOL, que controla as movimentações de contêineres e operações dos navios. Dentre os módulos do SCOL é importante destacar: (a) controle de parceiros comerciais; (b) todos cadastros operacionais (contêineres, armadores e navios); (c) controle de trânsito de veículos; (d) presença de carga; (e) operações de armazém; (f) controle de manifestos; (g) controle de bookings; (h) alterações de atributos de dados operacionais e outros. O segundo sistema é o Navis Sparcs, que está mais direcionado à parte de programação do pátio de contêineres e programação de navios. Esta interação entre os dois sistemas possibilita a disponibilidade das informações que os clientes necessitam e o correto funcionamento do terminal.
O TeconLine possui controle próprio de acesso e permissões também em Oracle. Os dados operacionais estão integrados com o sistema SCOL, contando também com uma barreira de segurança tanto interna, baseada em permissões, bem como proteção em relação a agentes externos, baseados em camadas de proteção de rede, implementados pelo núcleo de estrutura. Os funcionários das empresas que possuem algum relacionamento com as cargas ou com o navio, como agências de navegação, despachantes aduaneiros, empresas de logística e os próprios donos das cargas (importadores ou exportadores) são os principais usuários do sistema.
5. Metodologia
O estudo foi é pesquisa survey, cujo modelo de pesquisa está baseado no trabalho de Chin e Lee (2000). O instrumento utilizado na pesquisa analisou somente a dimensão “satisfação”. As demais dimensões do instrumento, “desejos” e “expectativas”, não foram aplicadas, pois os juízes (alunos e professores da área de SI) que participaram da validação de face e conteúdo sugeriram a não inclusão das mesmas, por tornar o questionário muito extenso e de difícil compreensão por parte dos usuários a serem entrevistados.
O questionário original foi traduzido por especialistas, sendo composto por 6 constructos (tabela 1) com 32 itens e três questões avaliando a satisfação geral com o sistema. Cabe ressaltar que, no final do questionário foi inserida uma questão aberta, possibilitando aos respondentes um espaço para comentários, sugestões e reclamações. A satisfação do usuário final de um SI é medida pelos seguintes constructos: (1) conteúdo, (2) precisão, (3) formato, (4) facilidade de uso, (5) pontualidade e (6) velocidade. A operacionalização das variáveis foi realizada utilizando-se escala tipo Likert de sete pontos. A questão aberta não utilizou escala.
Constructo Definição conteúdo qualidade das informações que o SI gera e se estas informações são as que realmente os usuários necessitam precisão precisão das informações, e se o usuário está satisfeito com esta precisão
formato maneira que os resultados são expostos para os usuários e se as informações estão de uma forma clara facilidade de uso facilidade de uso do sistema e se sua interface é amigável
pontualidade disponibilidade que as informações são geradas pelo sistema, ou seja, se os usuários obtém as informações na hora que desejam e se são constantemente atualizadas velocidade satisfação que o usuário de um SI possui com a velocidade operacional do sistema.
A aplicação do instrumento desenvolvido por Chin e Lee (2000) se justifica, pois conforme Boudreau et al. (2001) os investigadores devem utilizar em seus estudos instrumentos previamente validados sempre que possível, tendo cuidado para não fazer alterações significativas nos instrumentos validados. Os autores orientam, entretanto, para a necessidade de revalidação de conteúdo, constructos e fidedignidade dos instrumentos encontrados na literatura, principalmente quando o contexto a ser estudado é diferente do original.
6. Resultados da Validação
O instrumento foi validado inicialmente através de um estudo-piloto, em uma amostra composta por 32 usuários do sistema B2B TeconLine. Os respondentes foram 19 funcionários do Terminal (usuários internos), e 13 usuários externos de empresas de despacho aduaneiro (responsáveis pela liberação das cargas dos importadores e exportadores) e agências de navegação (responsáveis pela operacionalização dos navios e principal contato do navio com o terminal).
No processo de refinamento do instrumento foram retiradas sete questões (um item do constructo “conteúdo”, dois itens do constructo “precisão”, um item do constructo “formato”, dois itens do constructo “pontualidade” e um item do constructo “velocidade”) por apresentarem baixa consistência interna. Após a exclusão destes itens, os coeficientes do alfa de Cronbach para os 6 constructos ficaram no intervalo 0,95 e 0,99.
Logo após, os questionários foram enviados para uma lista de e-mails de clientes composta por empresas: 40 despachantes aduaneiros, 12 agências marítimas e 30 importadoras ou exportadoras. A amostra total do estudo compreendeu 139 usuários do sistema, representando 100% dos despachantes aduaneiros e agências marítimas, e 28% de importadoras ou exportadoras. A grande maioria dos respondentes (63,6%) trabalhava com despachos aduaneiros, seguido pelas agências marítimas (29,5%) e empresas importadoras ou exportadoras (6,8%). A baixa taxa de retorno dos questionários pelas empresas importadoras ou exportadoras ocorreu devido a este tipo de empresa ser representada pelos despachantes aduaneiros e agências marítimas que estão diretamente relacionadas com as operações no terminal.
De modo a garantir a validade de constructo (que é a ligação entre a teoria e as questões utilizadas), dois testes estatísticos foram realizados: a análise fatorial (tabela 2), com o propósito de formar grupos de variáveis associadas entre si, elaborados através das cargas fatoriais identificadas na análise, e o alfa de Cronbach (tabela 3), de modo a indicar a fidedignidade das escalas utilizadas (MALHOTRA, 2001).
A análise fatorial exploratória (AFE) no bloco foi utilizada para observar a unidimensionalidade dentro do conjunto de itens em cada constructo, garantindo a validade convergente do instrumento. Já a AFE entre blocos manteve os 6 constructos agrupados na mesma formação do modelo original, sendo que todos os itens apresentaram carga fatorial superior a 0,55, o que garantiu a validade discriminante do instrumento. Além disso, apresentou um elevado percentual de explicação da variância (85,3%), indicando um alto nível de representação dos dados.
A fidedignidade dos fatores foi apontada pelos coeficientes do alfa de Cronbach, com o instrumento apresentando valor igual a 0,969, enquanto os coeficientes dos fatores situaram-se entre 0,78 e 0,90, o que aponta para uma alta fidedignidade do instrumento. Cabe lembrar que quanto mais próximo de 1 for o valor do alfa, maior será a consistência interna do instrumento, que pode variar de 0 a 1.
Indicadores Bloco F1 F2 F3 F4 F5 F6 Conteúdo do sistema
O sistema gera as informações que você precisa? ,853 ,738 O conteúdo do sistema está de acordo com suas
necessidades? ,905 ,767
O sistema gera relatórios de acordo com o que você
precisa? ,889 ,798
O sistema gera informações suficientes? ,912 ,753 Os resultados gerados pelo sistema satisfazem suas
necessidades? ,912 ,799
O sistema gera a quantidade de informação que você
precisa? ,908 ,807
Precisão do sistema
O sistema é preciso? ,916 ,768 Você está satisfeito com a precisão do sistema? ,897 ,733 O sistema gera informações corretas? ,919 ,853 O sistema gera informações precisas? ,957 ,838 O sistema gera informações seguras? ,913 ,826
Formato do sistema
Os resultados do sistema são apresentados em um
formato usual? ,894 ,742
A informação é clara? ,917 ,711
Você está satisfeito com o layout dos resultados? ,916 ,834 O formato do resultado é satisfatório? ,924 ,791 Você está satisfeito com a maneira que as
informações são apresentadas? ,930 ,763
Facilidade de uso do sistema
O sistema é amigável? ,846 ,721
O sistema é fácil de usar? ,882 ,812 É fácil de usar o sistema para fazer o que você
precisa? ,871 ,737
A sua interação com o sistema é clara e entendível? ,946 ,815 O sistema é fácil de se interar com você? ,931 ,790 É fácil de operar o sistema? ,916 ,819
Pontualidade do sistema
Você pega as informações que necessita em tempo? ,945 ,755 O sistema proporciona informações atualizadas? ,916 ,621 O sistema proporciona informações de uma maneira
adequada? ,916 ,586
Velocidade do sistema
Você está satisfeito com a velocidade que o sistema
opera? ,969 ,856
O sistema operar num ritmo satisfatório? ,979 ,866 A velocidade do sistema é satisfatória? ,966 ,845
Tabela 2 – Análise Fatorial Exploratória
Fator Constructos Alpha de Cronbach
1 Conteúdo 0,95 2 Precisão 0,95 3 Formato 0,95 4 Facilidade de uso 0,95 5 Pontualidade 0,92 6 Velocidade 0,97 Instrumento 0,97
6. Considerações Finais
Este trabalho validou um instrumento para medir a satisfação de usuários finais de sistemas web B2B. Para tanto, foi realizada uma pesquisa survey com 139 usuários, utilizando parte do instrumento desenvolvido por Chin e Lee (2000). As recomendações propostas por Boudreau et al. (2001) foram confirmadas, pois a utilização do instrumento elaborado anteriormente foi de suma importância para o sucesso da pesquisa. A sua extensa validação confirmou a validade do modelo, economizando tempo (por não ser necessário a construção de um novo instrumento), garantindo a sua validade externa, além de permitir a comparação de resultados em diferentes contextos.
No processo de revalidação do instrumento, iniciado com um estudo-piloto e finalizado com o uso de técnicas estatísticas, os constructos do modelo original foram mantidos, sendo algumas das questões eliminadas por não se adaptarem ao contexto em que o mesmo foi aplicado. Como limitações deste estudo, pode-se considerar o contexto da pesquisa, pois esta foi realizada com um único sistema de informação. Entretanto, percebe-se que o sistema B2B tem características similares aos e-procurement utilizados por outras empresas industriais e de serviços e, portanto, podem ser avaliados da mesma maneira. Assim, espera-se que o instrumento, rigorosamente validado nesta pesquisa, possa ser utilizado por diferentes organizações na avaliação de seus sistemas de informação, identificando os aspectos que mais afetam a satisfação dos usuários, bem como os pontos de destaque do sistema e aqueles que necessitam melhorias.
Referências
ABDINNOUR-HELM, S. F.; CHAPARRO, B. S. & FARMER, S. M. (2005) – Using the End-User Computing Satisfaction (EUCS) Instrument to Measure Satisfaction with a Web Site. Decision Sciences. Vol. 36, n.2, p. 341-364.
AMOLI, J. E. & FARHOOMAND, A. F. (1996) – A structural model of end user computing satisfaction and user performance. Information & Management. Vol. 30, p. 65-73.
BAILEY, J. E. & PEARSON, S. W. (1983) – Development of a Tool for Measuring and Analyzing Computer User Satisfaction. Management Science. Vol.. 29, n. 5, p. 530-545.
BAROUDI, J. J.; OLSON, M. H. & IVES, B. (1986) – An Empirical Study of the Impact of User Involvement on System Usage and Information Satisfaction. Communications of the ACM. Vol. 29, n. 3, p. 232-238.
BOUDREAU, M.; GEFEN, D. & STRAUB, D. W. (2001) – Validation of information systems research: A state-of-the-art assessment. MIS Quarterly. Vol. 25, n. 1, p. 1–16.
CHIN, W. W. & LEE, M. K. O. (2000) – On The Formation of End-User Computing Satisfaction: A Proposed Model and Measurement Instrument. International Conference on Information Systems. Proceedings of the twenty first international conference on Information systems. Brisbane, p 553 563.
CYERT, J. & MARCH, J. (1963) – A Behavioral Theory of the Firm. Prentice-Hall. Englewood Cliffs, NJ. DELONE, W. H. & MCLEAN, E. R. (1992) – Information systems success: The quest for the dependent variable. Information Systems Research. Vol. 3, n. 1, p. 60-95.
DOLL, W. J. & TORKZADEH, G. (1988) – The measurement of end-user computing satisfaction. MIS
Quarterly. Vol. 12, n. 2, p. 259–274.
E-CONSULTING CORP. (2005) – <http://www.e-consultingcorp.com.br/insider_info/indicadores.shtml>. Acesso em: 13 abr. 2005.
GOODHUE, D. L. (1995) – Understanding user evaluations of information systems. Management Science. Vol. 41, n. 12, p. 1827-1844.
GRIEGER, M. (2003) – Electronic marketplaces: A literature review and a call for supply chain management research. European Journal of Operational Research. Vol. 144, p. 280–294.
HUANG, J. H.; YANG, C.; JIN, B. H. & CHIU, H. (2004) – Measuring satisfaction with business-toemployee systems. Computers in Human Behavior. Vol. 20, p. 17-35.
IDGNOW. (2005) – Disponível em: <http://idgnow.uol.com.br>. Acesso em: 13 abr. 2005.
IVES, B.; OLSON , M. H. & BAROULDI, J. J. (1983) – The measurement of user information satisfaction.
Communications of the ACM. Vol. 26, n. 10, p. 785-793.
KUECHLER Jr, W.; VAISHNAVI, V. K. & KUECHLER, D. (2001) – Supporting optimization of business-to-business e-commerce relationships. Decision Support Systems. Vol. 31, p. 363-377.
LEDERER, A., MICHANDANI, D. A. & SIMS, K. (1998) – Using WISs to enhance competitiveness.
Communications of the ACM. Vol. 41, p. 94-95.
MAÇADA, A. C. G. & BORENSTEIN, D. (2000) – Medindo a satisfação dos usuários de um sistema de apoio à decisão. In: ENCONTRO ANUAL DA ANPAD, 24, 2000, Florianópolis. Anais... Rio de Janeiro: Associação Nacional dos Cursos de Pós-Graduação em Administração, 2000.
MAHMOOD, M. A. & BECKER, J. D. (1985) – Effect of organizational maturity on end-users’ satisfaction with information systems. Journal of Management Information Systems. Vol. 3, n. 2, p. 37–64.
MAHMOOD, M. A. (1987) – Systems Development Models: A Comparative Investigation. MIS Quarterly. Vol. 11, n. 3, p. 293-311.
MAHMOOD, M. A.; BURN, J. M.; GEMOETS, L. A. & JACQUEZ, C. (2000) – Variables affecting information technology end-user satisfaction: a meta-analysis of the empirical literature. International Journal
Human-Computer Studies. Vol. 52, p. 751-771.
MALHOTRA, N. K. (2001) – Pesquisa de marketing: uma orientação aplicada. Bookman. Porto Alegre.
MARCHAND, D.; KETTINGER, W. & ROLLINS, J. (2004) – Desempenho empresarial e gestão da informação: a visão do topo. In: DAVENPORT, T.; MARCHAND, D, & DICKSON, T. Dominando a gestão da
informação. Bookman. Porto Alegre.
MONTAZEMI, A. R. (1988) – Factors affecting information satisfaction in the context of the small business environment. MIS Quarterly. Vol. 2, n. 12, p. 239–256.
PHAN, D. D. (2003) – E-business development for competitive advantages: a case study. Information &
Management. Vol. 40.
PIRES, G. D. & AISBETT, J. (2003) – The relationship between technology adoption and strategy in business-to-business markets The case of e-commerce. Industrial Marketing Management. Vol. 32.
TIMMERS, P. (1999) – Electronic commerce; Strategies and models for business to business trading. Chichester, England: Wiley.
TORKZADEH, G. & LEE, J. (2003) – Measures of perceived end-user computing skills. Information &
