AVALIAÇÃO DA QUALIDADE DE
SERVIÇOS DE SUPORTE DE
TECNOLOGIA DA INFORMAÇÃO
CLAUDIA MARCIA RIBEIRO MACHADO ALBERNAZ (UENF)
ANDRÉ LUÍS POLICANI FREITAS (UENF)
Resumo: NOS DIAS ATUAIS, A DISSEMINAÇÃO DO USO DA TECNOLOGIA DA INFORMAÇÃO (TI) TEM CONTRIBUÍDO CADA VEZ MAIS PARA O AUMENTO DA COMPETITIVIDADE DAS ORGANIZAÇÕES. ENTRETANTO, É NECESSÁRIO QUE TODA ORGANIZAÇÃO CONSIGA UTILIZAR A TECNOLOGIA DA INFORMAAÇÃO DE FORMA EFICIENTE E COM A MAIOR DISPONIBILIDADE POSSÍVEL. NESTE CONTEXTO, SE TORNAM RELEVANTES O GERENCIAMENTO E A MENSURAÇÃO DOS SERVIÇOS DE SUPORTE DE TI. NAS ÚLTIMAS DÉCADAS, DIVERSOS MODELOS DE AVALIAÇÃO DA QUALIDADE DE SERVIÇOS TÊM SIDO DESENVOLVIDOS E PRÁTICAS DE GESTÃO TÊM SIDO UTILIZADAS NO ÂMBITO DA TI. APESAR DA EXISTÊNCIA DE TAIS MODELOS DE AVALIAÇÃO E PRÁTICAS
DE GESTÃO, OBSERVA-SE QUE ESTAS NÃO APRESENTAM
EXPLICITAMENTE COMO O PROCESSO DE AVALIAÇÃO DA QUALIDADE DE SERVIÇOS DE TI DEVE SER REALIZADO, NEM QUAIS DIMENSÕES E CRITÉRIOS DEVEM SER CONSIDERADOS. DESEJANDO CONTRIBUIR PARA O TRATAMENTO DO PROBLEMA EM QUESTÃO, ESTE ARTIGO UTILIZA O MODELO PROPOSTO POR ALBERNAZ E FREITAS (2010) PARA MENSURAR A QUALIDADE DE SERVIÇOS DE SUPORTE DE TI DE UMA INSTITUIÇÃO DE ENSINO SUPERIOR À LUZ DE DIMENSÕES E CRITÉRIOS.
Palavras-chaves: QUALIDADE EM SERVIÇOS, SERVIÇOS DE TI, AVALIAÇÃO DA QUALIDADE EM SERVIÇOS.
2
EVALUATION OF THE SERVICE
QUALITY OF INFORMATION
TECHNOLOGY SUPPORT
Abstract: NOWADAYS, THE DISSEMINATION OF THE USE OF THE INFORMATION
TECHNOLOGY (IT) HAS BEEN CONTRIBUTING MORE AND MORE TO THE INCREASE OF THE COMPETITIVENESS OF THE ORGANIZATIONS. HOWEVER, IT IS NECESSARY THAT ANY ORGANIZATION IS ABLE TO USE INFORMAATION TECHNOLOGY EFFICIENTLY AND WITH MOST AVAILABILITY AS POSSIBLE. IN THIS CONTEXT, THE MANAGEMENT AND THE EVALUATION OF IT SUPPORT SERVICES BECOME RELEVANT. IN THE LAST DECADES, SEVERAL MODELS FOR EVALUATING SERVICE QUALITY HAVE BEEN DEVELOPED AND PRACTICES OF MANAGEMENT HAVE BEEN USED IN IT CONTEXT. IN SPITE OF THE EXISTENCE OF SUCH MODELS AND PRACTICES, THEY DO NOT PRESENT EXPLICITLY HOW THE PROCESS OF EVALUATION OF SERVICE QUALITY MUST BE CONDUCTED, NOT EVEN WHICH DIMENSIONS AND CRITERIA MUST BE CONSIDERED. IN ORDER TO CONTRIBUTE TO THE ANALYSIS OF THIS PROBLEM, THIS ARTICLE USES THE MODEL PROPOSED BY ALBERNAZ AND FREITAS (2010) TO EVALUATE THE SERVICE QUALITY OF IT SUPPORT PROVIDED BY A UNIVERSITY CONCERNING SOME DIMENSIONS AND CRITERIA.
3
1. Introdução
A Tecnologia da Informação (TI) vem se mostrando como ferramenta indispensável à sobrevivência organizacional, na medida em que imprime maior velocidade aos processos internos e permite aos gestores um conhecimento/relacionamento amplo com seu ambiente de influência (SANTOS Jr et al., 2005).
Segundo Albernaz e Freitas (2010) o papel da Tecnologia da Informação é sempre adaptável nas organizações e, justamente por essa característica, a sua utilização traz benefícios, desde que a organização saiba utilizar as suas ferramentas de forma adequada aos propósitos organizacionais.
O setor de serviços de suporte de Tecnologia da Informação tem se tornado essencial em apoiar a organização na busca do aumento da eficiência e competitividade. O ponto de partida para essa busca começa na necessidade de saber em que estágio esses serviços se encontram, através da avaliação da qualidade dos mesmos, para somente depois utilizá-los de forma a garantir eficiência e competitividade para a organização.
Apesar da existência de algumas melhores práticas na gestão do setor de TI (ITIL e COBIT) observa-se que estas não apresentam explicitamente como o processo de avaliação da qualidade de serviços de TI deve ser realizado, nem quais dimensões e critérios devem ser considerados. Ou seja, constata-se que ainda existe uma lacuna no tratamento do problema em questão.
Considerando a relevância do tema e visando contribuir para o preenchimento desta lacuna, o presente artigo apresenta um estudo preliminar para a investigação do emprego do modelo de avaliação da qualidade de serviços de suporte de TI à luz de dimensões e critérios relevantes sugerido por Albernaz e Freitas (2010) com o objetivo de verificar a confiabilidade do instrumento de pesquisa e a sua aplicabilidade em uma instituição de ensino superior.
De maneira breve, esse artigo está estruturado da seguinte forma: as seções 2 e 3 abordam, respectivamente, assuntos relacionados à qualidade de serviços e aos serviços de TI; a seção 4 descreve o estudo preliminar; e, a seção 5 apresenta as conclusões e possíveis desdobramentos do presente artigo.
2. Qualidade em Serviços
Segundo Freitas (2005), apesar de muito abordado em pesquisas científicas, o tema “Qualidade em Serviços” ainda é objeto de muitas discussões entre pesquisadores, gerentes e administradores. Em sua essência, este questionamento é decorrente do envolvimento de dois objetos de entendimento não tão triviais: qualidade e serviços. Dentre as principais definições existentes para “serviços”, destacam-se as apresentadas no quadro 1:
QUADRO 1 – Algumas definições de “serviços” cientificamente reconhecidas
Autoria Definição para “serviços”
NBR ISO 9000/2000 (ABNT, 2000)
São os resultados de pelo menos uma atividade desempenhada, necessariamente, pela interface entre o fornecedor e o cliente e é, geralmente, intangível.
Fitzsimmons e Fitzsimmons (2005)
São idéias e conceitos, além da oportunidade de superar os competidores, visto que é uma experiência perecível, intangível, desenvolvida para um consumidor que desempenha o papel de co-produtor, pois este interage na realização do serviço.
4
Kotler (2000) Qualquer ato ou desempenho, essencialmente intangível, que uma parte pode oferecer a
outra, e que não resulta na propriedade de nada. Fonte: Os autores.
Na busca do entendimento do significado para serviços, diversos autores dedicam-se à identificação das principais características dos serviços, dentre os quais destacam-se Parasuraman et al. (1985) que identificam três características dos serviços:
Intangibilidade;
Heterogeneidade;
Simultaneidade.
A dificuldade para definir “qualidade em serviços” possivelmente é decorrente do fato de que serviços apresentam características diferentes de produtos. Mensurar a qualidade de produtos é menos complexa do que mensurar a qualidade de serviços, pois em geral, para produtos, as métricas são bem definidas, há registros das melhores práticas e é possível fazer comparações. Ademais, mensurar qualidade de serviços requer padrões e métricas que nem sempre existem e/ou não são suficientemente objetivos e precisos, além de haver alto nível de personalização.
Entretanto, a avaliação da qualidade em serviços é essencial para que uma organização torne-se competitiva e possua informações acerca das expectativas dos clientes em relação aos serviços recebidos. Neste contexto, Costa et al. (2007) afirmam que um dos procedimentos mais utilizados para avaliar e classificar a qualidade de serviços é através da medição do grau de satisfação do usuário à luz de um conjunto de critérios considerados relevantes, sendo esses critérios predominantemente qualitativos e subjetivos.
Nas últimas décadas, diversos modelos conceituais têm sido desenvolvidos ou aprimorados para ajudar nessa mensuração. Na literatura científica, considera-se relevante o trabalho desenvolvido por Deshmukh et al. (2004), que analisa diversos modelos de mensuração de qualidade em serviços, destacando as principais falhas e limitações. O quadro 2 apresenta alguns desses modelos e trabalhos focados em serviços na área de Tecnologia da Informação.
QUADRO 2 – Modelos de mensuração de Qualidade de Serviços
Modelo Características e limitações
Qualidade de Serviço Percebida
(Gronroos, 1984)
A qualidade do serviço depende da qualidade técnica, funcional e qualidade de imagem corporativa da organização. Não explica como medir a qualidade funcional e técnica.
5 Gaps (Parasuraman et
al, 1985)
Ferramenta analítica que permite a gestão sistemática para identificar as lacunas de qualidade de serviço entre um número de variáveis que afetam a qualidade da oferta. É capaz de ajudar a administração a identificar os fatores de qualidade de serviço relevantes do ponto de vista do consumidor. Considera dez dimensões: confiabilidade, segurança, agilidade, acesso, comunicação, tangíveis, cortesia, credibilidade, competência, conhecimento/saber. Modelo exploratório, não explica claramente o processo de mensuração para medição dos diferentes níveis de Gaps
SERVQUAL (Parasuraman et
al, 1988)
Propuseram a redução das 10 dimensões do modelo dos 5 GAPs para 5 dimensões: tangibilidade, confiabilidade, receptividade, segurança e empatia. Busca medir a qualidade do serviço pela diferença (gap) entre as expectativas do consumidor em relação a algum serviço específico e o desempenho real do serviço. Modelo é exploratório, e não explica claramente o processo de mensuração.
5
SERVPERF (Cronin e Taylor,
1992)
Utiliza as dimensões e itens do SERVQUAL, mas argumenta que a qualidade dos serviços é melhor mensurada considerando apenas as medidas da percepção dos consumidores acerca do desempenho do serviço. Os autores o consideram mais eficiente uma vez que reduz diretamente à metade o número de itens a avaliar. Necessita ser generalizado para todos os tipos de definição de serviços. Deve ser estabelecida a relação quantitativa entre a satisfação do consumidor e a qualidade do serviço.
(Continua) (Continuação)
Modelo Características e limitações
Serviços em TI (Zhu et al. ,2002)
Integra as dimensões do serviços conforme o SERVQUAL, os constructos que representam a qualidade dos serviços baseados em TI, as preferências em serviços tradicionais, experiências baseadas no uso de serviços de TI e políticas de TI percebidas. No estudo, concluem que Serviços baseados em TI têm um impacto direto sobre a confiabilidade, capacidade de resposta e as dimensões de garantia e impacto indireto na satisfação do cliente e qualidade do serviço percebida.
Qualidade em e-services (Santos,
2003)
Fornece uma melhor compreensão de qualidade do e-service. Pode ser útil a empresas que se dedicam ao comércio eletrônico ou planejam fazê-lo, visando atingir alta de retenção de clientes, satisfação do cliente e lucratividade. Estudo exploratório. Utiliza dimensões incubadas ou ativas, mas não fornece escalas de medição específicas e não foi realizada nenhuma análise estatística.
Alinhamento de TI (Berkley e Gupta, 1994)
Apenas destaca o impacto da TI sobre a qualidade do serviço. Não oferece uma maneira de medir e monitorar a qualidade do serviço. O modelo é omisso sobre o nível de uso de TI para as definições de serviço específico.
Fonte: Adaptado de Deshmukh et al (2004)
Neste contexto, observa-se que as limitações identificadas nos modelos de avaliação da qualidade de serviços e, em especial, na avaliação de serviços de TI, retratam a existência de uma lacuna no tratamento do problema em questão. Em particular, observa-se que os modelos de mensuração da qualidade em serviços de TI, quando não a tratam de forma ampla e genérica, englobando todos os serviços, tratam a TI meramente como uma área de Sistemas de Informação. Além disso, as principais práticas utilizadas na área de TI (ITIL – Information Technology Infrastructure Library e COBIT - Control Objectives for Information and related Technology) também não possuem formas explícitas de avaliação, tampouco definem dimensões e critérios para a avaliação dos serviços. Essas práticas apenas evidenciam a importância dessa avaliação e recomendam a sua realização.
3. Serviços de Tecnologia de Informação (TI)
Segundo Laurindo (2000) o conceito de Tecnologia da Informação é mais abrangente do que os processamentos de dados, sistemas de informação, engenharia de software, informática ou o conjunto de hardware e software, pois também envolve aspectos humanos, administrativos e organizacionais.
A realidade dos setores de Tecnologia da Informação é variada e individualizada de acordo com o negócio da organização, seja ele comercial, industrial ou educacional. Existem serviços inerentes ao setor de TI que, de acordo com a estrutura ou necessidade do negócio podem existir todos os serviços ou apenas alguns.
Baseando-se na Classificação Nacional de Atividades Econômicas (CNAE, 2009), referente a atividades de informática e serviços relacionados, delimitam-se os serviços de suporte de TI aos serviços referentes ao suporte de hardware e software, na seguinte hierarquia e subclasse:
6
QUADRO 3 – Classificação de atividades econômicas referente a serviços de informática
Hierarquia Descrição
Seção: J Informação e Comunicação
Divisão: 62 Atividades dos serviços de tecnologia da informação
Grupo: 620 Atividades dos serviços de tecnologia da informação
Classe: 6209-1 Suporte técnico, manutenção e outros serviços em tecnologia da informação
Sub-classe: 6209-1/00 Suporte técnico, manutenção e outros serviços em tecnologia da informação
Fonte: CNAE 2.0 (2009)
Apesar de serviços geralmente possuírem as mesmas características, os serviços de TI possuem peculiaridades que tornam a sua avaliação pelo usuário ainda mais subjetiva. Segundo Peppard (2003), serviços de TI são mais ou menos intangíveis, pois embora a prestação do serviço de suporte possa ter um desfecho predominantemente físico (por exemplo, a instalação de um PC ou a colocação de um cabo de conexão de rede), existem serviços que podem ser totalmente intangíveis, tais como a atualização de um software em PC, treinamento de TI, ou o apoio de um help desk (serviço de apoio a usuários para suporte e resolução de problemas técnicos em tecnologias de informação, informática e telefonia).
Muitos serviços de TI são produzidos e consumidos simultaneamente, como por exemplo, o apoio de um help desk, fato que retrata a dificuldade de controlar a qualidade do serviço durante a prestação. Uma experiência ruim pode impactar na percepção que o usuário terá na próxima vez que utilizar o mesmo serviço, surgindo então a necessidade em avaliar a qualidade do serviço prestado.
Alguns padrões e práticas em gestão de tecnologia da informação foram criados para tentar minimizar esse problema e aumentar a qualidade dos serviços de TI, auxiliando as organizações a terem suas estratégias alinhadas e agregando valor com a utilização de uma gestão de TI. Dentre os principais conjuntos de práticas adotados por TI destacam-se:
COBIT (Control Objectives for Information and Related Technology) inclui recursos tais como um conjunto de ferramentas de implementação e um guia com técnicas de gerenciamento. As práticas de gestão do COBIT são recomendadas pelos peritos em gestão de TI que ajudam a otimizar os investimentos de TI e fornecem métricas para avaliação dos resultados. O COBIT independe das plataformas de TI adotadas nas empresas.
ITIL (Information Technology Infrastructure Library) é o mais adotado pelas organizações. A ITIL é um modelo não-proprietário e público que define as melhores práticas para o gerenciamento dos serviços de TI. Cada módulo de gestão da ITIL define uma biblioteca de práticas para melhorar a eficiência de TI, reduzindo os riscos e aumentando a qualidade dos serviços e o gerenciamento de sua infra-estrutura. A ITIL foi desenvolvida pela Agência Central de Computação e Telecomunicações do Reino Unido (CCTA) a partir do início dos anos 80.
Essas práticas em gestão de TI especificam claramente a necessidade de garantir a qualidade em serviços e para isso é necessária uma avaliação mais próxima da realidade da organização. Porém, as diretrizes desses modelos não mostram como essa avaliação deve ser feita, muito menos que dimensões e critérios devem ser usados nessa avaliação.
Devido a importância da mensuração da qualidade dos serviços de suporte de TI, optou-se pela utilização do modelo de mensuração desses serviços sugerido por Albernaz e Freitas (2010) através de um estudo preliminar em uma instituição de ensino superior. A
7
próxima seção mostra esse estudo em detalhes.
4. Estudo de Caso
O modelo aplicado nesse estudo possui uma abordagem diferenciada em relação a maioria dos trabalhos desenvolvidos para a área de TI. A proposta é que este seja específico para avaliar a qualidade dos serviços de suporte de TI a partir da mensuração do grau de satisfação dos avaliadores à luz dos critérios considerados, mas que concomitantemente seja amplo para ser aplicável a qualquer ambiente que possua uma estrutura de TI, independente desta ser de grande ou pequeno porte. (Albernaz e Freitas, 2010).
O modelo possui 4 etapas (Modelagem, Execução, Análise e Ação) sendo que somente as 3 primeiras etapas fizeram parte desse estudo.
ETAPA 1 - Modelagem
a) Objeto Avaliado: O estudo de caso buscou investigar a aplicação do modelo proposto por
Albernaz e Freitas (2010) em uma Instituição de Ensino Superior (IES) em Campos dos Goytacazes/RJ. Como se trata de um estudo preliminar, a identificação da IES foi preservada. Foram avaliados os serviços de suporte prestado pelo setor de TI em um único campus da instituição.
b) Conjunto de Avaliadores: O conjunto de avaliadores foi composto de professores,
funcionários e estudantes (bolsistas e estagiários). Todos utilizaram os serviços de suporte de TI da instituição no período de 03 de maio de 2010 a 17 de junho de 2010. O Bloco I do instrumento de pesquisa é composto de itens que visam estabelecer um perfil do avaliador.
c) Escalas de Julgamentos: A escala de julgamento utilizada foi a escala não comparativa
contínua (vide Figura 1). Segundo Albernaz e Freitas (2010) a utilização desse tipo de escala não é comum em trabalhos de avaliação em qualidade de serviços, mas ela possibilita que o tratamento dos dados utilize mais ferramentas estatísticas e de classificação, além de permitir ao avaliador a possibilidade de expressar a sua satisfação de forma menos restrita.
Figura 1 – Escala utilizada no instrumento de pesquisa
d) Dimensões e Critérios: As dimensões e critérios utilizados foram definidos baseados na
literatura científica existente e nos momentos da verdade do ciclo de serviços de suporte de TI. O bloco II do instrumento de pesquisa é composto de critérios à luz dos quais os avaliadores expressaram o seu Grau de Satisfação com os serviços de suporte de TI, distribuidos em forma de sentenças.
QUADRO 4 – Dimensões e critérios utilizados na avaliação dos serviços
Dimensões Critérios
Tangibilidade
C1. Adequação e utilidade dos equipamentos e ferramentas utilizados pelo profissional. C2. Adequação e atualidade dos softwares utilizados no atendimento.
C3. Instalações físicas do setor de serviço. C4. Forma como é feita a solicitação de serviço. C5. Aparência dos profissionais.
8
Confiabilidade
C7. Prestação do serviço conforme especificação prometida. C8. Prestação do serviço corretamente na primeira vez. C9. Interesse do profissional em resolver os problemas.
C10. Precisão das informações fornecidas a respeito do serviço prestado. C11. Registros escritos feitos de todo o serviço prestado.
C12. Cumprimento do prazo prometido.
Receptividade
C13. Informações de quando o serviço será executado. C14. Atendimento imediato da solicitação.
C15. Disponibilidade do profissional para atender as solicitações. C16. Tempo de espera para ser atendido.
C17. Velocidade do atendimento. C18. Tempo de execução do serviço.
(Continua) (Continuação)
Dimensões Critérios
Garantia
C19. Confiança que o profissional inspira.
C20. Segurança do profissional na prestação do serviço. C21. Competência do profissional para a execução do serviço. C22. Facilidade para entrar em contato com o profissional. C23. Facilidade na resolução de problemas.
Empatia
C24. Individualização do serviço para atender as necessidades dos clientes. C25. Educação do profissional no atendimento.
C26. Conhecimento do profissional em relação ao negócio do cliente. C27. Atenção do profissional na solicitação.
C28. Entendimento do profissional em relação a necessidades específicas. C29. Segurança do profissional ao negociar problemas de atendimento. C30. Cortesia do profissional.
Flexibilidade
C31. Flexibilidade no horário de atendimento. C32. Flexibilidade na forma de pagamento.
C33. Flexibilidade para aquisição de peças de reposição. C34. Flexibilidade para alterações no serviço a ser realizado.
Custo C35. Compatibilidade do serviço realizado com o valor cobrado.
C36. Compatibilidade do valor das peças de reposição com o valor de mercado. Fonte: Albernaz e Freitas (2010)
e) Procedimento de Estabelecimento de Índices: Considerando que GSij(X) representa o Grau de Satisfação estabelecido pelo avaliador i (i = 1,..., m) com o desempenho do serviço “X” avaliado à luz do critério j (j=1,..., n), os julgamentos dos avaliadores foram agregados para compor os índices contidos no quadro 5.
QUADRO 5 – Índices estabelecidos
Índice Significado m ) X ( GS ) X ( GS m i ij j
1(1) Grau de Satisfação Médio dos m avaliadores com o
desempenho dos serviços avaliados à luz do critério j
t n j m i ij D GS (X ) m n ) X ( GS t t
1 1 (2)Grau de Satisfação Médio dos m avaliadores com o
desempenho dos serviços avaliados à luz dos nt critérios
pertencentes à Dimensão Dt:. n m ) X ( GS ) X ( GS n j m i ij
1 1 (3)Grau de Satisfação Médio dos m avaliadores com o desempenho dos serviços avaliados à luz de todos os critérios.
9 n ) X ( GS ) X ( GS n j ij i
1 (4)Grau de Satisfação Médio do avaliador i com o desempenho dos serviços avaliados à luz de todos os critérios.
ETAPA 2 - Execução
a) Coleta de Dados: A coleta de dados ocorreu entre os dias 16 e 30 de junho de 2010. Os
avaliadores foram definidos por meio de um relatório gerado pelo sistema utilizado pelo setor de serviços de suporte de TI da IES, contendo os atendimentos ocorridos entre 03/05/2010 a 17/06/2010. Ou seja, o tempo máximo transcorrido após o atendimento foi de 45 dias, tempo em que se considera que os usuários sejam capazes de se lembrar do atendimento recebido.
A intenção inicial era que o avaliador fosse abordado e respondesse o instrumento de pesquisa no mesmo instante. Mas durante as primeiras abordagens foi verificado que os avaliadores se sentiam intimidados com a presença da pesquisadora. Além disso, como na maioria das vezes eles se encontravam no ambiente de trabalho, considerou-se que aquele momento não era propício para realizar a avaliação. Esses dois fatores poderiam invalidar a pesquisa com avaliações precipitadas e incoerentes. Sendo assim, optou-se por entregar o instrumento de pesquisa aos avaliadores em seus setores de trabalho para que eles pudessem responder no momento que melhor lhes conviessem. Entretanto, o recolhimento do instrumento de pesquisa acontecia no máximo 24 horas após a solicitação da avaliação, pois após esse prazo foi verificado que o avaliador esquecia-se de fazer a avaliação.
Foram distribuídos 38 questionários. Desses, 31 foram devolvidos, dos quais 29 foram considerados válidos para análise. Os dados foram tabulados em uma planilha eletrônica, com o objetivo de calcular os Índices estabelecidos e proceder a análise e interpretação dos dados.
ETAPA 3 – Análise e Interpretação dos dados
a) Bloco I: Com o objetivo de entender melhor o avaliador e a forma como ele se relaciona
com os serviços avaliados, foi traçado o seu perfil (os resultados encontram-se na Tabela 1). Analisando esse bloco, é possível observar que 65,5% dos avaliadores são do gênero feminino e 75,9% possuem o nível superior como escolaridade mínima (34,5% - Superior e 41,4 – Pós-Graduação). Analisando a forma como esses avaliadores relacionam-se com os serviços avaliados observa-se que 79,3% utilizam os serviços avaliados pelo menos 1 vez por semana. Esse resultado sinaliza que parte significativa dos avaliadores tem acesso constante aos serviços de TI, sendo propensos a avaliar adequadamente a qualidade desses serviços.
TABELA 1 – Resultado da análise dos itens pertencentes ao Bloco I do questionário
Escolaridade Freq. % Frequência Freq. % Gênero Freq. %
Fundamental 0 0,0 1 vez por semana (ou mais) 23 79,3 Feminino 19 65,5
Médio 7 24,1 1 vez por mês 5 17,2 Masculino 10 34,5
Superior 10 34,5 1 vez por semestre 1 3,4
Pós-graduação 12 41,4 1 vez por ano 0 0,0
Soma 29 100 Soma 29 100 Soma 29 100
b) Bloco II: O bloco II é composto de critérios à luz dos quais os avaliadores expressaram o
seu grau de satisfação com os serviços de suporte de TI. Como todos os critérios de cada dimensão possuem a mesma escala de avaliação, optou-se por utilizar o coeficiente alfa (α) de Cronbach para verificar a confiabilidade de cada dimensão do Bloco II.
10
Segundo Litwin (1995) o teste de confiabilidade é imperativo e mede o desempenho de um instrumento em uma dada população evitando o agrupamento de questões aparentemente relevantes. Ainda segundo Freitas et al. (2000) a validade e a confiabilidade são requisitos essenciais para uma medição.
O coeficiente α de Cronbach, com α [0,1], é calculado a partir da variância dos critérios individuais e das covariâncias entre os critérios, por meio da equação (5). Nessa equação, k é o número de critérios da dimensão, Si2 é a variância do critério i, e St2 é a variância total da dimensão.
2 1 2 1 1 t k i i S S k k (5) Ressalta-se que a dimensão custo não foi analisada nesse estudo pois os serviços de suporte de TI da instituição estudada é fornecido gratuitamente.Os valores de α obtidos a partir dos julgamentos dos avaliadores à luz de cada critério são apresentados na tabela 2.TABELA 2 – Resultado da análise dos itens pertencentes ao Bloco II do questionário
Item GS(X)j GS(X)Dt Correlação Item Total α α se o item for excluído
D1 T a ng ibi li da de C1 73,90 68,23 0,6106 0,8512 0,8334 C2 65,90 0,6531 0,8232 C3 52,09 0,7065 0,8128 C4 83,41 0,6481 0,8244 C5 75,32 0,6218 0,8293 C6 58,73 0,6005 0,8359 D2 Co nfia bil ida de C7 72,23 71,63 0,8510 0,9369 0,9202 C8 68,21 0,8551 0,9196 C9 78,07 0,8499 0,9213 C10 71,44 0,9280 0,9121 C11 69,11 0,6785 0,9405 C12 70,72 0,7609 0,9364 D3 Rec ept iv ida de C13 64,69 65,20 0,9124 0,9534 0,9378 C14 61,21 0,9481 0,9337 C15 60,85 0,8864 0,9414 C16 65,41 0,8375 0,9466 C17 68,71 0,7597 0,9548 C18 70,31 0,7946 0,9512 D4 G a ra ntia C19 72,38 73,54 0,8253 0,9424 0,9325 C20 70,71 0,9160 0,9170 C21 68,44 0,9057 0,9178 C22 84,46 0,7063 0,9525 C23 71,68 0,8975 0,9191 D5 E mp a tia C24 75,44 78,23 0,8074 0,9249 0,9118 C25 86,55 0,7996 0,9099 C26 75,04 0,7752 0,9128 C27 82,69 0,6922 0,9205 C28 71,42 0,7023 0,9205 C29 75,08 0,8127 0,9116 C30 81,92 0,8248 0,9071
11 D6 Fl ex ib il id a d e C31 71,59 65,11 0,6567 0,8251 0,7940 C32 --- --- --- C33 60,33 0,7370 0,7009 C34 63,40 0,6705 0,7782 α Geral 0,9056 GS(X) 71,66
Analisando os dados desta tabela algumas observações foram feitas:
O alfa de Cronbach geral foi de 0,9056 (quando todos os critérios foram considerados). Contudo, não faz sentido considerar este valor para efeito de análise, pois há dimensões que compõem o instrumento com valores de alfa inferiores (dimensões D1 e D6, cujos valores de alfa são 0,8512 e 0,8251, respectivamente). Como todos os valores de α são superiores a 0,80, o instrumento apresenta confiabilidade alta em todas as dimensões.
A dimensão Flexibilidade possui confiabilidade alta, mas um pouco díspare das demais, α= 0,8251. Esse fato pode ser explicável por três aspectos: (i) dos 4 critérios que compõem essa dimensão, um não pôde ser avaliado (C32) por ser referente a valor monetário, devido a caracteristica da instituição avaliada (a confiabilidade é influenciada pela quantidade de critérios); (ii) muitos avaliadores não avaliaram alguns critérios dessa dimensão, e; (iii) para os critérios dessa dimensão, muitos avaliadores estabeleceram valores extremos (zero ou 100). Estes aspectos revelam a necessidade de reavaliar esta dimensão em outro estudo.
A última coluna apresenta o valor de α caso um critério seja excluído da dimensão a qual pertence. Na maioria dos casos (exceto os critérios da dimensão Flexibilidade, pelos mesmos motivos apresentados), caso um critério seja extraído, a confiabilidade da dimensão à qual ele pertence mantem-se inalterada em sua primeira casa decimal. Como exemplo, cita-se o critério C26 da dimensão Empatia: a confiabilidade da dimensão é 0,9249, se esse critério for excluído, a confiabilidade da dimensão se torna 0,9126, redução que pode ser considerada irrelevante. Este fato revela que os critérios são importantes às suas dimensões e não devem ser excluídos. Porém, cabe ao pesquisador avaliar se um aumento ou diminuição a esse nível será relevante para a pesquisa.
As correlações item-total são correlações entre um item (critério) e a soma total de pontos obtidos pelos critérios que avaliam a dimensão a que este critério pertence (a soma não inclui a pontuação do critério correlacionado) (HAYES, 2003). Neste estudo não houve um critério com correlação baixa (em geral, com valor inferior a 0,50).
O Grau de Satisfação Geral foi 71,66 e as dimensões que propiciaram maior e menor satisfação foram Empatia (D5) e Flexibilidade (D6), respectivamente. Entretanto, uma análise mais precisa deve considerar o Grau de Satisfação Médio à luz de cada critério (denotado por GS(X)j e obtido pela Equação 1), pois é relevante que a instituição
monitore os índices de satisfação e priorize a investigação dos motivos que ocasionam maior insatisfação dos usuários. Uma das técnicas de fácil implementação e entendimento pelos gestores consiste na Análise dos Quartis, proposta por Freitas et al. (2006). Nesse estudo, critérios cujo valor de GS(X)j for menor que o valor do primeiro Quartil
12
Prioridade Crítica (critérios que têm prioridade crítica para realização de ações corretivas/preventivas). Os próximos critérios mais críticos seriam aqueles cujo valor de
j
) X (
GS estaria entre o primeiro e o segundo Quartil (critérios de Alta Prioridade) e assim por diante. A tabela 3 revela que os critérios mais críticos estão associados à prestação do serviço de suporte propriamente dito (informações de quando o serviço será executado (C13), atendimento imediato à solicitação (C14), disponibilidade do profissional para atendimento (C15), quantidade de funcionários para atendimento rápido (C6), e tempo de espera para ser atendido (C16)), flexibilidade (para compra de peças de reposição (C33) e para alteração no serviço (C34), adequação/atualidade dos softwares utilizados no atendimento (C2) e instalações físicas do setor de serviço (C3).
TABELA 3 – Resultado da Análise dos Quartis
Classificação da Prioridade dos Critérios
Crítica C3 C6 C33 C15 C14 C34 C13 C16 C2 52,09 58,73 60,33 60,85 61,21 63,40 64,69 65,41 65,90 1o quartil = 65,90 Alta C8 C21 C17 C11 C18 C20 C12 C28 68,21 68,44 68,71 69,11 70,31 70,71 70,72 71,42 2o quartil = 71,42 Moderada C10 C31 C23 C7 C19 C1 C26 C29 71,44 71,59 71,68 72,23 72,38 73,90 75,04 3o quartil = 75,08 Baixa C5 C24 C9 C30 C27 C4 C22 C25 75,32 75,44 78,07 81,92 82,69 83,41 84,46 86,55
c) Bloco III: O objetivo deste bloco era captar o Grau de Satisfação Geral de cada avaliador.
A atribuição de um grau de satisfação geral solicitada ao avaliador através de uma sentença (Informe sua satisfação geral com o serviço recebido) fornece de imediato um valor que ele julga ser o mais apropriado a sua avaliação. Entretanto, ao calcular o Grau de Satisfação Geral utilizando as avaliações feitas por ele à luz de todos os critérios (conforme a Equação 4), observa-se que existem casos em que os valores (Grau de Satisfação Geral Estimado e Grau de Satisfação Geral Calculado) são bem próximos, mas há outros com valores muito discrepantes. A tabela 4 apresenta os valores obtidos.
TABELA 4 – Grau de Satisfação Geral (Estimado) e Grau de Satisfação Geral (Calculado)
Avaliador Satisfação Geral
(Estimado) GS(X)i Avaliador Satisfação Geral (Estimado) GS(X)i A1 70 57,67 A16 70 70,69 A2 97 92,68 A17 70 76,25 A3 90 75,81 A18 80 71,92 A4 80 82,35 A19 70 55,86 A5 90 76,33 A20 70 72,96 A6 --- 96,36 A21 70 62,07 A7 80 90,00 A22 50 57,58 A8 100 92,59 A23 80 61,88 A9 80 73,48 A24 70 91,06 A10 50 40,71 A25 90 89,60 A11 95 89,31 A26 80 76,88 A12 80 79,38 A27 60 22,53 A13 95 65,00 A28 29 86,94
13
A14 70 71,52 A29 85 28,13
A15 70 70,63
Além disso, a correlação linear entre os valores de Grau de Satisfação Geral (Estimado e Calculado) pode ser considerada baixa (r = 0,34). Esse resultado revela que apesar do avaliador ter uma idéia imediata da sua satisfação, ao longo de sua avaliação à luz de vários critérios, essa realidade pode mudar. Por outro lado, em estudos futuros, é possível estabelecer uma margem de aceitação na qual a diferença entre os valores de Grau de Satisfação Geral (Estimado e Calculado) possa ser considerada coerente. Em outras palavras, essa comparação é uma forma de perceber entre n avaliações aquelas que podem ser consideradas “pontos fora da curva” e assim serem retiradas da análise.
Neste bloco também foram inseridas três questões abertas com o intuito de captar outros aspectos que trazem satisfação e insatisfação dos usuários, assim como um espaço para sugestões. Os respondentes (24%) manifestaram satisfação com os seguintes aspectos: atendimento (rápido, educado, pronto atendimento por telefone), melhora da qualidade dos materiais que servem às tecnologias (toner, etiquetas, impressoras), e, vontade e desejo na busca pela solução. Por outro lado, 34% dos respondentes revelaram insatisfação em relação aos seguintes aspectos: mão-de-obra (bolsistas despreparados, bolsistas com limitação de tempo, alta rotatividade no atendimento e na execução), falta de equipamentos solicitados (teclado), ter que fornecer informações que o usuário não sabe responder (IP da rede), não há programas que os usuários necessitam, e dificuldade em resolver problemas específicos (impressora e internet). Essas informações, uma vez apresentadas ao gestor da IES (ou Gerente de TI), podem contribuir para o estabelecimento de ações que visem a melhoria dos serviços prestados.
5. Conclusões
Mensurar a qualidade de serviços - em especial, serviços de suporte de TI - é uma tarefa complexa e de difícil compreensão. De maneira sucinta, as dificuldades associadas a este problema estão relacionadas a inexistência de consenso entre os pesquisadores, gerentes, administradores acerca: (i) do significado de “qualidade de serviços”; (ii) de quais são as dimensões e critérios mais adequados para mensurar a qualidade de um serviço específico; (iii) qual é o modelo de avaliação da qualidade de serviço mais adequado; (iv) qual a melhor escala de avaliação a utilizar; etc. O mesmo raciocínio pode ser estendido às normas técnicas de gestão da Qualidade e às principais práticas de gerenciamento de TI.
A partir deste estudo preliminar pode-se verificar a confiabilidade do instrumento de pesquisa e verificar que os critérios foram facilmente compreendidos pelos avaliadores. Entretanto, é preciso considerar que a maioria dos respondentes possuía nível superior de escolaridade, fato que pode ter contribuído para essa conclusão. Também foi constatado que o número de critérios não foi excessivo e foi considerado suficiente para a avaliação.
É importante ressaltar que a coleta de dados foi realizada com o instrumento de pesquisa impresso e entregue in loco, e que mesmo sendo considerada uma amostra pequena, de respondentes:
A coleta foi considerada cansativa e desgastante. Em vista disso, a sugestão feita por Albernaz e Freitas (2010) de que a pesquisa seja realizada (parcialmente ou totalmente) através da implementação do questionário em formato web elaborado pelo Sistema SADE
14
- Sistema Avançado de Coleta e Análise de Dados para o Auxílio à Decisão (Gonçalves e Freitas, 2010), pode permitir a obtenção de uma amostra maior e uma coleta de dados menos trabalhosa. O pesquisador poderá exportar os dados coletados para uma planilha eletrônica para que possam ser analisados utilizando os métodos de sua preferência.
A Análise dos Quartis permitiu classificar os critérios de acordo com a criticidade, em termos de Grau de Satisfação, podendo ser considerados para fins de melhoria nos serviços prestados. Tais resultados serão comparados com resultados obtidos em estudos posteriores.
O resultado do Grau de Satisfação Geral de cada avaliador (Estimado e Calculado, conforme a Tabela 3) revela que o nível de satisfação dos usuários com os serviços de suporte de TI na IES não é homogêneo. Considerando amostras maiores, é possível estabelecer clusters de usuários de acordo com o nível de satisfação (por exemplo, usuários com satisfação baixa, média e alta) e identificar os critérios que influenciam estes níveis de satisfação. Também notou-se que os valores de Grau de Satisfação Geral (Estimado e Calculado) estão fracamente correlacionados.
As respostas das questões abertas (Bloco III), uma vez apresentadas ao gestor da IES (ou Gerente de TI) podem contribuir para a definição de ações que visem a melhoria dos serviços prestados.
Os resultados obtidos nesse estudo serão comparados com resultados obtidos em uma nova pesquisa, que utilizará o sistema SADE nessa mesma Instituição de Ensino Superior. É nessa vertente que se direciona a continuidade desse trabalho.
Agradecimentos
Os autores agradecem o apoio à realização desta pesquisa concedido pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico – CNPq.
Referências
ALBERNAZ, C.M.; FREITAS, A.L.P. Um modelo para avaliação da qualidade de serviços de suporte de Tecnologia da Informação. Anais do XXX ENEGEP, 2010.
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. Sistemas de gestão da qualidade - Requisitos: NBR ISO 9001. Rio de Janeiro, 2000.
BERKLEY, B.J. & GUPTA, A. Improving service quality with information technology. International Journal of Information Management, Vol. 14, pp. 109-21.
COBIT. Modelo de Gestão de Governança de Tecnologia da Informação. Disponível em: http://www.isaca.org/Template.cfm?Section=COBIT6&Template=/TaggedPage/TaggedPageDisplay.cfm&TPLI D=55&ContentID=7981. Acessado em 15 de Dezembro de 2009.
CNAE. Classificação Nacional de Atividades Econômicas. Disponível em:
http://www.mte.gov.br/cnae/pesquisa.asp. Acessado em 20 de Janeiro de 2010.
COSTA, H. G. & MANSUR, A. F. U. & FREITAS, A. L. P. & CARVALHO, R. A. ELECTRE TRI aplicado a avaliação da satisfação de consumidores. Produção. v. 17, n. 2, p. 230-245, Maio/Ago. 2007.
CRONIN, J.J. & TAYLOR, S.A. Measuring service quality: a reexamination and extension. Journal of Marketing, Vol. 6, July, pp. 55-68. 1992.
DESHMUKH, S. G. & SETH, N. & VRAT, P. Service quality models: a review. Emerald Research. 2004. FITZSIMMONS, J. A. & FITZSIMMONS, M. J. Administração de Serviços: Operações, Estratégia e Tecnologia de Informação. 4.ed. Porto Alegre: Bookman, 2005.
15
julho/setembro 2000.
GONÇALVES, T. J. M. & FREITAS, A. L. P. SADE: Sistema Avançado de Coleta e Análise de Dados para o Auxílio à Decisão. Versão 1.0. Disponível em: <http://www.sistemasade.com.br>. Acesso em: 30 mar. 2010. GRONROOS, C. A service quality model and its marketing implications. European Journal of Marketing, v. 18 n. 4, pp. 36-44. 1984.
HAYES, B. Medindo a satisfação do cliente: desenvolvimento e uso de questionários. Ed. Qualitymark, 2003. IT GOVERNANCE INSTITUTE. ITIL introduction. Office of government commerce. Disponível em: <www.ogc.org.uk>. Acessado em 13 de julho de 2009.
KOTLER, P. Administração de Marketing. 10ed. São Paulo: Atlas, 2000.
LAURINDO, F.J.B. Um estudo sobre a avaliação da eficácia da tecnologia de informação nas organizações. Tese de Doutorado em Engenharia de Produção apresentada à USP, 2000.
LITWIN, M.S., How to measure survey reliability and validity, Sage Publications, Inc, Survey Kit. 7, 1995. PARASURAMAN, A. & ZEITHAML, V. A. & BERRY, L. L A conceptual model of service quality and its implications for future research. Journal of Marketing , 1985.
PARASURAMAN, A. & ZEITHAML, V. A. & BERRY, L. L. SERVQUAL: a multiple-item scale for Measuring customer perceptions of service quality. Journal of Retailing, 1988.
PEPPARD, J. Managing IT as a Portfolio of Services. Cranfield School of Management. European Management Journal Vol. 21, No. 4, pp. 467–483, 2003.
SANTOS Jr. S. & FREITAS, H. & LUCIANO, E. M. Dificuldades para o uso da tecnologia da informação. RAE-eletrônica, v. 4, n. 2, Art. 20, jul./dez. 2005.
SANTOS, J. E-service quality: a model of virtual service quality dimensions. Managing Service Quality, v. 13 n. 3, pp. 233-46.2003.
ZHU, X. F. & WALTER, W. Jr. & INJAZZ, C. IT-based services and service quality in consumer banking. International Journal of Service Industry Management. Bradford: v. 13, n. 1, p. 69. 2002
