XI SIMPEP – Bauru, SP, Brasil, 08 a 10 de novembro de 2004
Discussão de experimentos para determinação de serviço robusto
Marcelo Menezes (UAM) marcelo.menezes@poli.usp.br
Resumo
Este trabalho faz um apanhado de recentes estudos realizados sobre a utilização de planejamento de experimentos no desenvolvimento de projeto de serviços. Faz também
uma complementação destes estudos visando uma maior consistência teórica. Palavras chave: Robusto, Efeito, Resíduo
1. Introdução
O objetivo deste artigo é fazer uma discussão da aplicação de planejamento de experimentos em projeto de serviços, conforme o método desenvolvido em Menezes (2001), fazendo algumas incursões na verificação da adequação do modelo estatístico utilizado, como: a verificação da distribuição dos resíduos e o comportamento da variância residual.
2. Desenvolvimento do método
Menezes (2001) definiu Serviço Robusto, como uma extensão do conceito de Produto Robusto definido por Taguchi (TAGUCHI,1986,1993; ROSS,1988; PHADKE,1989). Utilizando as técnicas de planejamento de experimentos (MONTGOMERY,1976), é possível determinar os parâmetros do projeto de um serviço, de forma que seu desempenho seja pouco sensível aos fatores de ruído, da mesma forma que é feita em produtos.
A principal diferença entre as duas situações é que Menezes considera que a principal fonte de ruído está no cliente.
Para a realização dos experimentos foi necessário idealizar o laboratório de serviços. Esta idéia consiste em criar um ambiente de operação do serviço, artificialmente, com clientes fictícios.
A variável resposta do experimento é a avaliação que o cliente faz das diversas combinações de fatores e níveis.
Existe uma grande discussão, entre os principais pesquisadores, sobre a melhor forma de
medir o desempenho de serviços (BUTTLE, 1996; CRONIN e TAYLOR 1992; PARASURAMAN,
ZEITHAML e BERRY, 1985, 1988, 1991, 1994). Escolheu-se o SERVQUAL, desenvolvido por
Parasuraman, Zeithaml e Berry, para ser testado, sem descartar a possibilidade de futuramente utilizar outros métodos.
O SERVQUAL foi adaptado para esta finalidade, pois ele é muito amplo e avalia o serviço como um todo. No nosso caso, o interesse é avaliar somente uma situação específica da operação do serviço, isto é, um subsistema.
3. Os experimentos
Uma série de experimentos foram realizados em Menezes (2001), simulando o atendimento de uma agência de viagens. Os experimentos foram planejados com dois fatores e dois níveis. Um dos fatores é o método de atendimento e o outro fator são as características dos atendentes. Os clientes foram pessoas contratadas para fazer a avaliação do atendimento. Eles experimentaram diversos tipos de atendimento e fizeram a avaliação através do método SERVQUAL adaptado, preenchendo um questionário.
Neste artigo discutiremos somente o último experimento, que foi o mais elaborado.
O experimento consiste em determinar alguns parâmetros do projeto de um serviço de apresentação de um pacote de viagem.
Para a determinação destes parâmetros foi planejado um experimento com dois fatores e dois níveis. Os fatores foram: método de atendimento, com níveis a e b, e grau de treinamento, com níveis treinado e não treinados.
Foram contratados 19 clientes para fazer as avaliações que foram utilizadas como resposta do experimento.
O método b consistiu em uma apresentação de até 15 minutos do pacote de viagem, incluindo um vídeo. A sala de apresentação era um local particularmente agradável: amplo, com mesas redondas bem distribuídas e grandes janelas que possibilitavam uma iluminação natural. No método a o tempo de apresentação era de no máximo 4 minutos e em vez do vídeo havia somente um retroprojetor. A sala era apertada, com carteiras escolares e pouco confortável. Os 19 clientes entraram na sala do método b, onde já se encontrava o apresentador, e anotaram no questionário suas expectativas sobre o serviço que iria ser prestado. Após a apresentação, eles anotaram suas percepções sobre a apresentação. O segundo apresentador entrou na sala e todo o processo foi repetido.
Depois de terminada a segunda apresentação, os clientes dirigiram-se à sala do método a e o mesmo processo foi repetido com os dois apresentadores que utilizaram este método.
Os questionários foram recolhidos depois da última apresentação.
O experimento foi realizado nas dependências de uma Universidade, utilizando seus alunos. Os atendentes treinados eram alunos do curso de Turismo e os não treinados eram alunos do curso de Comunicação. Isto simula uma situação de treinados e não treinados, uma vez que uns são da área de turismo e outros não.
Os clientes eram alunos dos cursos de Administração, Comunicação e Hotelaria.
O autor supõe que a procedência de clientes de diferentes cursos representa fonte de variabilidade na avaliação do serviço, pois eles têm diferentes perfís, sugerindo gostos e exigências diferentes, além do que, existe também sexos diferentes, que pode ocasionar também variabilidade. Supõe também que estas sejam as principais fontes de variabilidade, não havendo clientes de outras procedências. Evidentemente, estas suposições servem apenas para limitar o estudo, pois, na prática, a empresa deve fazer uma pesquisa de mercado para tentar identificar a totalidade das fontes de variabilidade.
Estas fontes de variabilidade são os ruídos do processo. Elas não podem ser controladas, pois, estando no cliente, elas estão presentes a todo momento.
4. Análise dos Resultados do Experimento
Alguns dos valores dos resultados do experimento podem ser considerados outliers. Calculando os resíduos padronizados dos valores mais afastados da média, podemos considerar outliers os valores -3,95 ; -3,5 ; -2,3 . Todos estes valores apresentam resíduos padronizados acima de 2,0.
Efetivamente, as avaliações feitas por estes clientes, afastam-se da maioria, não só em uma combinação, mas também em outras. Isto nos leva a crer que os critérios utilizados por estes clientes são diferentes dos utilizados pela maioria, justificando a retirada. No total foram
retirados 12 valores, pois a retirada de um valor de uma combinação implica na retirada dos outros valores correspondentes ao mesmo cliente.
As tabelas 1 e 2 mostram os novos resultados após a eliminação, e as figuras 1 e 2 os gráficos. método
A B ruídos
Thais Rafael sexo curso FATOR EFEITO SQ g.l. QM F
0 0,2 M H A curso -0,94 14,156 1 14,16 32,26 0 -0,1 M O B método -0,19 0,601 1 0,601 1,37 -0,45 0,25 M T AB interação 0,22 0,788 1 0,788 1,79 0,4 0,1 H E erro 26,330 60 0,439 -0,3 0,4 H L total 41,875 63 -0,2 0 M COM F5% = 3,97
turismo 0,1 -1,4 M Tabela 2 - Análise de Variância das Respostas
0,5 0,1 M do Experimento 1,6 -0,8 M 0 -1,8 M -0,3 0,25 M 0,7 -0,5 M A 0,4 -0,2 M D 1,3 0 H M -0,4 -0,3 H -0,5 0 H soma 2,850 -3,800 média 0,178 -0,238 d.p. 0,613 0,615 curso ampl. 2,100 2,200 Fernanda Bruno
-0,4 -1,5 M H Figura 1 - Gráfico dos Efeitos
-1,2 -1,8 M O 0,25 -1,4 M T -0,7 -1,7 H E 0 -1,15 H L -1,3 -1,7 M COM comuni -1,2 -1 M cação -1,1 -0,7 M -0,3 -0,6 M -1 -1,1 M -1,2 -0,55 M -2,1 -1,4 M A -2,6 0,5 M D
-0,9 -0,6 H M Figura 2 - Gráfico das Interações
-1,7 0,2 H -0,3 -0,8 H soma -15,75 -15,30 n = 16 média -0,984 -0,956 Σ y2 = 57,875 d.p. 0,752 0,660 Σ y = -32 ampl. 2,850 2,300 Σ y/n = -0,5
Tabela. 1 - Respostas do Experimento
EFEITOS -1,2 -1 -0,8 -0,6 -0,4 -0,2 0 A B AB INTERAÇÃO B1 B2 -1,5 -1 -0,5 0 0,5 A1 A2
A análise de variância do experimento, mostrada na tabela 2, revela que houve um efeito altamente significativo, ao nível de 5%, do fator treinamento, o que era esperado. Os clientes avaliaram como melhores os profissionais que já trabalham na área.
Isto mostra indícios de que a variável resposta, que era a grande preocupação do autor, deve estar sendo medida de forma confiável, a despeito de seu caráter subjetivo, pois ela refletiu algo lógico.
Observa-se também, nesta tabela, que a melhor média foi atribuída à atendente Thais. Isto significa que ela satisfez a maioria dos clientes de diferentes procedências, representantes de diferentes fontes de ruídos. Entretanto, a variância da Thais e do Rafael foram muito
próximas. O teste de homogeneidade de variâncias de Bartlett dá um χ2 = 0,828, mostrando
que não há diferença significativa entre as quatro variâncias.
O objetivo deste experimento era identificar dois parâmetros importantes deste projeto de serviço: nível de treinamento e método de apresentação. Os resultados mostraram que apenas um foi possível determinar: é necessário que o apresentador seja treinado. Isto parece óbvio, mas o propósito era comprovar isto numericamente. Quanto ao método de apresentação, embora tenha havido uma ligeira preferência pelo método a, não houve uma diferença significativa entre o método a e b. Considerando então os dois métodos equivalentes, podemos optar pelo método a por uma questão de custo operacional, pois ele é claramente mais econômico, executando o serviço com maior rapidez e com menos equipamentos. Desta forma teremos identificado o segundo parâmetro deste projeto através de outra consideração, também importante. O fato de não haver diferença significativa, de satisfação do cliente entre os métodos, é um resultado útil pois permite adotar o mais simples, sem perda no desempenho.
A análise feita acima, é em termos da resposta (P-E) que é a diferença entre percepção e expectativa. O autor também coloca formas alternativas de medição da resposta. Uma delas é a resposta P, onde é levada em conta somente a percepção. Outra é (P-E0), onde E0 é a expectativa tomada antes do cliente ter qualquer contato com o ambiente do serviço. Esta expectativa é a mesma para todos os atendentes. Estas variantes da resposta levaram às mesmas conclusões da resposta (P-E), em termos dos efeitos dos fatores.
Os clientes também manifestaram suas preferências pelos atendentes, através de um ranking, como mostra a tabela 3. Cada cliente escreveu os nomes dos apresentadores em ordem de preferência, incluindo a possibilidade de empate. Os apresentadores foram pontuados pelos clientes. O primeiro lugar recebeu 4 pontos, o segundo 3, o terceiro 2 e o último 1 ponto. Quando havia empate, os pontos eram rateados. Os pontos recebidos foram somados, gerando a colocação final.
Observe-se que o resultado desta classificação é o mesmo da tabela 1 ( em realidade há uma inversão nos dois últimos lugares, embora quase empatados), pois as médias das respostas associadas aos atendentes concorda com a tabela 3, o que reforça a confiança no método de medição das respostas do experimento.
COLOCA ÇÃO FINAL PONTOS 1º Thais 3 + 3 + 2,5 + 3 + 3 + 3 + 2 + 1 + 3 + 3 + 3 + 3 + 2 + 3 + 0 + 3 + 2,5 + 3 + 3 = 49,0 2º Rafael 2 + 2 + 2,5 + 2 + 2 + 1 + 3 + 3 + 1 + 0 + 0 + 2 + 3 + 2 + 3 + 2 + 1 + 1 + 2 = 34,5 3º Fernanda 1 + 1 + 0 + 1 + 1 + 2 + 1 + 0 + 2 + 2 + 1 + 1 + 1 + 1 + 1 + 0 + 0 + 0 + 0 = 16,0 4º Bruno 0 + 0 + 1 + 0 + 0 + 0 + 0 + 2 + 0 + 1 + 2 + 0 + 0 + 0 + 2 + 1 + 2,5 + 2 + 1 = 14,5
5. Verificação dos pressupostos do modelo estatístico
A verificação dos pressupostos tem como objetivo validar a análise de variância, tornando o experimento confiável.
As respostas do experimento podem ser descritas pelo seguinte modelo linear de efeitos fixos:
yijk = µ + τi + βj + (τβ)ij + εijk para: i=1,2,...,a j=1,2,...,b k=1,2,...,n onde:
yijk = cada uma das respostas do experimento
µ =resposta média
τi = efeito do fator A (desvio devido ao nível i do fator A, com Στi = 0) βj = efeito do fator B (desvio devido ao nível j do fator B, com Σβi = 0) (τβ)ij = interação entre fatores (desvio devido à combinação ij de A e B,
com Σ (τβ)ij = 0, ∀j e Σ (τβ)ij = 0, ∀i)
i j
εijk = erro aleatório
a = número de níveis do fator A b = número de níveis do fator B
n = número de replicações de cada combinação
Se não existisse o erro aleatório, o que é impossível, as variações de y seriam devidas somente aos efeitos dos fatores. Sendo assim, espera-se que a influência do erro seja suficientemente pequena para que a variação em y seja devida na maior parte à influência da variação dos níveis dos fatores. A análise de variância contempla este problema através do cálculo da razão entre as variâncias devidas aos fatores e a variância do erro. Espera-se que o erro tenha uma distribuição normal (com média 0). Espera-se também, que ele tenha uma variância constante não dependente da mudança de níveis dos fatores do experimento.
Para que as conclusões do experimento sejam válidas, é necessário verificar estes pressupostos.
Os resíduos, que são as diferenças entre cada valor de y e a média da combinação fator-nível em que este y se encontra, devem ter uma distribuição aproximadamente normal.
A variância destes resíduos deve ser aproximadamente constante e eles não devem apresentar nenhum tipo de comportamento sistemático que se afaste do aleatório.
método
A B ruídos
Thais Rafael sexo curso -0,176 0,411 M H -0,176 0,111 M O -0,626 0,461 M T 0,224 0,311 H E -0,476 0,611 H L -0,376 0,211 M turismo -0,076 -1,189 M COM 0,324 0,311 M 1,424 -0,589 M -0,176 -1,589 M -0,476 0,461 M 0,524 -0,289 M A 0,224 0,011 M D 1,124 0,211 H M -0,576 -0,089 H
-0,676 0,211 H Figura 3 - Gráfico dos resíduos X média curso ampl. 2,100 2,200 Fernanda Bruno 0,726 -0,266 M H -0,074 -0,566 M O 1,376 -0,166 M T 0,426 -0,466 H E 1,126 0,084 H L -0,174 -0,466 M comuni -0,074 0,234 M COM cação 0,026 0,534 M 0,826 0,634 M 0,126 0,134 M -0,074 0,684 M -0,974 -0,166 M A -1,474 1,734 M D 0,226 0,634 H M
-0,574 1,434 H Figura 4 - Gráfico dos resíduos em ordem cronológica 0,826 0,434 H
ampl. 2,850 2,300 Tabela 4 - Tabela de Resíduos
-2 -1,5 -1 -0,5 0 0,5 1 1,5 2 -1,2 -1 -0,8 -0,6 -0,4 -0,2 0 0,2 0,4 -2 -1,5 -1 -0,5 0 0,5 1 1,5 2
RAFAEL BRUNO FERNANDA THAIS
A tabela 4 mostra estes resíduos. A figura 3 mostra o gráfico dos resíduos contra a média de cada combinação de fatores e níveis.
Observando este gráfico percebemos que, de uma forma geral, parece não haver um correlacionamento entre variância e média. Sendo assim, não há indícios de comprometimento da análise do experimento.
A figura 4 mostra os mesmos resíduos na ordem em que as apresentações foram realizadas. Isto porque, talvez, esta ordem pudesse influir na variabilidade das avaliações (y).
Observando este gráfico, verificamos que não existe nenhum tipo de comportamento identificável em relação a esta ordem cronológica.
A figura 7 mostra um histograma dos resíduos e o teste de aderência de Anderson-Darling com o ajuste da curva da distribuição.
Podemos verificar que a aproximação da distribuição normal é bastante razoável, dando consistência às conclusões do experimento e ao teste de Bartlett.
Figura 7 – Teste de Anderson-Darling
6. Conclusão
Conforme exposto acima, não encontramos nenhuma evidência forte que possa desabonar as conclusões tiradas do experimento.
O projeto robusto deste serviço não foi conseguido. Entretanto, devemos considerar, também, que este é o primeiro experimento deste tipo. Espera-se que um refinamento das condições operacionais de realização, em futuros experimentos, venha melhorar ainda mais os resultados.
7. Referências Bibliográficas
BUTTLE, F. Servqual: review, critique, research agenda. European Journal of Marketing, v.30, n.1, p.8-31, 1996.
CRONIN, J.J.; TAYLOR, S.A. Measuring service quality: a reexamination and extension. Journal of
Marketing, v.56, n.3, p.55-68, 1992.
MENEZES, M. Serviço Robusto: Uma proposta de adaptação do Método Taguchi para utilização em
serviços. São Paulo, 2001. 157p. Tese (Doutorado) - Escola Politécnica, Universidade de São Paulo.
MONTGOMERY, D.C. Design and analysis of experiments. New York, Wiley, 1976. 415 p.
PARASURAMAN, A.; ZEITHAML, V.; BERRY, L. A conceptual model of service quality and its implications for future research. Journal of Retailing, v.49, n.2, p.41-50, 1985.
__________. SERVQUAL: a multiple item scale for measuring consumer perception of service quality.
Journal of Retailing, v.67, n.1, p.12-37, 1988.
. Refinement and reassesment of the SERVQUAL. Journal of Retailing, v.67, n.4, p.420-51, 1991.
. Reassesment of expectations as comparison standard in measuring service quality: implications for further research. Journal of Marketing, v.58, n.1, p.111-24, 1994.
. Alternative scales for measuring service quality: a comparative assesment based on psychometric and diagnostic criteria. Journal of Retailing, v.70, n.3, p.201-230, 1994.
PHADKE, M.S. Quality engineering using robust design. New Jersey, PTR Prentice-Hall, 1989. 334p. ROSS, J.P. Taguchi techniques for quality engineering. New York, McGraw-Hill,1988. 279p.
TAGUCHI, G. Introduction to quality engineering: designing quality into products and process. Tokyo, Asian Productivity Organization, 1986. 191 p.
