APLICAÇÃO DA TEORIA DA RESPOSTA AO ITEM NA
GESTÃO DA QUALIDADE: PROPOSTA DE UM MODELO
PROBABILÍSTICO
João Welliandre Carneiro Alexandre(1) Dalton Francisco de Andrade
Alan Pereira de Vasconcelos Ana Maria Souza de Araujo
Departamento de Estatística e Matemática Aplicada-UFC
Campus do Pici, Bloco 910 – CEP 60455-760 – Fortaleza CE - (1) e-mail: jwca@ufc.br
ABSTRACT:
In this article we propose the use of models of item response theory(IRT) in the constructs analysis of the total quality management(TQM), as an alternative to the measure classical theory(MCT). Interpretations of the models parameters are done. The results show that the IRT can be a powerfull tool in the analysis of TQM practices implementations and organizational maturity in quality philosophy.
Keywords: Total Quality Management, Item Response Theory, TQM Constructs Analysis 1. Introdução
Pesquisas organizacionais para a avaliação dos fatores críticos de sucesso na implantação da Gestão pela Qualidade Total - GQT foram introduzidas por SARAPH et al.(1989). Este trabalho, que pode ser considerado pioneiro nesta linha de pesquisa, sugere um construct para a modelagem dos fatores críticos da GQT, como também, apresenta um conjunto de práticas, isto é, medidas operacionais da qualidade para a medição destes constructs. Sugiram, então, diversos outros trabalhos nesta linha: BADRI (1994), TAMIMI (1995), TAMIMI et al. (1995), TAMIMI e GERSHON (1995), AHIRE (1996), HUQ e STOLEN (1998), ALEXANDRE (1999).
Uma abordagem comum derivada destas pesquisas consiste em que a análise decorrente dos resultados tem como ênfase o instrumento de medição – questionário, como um todo: medidas estatísticas descritivas e técnicas de inferência estatística são geralmente aplicadas. Esta abordagem é denominada de Teoria Clássica de Medida (TCM) (CRONBACH, 1951).
Contudo, outros questionamentos surgem dentro do processo de análise destas pesquisas: 1. Como modelar probabilisticamente o grau de dificuldade de uma organização
implantar uma prática da GQT?
2. Como modelar probabilisticamente a discriminação entre as organizações quanto ao seu grau de maturidade na implantação de uma prática da GQT?
3. Como representar o nível de maturidade organizacional quanto à GQT, através de um modelo probabilístico?
A resposta para estas questões passa necessariamente pela utilização de modelos que valorizem o item (questão) específico. Contudo, a literatura é carente em estudos destes modelos dentro da GQT.
A proposta portanto, deste artigo, é contribuir nesta linha de pesquisa sugerindo um modelo probabilístico na análise dos construts da GQT, baseado na Teoria da Resposta ao Item – TRI, a qual tem aplicação bastante difundida na área educacional. Para maiores
detalhes ver LORD (1980), GRANGER et al. (1998) DeRAOS e MEARES (1998), ANDRADE (1999), ANDRADE et al. (2000).
O foco deste artigo baseia-se na definição e interpretação dos parâmetros do modelo sugerido, no estudo de sua adequabilidade e na discussão de uma aplicação.
2. A TRI Aplicada na GQT
O modelo apresentado abaixo é adequado para situações onde o construct é medido através de um questionário estruturado, isto é, objetivo, com respostas dicotomizadas, ou quando a análise é feita de forma dicotomizada dentro de uma avaliação subjetiva – aberta. Como ilustração pode ser citado: implantação da GQT satisfatório ou não satisfatória, implantação acima ou abaixo da média, implantação efetiva ou não efetiva, etc.
2.1 O Modelo Geral para Itens Dicotomizados
Este modelo, representado pela Figura 1, é denominado de Modelo Logístico de Três Parâmetros. É definido por
) b ( Da i i j ij i j i e 1 1 ) c 1 ( c ) / 1 U ( P − θ − + − + = θ =
Com i = 1, 2, 3, ... , p (representando as p práticas da GQT que medem o construct) j = 1, 2, 3, ... , n (representando as n organizações pesquisadas)
Classificando-se “implanta ou não implanta” satisfatoriamente as práticas da GQT como forma dicotomizada de representar as sentenças, interpreta-se como:
- Uij uma variável dicotômica, que assume o valor 1 (um) quando a j-ésima organização implanta satisfatoriamente a prática da GQT, ou assume 0 (zero) quando a j-ésima organização não implanta satisfatoriamente.
- θj representa o grau de maturidade quanto à GQT da j-ésima organização. Define-se como maturidade o nível de implantação na organização das práticas da GQT.
- P(Uij = 1/θj ) é a probabilidade da j-ésima organização com grau de maturidade θj aplicar satisfatoriamente a i-ésima prática da GQT.
- bi é o parâmetro que representa a dificuldade de implantação da i-ésima prática, medido na mesma escala da maturidade.
- ai é o parâmetro que representa o poder de discriminação das organizações na i-ésima prática, com valor proporcional à inclinação da curva no ponto bi.
- ci é o parâmetro que representa a probabilidade da uma organização com baixo grau de maturidade θj implantar a prática da GQT.
- D é um fator de escala, constante e igual a 1. Quando se deseja comparar este modelo com os resultados obtidos através da função ogiva normal, utiliza-se D=1,7. Contudo, este não é o objetivo deste trabalho e, neste sentido, o valor de D=1.
2.2 Interpretação dos Parâmetros e Adequação do Modelo Interpretação parâmetro b
Este parâmetro é medido na mesma escala da maturidade θ. Na área educacional ele está associado à dificuldade de um indivíduo responder corretamente uma questão. No contexto da qualidade ele está associado ao grau de dificuldade de uma organização implantar a
prática da GQT: à medida que b cresce, aumenta o grau de dificuldade de implantação das
práticas (o que significa que poucas organizações as implantam) e vice-versa.
Curva característica do item - CCI
0,0 0,2 0,4 0,6 0,8 1,0 -4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
habilidade ( traço latente )
prob. de resposta correta
iiiiiiii
b a
c
FIGURA 1: Curva Característica do Modelo
A correspondência entre o parâmetro b e a maturidade organizacional θ consiste na premissa de que as organizações que ainda não despertaram efetivamente para o modelo de gestão baseado na GQT, isto é, com pouca maturidade, terão grandes dificuldades na implantação destas práticas. Esta afirmação torna-se possível porque os parâmetros de dificuldade e habilidade estão na mesma escala. Esta é, provavelmente, uma vantagem significativa dos modelos da TRI sobre a TCM.
Interpretação parâmetro a
Na área educacional o parâmetro a está relacionado com a discriminação dos indivíduos quanto à habilidade (conhecimento) no assunto. Sua interpretação dentro da qualidade está associada a discriminação das organizações, quanto à maturidade, na aplicação das práticas da qualidade. O valor de a é proporcional à derivada da tangente da curva no ponto b (ponto de inflexão – ponto onde a curva muda de concavidade).
Valores negativos para a significam que à medida que uma organização aumenta a sua maturidade, diminui a probabilidade dela implantar a prática da GQT. Esta afirmação não tem sentido, uma vez que organizações mais maduras, com uma cultura mais voltada para a qualidade têm um ambiente mais adequado para implantar este modelo. Assim, valores negativos para a não são esperados.
Valores crescentes para o parâmetro a conduzem ao formato mais íngreme da curva e, como conseqüência, a diferença entre as probabilidades de implantação da prática entre organizações com diferentes níveis de maturidade é maior. Por outro lado, à medida que a (a → 0), a curva perde a sua forma de “S” de inclinação, tornando-se mais achatada, o que deriva como interpretação que organizações com diferentes níveis de maturidade têm aproximadamente a mesma probabilidade de implantar a prática.
Através deste parâmetro torna-se possível também investigar se as práticas definidas para medir os constrcts foram bem elaboradas. Na educação itens com valores de a ≥ 1, significam que foram bem elaborados.
Interpretação do parâmetro c
Dentro do contexto da Educação (ver ANDRADE et al., 2000), este parâmetro está associado à “probabilidade de um indivíduo com baixa habilidade no tema da prova acertar a questão”. É o que pode ser denominado de acerto casual. O parâmetro c é uma probabilidade e, portanto, assume valores entre 0 e 1.
Na interpretação deste parâmetro dentro da qualidade cabe os seguintes questionamentos: • Qual é a probabilidade de uma organização com baixo grau de maturidade na filosofia
da qualidade implantar as práticas da GQT?
• Existe probabilidade de implantação das práticas da GQT associada ao acaso?
A construção de modelos teóricos da GQT evolui de forma inversa ao que normalmente ocorre: a princípio a implantação da filosofia da GQT era uma “colcha de retalhos”. A partir de experiências de sucessos das organizações, diversos autores sintetizaram esta filosofia em um modelo teórico conceitual. Como ilustração pode ser citado SHIBA et al. (1994), MERLI (1994) e GALGANO (1994). Estas organizações, contudo, já tinham conhecimento adquirido, isto é, conhecimento intrínseco, sobre gestão pela qualidade. As implantações dos elementos da GQT, portanto, não ocorreram de forma casual.
Uma premissa básica da filosofia da GQT é seu enfoque sistêmico: a definição da política e estratégia organizacionais devem ser desdobradas em ações sincronizadas por toda a organização, desde a alta gerência até o nível operacional.
Diante deste contexto, o valor assumido pelo parâmetro c no âmbito da GQT é 0: a probabilidade de uma organização com baixa maturidade implantar a GQT é zero. Como conseqüência o modelo adequado é o de 2 parâmetros: discriminação e dificuldade.
Uma ilustração que visa referendar as interpretações descritas acima e a adequabilidade do modelo, considerando a variação dos valores dos parâmetros, com a teoria da GQT é descrito na FIGURA 2.
• Comparação das práticas com igual valor para b. Comparando a prática 2 com a prática 4 (igualmente a prática 1 com a 3) percebe-se que a diferença entre as probabilidades de implantação desta prática entre organizações com graus de maturidade diferentes é maior para as práticas que têm maiores valores para o parâmetro a. Em particular sejam θ1=1 e θ2=2, a diferença para a prática 4 é 0,358 (= 0,679 – 0,321) e para a prática 2 é 0,222 (= 0,611 – 0,389). Isto significa que a prática 4 é melhor apropriada para discriminar entre duas organizações do que a prática 2. É neste sentido que o parâmetro a é chamado de parâmetro de discriminação.
• Comparação de práticas com iguais valores de a. Comparando, agora, as práticas 1 e 2 (igualmente as práticas 3 e 4) percebe-se que para as práticas com maiores valores de b exigem uma maior maturidade para uma mesma probabilidade de implantação da prática. Como ilustração, a maturidade requerida para uma probabilidade de implantação 0,4 é igual a –1,3 para a prática 1 e igual a 1,2 para a prática 2. Isto é, a prática 2 é mais difícil de implantar do que a prática 1. È desta forma que b é denominado de parâmetro de dificuldade.
2.3 O Parâmetro de Maturidade Organizacional θ
O parâmetro θ representa um traço latente (variável que não pode ser medida diretamente) associado a maturidade organizacional. Teoricamente este parâmetro pode assumir valores de -∞ e +∞. É preciso, portanto, estabelecer uma origem e uma unidade de medida para a definição da escala de maturidade. Estes valores são determinados de forma a representarem, respectivamente, a média (µ) e o desvio-padrão (σ) das maturidades das organizações inseridas no estudo. Uma escala bastante utilizada na TRI é representada por (0,1), a qual foi utilizada nas aplicações deste artigo.
Em termos práticos, não existe a menor diferença em estabelecer qualquer outro tipo de escala. O importante são as relações existentes entre seus pontos. Por exemplo, na escala (0,1) uma organização com maturidade 1,20 está 1,20 desvios-padrão acima da maturidade média. Caso fosse utilizado a escala (200,40) e o valor da maturidade fosse 248, a interpretação seria a mesma. O grande desafio consiste na criação de uma interpretação
prática para a escala de maturidade: o que significa em termos de maturidade, uma organização com valor de θ=2 na escala (0,1)?
Prática 1: a1=0.9; b1= -0.5 0 0,2 0,4 0,6 0,8 1 -3 -2 -1 0 1 2 3 maturidade probabilidade de implementação da prática Prática 2: a2=0,9; b2=1,5 0 0,2 0,4 0,6 0,8 1 -3 -2 -1 0 1 2 3 maturidade probabilida de implementação da prática Prática 3: a3=1,5; b3=-0,5 0 0,2 0,4 0,6 0,8 1 -3 -2 -1 0 1 2 3 maturidade probabilidade de implementação da prática Prática 4: a4=1,5; b4=1,5 0 0,2 0,4 0,6 0,8 1 -3 -2 -1 0 1 2 3 maturidade probabilidade de implementação da prática
FIGURA 2: Curva Característica das Práticas: uma interpretação sobre os parâmetros
3 Uma Aplicação
O modelo foi aplicado aos resultados de uma pesquisa realizada em Fortaleza-CE, nos meses de agosto de 1998 a janeiro de 1999, que tinha como objetivo investigar as práticas da GQT no setor manufatureiro de portes médio e grande do estado de Ceará (para maiores detalhes ver ALEXANDRE, 1999). A escala de Likert com dimensões de 1 (discordo totalmente) à 5 (concordo totalmente), foi utilizada nas sentenças que mediam os
constructs da GQT segundo um modelo de referência (Tabela 1). O entrevistado marcava a
dimensão nas sentenças, conforme a indústria se enquadrava da escala.
Para efeito da aplicação deste modelo (dicotomizado), as dimensões da escala de Likert foram recodificadas em: aplica satisfatoriamente a prática da GQT (dimensões 4 e 5); não aplica satisfatoriamente a prática da GQT (dimensões 1, 2 e 3).
Nesta análise e considerando que não há referência da aplicação da TRI na GQT, assume-se, que valores de a ≥ 0,7 fornecem uma indicação que a prática definida para medir o
construct foi bem elaborada. Assim, dentre as 43 práticas inseridas no questionário,
TABELA 1: Distribuição dos itens (práticas da GQT) e os parâmetros da TRI
PARÂMETROS
ELEMENTOS DA GQT/DESCRIÇÃO DAS PRÁTICAS (ITENS)
a b
1. Comprometimento da alta administração
1.1 Avaliação Periódica da qualidade executada pela alta administração 1,706 -0,925 1.2 Discussão da importância da qualidade pela alta administração 1,885 -1,344 1.3 Alocação de verbas e recursos para a qualidade definidos em orçamento 1,482 -0,677 1.4 Definição(identificação) e documentação das metas da qualidade 2,638 -0,383 1.5 As metas da qualidade inseridas no planejamento estratégico da empresa 1,441 -1,060 1.6 Comunicação ativa da alta administração do compromisso pela qualidade 1,384 -0,405
2. Foco no consumidor:
2.1 Comparação da satisfação do cliente com indicadores internos/concorrentes 1,038 -0,953 2.2 Fornecimento das reclamações dos consumidores a todos os departamentos 0,732 0,246 2.3 Utilização das reclamações do cliente como base para a melhoria da qualidade 1,241 -1,708 2.4 Manutenção de um serviço de atendimento ao consumidor 1,089 -0,520 2.5 Realização periódica de pesquisas junto ao consumidor 1,032 0,523
3. Parceria com o fornecedor:
3.1 Qualidade e preço como critérios para a seleção do fornecedor (*) 0,512 -4,166
3.2 Realização de contratos de longo prazo com fornecedor (*) 0,408 2,316
3.3 Fornecimento de assistência técnica ao fornecedor 2,003 0,638
3.4 Participação do fornecedor no processo de desenvolvimento e fabricação 0,807 0,460
4. Envolvimento dos funcionários (relação com os funcionários)
4.1 Realização periódica de reuniões em cada área para discussão sobre qualidade 1,289 0,105 4.2 Reuniões periódicas de equipes inter-funcionais p/ discussão sobre qualidade 1,804 -0,367 4.3 Avaliação de todas as sugestões dos funcionários (*) 0,568 -1,527
4.4 Implantação das sugestões dos funcionários 0,738 -1,370 4.5 Prêmios/recompensas não financeiras pelas melhores sugestões 0,896 1,291
5. Treinamento:
5.1 Alocação de recursos necessários para o treinamento em qualidade 1,014 0,740 5.2 Envolvimento de todos os escalões no treinamento em qualidade 1,156 -0,697 5.3 Treinamento de muitos funcionários em técnicas de solução de problemas 1,983 0,640 5.4 Treinamento dos funcionários em ferramentas/técnicas estatísticas 1,660 1,052
6. Mensuração da Qualidade:
6.1 Execução de inspeções por amostragem durante o processo de produção (*) 0,669 -2,639
6.2 Avaliação da qualidade não executada somente com inspeção final (*) 0,526 -2,663
6.3 Medição periódica dos desperdícios e falhas de produto não-conforme 0,844 -2,268 6.4 Manutenção de registros das avaliações da qualidade 1,164 -1,034 6.5 Fornecimento dos resultados das avaliações a todos os funcionários 1,183 1,016 6.6 Resultados das avaliações como suporte para a melhoria da qualidade 1,403 -1,073
7. Melhoria Contínua:
7.1 Manutenção de estrutura organizacional específica para apoiar a Qualidade 1,178 -0,009 7.2 Há programa formal para a redução de tempo e custo nos processos internos 1,312 0,700 7.3 Execução de avaliações nos processos chaves de produção 1,389 -0,945 7.4 Há um programa formal para a redução do tempo de entrega de produto 0,963 0,268 7.5 Há um programa formal para a redução do tempo de fabricação 1,147 -0,194
8. Benchmarking:
8.1 Visita em outras organizações reconhecidamente líderes 1,125 0,116 8.2 Efetivo procedimento de benchmarking dos competidores mais fortes 0,825 1,459 8.3 Efetivo procedimento de benchmarking com líderes não competidores 1,158 1,501 8.4 Manutenção efetiva do benchmarking como uma política da empresa 0,825 0,300
9. “Empowerment”(delegação de poderes) aos funcionários:
9.1 Delegação de poderes aos funcionários para a solução de problemas 0,857 -1,240 9.2 Fornecimento de apoio aos funcionários para a solução de problemas 1,228 -1,626 9.3 Inspeção da qualidade executada pelos funcionários (não por um inspetor) 0,935 -0,284 9.4 Divulgação das experiências de sucesso na solução de problemas 0,929 0,488
Valores negativos para b significam que mais de 50% das indústrias aplicam aquela prática: caso contrário, isto é, valores positivos para b significam que menos de 50% das indústrias aplicam a prática. Isto fornece uma indicação da dificuldade de implantação. A Tabela 2 apresenta as estimativas do parâmetro de maturidade θ, para as 75 indústrias inseridas na pesquisa. Mesmo considerando que neste artigo não é fornecida uma interpretação prática para a escala da maturidade, uma análise nos valores extremos revela que: as indústrias de números 32 (θ=-2,340) e 53 (θ=-2,932) são cearenses de porte médio e não têm qualquer programa de gestão da qualidade; as políticas das indústrias são, respectivamente, implantar primeiro a GQT e depois a ISO 9000 e não implantar nem a ISO 9000 nem a GQT. As indústrias de números 10 (θ=1,762) e 70 (θ=2,649) são não-cearenses de portes, respectivamente, médio e grande. Ambas têm programas formais de GQT, com experiência acima de 2 anos e como fator principal para a adoção do modelo a busca da melhoria dos processos. Estes resultados preliminares parecem confirmar a adequabilidade do modelo: quanto maior o valor para θ, maior a maturidade organizacional na filosofia da GQT.
TABELA 2: Estimativas dos Parâmetros de Maturidade das 75 indústrias pesquisadas
1= 0,792 10= 1,762 19= 0,414 28=-1,504 37=-0,477 46=-1,322 55= 0,469 64= 1,084 73= 1,281 2= 0,425 11=-1,337 20= 0,463 29=-2,110 38= 1,422 47= 1,633 56= 0,516 65= 0,388 74=-0,432 3=-0,038 12= 1,112 21=-0,362 30=-0,443 39= 0,067 48=-1,336 57=-0,378 66=-0,489 75=-0,652 4= 0,518 13= 1,422 22= 0,860 31= 0,439 40= 0,709 49=-0,397 58= 1,566 67=-2,034 5= 1,505 14=-0,467 23=-0,478 32=-2,340 41=-0,861 50= 0,489 59=-0,446 68= 1,295 6=-0,447 15=-0,903 24= 1,558 33= 0,448 42=-1,272 51=-1,258 60=-0,460 69= 1,534 7=-0,350 16= 0,611 25=-2,317 34=-1,374 43=-0,508 52=-1,326 61= 0,411 70= 2,649 8=-0,392 17=-0,358 26=-1,112 35= 0,414 44=-0,411 53=-2,923 62= 0,386 71= 0,901 9=-0,452 18= 1,046 27=-0,451 36= 1,350 45=-0,745 54=-1,185 63=-0,450 72= 1,081 4 Conclusões e Sugestões
O modelo proposto da TRI revelou-se uma ferramenta poderosa de aplicação na GQT como alternativa à TCM. As interpretações dos parâmetros e os resultados obtidos da aplicação são amplamente satisfatórios.
Futuras pesquisas tornam-se necessárias para corroborar a aplicação da TRI na GQT: melhores estimativas dos parâmetros, determinação da métrica e interpretação do parâmetro de maturidade θ e a utilização de outros modelos para representar a escala original de Likert (categorizada ordinal) são algumas sugestões.
Bibliografia
AHIRE, Sanjay L. TQM age versus quality: an empirical investigation. Production and
Inventory Management Journal, fisrt quarter, v. 37, n. 1, p. 18-23, 1996.
ALEXANDRE, João Welliandre Carneiro. Uma investigação das práticas da gestão da
qualidade total no setor manufatureiro do estado do Ceará. São Paulo, 1999.
Tese (Doutorado). Departamento de Engenharia de Produção – Escola Politécnica – USP.
ANDRADE, Dalton Francisco de. Comparando o desempenho de grupos (populações)
de respondentes através da teoria da resposta ao item. Ceará, 1999. Tese
apresentada ao Departamento de Estatística e Matemática Aplicada na UFC para o concurso de professor titular.
ANDRADE, Dalton Francisco de ; TAVARES, Héliton Ribeiro ; VALLE, Raquel da Cunha. Teoria da resposta ao item: conceitos e aplicações. São Paulo, 14o. SINAPE, ABE-Associação Brasileira de Estatística, 2000.
BADRI, Masood A. ; DONALD, Davis ; DONNA, Davis. A study of measuring the critical factors of quality management. International Journal of Quality &
Riability Management, v.12, n. 2, p. 36-53, 1995.
CRONBACH, L. J. Coefficient alpha and the internal structure of tests. Psychometrika, v. 16, p. 297-334, 1951.
DeROOS, Yosikazu ; MEARES, Paula Allen. Application of Rasch analysis: exploring differences in depression between african-american and white children. Journal of
Social Service Research, v. 23, n. 3/4, p. 93-107, 1998.
GALGANO, Alberto. Calidad total: clave estratégica para la competitivid de la empresa. Ediociones Diaz de Santos S.A., 1993.
GRANGER, Carl V. ; DEUTSCH, Anne. Rasch analysis of the functional independence measure (FIMTM) mastery test. Arch Phys med Rehabil, january, v. 79, p. 52-7, 1998.
LORD, F. M. Applications of item response theory to practical testing problems. Hillsdale: Lawrence Erlbaum Associates, Inc., 1980.
MERLI, G. Eurochallenge: the TQM approach to capturing global markets. Oxford-UK, IFS Ltd, 1993.
TAMIMI, N. An empirical investigation of critical TQM factors using exploratory factor analysis. International Journal and Product Reaserch, v. 33, n. 11, p. 3041-51, 1995.
TAMIMI, Nabil ; GERSHON, Mark. A tool foi assessing industry TQM practice versus the Deming philosophy. Production and Inventory Management Journal, fisrt quarter, v. 36, n. 1, p. 27-32, 1995.
TAMIMI, Nabil ; GERSHON, Mark ; CURRALL, Steven C. Assessig the psychometric properties of Deming’s 14 principles. Quality Management Journal, spring, v. 2, n. 3, p. 38-52, 1995.
HUQ, Ziaul ; STOLEN, Justin D. Total quality management contrasts in manufacturing and service industries. International Journal of Quality & Riability Management, v.15, n. 2, p. 138-61, 1998.
SARAPH, Jayant V. ; BENSON, P. George ; SCHROEDER, Roger G. An instrument for measuring the critical factors of quality management. Decision Sciences, v. 20, n. 4, p. 810-29, 1989.
SHIBA, Shoji ; GRAHAM, Alan ; WALDEN, David. A new american TQM: four practical revolutions in management. Portland, Productivity Press, 1993.
