alunos responderiam que estão satisfeitos.
Item 15: “Qualificação dos alunos para a escrita de trabalhos científicos durante o curso de graduação”
As características e os resultados obtidos do item 15 são as seguintes:
Zi = resposta observável de um item que pode assumir os valores 0, 1, 2, 3, 4, ou
5 conforme a concordância em um nível de categoria do item 15.
δi = 3,130 αi = 1,352
A probabilidade de um aluno com parâmetro de locação θj escolher uma
categoria z dentre as D categorias do item i é dada por:
((
))
((
))
((
))((
))
((
))
((
))((
))
∑
∑
∑∑
∑∑
∑
∑
∑
∑
== == == == == −− θθ −−δδ −− ττ αα ++ θθ −−δδ −− ττ αα −− θθ −−δδ −− ττ αα ++ θθ −−δδ −− ττ αα == θθ == D 0 v v 0 k ik i j i v 0 k ik i j i z 0 k ik i j i z 0 k ik i j i j v M exp v exp z M exp z exp | z Z PA Figura 4.11 ilustra a função de probabilidade das categoria de resposta do item
15 em função de i ^ ^ j−−δδ θθ .
Função de Probabilidade do item 15
-0,2 0 0,2 0,4 0,6 0,8 -6 -4 -2 0 2 the ta - de lta Probabilidade cat 0 cat 1 cat 2 cat 3 cat 4 cat 5
Figura 4.11: Função de Probabilidade das categoria de resposta observável do
item 15 em função de i
^ ^
j−−δδ
θθ .
Nesse item se considerarmos θ(satisfação) = 2,9667, ( i ^ ^
j
−−
δδ
θθ
= -0,1633 perto de zero) têm-se as seguintes probabilidades:P ( Z = 0|2,9667) = 7,91.10-10 P ( Z = 1|2,9667) = 3,56.10-7 P ( Z = 2|2,9667) = 0,000106 P ( Z = 3|2,9667) = 0,019921 P ( Z = 4|2,9667) = 0,598253 P ( Z = 5|2,9667) = 0,38172
Deste modo, se forem reunidos alunos com satisfação 2,9667, 59,8% responderiam que estão satisfeitos com Qualificação dos alunos para a escrita de
trabalhos científicos durante o curso de graduação, 38% estão totalmente satisfeitos com este item.
Nota-se que para uma satisfação θ = -1,9632, ( i ^ ^
j−−δδ
θθ = - 5,0932) a probabilidade para cada categoria de resposta é:
P ( Z = 0|-1,9632) = 0,559291 P ( Z = 1|-1,9632) = 0,306774 P ( Z = 2|-1,9632) = 0,109319 P ( Z = 3|-1,9632) = 0,023814 P ( Z = 4|-1,9632) = 0,000801 P ( Z = 5|-1,9632) = 5,48. 10-7
Neste caso, alunos que têm θ(satisfação) = -2,3014 a probabilidade é maior para a categoria 0, ou seja, 56% de alunos responderiam que estão totalmente insatisfeitos com a qualificação dos alunos para a escrita de trabalhos científicos durante o curso de graduação e 31% estão insatisfeitos.
Apresentaram-se 4 itens, isto é, 4, 23, 28, 15 de parâmetros 1,083,1,318, 1,943 e 3,130 respectivamente, notou–se que a probabilidade de concordância do item era maior quando o parâmetro θ (satisfação) estava perto do item satisfazendo a primeira proposição básica do GGUM.
A Figura 4.12, em seguida, ilustra a distribuição de freqüência dos parâmetros θ (satisfação) obtidos dos alunos e os parâmetros dos itens colocados num mesmo continuum θ. -3 -2 -1 0 1 2 3 4 0 10 20 30 40 50 60 70 Theta F re q u ê n c ia 24, 10 31 11, 26, 28 27, 25 18 17 13 12 28 14, 15 21, 20 8 29 22 23, 35 5 3 4, 34 Itens extremos posi tivos Itens Moderadamente positivos
Visualiza-se na Figura 4.12 que todos os itens tiveram seus conteúdos positivos e a maioria dos alunos tiveram sua opinião se concentrando de –1 a 1.
Considerando que no modelo GGUM os níveis altos de concordância ocorre quando a posição aluno e a posição do item colocados no mesmo continuum latente, estão pertos. E, como, os 26 itens restantes, calibrados segundo este modelo foram colocados no continuum latente de acordo com seu conteúdo de moderadamente positivo a extremo positivo, não apresentando nenhum item com conteúdo negativo e os alunos respondentes tiverem sua opinião colocada neste mesmo continuum numa posição mais negativa em relação à posição dos itens, evidenciando uma certa distância em relação à posição do individuo e do item no continuum latente, então tal distribuição indica que os itens avaliados não foram, na maioria aceitos pelos alunos, isto é, não houve satisfação total da maior parte dos alunos em relação aos itens investigados.
Uma vez que os itens são pressupostos do indicativo do grau de satisfação dos alunos com relação ao curso, pode-se deduzir e verificar através das funções de probabilidade que os alunos de uma forma geral não estão satisfeitos com todos os itens.
No Capítulo anterior verificou-se aplicação do modelo GGUM a dados reais. Observou-se que os itens que ficaram retidos na escala final mostraram-se consistentes com as propriedades do GGUM, que tem o processo de resposta baseado em proximidade, pois apresentaram uma função do valor esperado e
observado em função de i
^ ^
j−−δδ
θθ , com características não monotônica de pico
simples.
Observou-se que o modelo se ajustou razoável e adequadamente bem aos dados, pois não apresentou nenhum misfit, a correlação entre as respostas esperadas e observadas foram altas para cada item em questão, os itens apresentaram um infit e outfit próximos de 1 que é o esperado de acordo com a proposição encontrada na literatura.
A maioria dos modelos da TRI, especialmente modelos logísticos de 1, 2 e 3 parâmetros, necessitam de um número mínimo de itens, no caso 30, para se obter um modelo com um bom ajuste. Entretanto, verificou-se que no modelo de desdobramento pode-se obter um ótimo ajuste com um número menor de itens, com 20 ou 26 itens.
Dos 35 itens do questionário somente 26 itens ficaram retidos na escala final. Os itens 1, 2, 6, 7, 9, 19, 32 e 33 foram eliminados, pois apresentaram uma comunalidade menor que 0,3 e o item 30 foi eliminado antes das análises pelo fato de que alguns alunos deixaram de responder a este item. E dez alunos também foram retirados da análise por apresentarem um valor elevado no desvio padrão do parâmetro θj.
O modelo de desdobramento GGUM da Teoria da Resposta ao Item é um instrumento importante e pode contribuir expressivamente em muitas áreas não só na medida de satisfação, mas também em outras medidas de atitude.
O GGUM se ajusta adequadamente e corretamente aos dados, as estimativas dos itens são invariantes aos indivíduos e as estimativas dos indivíduos são invariantes aos itens, essas características sem duvida facilitarão o uso de GGUM na criação de banco de itens. Sabe-se que existem outros fatores envolvidos na geração de itens para medidas de atitudes, porém o GGUM oferece uma grande contribuição, principalmente porque coloca os itens e os indivíduos num mesmo
continuum, os itens são colocados de acordo com seu conteúdo e os indivíduos são colocados de acordo com sua opinião ambos variando de negativo, neutro a positivo.
Neste trabalho foi apresentado o conceito básico do modelo de desdobramento GGUM da Teoria da Resposta ao Item, sendo, também, precursor na aplicação de modelo de desdobramento da TRI aqui no Brasil, uma vez que atualmente, quase todas as aplicações envolvem modelo de 1, 2 ou 3 parâmetros.
Dos resultados obtidos na escala final através do modelo GGUM na pesquisa em nível geral, obtiveram-se as seguintes conclusões:
• Na média quanto aos docentes, pode-se destacar que têm demonstrado conhecimento nas matérias que lecionam, tem qualidade nos planos de ensino, entretanto há necessidade de aperfeiçoar a metodologia no desenvolvimento das aulas na questão ensino – aprendizagem das disciplinas dos cursos, apresentar de forma organizada os conteúdos nas aulas; aperfeiçoar as medidas para a melhoria da qualidade do ensino; procurar medidas eficazes para superar as dificuldades dos alunos com deficiências nas disciplinas; aprimorar a avaliação dos alunos e melhorar a dinâmica das aulas para manter a atenção dos alunos. Quanto ao curso buscar procedimentos para a qualificação dos conteúdos desenvolvidos nas disciplinas. Aperfeiçoar os mecanismos de atendimento e orientação acadêmica no cotidiano dos cursos. Melhorar o comprometimento dos docentes com a qualificação do curso.
• Na média a pesquisa revelou que os alunos quando concluem o curso
saem com um nível satisfatório, contudo eles devem ter mais seriedade acadêmica, que sentem necessidade de complementação de sua formação acadêmica, havendo, também necessidade de aprimorar a qualificação quanto à escrita de trabalhos científicos durante o curso, assim como melhorar a capacidade de leitura de textos científicos.
• Ainda quanto aos alunos eles estão pouco satisfeitos com o nível deles quando ingressam ao curso.
Para desenvolver e aperfeiçoar a aplicação do modelo de desdobramento em medidas de atitudes recomenda-se a realização de outras pesquisas, dentre as quais e relacionadas a este estudo assinalam-se:
• Ampliar o número de alunos, em nível geral, estendendo a outras unidades do CEFET – PR.
• Comparar os resultados do modelo de desdobramento da TRI com um
outros modelos da TRI.
• Medir graus de satisfação dos alunos especificamente dentro de cada curso oferecido pelo CEFET – PR.
• Comparar graus de satisfação dos alunos entre os cursos oferecidos pelo CEFET – PR.
• Aplicar o modelo de desdobramento da TRI para medir satisfação dos alunos quanto ao ambiente e relações humanas, à pesquisa, comunicação e informação.
• Aplicar o modelo de desdobramento para medir satisfação dos docentes e técnicos administrativos quanto à pesquisa, ambiente, condições de trabalho, organização e objetivos institucionais.
ADAMS, R. J & KHOO, S. T. Quest the interactive test analyses system. Hawthorn, Victoria: ACER, 1993.
ALEXANDRE, J.W.C.; ANDRADE, D.F; VASCONCELOS, AP.; ARAUJO, A M S.
Aplicação da TRI na Gestão de Qualidade: Proposta de um modelo probabilístico. UFC, 2001.
ANDRADE, D. F. Comparando o Desempenho de Grupos (Populações) de
Respondentes Através da Teoria da Resposta ao Item. Tese apresentada ao
Departamento de Estatística e Matemática Aplicada da UFC para o Concurso de Professor Titular. Fortaleza, 1999.
ANDRADE, D. F. e KLEIN, R. Métodos estatísticos para avaliação educacional: teoria de resposta ao item. Boletim da ABE, 43,21-28, 1999.
ANDRADE, D. F. e TAVARES, H. R. e VALLE, R.C. Teoria de Resposta ao Item:
conceitos e aplicações. ABE — Associação Brasileira de Estatística, 4º SINAPE,
2000.
ANDRADE, D. F e VALLE, R.C. Introdução a Teoria de Resposta ao Item:
Estudos em Avaliação Educacional.São Paulo: Fundação Carlos Chagas, 18, p.
13-32, 1998.
ANDRICH, D. A rating formulation for ordered response categories. Psychometrika,
43, p. 561-573, 1978.
ANDRICH, D. The application of an unfolding model of the PIRT type to the measurement of attitude. Applied Psychological Measurement, 12, p. 33-51, 1988.
ANDRICH, D. A hyperbolic cosine latent trait model for unfolding polytomous responses: Reconciling Thurstone and Likert methodologies. British Journal of
ANDRICH, D & LUO, G. A hyperbolic cosine latent trait model for unfolding dichotomous single-stimulus responses. Applied Psychological Measurement, 17, p. 253-276, 1993.
ASSUNÇÃO, C. N. B. Estimação dos parâmetros de modelos de Teoria de
Resposta ao item e Aplicações. Dissertação de Mestrado, UFMG, 1999.
BAYLEY, Scott. Measuring customer satisfaction”. Evaluation Journal of
Australasia, v. 1, (new series), n. 1, march, 2001.
BIRNBAUM, A,. Some latent Trait Models and Their Use in Inferring an
Examinee’s Ability. In F, M. Lord and M. R. Novick. Statistical theories of Mental
Test Score. Reading, M.A: Addison-Wesley, 1968.
BOCK, R. D. & AITKIN, M. Marginal maximum likelihood estimation of item parameters: Application of an EM algorithm. Psychometrika, 46, p. 443-459, 1981.
BOCK, R. D. & LIEBERMAN, M. Fitting a response model for n dichotomously scored items. Psychometrika, 35, p. 179-197, 1970.
BOCK, R. D. & MISLEVY, R. J. Adaptive EAP Estimation of ability in a microcomputer environment. Applied Psychological Measurement, 6, p. 431-444, 1982.
CLIFF, N, COLLINS, L. M., ZATKIN, J., GALLIPEAU, D., & McCORMICK, D. J. An ordinal scaling method for questionnaire and other ordinal data. Applied
Psychological Measurement, 12, p. 83-97, 1988.
COOMBS, C. H. A theory of data. New York: Wiley, 1964.
COSTA, M. B. F. Técnica derivada da Teoria de Resposta ao Item (TRI) aplicada
DeROOS, Yosikazu & MEARES, Paula Allen. “Aplication of Rasch analysis: exploring differences in depression between african - american and white children”.
Journal of Social Service Research, v. 23, n 3/4, p. 93-107, 1998.
DESARBO, W. S., & HOFFMAN, D. L. Constructing MDS joint spaces from binary choice data: A multidimensional unfolding threshold model for marketing research.
Journal of Marketing Research, 24, p. 40-54, 1987.
DONOGHUE, J.R. Establishing two important properties of two IRT-based
models for unfolding data. Manuscript submitted for publication. 1999.
GRANGER, Carl V. & DEUTSCH, Anne. “Rasch analysis of the functional independence measure (FIMTM) mastery test”. Arch Phys med Rehabil, January, v.79, p.52-57, 1998.
HAMBLETON, R. K. & SWAMINATAN, H. Item Response Theory Principles and
Applications. Boston: Kluwer Academic Publishers, 1985.
HAMBLETON, R. K. & SWAMINATAN, H.. and ROGERS, H. J. Fundamentals of
Item Response Theory. Newbury Park: Sage Publications, 1991.
HENARD, D. H. Item Response Theory. Reading and Understanding more
multivariate Statistics, Washington, Dc., American Psychological Association, p.
67-97, 2000.
KLEIN R. & FONTANIVE N.S. S.Avaliação em Larga Escala: uma Proposta inovadora. Disponível em <http:// www. Est.ufmg.Br/broav/avalesc.html>. Acesso em 04 dez. 2001.
LIKERT, R. A technique for the measurement of attitudes. Archives of Psychology,
140, p. 5-53, 1932.
LINACRE, J. M. & WRIGHT, B. D. A user’s guide to BIGSTEPS (Version 2.4). Chicago: MESA PRESS, 1994.
LINDEN, W.J. Van Der and HAMBLETON, R. K. Handbook of Modem Item Response Theory. New York: Springer-Verlag, 1997.
LORD, F. M. Applications of Item Response Theory to Practical Testing
Problems. Hillsdale NJ: Erlbaum, 1980.
LORD, F. M. and NOVICK, M. R. Statistical Theories of Mental Test Score. Reading: Addison-Wesley, 1968.
MASTERS, G. N. A Rasch model for partial credit scoring. Psychometrika, 47, p.149-174, 1982.
MATOS, G. S. Teoria de Resposta ao Item: Uma Proposta de Modelo
Multivariado. Pernambuco DE/UFPE, Tese de Mestrado, UFC2001.
MISLEVY, R. J. Recent developments in the factor analysis of categorical variables.
Journal of Educational Statistics, 11, p. 3 -31, 1986.
MISLEVY, R. J. & BOCK, R. D. PC BILQG 3: Item Analysis and Test Scoring with
Binary Logistic Models. Chicago: Scientific Software, Inc., 1990.
MURAKI E. A generalized partial credit model: Application of an EM algorithm.
Applied Psychological Measurement, 16, p. 159-176, 1992.
NOJOSA, Ronald T. Modelos Multidimensionais para a Teoria de Resposta ao
Item. Pernambuco, UFPE, Tese de Mestrado, 2001.
NOVICK, M. R. The axioms and principal results of classical test theory. Journal of
Mathematical Psychology, 3, p.1-18, 1966.
RAO C. R. Statistical inference and its applications (2nd ed.). New York: Wiley, 1973.
RASCH, G. Probabilistic Models for some Intelligence and Attainment Test. Copenhagen: Danish Institute for Educational Research, 1960.
RECKASE, M. D. Unifactor latent trait models applied to multifactor tests: Results and implications. Journal of Educational Statistics, 4, p. 207-230, 1979.
ROBERTS, J. S. Item response theory approaches to attitude measurement. (Doctoral dissertation, University of South Carolina, Columbia), Dissertation Abstracts International, 56, 7089B, 1995.
ROBERTS, J. S. GGUM2000: Software to estimate parameters of the
generalized graded unfolding model. Under review, 2000.
ROBERTS, J. S. Equating parameter estimates from the generalized graded
unfolding model. Paper presented at the annual meeting of the American
Educational Research Association, April 14, Seattle, Washington, 2001a.
ROBERTS, J. S. GGUM2000: Software to Estimation of parameters in the generalized graded unfolding model. Applied Psychological Measurement, 25, 38, 2001b.
ROBERTS, J. S., DONOGHUE, J.R. & LAUGHLIN, J. E. A generalized item
response model for unfolding responses from a graded scale. Paper presented
at the 61st annual meeting of the Psychometric Society, June 28, Banff, Alberta, Canada, 1996.
ROBERTS, J. S., DONOGHUE, J.R. & LAUGHLIN, J. E. The generalized graded unfolding model: A general parametric item response model for unfolding graded responses (RR-98-32). Princeton, NJ: Educational Testing Service, 1998.
ROBERTS, J. S., DONOGHUE, J.R. & LAUGHLIN, J. E. Estimability of parameters
in the generalized graded unfolding model. Presented at the annual meeting of
ROBERTS, J. S., DONOGHUE, J.R. & LAUGHLIN, J. E. Estimating parameters in
the generalized graded unfolding model: Sensitivity to the prior distribution assumption and the number of quadrature points used. Paper Presented at the
Annual Meeting of the National Council on Measurement in Education, April 22, Montreal, PQ, Canada, 1999b.
ROBERTS, J. S., DONOGHUE, J.R. & LAUGHLIN, J. E. A general model for unfolding Unidimensional polytomous responses using item response theory.
Applied Psychological Measurement, 24, p. 3-32, 2000.
ROBERTS, J. S. & LAUGHLIN, J. E. A. Unidimensional item response model for unfolding responses from a graded disagree-agree response scale. Applied
Psychological Measurement, 20, p. 231-255, 1996a.
ROBERTS, J. S. & LAUGHLIN, J. E. The graded unfolding model: A Unidimensional item response model for unfolding graded responses (Research Rep. RR-96-16). Princeton N J: Educational Testing Service, 1996b.
ROBERTS, J. S., LAUGHLIN, J. E. & WEDELL, D. H. Validity issues in the Likert and Thurstone Approaches to Attitude Measurement. Educational and Psychological
Measurement, 59, p. 211-233, 1999.
ROBERTS, J. S., LIN, Y. & LAUGHLIN, J. E. Computerized adaptive testing with the generalized graded unfolding model. Applied Psychological Measurement, 25, p. 177-196, 2001.
ROBERTS, J. S., WEDELL, D. H., LAUGHLIN, J. E. Heightened Sensitivity of
Likert Attitude Scales to Restriction of Sample Range. Paper presented at the
1998 American Educational Research Association Annual Meeting, April 17, San Diego, California, 1998.
ROMANO, C. A. O Desafio de uma nova proposta para a graduação na
de mestrado em Engenharia de Produção – Programa de Pós – Graduação, UFSC, 2000.
SAMEJIMA, F. A. Estimation of latent ability using a response pattem of graded scores. Psychometric Monograph, 17, 1969.
SOARES, J. F.; MARTINS, M. I.; ASSUNÇÃO, C. N. B.. Heterogeneidade acadêmica dos alunos admitidos na UFMG e PUC-MG. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, 17, 61-72, 1998.
SPEARMAN, C. The proof and measurement of association between two things.
American Journal of Psychology, 15, p. 72-101, 1904.
TAVARES, H. R. Teoria da Resposta ao Item para dados longitudinais. Tese de doutorado. São Paulo: IME/USP, 2001.
THURSTONE, L. L. Attitudes cam be measured. The American Journal of
Sociology, 26, 249-269, 1928.
VALLE, Raquel da Cunha. Teoria de Resposta ao Item. São Paulo. Dissertação de Mestrado. IME/USP, 1999.
VAN DER LINDEN, w. J. and HAMBLETON, R. K. Handbook of Modern Item
Response Theory. New York: Spring- Verlag, 1997.
VAN SCHUUR, W. H. Structure in political beliefs: A new model for stochastic
unfolding with application to European party activists. Amsterdam: CT Press,
1984.
VAN SCHUUR, W. H. Nonparametric Unidimensional unfolding for multicategory data. In J. R. Freeman (Ed.), Political Analysis, 4, p. 41-74, Ann Arbor MI: University of Michigan Press, 1993.
VAN SCHUUR, W. H., & KIERS, H. A. L. Why factor analysis is often the incorrect model for analyzing bipolar concepts, and what model can be used instead. Applied
Psychological Measurement, 18, p. 97-110, 1994.
VERHELST, N. D., & VERSTRALEN, H. H. F. M. A stochastic unfolding model derived from the partial credit model. Kwantitative Methoden, 42, p. 73-92, 1993.
VIANNA, H.. M. Testes em Educação. São Paulo: IBRASA, 1987.
XIMÉNEZ, M. C. e REVUELTA, J. Aplicación de un modelo politômico de TRI para la obtención de medidas conmensurables en una escala de ajuste persona- organización. Psicológica, 20, 135-150, 1999.
ZIMOWSKI, M. F., MURAKI, E. MISLEVY, R. J. & BOCK, R. D. BILOG-MG:
Multiple-Group IRT Analysis and Test Maintenance for Binary Items. Chicago: