Referências bibliográficas: uma questão crítica

(1)

A , _ ,

GFEDCBA

A E F E R E N C IA S B IB L lO G R A F IC A S : U M A Q U E S T A O C R IT IC A

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

Jurema Alcides Cunha *

Maria Lucia Tiellet Nunes *

R E S U M O

~ feita uma revisão de referências bibliográficas de pesquisas, utilizando-se

uma centena de artigos cientfficos, publicados em 1988 e 1989, selecionados por

seu uso de testes psicol6gicos como instrumentos de pesquisa. Os dados são

ana-lisados do ponto de vista numérico e cronol6gico, sendo feita uma tentativa de iden-tificar tendências especfficas.

B IB L IO G R A P H IC A L R E F E R E N C E S : A C R m C A L IS S U E

A B S T R A C T

EDCBA

R e s e a rc h re fe re n c e s a re re v ie w e d in o n e h u n d re d s c ie n lific p a p e rs , p u b lis h e d in

1 9 8 8 a n d 1 9 8 9 , s e /e c le d fo r Ih e ir u s in g p s n y c n o to ç lc e t le s tsasre s e a rc h in s tru m e n -I s .D a la a re a n a /y s e d a n d d is c u s s e d b o lh in le rm s o f n u m e ric a / a n d ctuonotoçicetis

-s u e -s a a e m p tin g 1 0 id e n tify -s p e c ific tre n d -s .

*Professoras dos Cursos de Põs-qraduação da PUCRC.

Endereço para correspondência a Jurema Alcides Cunha

Av. Independência, 876/602 - 90210 - Porto Alegre, RS. Fone (051 - 2246946)

(2)

Geralmente, todos os que escrevem artigos cientrticos, fazem um esforço no

sentido de reunir referências sobre o que há de mais atualizado sobre o tema do

trabalho. Inclusive, existe uma tendência irnplrcita ou expllcita a sobrevalorizar

fontes de referências dos últimos cinco anos. Há quem recomende, até, que as

referências bibliográficas, para um artigo cientffico não sejam muito extensivas.

Neste sentido, cinco fontes citadas poderiam constituir um bom número, desde que abrangessem os trabalhos mais atualizados sobre o assunto, eventualmente com-pletadas por algum autor clássico.

Mas, especialmente quando se escreve sobre instrumentos psicológicos,

mui-tas vezes parece importante explorar mais a literatura existente, ficando uma preo-cupação sobre a medida em que tais referências possam parecer numericamente

excessivas ou abusivas quanto ao período de anos abrangente dos trabalhos in-

HGFEDCBA

c l u l d o s , Esta foi uma dúvida da autora senior, ao organizar as referências

biblio-gráficas do livro

GFEDCBA

P s ic o d ia g n 6 s t ic o (Cunha, Freitas & Raymundo, 1 9 8 9 ) . Desde

então, tal preocupação originou um interesse em saber como os demais autores

tratam a questão.

O propósito deste trabalho foi, pois, o de examinar referências bibliográficas de cem artigos cientrticos, sobre pesquisas, que utilizaram testes psicológicos

(usan-do o termo em lato senso), corno instrumentos. Evitou-se incluir, na seleção dos

artigos, pesquisas que faziam uso de técnicas pouco conhecidas ou

infreqüente-mente utilizadas na clrnica.

Os artigos examinados foram publicados em 1 9 8 9 ( 7 1 ) ou em 1 9 8 8 ( 2 9 ) , nas

seguintes revistas: Joumal of clinical Psychology ( 4 2 ) , Joumal of Personality

As-sessment ( 2 6 ) , Psychological Reports ( 1 7 ) ,Joumal of Consulting and Clinical

Psy-chology ( 5 ) , Perceptual and Motor Skills ( 3 ) , Personality Individual Differences ( 9 3 ) ,

Joumal of Abnormal Psychology (2), British Journal of Clinical Psychology (1) e

Applied Psychological Measurement (1).

Destes cem artigos, foram examinadas as 1 . 8 7 0 referências bibliográficas

in-cluídas, verificando-se, portanto, uma média de 1 8 , 7 0 , sendo o DP = ± 1 4 , 6 3 ,

constatando-se, assim, uma variabilidade numérica expressiva entre as listas

bi-bliográficas, como se pode observar na seguinte distribuição ou, graficamente, na

Figura 1 .

1 - 5 referências - 1 0 artigos

6 - 1 0 referências -2 1 artigos

1 1 - 2 0 referências -3 5 artigos

2 1 - 3 0 referências -2 1 artigos

3 1 - 5 0 referências - 1 0 artigos

5 1 ou mais referências - 3 artigos

Por outro lado, foi calculada a média do número de referências inclurdas nos

ar-tigos de 1 9 8 9 ( 1 8 , 7 3 ) e de 1 9 8 8 ( 1 8 , 6 2 ) . O teste t, para médias independentes, ao

Revista de Psicologia, Fortaleza, V. 9 (1/2), V. 10 (1/2); p.29 - p.37, Jan./Dez. 1991/92

I d 0 , 0 5 (com 9 8 gl), demonstrou não haver diferença significativa entre as

1 1 1 S .

Nol -se que6 6 % dos artigos apresentam de uma a vinte referências, enquanto

, vinte e uma ou mais. Entretanto, encontrou-se apenas um artigo, de uma

pá-" IeloP s y c h o lo g ic a l R e p o r t s (Cernovski, 1 9 8 9 ) , em que constava somente

1 1 1 1 1 1 r ferência, de 1 9 8 8 , de trabalho do próprio autor, ao passo que o artigo, com a

II mais longa de referências bibliográficas (Graham & Strenger, 1 9 8 8 ) ,ocupava

I I V I páginas e citava noventa-e oito trabalhos, que se distribuiam entre 1 9 4 3 e

1 1 1 I ' . Portanto, considerando como data provável de entrega do original à revista o

1 1 1 1 Interior ao da publicação, os autores realizaram um levantamento da literatura

1" Rica, que abrangeu um período de quarenta a cinco anos (com quarenta

refe-I refe-Irefe-Ict Sdos anos oitenta, trinta e oito dos anos setenta, quatorze dos anos

ses-I1 1 1 1 ,quatro dos anos cinqüenta e duas dos anos quarenta).

Juanto à abrangência das listas bibliográficas examinadas, a referência mais

I I I nte é do próprio ano da publicação do artigo e a mais remota ao século

passa-I k l , d tando do ano de1 8 4 4 .

Ouando está registrada a data de entrega do original à revista, na quase

totali-c I c I dos casos, é do ano anterior ao da publicação do artigo. Então, definindo

ope-I ope-Ilonalmente o período de abrangência das referências bibliográficas, como

'lu le que vai da data da citação mais remota até o ano em que provavelm~nte o

'ligo foi concluído, isto é, o anterior à sua publicação, verifica-se que a média dos

I rrodos de abrangência das listas bibliográficas revisadas é de3 5 , 1 4 anos, logo,

ullr ipassando em muito, não só os últimos cinco anos, como a década dos anos

I I l t nta.

lm termos da distribuição cronológica do material, os resultados também

pare-I m bastante interessantes, se considerarmos o total das 1 . 8 7 0 referências

biblio-r ficas, como se pode obsebiblio-rvabiblio-r no Quadbiblio-ro I.

U A D R O 1 : Distribuição cronológica das referências bibliográficas de artigos de

revistas cientrticas, publicadas em 1 9 8 9 (N= 7 1 ) e1 9 8 8 (N = 2 9 ) .

A N O S N Ú M E R O D E R E F E R Ê N C IA S %

8 0 9 2 9 4 9 , 6 8

7 0 5 2 3 2 7 , 9 7

6 0 2 0 9 1 1 , 1 8

5 0 1 2 8 6 , 8 4

4 0 6 2 3 , 3 2

3 0 1 4 0 , 7 5

2 0 4 0 , 2 1

antes 1 0 , 0 5

Do exame do Quadro 1 , conclui-se que há um uso importante de fontes

biblio-,ráficas dos anos oitenta ( 4 9 , 6 8 % ) , mas também é substancial a utilização da

(3)

ratura anterior

HGFEDCBA

à presente década (50,32%). Se praticamente a metade das cita-ções bibliográficas é dos anos oitenta - o que nos revela um interesse por material atualizado -, não se pode deixar de observar que, numericamente, as publicações

anteriores superam discretamente as desse período, demonstrando a importância

de um levantamento mais extensivo e abrangente da literatura.

Embora o número de citações dos anos oitenta seja muito elevado, somente seis trabalhos se restringiram a fontes bibliográficas deste penodo, representados

geralmente por artigos curtos e de natureza muito especializada. Por outro lado,

em sete casos, houve ênfase desse material recente, com acréscimo de uma ou duas referências anteriores, relativas a textos de divulgação inicial do instrumento utilizado, como a um manual do WAIS (Wechsler, 1955) ou do MMPI (Hathaway &

McKinley, 1942) ou, ainda, a algum trabalho de conteúdo estatrstico (Cronbach,

1951; Cronbach, 1955; Cohen & Cohen; 1975;C o h e n , 1977).

Dezessete artigos resumiram suas listas a fontes dos anos oitenta e setenta,

enquanto vinte e um concentraram nesse período sua abrangência, acrescentando

uma ou duas referências anteriores, não só de textos como os aludidos acima,

mas também abordando questões especificas relacionadas aos instrumentos

(Cronbach, 1949; Cronbach, 1951; Cohen, 1951 a; Cohen, 1951 b; Cohen, 1957 a; Cohen, 1957 b; Cohen 1959; Wiener, 1948), etc •••

Somando os casos que recaem nessas categorias, se observa que

correspon-dem aproximadamente à metade da amostra, isto é, a 51%. Entre os restantes, as

referências bibliográficas são muito variáveis quanto à sua distribuição cronológica

muitas vezes incluindo autores de técnicas citadas, tais como Roschach (1921) ou

Goodenough (1926), mas freqüentemente chamando a atenção pela diversidade

do material consultado.

Os artigos envolvem grande número de instrumentos, sendo marcante a

utiliza-ção do MMPI, nos quais predominam trabalhos de autores mais clássicos, como

Hathaway (1956) ou dele e colaboradores (Hathaway & Meehl, 1952; Hathaway &

Briggs, 1957; Hathaway & Monachesi, 1963; Hathaway & McKinley, 1967) ou,

ain-da, de Dahlstrom, Wels e Dahlstrom (1972), de Gough (1947,1950), Wiener (1948)

e de Gilberstadt e Duker (1965). Outros inventários de personalidade também es-tão na ordem do dia, como os de Millon (1983, 1984, 1985, 1986) e o Çalifornia

Psychologicallnventory de Gough (1957, 1964, 1968, 1969, 1986). Também, com

boa freqüência, aparecem resultados de pesquisas, utilizando o Rorschach, sendo mais citado trabalhos de Exner (1974, 1978, 1982, 1983a, 1983b, 1985a, 1985 b, 1986) ou usando as escalas Wechsler, principalmente, com referências do próprio

Wechsler (1949,1955,1974,1981), de Cohen (1952a, 1952b, 1957a, 1957b, 1959)

e de Matarazzo (1972). Há, por outro lado, artigos altamente especializados, tendo

como instrumentos técnicas menos freqüentemente utilizadas em pesquisas, como um que usa o Teste de Frustração de 130senzweig (Graybill, Williams & Peterson, (1988), que, entre doze fontes bibliográficas, inclui sete referências do próprio autor do teste, que abrangem trabalhos de 1948 a 1981.

Entre as referências bibliográficas, não diretamente relacionadas com testes,

nem com textos de estatística, a fonte mais comumente citada é o manual da

Ame-rican Psychiatric Association, em suas versões mais recentes (1968,1980,1987),

32

ndo em trinta e uma listas de referências, isto é, em quase _um t~rço do~

revisados, evidenciando a presença de interesse por que~toes

dtaqnôsti-110campo da pesquisa. Por outro lado, a obra sobre test~~ pSlc~l~gl~os mais

10ntemente citada é a de Rapaport, GiII e Schafer, nas edições onqmais (1945,

I )ou posteriores. , bibl' áfi

I r balhos, usando provas aperceptivas, como o TAT, ou referências, logr,

~-r lacionadas, são extremamente escassos, confirmando um declínio ~~

utlll-o desse teste cutlll-omutlll-o instrumentutlll-o de pesquisa, já utlll-observadutlll-o n~ma revisao de

f i sobre pesquisas, publicadas de 1970 a 198~ (Polyson, Norns & Ott, 1985~:

m sma forma, nas revistas examinadas, não fOI encontrada, em qualq~~r artí

r ferência ao CAT. Por outro lado, foram poucos os trabalhos que utilizaram

'nlcas gráficas ou inclurram citações a respeito., ,

Individualmente, é possfvet vislumbrar tendências dlver~as. Há autores, com

b lhos suscintos, e que igualmente se mostram econõrnícos em suas

referên-bibliográficas (menos de cinco). Todavia, ob~erva-s~ que autores, que traba-, m na mesma equipe embora variando a autona em numero e ordemtraba-, tendem a

nler eproxlrnadarnente o mesmo número de referências bibliográficas. Já

auto-mais afamados e com maior bagagem cientlfica, como E~ner ou H,oltzman, pa-m tender a revisões da literatura especifica, que são pa-ma,ls exte~sl~as e

elabo-, d s apresentando maior número de referências bibliográficas, dlstnburda,s num

rodo de abrangência bem amplo. Entretanto, o número de casos examinados

o permite fazer generalizações.

ONCLUSÕES:

1 Os artigos examinados tendem a variar enormemente quanto ao número ~e

re-• ferências bibliográficas incluldas, desde uma a ~oventa e ?it~, cO,m média de

18,70 e DP = 14,63. Não foi encontrada diferença Significativa entre as

médias de referências relativas a 1989 e 1988.

Embora haja um uso expressivo de fontes biblio~ráficas dos anos oitenta

(49,68%), a utilização de material bibliográfi~o ~ntenor a esta dé~ada é

.subs-tancial (50,32%). Conclui-se que existem dOIS Interesse~ predominantes: o de

atualização do tema e o de levantam,ento ,e~tensi~o da literatura e~pecrflca. ~

período de abrangência das referências bibliográficas dos cem artigos se es

tende de 1844 a 1989.

3 Praticamente a metade dos artigos (51%) usa preferencialmente fonte~

biblio-• gráficas dos anos oitenta e setenta, mas muito fr~üentemente" acrescidas d~

uma ou duas referências anteriores de textos cláSSICOSsobre o Instrumento uti lizado, de trabalhos de interesse estatrstico ou muito espe~rtico sobr,e o tema

em estudo. Os demais se caracterizam pelo uso amplo, vanado e muito

abran-gente da literatura.

4. Definindo operacionalmente perfodo de abrangência das referências

(4)

cas como aquele que vai desde a data da citação mais remota até o ano em q~e provav~lmente,o artigo foi concluído (isto é, um ano antes de sua publica-ção), a média do numero de anos do período de abrangência das listas de refe-rências bibliográficas revisadas é de 35,14 anos, portanto, ultrapassando em muitoos últimos cinco anos ou a década dos anos oitenta,

5. Observa~se grande número de referências bibliográficas sobre inventários de personalídade, esc~~asWechsler e relacionadas com o Rorschach, o que se ass?cla ao uso frequente dessas técnicas como instrumentosde pesquisa (em detn~ent? d~ pr~vas aperceptivas e gráficas), que se caracterizam por uma valorização histórica do material existente.

6. O ~pa~ecimento?e.referências bibliográficasdos manuais da American Psy-,chlatnc Assocíatíon, em quase um terço dos artigos examinados, revela um Int~ress~ por questões diagnósticas no campo da pesquisa, que utiliza testes psícolôqícos como instrumentosde pesquisa.

REFERENCIAS BIBLIOGRÁFICAS

AMERICAN PSYCHIATRIC ASSOCIATION. Diagnostic and Statistical

Ma-nual of Mental Disorders, 2

HGFEDCBA

ê _{ed. Washington: American Psychiatric}

As-sociation, 1968.

Ma-nual of Mental Disorders, 3º ed. Washington: American Psychiatric As-sociation, 1980.

Ma-nual of Mental Dísorders, 3ê ed. rev. Washington: American Psychiatric

Association, 1987.

CERNOVSKY, S. S. Reverse responding to the MMPI. Psychological Reports

64:202, 1989. '

COHEN~J., Factors underlying Wechsler-Bellevue performance of three neurpsy-chiatric groups. Journal of Ab Normal and Social Psychology, 49:359-365,1952a.

COHEN, J. A factor-analytically based rationale for the Wechsler-Bellevue.

Jour-nal of Consulting Psychology, 16:272-277,1952b.

COHEN, J. The factor structure of the WAIS betweenearly adulthoodand olg age, Journal of Consulting Psychology, 21:283-290, 1975a.

COHEN, J. The factor-analytically based rationale for the Wechsler Adult Intelli-gence Scale. Journal of Consulting Psychology, 21:451-457, 1957b. Cohen, J. The factorial structure of the WISC at ages 7-6, 10-6, and 13-6. Journal

of Consulting Psychology, 23:285-299, 1959.

COHEN, J. Statistical power analysis for the behavioral scíences,

Orlan-do, FL. Academic, 1977.

COHEN, J. & COHEN, P. Applied multiple regresion/correlation analysis

for the behavioral sciences, Hillsdale NJ: Erlbaum, 1975

I li NBAH, L. J. Statistical method applied to Rorschach scores: a review.

Psy-chological Bulletin, 49: 293-429, 1949

( liONBACH, L. J. Coefficient alpha and the internal structure of tests. Psycho-metrika, 16:297-334,1951.

( liONBACH, L. J. Construct validity in psychological tests. Psychological

Bul-letin, 52:281-302,1955.

( IJNHA, J. A., FREITAS, N. K.& RAYMUNDO, M. G. B. Psicodiagnóstico. 2êed.

Porto Alegre: Artes Médicas, 1989

1 1 1 \ 1 tLSTROM, W. G., WELSH, G. S.& DAHLSTROM, L. E. An MMPI

handbo-ok. Vol. 1. Minneapolis:University of Ninnesota Press, 1972.

I XNER, J. E. The Rorschach: A comprehensive system. New York: Wiley,

1974

I XNER, J. E. The Rorschach: A comprehensive system. Vol.2. New York:

Wiley, 1978

I XNER, J. E. The Rorschach: A comprehensive system. Vol.3. New York:

Wiley, 1982

I XNER, J. E. June, 13). Developmentalquality scoring. Alumni Newsletter, pp. 6-8,1983a.

I XNER, J. E. Rorschach assessment. In I. B. Weiner, Ed. Clinical methods in

ps-ychology.2ê ed. New York: Wiley, 1983b ,

I XNER, J. E. Rorschach interpretation program (computer proqram), New

Yorl: Rorschach Workshops, 1985a.

I XNER, J. E. A Rorschach workshop on the Comprehensive System. 2ê

ed. Bayville, NY: Rorschach Workshops, 1985b.

I XNER, J. E. Some Rorschach data comparing schizophrenics with bordelineand

schizotpal personality disorders. Journal of Personality

Assess-ment, 50:455-471,1986.

(,ILBERSTADT, H.& Duker, J. Handbook for clinical and actuarial MMPI

lnterpretatíon, Philadelphia:Saunders, 1965.

( ,OODENOUGH, F. L. Measurement of intelligence by drawings. New York:

Harcourt, Brace&World, 1926.

(,OUGH, H. G. Simulatepatterns of the MMPI. Journal of Abnormal and Social Psychology.42:215-225,1947.

(,OUGH, H. G. The F minus K dissimulationindex for the MMPI. Journal of Con-sulting Psychology, 14:408-413,1950.

,OUGH, H. G. California Psychological Inventory (CPI) Manual. Paio Alto,

CA: Consulting Psychologists Press, 1957.

(,OUGH, H. G. Academic achievement in high school as predicted from the

Cali-fornia Psychological Inventory. Journal of Educational Psychology_ 55:

174-180,1964.

(,OUGH, H. G. College attendance among high apttiude students as predicted

from the California Psychological Inventory. Journal of Consulting

Psy-chology, 15:269-278,1968.

,OUGH, H. G. Manual for the California Psychojoqical Inventory, Ed. rev.

(5)

Paio Alto, CA: Consulting Psychologists Press, 1969.

GOUGH, H. G. California Psychological Inventory administrator"s guide.

Paio Alto, CA: Consulting Psychologists Press, 1987.

GRAHAM, J. R. & STRENGER, V. E. MMPI characteristics of alcoholics:

Are-view, Journal of Consulting and Clinical Psychology 56. 197-205

1988. ' ,

GRAYBILL, O., WILLlAMS, P. G.& PETERSON, S. P. Cross-validation of modal

responses on the children's form of the Rosenzweig Picture-Frustration

Study. Psydhological Heports, 62: 771-777, 1988.

HATHAWAY, S. R. Scales 5 (masculinity-feminity), 6 (Paranoia), and 8

(Schízo-phrenla): In G. L. Welsh&W. G. Oahlstrom, Eds.: Basic Readings on the

MMPI m psychology and medicine. Minneapolis: University of

Minner-sota Press, 1956.

HATHAWAY, S. R.& BRIGGS, P. F. Some normative data on new MMPI scales

Journal of Clinical Psychology.13: 364-368,1957. •

HATHA~AY, S. R. & MCKINLEY, J. C. A Multiphasic Personality Schedule

(Minnesota): I - Construction of the schedule. Journal of Psychology.

10.242-254,1940.

HATHA~AY, S. R. & MICKINLEY, J. C. A Multiphasic Personality Schedule

(Mlnnesota): The measurement of symptomatic depression. Journal of Psy-chology, 14:73-84, 1942.

HATHAWAY, S" R.&MCKINLEY, J. C. Manual for the Minnesota Multiphasic

Personahty Inventory. New York: psychological Corporation, 1943.

HATHAWAY, S. R.&Meehl, P. E. Adjective checklist correlates of MMPI scores

(Inédito), 1952.

HATHAWAy, S. R.& MONACHESI, E. O. Adolescent personality and

beha-vior. Minneapolis:University of Minnesota Press, 1963.

MATARAZZO, J. O. Factorial structure of the W-B I and WAIS.ln J. O. Matarazzo,

Ed. Wechsle's. '."easurement and appraisal of adult intelligence. 5

HGFEDCBA

ê

ed. Baltimore: Wllllams&Wilkins, 1972.

MILLON, T. Millon Clinical Multiaxial Inventory manual. Minneapolis: National Computer Systems, 1977.

MILLON, T. Disorders of personality: DSM-III: Axis 1 1 . New York: Wiley

1981. '

MILLON, T. MCMI manual supplement. Minneapolis: National Computer Sys-tems, 1984.

MILLON, T. The MCMI provides a good assessment of OSM-III disorders. The

MCMI-II will prove even better. Journal of Personality

Assess-ment, 49:379-391, 1985.

MILLON, T. A theoretical derivationof pathologicalpersonalities. In T. Millon&G. L.

Klerman, Eds. Contemporany directions in psychopathology: Toward

the DSM-IV. New York: Guilford Press, 1986a.

MILLON, T. Personality prototypes and their diagnostic criteria. In T. Millon&G. L.

Klcrman, Eds. Contemporary directions in psychopathology: Toward

the DSM-IV. New York: Guilford Press, 1986b.

1 1 1 N, T. Millon Clinical Multiaxial Inventoy-II. Minneapolis: National

Com-puter Systems. 1987.

1 1 1 Y ON, J. NORRIS, O.& o n , E. The recent decline in TAT research.

Pro-fessional Psychology: Research and Practice, 16:26-28, 1985.

I'APORT, O., GILL, M. M.&SCHAFER, R. Diagnostic psychological t e s

-IIng. Vol.l. Chicago: Year Book, 1945.

I APORT, O., GILL, M. M.&SCHAFER, R. Diagnostic psychological t e s

-IIng. Vol.1 1 .Chicago: Year Book, 1946.

II 1\ CHACH, H. Psychodiagnostic. Benn: Bircher, 1921.

I I" ler, O. Manual for the Wechsler Intelligence for Children. New York:

Psychological Corporation, 1949.

'I VI CIISLER, O. Manual for the Wechsler Adult Intelligence Scale. new

York: Psychological Corporation, 1955.

WI HSLER, d , WISC-R. manual, Wechsler Intelligence Scale for

Chi!-dren - Revised. new York: psychological Corporation, 1974.

WI CHSLER, O. WAIS-R manual, Wechsler Adult Intelligence Scale -

Re-vised New York: Psychological Corporation, 1981.

WII NER, O. N. Subtle and obvious keys for the MMPI. Journal of Consulting

Psychology.12:164-170, 1948.

I Igura 1 _ Distribuição gráfica do número de referências bibliográficas encontradas nos cem artigos.