Qualidade do relato dos procedimentos metodológicos em periódicos nacionais na área de administração de empresas: o caso da modelagem em equações estruturais nos periódicos nacionais entre 2001 e 2010.

(1)

Em pr e sa s: o ca so da m ode la ge m e m e qu a çõe s e st r u t u r a is n os pe r iódicos n a cion a is e n t r e 2 0 0 1 e 2 0 1 0

Q

UALIDADE DO

R

ELATO DOS

P

ROCEDIMENTOS

M

ETODOLÓGICOS EM

P

ERIÓDICOS

N

ACIONAIS NA

Á

REA DE

A

DMINISTRAÇÃO DE

E

MPRESAS

:

O CASO DA

MODELAGEM EM EQUAÇÕES ESTRUTURAIS NOS

PERIÓDICOS NACIONAIS ENTRE

2001

E

2010

D ióge n e s de Sou z a Bido* Ce sa r Ale x a n dr e de Sou z a* *

D ir ce u da Silv a* * * Ar ilda Sch m idt Godoy* * * * Rosa n e Riv e r a Tor r e s* * * * *

Resumo

E

st a pesquisa t eve o obj et ivo de avaliar a qualidade da descr ição dos pr ocedim ent os m et o-dológicos de ar t igos que ut ilizaram a m odelagem em equações est r ut urais ( MEE) , incluindo a análise fat or ial confi r m at ór ia e a pat h analysis, e que foram publicados na RAE, RAUSP, REAd, O&S, RAC e RAE- elet r ônica ent r e 2001 e 2010. A par t ir da r evisão da lit erat ura m e-t odológica, foi elaborado um check lise-t para avaliar as e-t r eze ee-t apas da MEE, sendo validado com 33 especialist as. Os pr incipais r esult ados da análise de 68 ar t igos encont rados foram : a im possi-bilidade de r eplicar os est udos devido à falt a de infor m ações e o uso de est rat égias explorat ór ias sem a post er ior validação. Por out r o lado, a j ust ifi cat iva do m ét odo ut ilizado e a explicação das im plicações t eór icas dos r esult ados são aspect os que t êm sido at endidos plenam ent e. O check

list foi um im por t ant e subpr odut o dest a pesquisa, pois, a par t ir dele, são pr opost as novas linhas

de invest igação e at é m esm o seu uso com o fer ram ent a didát ica.

Pa la vr a s- ch a ve : Modelagem em equações est rut urais ( MEE) . LI SREL. Met odologia quant it at ive.

Per iódicos da ár ea de adm inist ração.

Quality of Reporting Methodological Procedures in National Publications in the Area

of Business Administration: the case of structural equation modelling

Abstract

T

he aim of t his research is t o evaluat e t he qualit y of t he descript ion of t he m et hodological procedures report ed in art icles t hat em ployed st ruct ural equat ion m odeling ( SEM) , including confi rm at ory fact or analysis and pat h analysis, which were published in RAE, RAUSP, Read, O&S, RAC and RAE- elet rônica j ournals bet ween 2001 and 2010. A checklist for evaluat ing t he art icles was derived from t he lit erat ure and was validat ed wit h 33 expert s. The m ain result s of t he analysis of t he 68 art icles found were: an inabilit y t o replicat e st udies due t o a lack of inform at ion and t he use of explorat ory research st rat egies wit hout furt her validat ion. On t he ot her hand, j us-t ifying us-t he use of SEM use and us-t he explanaus-t ion of us-t he us-t heoreus-t ical im plicaus-t ions of research fi ndings are aspect s t hat were fully m et by t he papers. The checklist it self is an im port ant byproduct of t his research, given t hat new lines of research regarding t he applicat ion of t he SEM m et hod are derived from it and it can also be used as a t eaching t ool in research m et hodology courses.

Ke y w or ds: St r uct ural equat ion m odeling ( SEM) . LI SREL, Quant it at ive m et hodology. Jour nals

fr om t he adm inist rat ion ar ea.

*_{Dout or em Adm inist ração de Em presas pela Faculdade de Econom ia e Adm inist ração da Universidade de}

São Paulo – FEA/ USP. Professor do Program a de Pós- Graduação em Adm inist ração de Em presas do Cent ro de Ciências Sociais e Aplicadas da Universidade Presbit eriana Mackenzie, São Paulo/ SP/ Brasil. Endereço: Av. Sant o Ant ônio, 472, Vila Osasco. Osasco/ SP. CEP: 06086- 065. E- m ail: diogenesbido@yahoo.com .br

* *_{Dout or em Adm inist r ação de Em pr esas pela FEA/ USP. Pr ofessor do Pr ogr am a de Pós- Gr aduação em}

Adm inist r ação de Em pr esas da FEA/ USP, São Paulo/ SP/ Br asil. E- m ail: calesou@usp.br

* * *_{Dout or em Educação pela USP. Pr ofessor do Pr ogr am a de Pós- Gr aduação em Adm inist r ação da}

Univer sidade Nove de Julho – PPGA/ Uninove, São Paulo/ SP/ Br asil. E- m ail: dir ceuds@gm ail.com

* * * *_{Pós-doutora pela Escola de Adm inistração da Universidade Federal do Rio Grande do Sul – PPGA/ EA/ UFRGS.}

Professora do Program a de Pós-Graduação em Adm inistração de Em presas do Centro de Ciências Sociais e Aplicadas da Universidade Presbiteriana Mackenzie, São Paulo/ SP/ Brasil. E-m ail: arilda-godoy@uol.com .br

* * * * *_{Dout or a em Adm inist r ação de Em pr esas pela FEA/ USP. Pr ofessor a da Escola de Ar t es, Ciências e}

(2)

Ar ilda Sch m idt Godoy & Rosa n e Riv e r a Tor r e s

Introdução

A

m et odologia quant it at iva é com post a por um a infi nidade de fer ram ent as est a-t ísa-t icas, cuj os obj ea-t ivos podem ser : descr ição, pr evisão ou explicação. Quando o obj et ivo é o de explicação, o pesquisador pode ut ilizar m ét odos exper im ent ais, por ém , ist o pode ser inviabilizado por diver sos m ot ivos, sej a a im possibilidade de m anipular as var iáveis, isolar o fenôm eno da infl uência de out ras var iáveis e, at é m esm o, por quest ões ét icas. Dest a for m a, m ét odos não exper im ent ais para a análise de r elações causais ou infer ências causais t êm sido pr opost os, vár ios deles baseados na análise das cor r elações ( ou covar iâncias) ent r e as var iáveis. Na ver dade, não há um m ét odo est at íst ico que “ com pr ove” a causalidade, o que se faz é obt er m odelos causais com pat íveis com os dados e pr ocurar ident ifi car a alt er nat iva que t em m aior apoio da t eor ia. Shipley ( 2002, p.3) exem plifi ca da seguint e m aneira: “ Com o a for m a de um obj et o fi xa a for m a de sua som bra, os padr ões de causação dir et a e indir et a fi xam a ‘som bra’ cor r elacional que nós obser vam os nos dados”.

Para est a fi nalidade, um dos m ét odos que t em se dest acado em pesquisas na ár ea de ciências sociais é a m odelagem em equações est r ut urais ( MEE) . Exem plos de t em as pesquisados em pr egando a MEE, em âm bit o nacional e int er nacional, incluem : est rat égia ( SI LVA et al., 2007; SHOOK et al., 2004) , m ar ket ing ( BREI ; LI BERALI NETO, 2004; 2006; BAUMGARTNER; HOMBURG, 1996) , r esponsabilidade cor porat iva ( SALMONES; CRESPO; BOSQUE, 2005) , cont abilidade ( SMI TH; LANGFI ELD- SMI TH, 2004) e fi nanças ( YANG et al., 2010) .

Segundo Hair Jr. et al. ( 2005, p. 468) , a MEE é “ um a t écnica de análise m ul-t ivar iada que com bina aspecul-t os da r egr essão m úlul-t ipla ( exam inando r elações de de-pendência) e da análise fat or ial ( r epr esent ando fat or es não dir et am ent e m edidos - as var iáveis lat ent es ou const r ut os) , para est im ar um a sér ie de r elações de dependência sim ult aneam ent e”. A MEE possibilit a aos pesquisadores em Adm inist ração de Em presas avaliar em as pr opr iedades psicom ét r icas de suas escalas de m ensuração e, sim ult a-neam ent e, est udar em a r elação ent r e conceit os não obser váveis ou const r ut os. I sso t em feit o com que a MEE t enha sido cham ada de um a t écnica de “ análise m ult ivar iada de segunda geração” ( CHI N, 1998) .

O “ pr eço” dessa habilidade e fl exibilidade é a com plexidade da t écnica, o que faz com que o pesquisador que queira usar a MEE com o r igor necessár io t enha que se pr eparar, não só em m et odologia de pesquisa quant it at iva, m as t am bém nos det alhes est at íst icos envolvidos.

Por out r o lado, os soft w ar es disponíveis para est im ar esses m odelos t êm sido m elhorados a cada ano, e pesquisas int er nacionais t êm apont ado que os pesquisa-dor es m enos pr eparados acabam por confi ar m ais acent uadam ent e nas opções pr é-pr ogram adas ( default ) , que nem sem é-pr e são as escolhas adequadas para as análises r ealizadas ( FORD; MACCALLUM; TAI T, 1986 apud CONWAY; HUFFCUTT, 2003) . Essa opção aum ent a a probabilidade de que se com et am erros nas análises por desconheci-m ent o dos pr essupost os que dever iadesconheci-m ser at endidos pelos dados e das conseqüências ao se usar um par âm et r o suger ido pelo soft w ar e.

As difi culdades com o uso da MEE t êm gerado pr eocupação quant o à qualidade dos ar t igos e das pesquisas acadêm icas r ealizadas a par t ir dessa t écnica. Sm it h e Langfi eld- Sm it h ( 2004) , por exem plo, avaliaram a sit uação de pesquisas da ár ea de cont abilidade ( Managem ent Account ing) que em pr egaram a MEE. Foram analisados vint e ar t igos publicados em dez per iódicos, durant e o per íodo de 1980 a 2001, e ident ifi cados os seguint es pr oblem as: m ét odos de est im ação e índices de adequação inapr opr iados para as caract er íst icas da am ost ra; am ost ra m uit o pequena; e falt a de infor m ações im por t ant es no r elat o para se conseguir ver ifi car ou r eplicar o est udo ( nove dos vint e ar t igos) .

(3)

- Em 81% dos est udos não foi relat ado se a am ost ra era dist ribuída norm alm ent e; - Em 39% não foi avaliada a confi abilidade dos const r ut os;

- Em 4% não foram r elat adas as m edidas de adequação do aj ust e; e

- A m atriz analisada (correlação ou covariância) não foi incluída em 84% dos estudos. No Brasil, a discussão sobr e a adequação do uso da m odelagem em equações est r ut urais ( MEE) é r elat ivam ent e r ecent e. Podem ser dest acadas as opiniões de Silva ( 2005) , o levant am ent o r ealizado por Br ei e Liberali Net o ( 2006) e, m ais r ecent em en-t e, as r ecom endações para a aplicação da MEE apr esenen-t adas por Silva een-t al. ( 2007) .

Por out r o lado, o núm er o de ar t igos publicados nos pr incipais per iódicos acadê-m icos nacionais quase que dobr ou ent r e 2007 e 2010 eacadê-m r elação ao que foi publicado ent r e 2001 e 2006, com o ser á apr esent ado m ais adiant e, a par t ir dos dados dest a pesquisa ( Tabela 1) . Tal fenôm eno m ost ra a im por t ância desse t ipo de avaliação t am -bém no cont ext o nacional.

O pr esent e t rabalho pr et ende cont r ibuir para essa discussão, apr esent ando os r esult ados de um a pesquisa que t eve com o obj et ivo: avaliar a qualidade da descr ição dos procedim ent os m et odológicos de art igos que ut ilizaram a m odelagem em equações est r ut urais ( incluindo a análise fat or ial confi r m at ór ia e a pat h analysis) e que foram publicados nos pr incipais per iódicos da ár ea de Adm inist ração de Em pr esas.

O t rabalho est á assim est r ut urado: inicialm ent e, são t rat ados os aspect os liga-dos ao uso da MEE e as et apas necessár ias à sua aplicação; em seguida, é descr it a a m et odologia em pr egada na elaboração do check list para a avaliação dos ar t igos analisados, const ruído a part ir de pesquisa bibliográfi ca e validado por especialist as da ár ea; na seqüência, é descr it a a m et odologia em pr egada para a avaliação dos ar t igos, são apr esent ados os r esult ados e pr opost as novas linhas de pesquisa.

Etapas da Análise e Decisões Metodológicas

A MEE, vist a com o um m ét odo de pesquisa e não com o um a t écnica de análise de dados, envolve at ividades e decisões que incluem : a escolha do referencial t eórico a ser ut ilizado; elaboração do m odelo est r ut ural ( que especifi ca a r elação ent r e os cons-t r ucons-t os) e do m odelo de m ensuração ( especifi cação dos indicador es para m ensurar os const r ut os ou var iáveis lat ent es) que, às vezes, envolve a const r ução de inst r um ent os para a colet a de dados; a colet a de dados pr opr iam ent e dit a; o t est e do m odelo e; fi nalm ent e, a int er pr et ação dos r esult ados à luz da t eor ia que foi usada para j ust ifi cá-lo ( BOLLEN, 1989; SCHUMAKER; LOMAX, 2004; HAI R JR. et al., 2005; KLI NE, 2005) . Há um a var iedade de livr os disponíveis at ualm ent e para or ient ar os pesqui-sador es nesse pr ocesso. No Quadr o 1, são apr esent adas as et apas necessár ias à aplicação da MEE defi nidas em quat r o desses livr os, e que com puseram a base para a elaboração do check list pr opost o nest a pesquisa.

A escolha por essas quat r o r efer ências foi baseada nos r esult ados de St aplet on e Leit e ( 2005) . Ao avaliar em o cur r ículo e a bibliografi a de 55 cur sos de MEE, os au-t or es idenau-t ifi caram Bollen ( 1989) com o a bibliografi a m ais m encionada, sendo leiau-t ura obr igat ór ia em 10 cur sos e r ecom endada em out r os 16, e Kline ( 2005) com o leit ura obr igat ór ia em 12 cur sos e r ecom endada em out r os dois. Ainda nessa pesquisa, o livr o de Schum acker e Lom ax ( 2004) foi m encionado em cinco cur sos e, por isso, incluído no r efer ido est udo por t er um a abor dagem m ais pr át ica que Bollen ( 1989) e Kline ( 2005) , com exem plos r esolvidos nos soft w ar es LI SREL, AMOS e EQS, e, assim , seu cont eúdo poder com plem ent ar o que j á t inha sido t rat ado por aqueles aut or es.

Finalm ent e, foi decidido incluir o livr o de Hair Jr. et al. ( 2005) por que é um dos m ais acessíveis e, por isso, pr ovavelm ent e, é o pr im eir o, senão o único, cont at o que m uit os pesquisador es t iveram com a MEE, especialm ent e no Brasil.

(4)

pelo fat o de a AFC ser m ais sim ples que a MEE e por que, na avaliação dos r esult ados do m odelo, pr im eir o se deve avaliar e, event ualm ent e, r eespecifi car o m odelo de m ensuração - que lida com as m edidas dos const r ut os - e som ent e depois, o m odelo est r ut ural - que lida com as r elações ent r e os const r ut os.

Qu a dr o 1 - Et a pa s da M EE e m Qu a t r o Bibliogr a fi a s e a Pr opost a por e st e Tr a ba lh o

Bolle n ( 1 9 8 9 , p.2 2 6

-3 9 4 )

Sch u m a ck e r e Lom a x ( 2 0 0 4 , p.1 6 7

-2 1 3 )

H a ir Jr . e t a l. ( 2 0 0 5 , p.4 7 6

-4 8 3 )

Klin e ( 2 0 0 5 , p. 6 3

-6 5 )

Pr opost a de st e t r a ba lh o pa r a

a s Et a pa s da M EE

AFC - m ode lo de m e n su r a çã o

1) Especifi car o m odelo

2) Det er m inar se o m odelo est á ident ifi cado

3) Est im ar o m odelo

4) Avaliar o m odelo

5) Com paração ent r e m odelos e Reespecifi cação

M EE - m ode lo e st r u t u r a l

1) Especifi car o m odelo

3) Est im ar o m odelo

4) Avaliar o m odelo

AFC - m ode lo de m e n su r a çã o

1) Especifi cação do m odelo

2) I dent ifi cação do m odelo

3) Est im ação do m odelo

4) Avaliação do m odelo

5) Modifi cação do m odelo

6) Confi abilida-de do m oabilida-delo fat or ial

M EE - m ode lo e st r u t u r a l

1) Especifi cação do m odelo

2) I dent ifi cação do m odelo

3) Est im ação do m odelo

4) Avaliação do m odelo

6) Relat ar a análise e os r esult ados

1) Desenvol-ver um m odelo t eór ico

2) Const r uir um diagram a de ca-m inhos: ca-m odelo est r ut ural

3) Conver t er o diagram a de cam inhos: espe-cifi car o m odelo de m ensuração

4) Escolher o t ipo de m at r iz de ent rada de dados: covar iân-cias ou cor r ela-ções

5) Avaliar a ident ifi cação do m odelo

6) Avaliar as est im at ivas do m odelo e qualidade do aj ust e: m odelo de m ensuração e est r ut ural

7) I nt er pr et a-ções do m odelo: ident ifi car po-t enciais m udan-ças no m odelo

9) Modelo fi nal

1) Especifi car o m odelo est r u-t ural

3) Selecionar m edidas ( m o-delo de m ensu-ração) . Colet ar e pr eparar os dados

4) Est im ar o m odelo com o auxílio de soft war e: avaliar a adequação do m odelo, int er-pr et ar os par â-m et r os, coâ-m pa-rar com m odelos equivalent es

5) Se necessár io r eespecifi car o m odelo

6) Para o m ode-lo sat isfat ór io, r elat ar det a-lhadam ent e e com pr ecisão as análises feit as

7) Replicar os r esult ados

8) Aplicar os r esult ados

1 – Just ifi cat iva

2 - Especifi ca-ção do m odelo est r ut ural ( hipó-t eses)

3 - Especifi cação do m odelo de m ensuração

4 - I dent ifi cação do m odelo

5 - Colet a dos dados

6 - Pr eparação dos dados

7 - Est im ação do m odelo

8 - Avaliação do m odelo - m odelo de m ensuração

9 - Avaliação do m odelo - m odelo est r ut ural ( com -plet o)

10 - Avaliação do m odelo -

pat h m odel

( difer ença ent r e est r ut ural e m ensuração) *

11 - Modifi cação do m odelo

12 - Validação do m odelo

13 - Discussão dos r esult ados

(5)

As seqüências de at ividades defi nidas por Hair Jr. et al. ( 2005) e Kline ( 2005) são sem elhant es ent re si, m as, diferent em ent e dos dois prim eiros livros, eles com eçam pelo m odelo est r ut ural e não pelo m odelo de m ensuração. Essas difer enças podem ser dest acadas da seguint e for m a: Boolen ( 1989) pr ocura defi nir e dist inguir AFE e MEE, explicando seu “ funcionam ent o” do pont o de vist a m at em át ico; Hair Jr. et al. ( 2005) e Kline ( 2005) focam em com o a pesquisa dever ia ser planej ada e execut ada; fi nalm ent e, Schum acker e Lom ax ( 2004) explicam a AFE e a MEE usando soft w ar es.

Na quint a coluna do Quadr o 1, est á a pr opost a apr esent ada por est e t rabalho, elaborada a par t ir da r evisão de lit erat ura e das considerações apr esent adas pelos quat r o m odelos analisados ( as quat r o pr im eiras colunas do Quadr o 1) . A seqüência pr opost a pr ocur ou incor porar e conciliar as et apas descr it as nas quat r o r efer ências.

É im por t ant e considerar que a MEE não dever ia ser discut ida apenas com o um m ét odo est at íst ico para a análise de dados quant it at ivos, m as, sim , com o um m ét odo de pesquisa; com o t al, é m ais fi elm ent e caract er izada por um a sér ie de idas- e- vindas do que por um a list a de it ens em um a seqüência pr é- defi nida. Assim , a par t ir dessas 13 et apas, foi elaborado o fl uxogram a do Apêndice A, que apr esent a a m odelagem com o um “ casam ent o” ent r e a t eor ia e os dados em pír icos, com o foi pr opost o por Lohm öller ( 1989, p.13- 16) .

Preparação do

Check List

para

Avaliação dos Artigos

A part ir das et apas propost as, foi elaborada um a list a com os it ens que deveriam ser obser vados em cada um a delas, com pondo o check list para avaliação de ar t igos que ut ilizam a MEE, o que, segundo Shook et al. ( 2004) , é o m om ent o de ident ifi cação das “ boas pr át icas” para j ulgar as decisões dos pesquisador es.

A r evisão da lit erat ura per m it iu obser var que o check list de Schum acker e Lom ax ( 2004, p.230- 259) era o m ais com plet o; por isso, foi decidido ut ilizá- lo com o base para iniciar a pr eparação do check list para a pr esent e pesquisa, com a com -plem ent ação de out r os aut or es, a saber : McDonald e Ho ( 2002) , Boom sm a ( 2000) , Chin ( 1998) , Hoyle e Pant er ( 1995) , Raykov, Tom er e Nesselr oade ( 1991) , Br eckler ( 1990) , Br ei e Liberali Net o ( 2006) .

Foram consult ados, t am bém , os t rabalhos de St eiger ( 1988) , Baum gar t ner ; Hom bur g ( 1996) , MacCallum e Aust in ( 2000) , Boom sm a ( 2000) , Jar vis, Mackenzie e Podsakoff ( 2003) , m as não foram usados na análise de cont eúdo que ger ou o check

list , por que j á t inham a sua infor m ação r epr esent ada em ar t igos m ais novos, por

exem plo, St eiger ( 1988) t inha sido cit ado por Chin ( 1998) e McDonald e Ho ( 2002) . Em um a pr im eira et apa, foram gerados 95 it ens pelos pesquisador es, que depois foram r evisados, agr upando aqueles que t rat avam de infor m ações pr óxim as, elim inando aqueles m ais r elacionados às quest ões “ operacionais”, com o “ Você usou ‘nor m al scor es’ do LI SREL devido à am ost ra ser pequena ou não nor m al?” ( SCHUMA-CKER; LOMAX, 2004, p.252) . Essas quest ões m ais operacionais foram t ransfor m adas em quest ões m ais gerais, nesse caso: “ Você avaliou a nor m alidade das var iáveis e descr eveu com o lidou com a não nor m alidade?”. Além disso, t odas as quest ões foram colocadas no m esm o t em po ver bal, com o se o usuár io t ivesse que r esponder afi r m a-t ivam ena-t e às quesa-t ões colocadas. Essa r evisão foi feia-t a por um dos pesquisador es e cr it icada por out r os dois, r esult ando em um check list com 78 it ens.

Em um a segunda et apa, os 78 it ens foram subm et idos à avaliação de acadêm i-cos brasileir os que t êm pr odução cient ífi ca r elacionada ao uso de MEE. Para isso, foi r ealizada um a “ busca” no Lat t es por assunt o “ equações est r ut urais”, o que r esult ou em 468 pesquisador es, sendo 390 dout or es, dos quais, 53 da ár ea de Adm inist ração de Em pr esas ou Est at íst ica.

(6)

por-Ar ilda Sch m idt Godoy & Rosa n e Riv e r a Tor r e s

t ant e relat ar; 2 = deve ser incluída, pelo m enos, um a not a ou com ent ário; 3 = devem ser incluídos os result ados m ais relevant es e; 4 = devem ser incluídos os result ados m ais relevant es + análise det alhada dos result ados. Essa escala ordinal foi desenvolvida pelos aut ores com a fi nalidade de represent ar diferent es níveis de relat os que devem ser incluídos no art igo, de acordo com a im port ância percebida pelo respondent e. O recebim ent o das respost as foi m onit orado e se repet iu m ais duas vezes o envio de m ensagens aos não respondent es. Além disso, foram cont at ados novos pesquisadores indicados pelos respondent es ( est rat égia conhecida com o “ bola de neve” ) .

Deu- se por concluída essa colet a de dados quando j á t inham sido cont at ados 77 pesquisador es, obt endo- se 45 ( 58,4% ) r espost as, sendo 33 consideradas válidas. O descar t e de 12 r espost as se deu por que havia um a r essalva do r espondent e de que não se sent ira capacit ado a avaliar o check list .

Os 33 pesquisador es que opinaram sobr e os it ens do quest ionár io per t enciam às seguint es inst it uições: Mackenzie ( 6) , FEA/ USP ( 4) , FGV- SP ( 3) , UFPB ( 3) , UnB ( 3) , PUC- RS ( 1) , Univer sidade Cat ólica de Brasília ( 1) , UFRGS ( 1) , UFPR ( 1) , UFPE ( 1) , I BMEC- RJ ( 1) , UNI NOVE ( 1) , FEI ( 1) , UFMG ( 1) , UNI P ( 1) , Faculdade Novos Ho-r izont es ( 1) , União Educacional Minas GeHo-rais ( 1) , UniveHo-r sit y of Texas at San Ant onio ( 1) e UFAL ( 1) . O cur r ículo Lat t es possibilit ou confi r m ar que t odos os pesquisador es t inham exper iência em MEE, sej a por sua for m ação ou devido à at ividade de pesquisa e or ient ação.

As infor m ações qualit at ivas pr est adas pelos r espondent es foram ut ilizadas com o obj et ivo de dim inuir o t am anho do check list para 48 it ens, enquant o as infor m ações quant it at ivas foram ut ilizadas na análise desem penho ver sus im por t ância, apr esen-t ada m ais adianesen-t e na seção de r esulesen-t ados. O Quadr o 2 apr esenesen-t a os iesen-t ens do check

list descr it os de for m a r esum ida ( a ver são com plet a pode ser obt ida por solicit ação

ao pr im eir o aut or ) .

Qu a dr o 2 - Ch e ck list ( 4 8 it e n s) – AFC, M EE e Pa t h An a ly sis

Et a pa I t e n s

E1: Just ifi cat iva

1.1 Est á indicado por que MEE foi usada ou com o cont r ibui p/ os obj et i-vos do t rabalho?

1.2 Est á indicada a caract er íst ica da análise ( se confi r m at ór ia ou explo-rat ór ia) ?

1.3 Est á indicado o t ipo do m odelo: AFC, Pat h analysis ou m odelo com -plet o?

E2: Especifi ca-ção do Modelo Est r ut ural

2.1 Foi incluída fi gura do m odelo est r ut ural?

2.2 Foram incluídos os fundam ent os t eór icos para o m odelo est r ut ural?

2.3 Foram indicadas as hipót eses est at íst icas e a dir eção esperada p/ os par âm et r os?

E3: Especifi ca-ção do Modelo de Mensuração

3.1 As VLs e o m odelo de m ensuração foram defi nidos e fundam ent a-dos t eor icam ent e?

3.2 Foram j ust ifi cados os pr ocedim ent os r elat ivos ao uso de it ens úni-cos?

3.3 Se foram usados indicador es for m at ivos, houve a devida j ust ifi ca-ção t eór ica?

3.4 Foi r elat ado o nível de m ensuração das var iáveis ou incluído o ques-t ionár io?

E4: I dent ifi ca-ção do Modelo

4.1 Foi explicado com o foi defi nida a escala para a var iância da var iável lat ent e?

(7)

E5: Colet a dos Dados

5.1 Foi indicado se os dados eram longit udinais, cr oss- sect ional ou exper im ent ais?

5.2 A população da qual a am ost ra foi obt ida foi descrit a adequadam ent e?

5.3 Foi r elat ado o pr ocesso de am ost ragem e a defi nição do t am anho da am ost ra?

5.4

Foi r elat ada a ext ensão em que a am ost ra não é aleat ór ia podendo afet ar ou lim it ar os obj et ivos do est udo? Foi feit a análise dos não-r espondent es?

E6: Exam e e Pr eparação dos dados

6.1 Foi descr it o se houve dados falt ant es e com o foram t rat ados?

6.2 Foi descr it o se houve out lier s ( uni ou m ult ivar iados) e com o foram t rat ados?

6.3 Foram r elat adas est at íst icas descr it ivas de suas var iáveis?

6.4 Foi avaliada a nor m alidade ( uni e m ult ivar iada) das var iáveis e des-cr it o o que foi feit o no caso da não- nor m alidade?

6.5 Foi avaliada a linear idade das r elações e r elat ado se houve t ransfor-m ações nas var iáveis para at ingir esse obj et ivo?

6.6 É apr esent ada t abela com as cor r elações, m édias e desvios padr ões ( ou cov.) ?

Foi com ent ado o nível de m ult i- colinear idade ent r e as var iáveis obser vadas ( VI F) ?

E7: Est im ação do Modelo

7.1 Foi r elat ado qual o soft w ar e para a MEE ( e ver são) usado?

7.2 Os m odelos de m ensuração e est r ut ural foram est im ados separada-m ent e?

7.3

Foram r elat adas t odas as infor m ações necessár ias para a r eplica-ção da análise ( m at r iz analisada, t écnica de est im aeplica-ção, dados de par t ida et c.)

E8: Avaliação do Modelo de Mensuração

8.1 Foi incluída fi gura do m odelo de m ensuração ou t abela?

8.2 Foram r elat adas a validade conver gent e, a discr im inant e e a confi a-bilidade com post a das var iáveis lat ent es?

8.3

Foram r elat ados os coefi cient es padr ão e est r ut ural quando os fat or es são cor r elacionados e/ ou quando as var iáveis m edem m ais de um fat or ?

8.4 Foram r elat adas e j ust ifi cadas as m odifi cações do m odelo de m en-suração?

8.5 Foi verifi cada a invariância do m odelo de m ensuração ant es do t est e das est im at ivas de parâm et ros no m odelo est rut ural m ult i- grupos?

8.6 Foi r elat ado o valor do qui- quadrado, graus de liber dade e valor- p?

8.7 Foram r elat ados e j ust ifi cados out r os índices de aj ust e para o m o-delo de m ensuração?

E9: Avaliação do Modelo Es-t r uEs-t ural

9.1 Foi r elat ado o valor do qui- quadrado, graus de liber dade e valor- p ( depois que foram incluídas as r elações est r ut urais ou pat hs) ?

9.2 Foram r elat ados e j ust ifi cou out r os índices de aj ust e p/ o m odelo est r ut ural com plet o?

9.3

Foram r elat adas t odas as est im at ivas dos par âm et r os, incluindo as var iâncias dos er r os e as var iâncias das var iáveis lat ent es ( t abela ou no pr ópr io diagram a) ?

9.4 Foi com ent ado se as est im at ivas dos par âm et r os t inham a dir eção cor r et a?

(8)

N ot a : Todos os r esult ados apr esent ados nesse t rabalho foram obt idos com o quest ionár io de 78 it ens,

m as a cor r elação ent r e os r esult ados de am bos os quest ionár ios é alt a ( 0,944, p < 0,00001) e a dife-r enças das m édias não é signifi cant e ( p > 0,05) .

Refor çando a validade de cont eúdo do check list , obser vou- se que t odos os it ens de Mueller e Hancock ( 2010, p.372) est ão cont em plados, com exceção do uso de var iáveis de cont r ole na et apa 2 ( especifi cação do m odelo est r ut ural) e da ade-quação da quant idade de indicador es por var iável lat ent e na et apa 3 ( especifi cação do m odelo de m ensuração) .

Seleção e Avaliação dos Artigos

A et apa seguint e da pesquisa foi a aplicação do check list para análise de ar t i-gos que ut ilizaram a MEE ( incluindo aqueles que se lim it aram apenas à aplicação da AFC sem o desenvolvim ent o do m odelo est r ut ural e aqueles que ut ilizaram a t écnica de pat h analysis, ou sej a, apenas ut ilizaram a MEE para t est ar o m odelo est r ut ural com var iáveis obser vadas, sem a ut ilização de var iáveis lat ent es) , publicados nos per iódicos m ais r elevant es na ár ea de Adm inist ração no per íodo de j aneir o de 2001 a dezem br o de 2010.

A j ust ifi cat iva para escolha desse t ipo de pr odução deve- se ao fat o de, geral-m ent e, o cont eúdo de ugeral-m a disser t ação ou t ese ser divulgado cogeral-m o ar t igo egeral-m anais ou event os e, post er ior m ent e, passar por cr ít icas, sendo r evisado e encam inhado para publicação em per iódicos; por isso, se diz que são publicações defi nit ivas. Quant o ao per íodo de dez anos, est e foi considerado adequado para incluir um núm er o sufi cient e de ar t igos que pudessem ser ut ilizados na análise de t endências.

A seleção dos per iódicos par t iu da classifi cação do sist em a Qualis da CAPES. No início da pesquisa ( 2007) , as seguint es r evist as est avam classifi cadas com o “ nacional A” ( em 2009, as t r ês pr im eiras foram r eclassifi cadas com o B1 e as t r ês últ im as com o B2) : RAC - Revist a de Adm inist ração Cont em por ânea; RAE Elet r ônica, RAE - Revist a de Adm inist ração de Em pr esas, O&S - Or ganizações & Sociedade, RAUSP - Revist a de Adm inist ração e REAd. Revist a Elet r ônica de Adm inist ração.

E10: Avaliação do Pat h Model 10.1

Foi r elat ado o índice de aj ust e do pat h m odel ( dif. ent r e est r ut ural e m ensuração) ?

E11: Modifi ca-ção do Modelo Est r ut ural

11.1 Foram r elat ados quais par âm et r os do m odelo alt er nat ivo foram especifi cados a pr ior i?

11.2 Foram r elat ados quais par âm et r os do m odelo alt er nat ivo foram especifi cados a post er ior i?

11.3

Foram for necidas est im at ivas dos par âm et r os e os índices de aj ust e do m odelo t ant o para o m odelo inicial quant o para o m odelo r e-especifi cado?

11.4 Foi r elat ado com o foi avaliado e selecionado o m elhor m odelo?

E12: Validação do Modelo

12.1

Se a AFE foi usada p/ desenvolver o m odelo de m ensuração ou se foram elim inados it ens durant e a AFC , foi colet ada out ra am ost ra para validação ou foi r ealizada validação cr uzada dividindo a am os-t ra or iginal?

12.2

Se houve m odifi cação no m odelo guiada pelos índices de m odifi ca-ção, foi r eplicada a análise com out ra am ost ra ou validação cr uzada dividindo a am ost ra or iginal?

E13: Discussão dos Result ados

13.1 Os r esult ados foram avaliados em vist a de seu quadr o t eór ico or iginal ( fr am ew or k) ?

13.2 Foram r elat adas as lim it ações do pont o de vist a m et odológico e est at íst ico?

(9)

Para os seis per iódicos selecionados e o per íodo de dez anos considerado na avaliação, t odos os ar t igos foram ver ifi cados e aqueles que ut ilizaram MEE, AFC ou

pat h analysis foram separados para post er ior análise. Para m inim izar a possibilidade

de algum ar t igo não ser ident ifi cado para post er ior avaliação, a busca foi r ealizada por dois pesquisadores independent es e a RAUSP foi verifi cada por um t erceiro pesquisador. Foram ident ifi cados 69 art igos ( referências disponíveis com o 1º aut or) que usaram a MEE, AFC ou pat h analysis, porém , um art igo publicado na REAd em 2010 com ent ava que t inha usado AFC, m as não apresent ou nenhum result ado, por isso, ele foi desconsiderado. A Tabela 1 apresent a a dist ribuição dos art igos por ano e por periódico.

Ta be la 1 - Ar t igos qu e Usa r a m M EE, AFC ou Pa t h An a ly sis

An o Pe r iódico Tot a l

RAE- e le t r ôn ica RAE RAUSP REAd RAC O& S

2001 0 1 1 0 0 0 2

2002 0 1 1 0 2 0 4

2003 1 2 0 1 0 0 4

2004 0 2 1 0 5 0 8

2005 0 0 1 0 5 0 6

2006 2 1 1 2 0 0 6

2007 2 3 1 1 1 1 9

2008 1 3 1 0 4 0 9

2009 2 3 4 0 2 1 12

2010 3 1 0 0 4 0 8

Tot al 11 17 11 4 23 2 6 8

Esses art igos foram avaliados por um dos pesquisadores com base no check list , sendo at r ibuídas as seguint es not as para cada it em do check list : 0 = era aplicável, m as não foi r elat ado; 0,5 = era aplicável, m as foi r elat ado par cialm ent e ou o que est á r elat ado não est á de acor do com as r ecom endações m et odológicas; 1 = era aplicável e foi r elat ado com plet am ent e; e NA = it em não era aplicável ao ar t igo.

Com o o check list era o m esm o para a AFC, MEE e pat h analysis, em alguns casos, havia it ens não aplicáveis, por esse m ot ivo a not a geral para cada ar t igo foi at r ibuída com o um a por cent agem [ ( t ot al de pont os / t ot al de it ens aplicáveis) * 100] . Essas not as foram analisadas quant o à t endência cent ral e disper são das pont uações obt idas; pont uação por per iódico; t endência ( pont uação pelo ano de publicação) ; infl uência do núm er o de páginas na pont uação; e pont uação por seção do check list ( ou et apa da análise) .

Resultados

Avaliação dos artigos considerando

todas as etapas – pontuação geral

Para r esponder ao obj et ivo geral, quant o à qualidade do r elat o dos pr ocedim en-t os m een-t odológicos de ar en-t igos que fi zeram uso da MEE, em pr im eir o lugar, foi avaliada a dist r ibuição da pont uação.

(10)

Figu r a 1 – D ist r ibu içã o de Fr e qu ê n cia s dos Pon t os

N ot a : Média = 55,4 pont os e Desvio padr ão = 10,3 pont os

A m édia de 55,4 pont os em um a escala de 0 a 100 est á bem abaixo do r esul-t ado que era esperado para ar esul-t igos publicados nos pr incipais per iódicos brasileir os. As pr óxim as análises esclar ecem quais et apas da MEE t êm sido m enos at endidas e buscam padr ões de com paração que sej am m ais r ealist as do que o m áxim o da escala.

A segunda et apa de análise consist iu na com paração ent r e os per iódicos, que é apr esent ada na Figura 2, na qual se obser va que não há difer ença na m édia da pont uação ent r e os per iódicos brasileir os ( p > 0,2 na ANOVA) , m as a RAC se dest aca por t er sido a que publicou m ais ar t igos e, m esm o assim , m ant eve um a pequena disper são em r elação aos dem ais per iódicos.

At é est e m om ent o, o padr ão de com paração usado foi o valor 100 ( m áxim o de pont os) , m as, um padr ão m ais r ealist a, confor m e o j ulgam ent o dos pesquisador es, foi defi nido a par t ir da avaliação de seis ar t igos publicados em 2010 no Jour nal of

Managem ent ( JoM) , que foi escolhido com o um padr ão, por que é um dos per iódicos

de m aior fat or de im pact o na ár ea de Adm inist ração: 3,747, segundo o w ebsit e do JoM ( 2011) . A quant idade de seis ar t igos foi defi nida de for m a ar bit r ár ia, apenas para se t er algum a var iabilidade que possibilit asse um a análise m ais pr ecisa da pont uação m édia do JoM.

(11)

com a classifi cação desses per iódicos ( o que r efor ça a validade de cr it ér io do check

list com o inst r um ent o de avaliação) . Nas análises por et apa da MEE ( seção 5.2) , são

ident ifi cadas quais as et apas específi cas que necessit am de m aior at enção dos aut o-r es, pao-r eceo-r ist as e edit oo-r es.

Figu r a 2 - Av a lia çã o da Pon t u a çã o por Pe r iódico

A t erceira análise procurou avaliar se havia algum a t endência de m elhora nesses r esult ados ao longo do t em po. A Figura 3 leva à conclusão de que a t endência é de est abilidade da pont uação.

Figu r a 3 - Av a lia çã o da Pon t u a çã o por An o de Pu blica çã o dos Ar t igos Br a sile ir os

(12)

1. Um a página do ar t igo, com t ext o em t odas as suas linhas, foi copiada para o MS- Wor d e for m at ada com o: página A4, let ra Tim es New Rom an 12, es-paçam ent o sim ples e m ar gens 3, 3, 2, 2.

2. Fa t o r d e c o n v e r s ã o = ( q u a n t i d a d e d e l i n h a s d o a r t i g o / 5 0 ) Onde: 50 = quant idade de linhas em um a página A4

3. Cont ada a quant idade de páginas do ar t igo ( valor es int eir os) , descont ando a capa e o r esum o.

4. Quant idade de páginas padr onizada = quant idade de páginas na publicação * fat or de conver são

Observou- se que a quant idade de páginas variou de 11,0 a 27,4, com 22 art igos ( 32,4% ) na faixa de 11 a 15 páginas, e 33 art igos ( 48,5% ) na faixa de 16 a 20 páginas.

Na análise de r egr essão linear sim ples, ident ifi cou- se que a pont uação inde-pende da quant idade de páginas, concluindo- se que as difer enças se devam m ais às decisões dos pr ópr ios aut or es do que às r est r ições de for m at ação.

Avaliação dos artigos por etapa

da MEE – seções do check list

Para cada bloco do check list ( et apas da MEE – E1 a E13) , foram calculadas as m édias da pont uação obt ida nos it ens aplicáveis e são apr esent adas na Figura 4.

Figu r a 4 - M é dia dos I t e n s pa r a ca da Et a pa do Ch e ck List ( pe r iódicos br a sile ir os)

Le ge n da : E1 = Just ifi cat iva; E2 = Especifi cação do m odelo est rut ural; E3 = Especifi cação do m odelo de

m ensuração; E4 = I dent ifi cação do m odelo; E5 = Colet a dos dados; E6 = Exam e e preparação dos dados; E7 = Est im ação do m odelo; E8 = Avaliação do m odelo de m ensuração; E9 = Avaliação do m odelo est r ut ural ( com plet o) ; E10 = Avaliação do pat h m odel ( difer ença ent r e est r ut ural e m ensuração) ; E11 = Modifi cação do m odelo; E12 = Validação do m odelo; E13 = Discussão dos r esult ados.

N ot a : Para cada et apa, a not a 100 equivale a um ar t igo em que 100% dos it ens aplicáveis foram

r elat ados de for m a cor r et a e com plet a.

As et apas com as m aior es m édias foram a j ust ifi cat iva ( E1) e a discussão dos r esult ados ( E13) , que podem ser consideradas com o aplicáveis a qualquer ar t igo cien-t ífi co, independencien-t e da m ecien-t odologia ucien-t ilizada, ou sej a, j uscien-t ifi car o m écien-t odo ucien-t ilizado e explicar as im plicações t eór icas obt idas a par t ir dos r esult ados são aspect os que t êm sido at endidos plenam ent e por esses ar t igos.

(13)

A respeit o desses result ados, é possível especular que a ident ifi cação do m odelo ( E4) e o exam e e pr eparação dos dados ( E6) , t alvez, não est ej am sendo r elat ados com plet am ent e nos ar t igos por ser em considerados com o “ pr oblem as r esolvidos”. Quant o à ident ifi cação do m odelo ( E4) , isso é aceit ável, j á que um m odelo com pr o-blem a de ident ifi cação não conver gir ia para um a solução fi nal e, para os m et odólogos, o pesquisador dever ia avaliar a ident ifi cação do m odelo “ ant es” da colet a de dados, para não cor r er o r isco de inviabilizar a análise por esse t ipo de pr oblem a.

Ent ret ant o, quant o ao exam e e exploração dos dados ( E6) , dois aspect os são im port ant es: vários m ét odos de est im ação, por exem plo, o ML ( m axim um likelihood) , assum em que os dados possuem um a dist ribuição norm al m ult i-variada e, em segundo lugar, a falt a da m at riz de covariâncias ou de correlações e desvios- padrão im pedem o uso desses art igos em fut uras pesquisas do t ipo m et a- análise ou m esm o o t est e de m odelos equivalent es, por part e de out ros pesquisadores. O result ado para a et apa est im ação do m odelo ( E7) foi com ent ado j unt o com o result ado da Figura 5, na próxim a seção.

O baixo r esult ado para a avaliação do m odelo de m ensuração ( E8) pode ser explicado da seguint e for m a: quando se usa a MEE, o foco da pesquisa est á nas r ela-ções ent r e os const r ut os ou var iáveis lat ent es, ent ão, m aior ênfase é dada ao m odelo est r ut ural ( t est e de hipót eses) , com o se obser va pelos valor es m ais alt os nas et apas E2, E9 e E11 da Figura 4.

Apesar da avaliação do m odelo est r ut ural ( E9) t er t ido um a pont uação m édia super ior a 50, um de seus it ens ( r elat ar o valor do R2_{) só foi at endido por 39% dos} ar t igos ( 20 em 51) . Geralm ent e, com ent am - se apenas os valor es dos coefi cient es est r ut urais para j ust ifi car o at endim ent o ou r ej eição das hipót eses, sem discut ir o poder pr edit ivo do m odelo.

A avaliação do pat h m odel ( E10) foi unânim e em não ser at endida, nem nos ar t igos brasileir os e nem nos ar t igos do JoM; logo, a sugest ão de McDonald e Ho ( 2002, p.73- 75) car ece de m aior divulgação ou t est es pela academ ia para fi car r e-conhecido o seu valor. Para essa r ecom endação, os aut or es se basearam na análise de ar t igos publicados em que o m odelo de m ensuração e o est r ut ural est avam com índices de aj ust e adequados, m as o pat h m odel ( calculado pela difer ença dos dois m odelos) não apr esent ava índices de aj ust e adequados. Concluem que “ o aj ust e do m odelo est r ut ural com post o [ com plet o] pode par ecer sat isfat ór io quando as poucas r est r ições im post as pelo pat h m odel não são, de fat o, especifi cadas cor r et am ent e” ( McDONALD; HO, 2002, p.75) .

Quant o à validação do m odelo, que ser ia aplicável a m ais da m et ade dos ar t i-gos avaliados ( 36) , só foi r ealizada em t r ês deles. Est e é um r esult ado pr eocupant e, por que, se o m odelo foi alt erado para se aj ust ar aos dados - sej a at ravés de um a análise fat or ial explorat ór ia pr évia para elim inar os it ens com baixas car gas fat or iais ou, post er ior m ent e, na et apa de est im ação do MEE, quando o aut or t om ou decisões baseadas nos índices de m odifi cação - , o est udo deixou de ser confi r m at ór io ( t est e de t eor ias) e passou para um cont ext o explorat ór io. É int er essant e obser var que a m odifi cação do m odelo ( E11) t eve um r esult ado razoável, logo, os aut or es t êm bus-cado j ust ifi car as alt erações do pont o de vist a t eór ico, por ém , sem validar o m odelo fi nal em um a segunda am ost ra.

O que relatar? Importância versus Desempenho

Para avaliar o que havia de com um na opinião dos especialist as ( im por t ância de ser r elat ado) e dos aut or es ( desem penho na avaliação com o check list ) , foi elaborado o gr áfi co apr esent ado na Figura 5. O alinham ent o dos pont os indica que há coer ên-cia ent r e o que t em sido publicado ( visão dos aut or es) e a opinião dos espeên-cialist as ( im por t ância) . Dest acando- se que apenas t r ês especialist as t am bém per t enciam ao gr upo de aut or es, a concor dância ent r e os dois gr upos não se j ust ifi ca por ser em as m esm as pessoas, m as, sim , por ser um consenso na academ ia.

(14)

E3 = Especifi cação do m odelo de m ensuração; E11 = Modifi cação do m odelo; E13 = Discussão dos r esult ados.) que são consideradas pr ior it ár ias pelos especialist as e t êm sido at endidas de m odo adequado pelos art igos publicados. De cert o m odo, esses it ens r epr esent am a “ espinha dor sal” de um ar t igo que t enha ut ilizado MEE, o que é con-fi r m ado pelos ar t igos int er nacionais ( JoM) , que apr esent aram os m esm os r esult ados. No segundo quadrant e ( alt a im por t ância e baixo desem penho) , est ão as et apas ( E8 = Avaliação do m odelo de m ensuração e E12 = Validação do m odelo) que necessi-t am de um a m aior anecessi-t enção por par necessi-t e dos aunecessi-t or es de ar necessi-t igos que usaram a MEE. Esses r esult ados podem indicar que os aut or es t êm pr ior izado o r elat o do m odelo est r ut ural em det r im ent o do m odelo de m ensuração e, t am bém , que t em sido r ot ineir o o uso da MEE em cont ext o explorat ório, j á que é com um a revisão dos m odelos de m ensuração, por exem plo, r et irando it ens com baixas car gas fat or iais e, dessa for m a, aj ust ando o m odelo aos dados, sem a devida validação em um a am ost ra nova. Os r esult ados do JoM r efor çam a necessidade de m elhor ia no r elat o dessas et apas, j á que seus valor es foram super ior es em m ais de 10 pont os.

Figu r a 5 - M a pa de Pr ior ida de s – O qu e D e v e r ia se r Re la t a do?

Le ge n da : E1 = Just ifi cat iva; E2 = Especifi cação do m odelo est r ut ural; E3 = Especifi cação do m odelo

de m ensuração; E4 = I dent ifi cação do m odelo; E5 = Colet a de dados; E6 = Preparação dos dados; E7 = Est im ação do m odelo; E8 = Avaliação do m odelo de m ensuração; E9 = Avaliação do m odelo com plet o; E10 = Avaliação do pat h m odel ( difer ença ent r e o com plet o e o de m ensuração) ; E11 = Modifi cação do m odelo; E12 = Validação do m odelo; E13 = Discussão dos r esult ados.

N ot a : As linhas cent rais passam pelas m edianas, sendo que no eixo ver t ical foram ut ilizados apenas

os r esult ados dos ar t igos brasileir os no cálculo da m ediana. A escala ut ilizada para avaliar os ar t igos var iava de 0 a 100 e a escala ut ilizada pelos especialist as var iava de 1 a 4.

(15)

de McDonald e Ho ser de 2002, para os aut or es brasileir os, essa et apa é desconhecida e, para os especialist as, est á longe de ser um consenso. Nesse caso, a divulgação do

check list pode est im ular que esse t est e passe a ser usado.

Ainda no quadrant e de baixa im por t ância e baixo desem penho, encont ra- se a et apa ident ifi cação do m odelo ( E4) , que j á foi com ent ada na Figura 4, e a et apa es-t im ação do m odelo ( E7) , que apr esenes-t ou a m aior difer ença com r elação aos ar es-t igos do JoM ( 27 pont os abaixo) . Est e é um dos aspect os que necessit a de m aior at enção por par t e dos aut or es e avaliador es, pois a falt a dessas infor m ações ( soft w ar e, m at r iz ut ilizada, m ét odo de est im ação) inviabilizam a r eplicação do est udo.

O quar t o quadrant e ( baixa im por t ância e alt o desem penho) cont ém as dem ais et apas ( colet a de dados e avaliação do m odelo com plet o) , que t êm sido t rat adas de m aneira sat isfat ór ia pelos aut or es.

Considerações Finais

O que r elat ar ? E com que det alham ent o e pr ofundidade? Est as são quest ões que devem ser abor dadas por edit or es, avaliador es e aut or es de ar t igos que t enham usado m et odologias quant it at ivas, em par t icular a MEE, por que um r elat o pobr e dos passos m et odológicos pode im pedir que os r esult ados da pesquisa sej am avaliados adequadam ent e.

Além disso, é im pr ovável que haj a pr ogr esso nas pesquisas em Adm inist ração que se originam de t rabalhos brasileiros realizados com a m et odologia da MEE, porque se inviabiliza a r eplicação em out r os cont ext os e a execução de m et a- análises.

Boom sm a ( 2000) r efor ça a r ecom endação de que, a par t ir do r elat o, sej a pos-sível r eplicar a pesquisa, bem com o as análises feit as, e conclui, com bom - hum or, da seguint e for m a:

Um dos crit érios para avaliação de um m anuscrit o pode ser que o m odelo sej a replicável por um a font e obj et iva, de m odo a evit ar quaisquer falhas que possam t er ocor r ido. Se o cr it ér io de r eplicação não pode ser at endido, o m anuscr it o poder ia ser enviado para o Jour nal of I r r epr oducible Result s ou seu sucessor, The Annals of I m pr obable

Resear ch ( BOOMSMA, 2000, p. 462)

A área de Adm inist ração no Brasil t em am pliado o uso dos m ét odos quant it at ivos ( SI LVA, 2005) , e par t e desse m ovim ent o se dá por um a busca de am pliar publicações em per iódicos int er nacionais.

Para que um a m elhor qualidade dos r elat os possa ser obt ida, é necessár io o esfor ço t ant o dos aut or es, com o dos r evisor es e, pr incipalm ent e, dos edit or es. Por isso, considera- se que as pr incipais cont r ibuições dest e ar t igo est ão m ais volt adas para esses “ prat icant es”, no sent ido de: elaborar o check list com os cr it ér ios de ava-liação do r elat o da pesquisa e que poder ão ser ut ilizados para ident ifi car as et apas que necessit am m aior es cuidados na r edação; ent ender o fl uxogram a com o a et apa do “ fazer ”, enquant o o check list , a et apa do “ r elat ar ”.

Out ra cont r ibuição esperada é o uso desses r esult ados e do check list com o r ecur so didát ico em disciplinas de m et odologia de pesquisa ou de análise de dados quant it at ivos, em que o fazer e o r elat ar sej am discut idos em pr ofundidade.

O principal obj et ivo do art igo era avaliar os art igos publicados, m as o inst rum ent o desenvolvido ( o check list ) acabou se m ost rando um dos subpr odut os da pesquisa que inspira novos quest ionam ent os e pesquisas, por exem plo:

Qual a r elação ent r e a pont uação t ot al obt ida no check list e a classifi cação Qualis do per iódico?

Os result ados nas et apas da MEE ( blocos do check list ) discrim inariam os art igos publicados em per iódicos de cada t ipo ( A1, A2, B1, B2,...) ?

Com o os aut or es dos ar t igos avaliados apr enderam a MEE? Quais cur sos for-m ais e quant o de esfor ço cofor-m o aut o- didat a ( est udo e pesquisa) ? Há r elação ent r e a for m ação e a pont uação obt ida com o check list ?

(16)

A part ir dos result ados obt idos e considerando que a análise fat orial explorat ória ( AFE) pode ser ut ilizada com o et apa ant er ior à análise fat or ial confi r m at ór ia ( AFC) ou à MEE, sua avaliação ser ia t ão im por t ant e e int er essant e quant o aquelas que foram feit as para a AFC e MEE. Apesar disso, não foi ident ifi cada pesquisa brasileira que t rat asse apenas da AFE. Os r esult ados apr esent ados por Fr oem m ing et al. ( 2000) , em r elação à qualidade das pesquisas quant it at ivas publicadas na década de 90 na RAE, RAUSP e ENANPAD, gera um a expect at iva de que “ as coisas não vão bem ” com os ar t igos que usaram a AFE, o que é r efor çado pelos r esult ados de Gosling e Gonçalves ( 2004, p. 21) . Por isso, est udo sim ilar a esse, que focasse apenas na AFE, cont inua sendo r ecom endado.

A pr incipal lim it ação dest a pesquisa est á no fat o das avaliações t er em sido r e-alizadas por apenas um pesquisador que, por um lado, evit a o er r o ent r e avaliador es, m as, por out r o, im possibilit a a avaliação do viés que possa t er ocor r ido devido ao pr ópr io avaliador.

A generalização t am bém não é r ecom endada, j á que foram analisados t odos os ar t igos que usaram MEE, AFC ou pat h analysis em seis per iódicos brasileir os. Para est es, é um censo, m as o que dizer para ar t igos publicados em out r os per iódicos? Por isso, a invest igação dem anda sua cont inuação no sent ido de abar car per iódicos de out ras classifi cações Qualis.

Referências

BAUMGARTNER, H.; HOMBURG, C. Applicat ions of st r uct ural equat ion m odeling in m ar ket ing and consum er r esear ch: a r eview. I nt er nat ional Jour nal of Resear ch in

Mar ket ing, v.13, n.2, p.139- 162, abr.1996.

BOLLEN, K. A. St r uct ur al equat ions w it h lat ent var iables. New Yor k: John Wiley & Sons, I nc., 1989.

BOOMSMA, A. Repor t ing analyses of covar iance st r uct ur e. St r uct ur al Equat ion

Modeling: A Mult idisciplinar y Jour nal, v.7, n.3, p. 461- 483, 2000. Disponível em :

< ht t p: / / w w w.ppsw.r ug.nl/ ~ boom sm a/ boom sm a00.pdf> . Acesso em : 28 j ul. 2011. BRECKLER, S. J. Applicat ions of covar iance st r uct ur e m odeling in psychology: cause for concer n? Psychological Bullet in, v.107, n.2, p.260- 273, 1990.

BREI , V. A.; LI BERALI NETO, G. O Uso de m odelagem em equações est r ut urais na ár ea de m ar ket ing no Brasil. I n: ENCONTRO NACI ONAL DA ASSOCI AÇÃO NACI ONAL DE PÓS- GRADUAÇÃO EM ADMI NI STRAÇÃO, ENANPAD, 28., 2004, Cur it iba. Anais... Rio de Janeir o: ANPAD, 2004.

BREI , V. A.; LI BERALI NETO, G. O uso da t écnica de m odelagem em equações est r ut urais na ár ea de m ar ket ing: um est udo com parat ivo ent r e publicações no Brasil e no ext er ior. Revist a de Adm inist r ação Cont em por ânea, v.10, n.4, p.131-151, out ./ dez. 2006.

CHI N, W. W. I ssues and opinions on SEM. Managem ent I nfor m at ion Syst em s

Quar t er ly, v.22, n.1, p.vii- xvi, m ar.1998.

CONWAY, J. M.; HUFFCUTT, A. I . A r eview and evaluat ion of explorat or y fact or analysis pract ice in or ganizat ional r esear ch. Or ganizat ional Resear ch Met hods, v.6, n.2, p.147- 168, 2003.

FORD, J. K.; MACCALLUM, R. C.; TAI T, M. The applicat ion of explorat or y fact or analysis in applied psychology: a cr it ical r eview and analysis. Per sonnel Psychology, v.39, n.2, p.291- 314, 1986.

(17)

GOSLI NG, M.; GONÇALVES, C. A. I déias m et odológicas dos aut or es de est rat égia dos ENANPADs: um a m et a- análise. Revist a Elet r ônica de Adm inist r ação, Edição 41, v.10, n.5, p.1- 26, set ./ out . 2004. Disponível em : < ht t p: / / w w w.r ead.adm .ufr gs.br / edicoes/ pdf/ ar t igo_292.pdf> . Acesso em : 28 j ul. 2011.

HAI R JR., J. F.; ANDERSON, R. E.; TATHAM, R.L.; BLACK, W. C. Análise m ult ivar iada

de dados. 5a Ed. Por t o Alegr e: Bookm an, 2005.

HOYLE, R. H.; PANTER, A. T. Wr it ing about st r uct ural equat ion m odels. I n: HOYLE, R. H. ( Ed.) . St r uct ur al equat ion m odeling: concept s, issues, and applicat ions. Califor nia: Sage Publicat ions, 1995. p.158- 176.

JARVI S, C. B.; MACKENZI E, S. B.; PODSAKOFFF, P. M. A cr it ical r eview of const r uct indicat or s and m easur em ent m odel m isspecifi cat ion in m ar ket ing and consum er r esear ch. Jour nal of Consum er Resear ch, v.30, n.2, p.199- 218, 2003.

JOURNAL OF MANAGEMENT. Tw o- year im pact fact or. Disponível em : < ht t p: / / j om . sagepub.com / > . Acesso em : 28 j ul. 2011.

KLI NE, R. B. Pr inciples and pr act ice of st r uct ur al equat ion m odeling. 2nd_{Ed. New} Yor k: t he Guilfor d Pr ess, 2005.

LOHMÖLLER, J.- B. Lat ent var iable pat h m odeling w it h par t ial least squar es. Heidelber ger : Physica- Ver lag, 1989.

MACCALLUM, R. C.; AUSTI N, J. T. Applicat ions of st ruct ural equat ion m odeling in Psychological Research. Annual Review of Psychology, v.51, n.1, p.201- 226, fev. 2000. MCDONALD, R. P.; HO, M. R. Pr inciples and pract ice in r epor t ing st r uct ural equat ion analyses. Psychological Bullet in, v.7, n.1, p.64- 82, 2002.

MUELLER, R. O.; HANCOCK, G. R. St r uct ural equat ion m odeling. I n: HANCOCK, G. R.; MUELLER, R. O. ( Ed.) . The r eview er ’s guide t o quant it at ive m et hods in t he

Social Sciences. New Yor k: Rout ledge, 2010. p.371- 383.

RAYKOV, T.; TOMER, A.; NESSELROADE, J. R. Repor t ing st r uct ural equat ion m odeling r esult s in Psychology and Aging: som e pr oposed guidelines. Psychology

and Aging, v.6, n.4, p.499- 503, 1991.

SALMONES, M. M. D.; CRESPO, A.; BOSQUE, I . D. I nfl uence of cor porat e social r esponsibilit y on loyalt y and valuat ion of ser vices. Jour nal of Business Et hics, v.61 n.4, p.369- 385, 2005

SCHUMACKER, R. E.; LOMAX, R. G. A beginner ’s guide t o st r uct ur al equat ion

m odeling. 2nd Ed. New Jer sey: Law r ence Er lbaum Associat es, Publisher s, 2004.

SHI PLEY, B. Cause and cor r elat ion in Biology: a user ’s guide t o pat h analysis,

st r uct ur al equat ions and causal infer ence. UK: Cam br idge Univer sit y Pr ess, 2002.

SHOOK, C. L.; KETCHEN JR., E. J.; HULT, G. T. M.; KACMAR, K.M. An assessm ent of t he use of st r uct ural equat ion m odeling in st rat egic m anagem ent r esear ch.

St r at egic Managem ent Jour nal, v.25, n.4, p.397- 404, 2004.

SI LVA, J. F. Mét odos quant it at ivos na pesquisa em adm inist r ação: usos e abusos. ANPAD, 20.03.2005. Disponível em : < ht t p: / / w w w.anpad.or g.br / publicacoes_ infor m at ivo_opiniao.php?cod_infor m at ivo= 3> . Acesso em 28 j ul. 2011.

SI LVA, J. F.; COSTA, L. S. V.; LANZER, E. A. Considerações sobr e a aplicação da m odelagem de equações est r ut urais em Est rat égia. I n: ENCONTRO NACI ONAL DA ASSOCI AÇÃO NACI ONAL DE PÓS- GRADUAÇÃO EM ADMI NI STRAÇÃO, ENANPAD, 31., 2007, Rio de Janeir o. Anais... Rio de Janeir o: ANPAD, 2007.

SMI TH, D.; LANGFI ELD- SMI TH, K. St r uct ural equat ion m odeling in m anagem ent account r esear ch: cr it ical analysis and oppor t unit ies. Jour nal of Account ing

(18)

STAPLETON, L. M.; LEI TE, W. L. A r eview of syllabi for a sam ple of st r uct ural equat ion m odeling cour ses. St r uct ur al Equat ion Modeling, v.12, n.4, p.642–664, 2005.

STEI GER, J. H. Aspect s of per son- m achine com m unicat ion in st r uct ural m odeling of cor r elat ions and covar iances. Mult ivar iat e Behavior al Resear ch, v.23, n.2, p.281- 290, 1988. Disponível em : < ht t p: / / w w w.st at pow er.net / St eiger % 20Biblio/ St eiger 88b.pdf> . Acesso em : 28 j ul. 2011.

YANG, C; LEE, C; YAN- CHI ANG, G; LEE, Y. Co- det er m inat ion of capit al st r uct ur e and st ock r et ur ns – a LI SREL appr oach: an em pir ical t est of Taiwan st ock m ar ket s. The

(19)

APÊNDICE A – Fluxograma

para AFC, MEE ou

path analysis

N ot a : Para a pat h analysis não se aplicam os it ens 13, 14 e 22 e para a AFC não se aplicam os it ens

16, 17, 18, 19, 20, 23.

N ot a a : Explicar se os indicador es são r efl exivos ou for m at ivos e aplicar os it ens 6a, 6b, 13 e 14 de

acor do com o t ipo usado.

N ot a b: Se o obj et ivo da pesquisa for apenas a AFC, r elat ar os coefi cient es padr ão e est r ut ural ( pat t er n

and st r uct ur e coeffi cient s) .

N ot a c: Se a AFE foi ut ilizada para desenvolver o m odelo de m ensuração, out ra am ost ra dever ia ser

colet ada para a et apa confi r m at ór ia ( BRECKLER, 1990, p.267) . “ Bons r esult ados nos índices de

ade-quação do aj ust e no segundo est ágio dever ia ser vist o pr incipalm ent e com o um indicador da habilidade do pesquisador em r et ir ar it ens no est ágio explor at ór io” ( CHI N, 1998, p.xii) .

(20)

APÊNDICE A – Fluxograma para

AFC, MEE ou

path analysis

Ar t igo r e ce bido e m 2 3 / 1 2 / 2 0 0 9 .

Últ im a v e r sã o r e ce bida e m 3 0 / 0 7 / 2 0 1 1 .