A construção de um referencial
teórico sobre a avaliação de
desempenho de programas de
capacitação
Jorge Eduardo Tasca*
Leonardo Ensslin **
Sandra Rolim Ensslin ***
Resumo
A capacit ação, como part e int egrant e da f ormação cont inuada, deve ser balizada pela ref lexão e aprendizagem, oport unizadas, em grande medida, pela avaliação. No ent ant o, a sust ent ação de um processo de avaliação demanda a const rução de um ref erencial t eórico que espelhe o conheciment o acadêmico mais relevant e e at ual nest a área. Assim, a pesquisa desenvolvida t eve como objet ivo const ruir um ref erencial t eórico sobre a avaliação de programas de capacit ação, at ravés de uma revisão sist êmica de art igos selecionados por sua relevância acadêmica e aderência ao cont ext o pesquisado. No que diz respeit o ao enquadrament o met odológico, est e t rabalho, quant o à nat ureza do objet ivo, é explorat ório, e pela nat ureza do art igo, t eórico. A lógica de pesquisa f oi indut iva e a colet a de dados ut ilizou dados secundários. Já a abordagem do problema se deu de f orma qualit at iva. Est e est udo é aplicado e o procediment o t écnico ut ilizado f oi a pesquisa bibliográf ica. Como result ados, est e art igo apresent a a análise dos aspect os t eóricos da avaliação de desempenho, das f errament as ut ilizadas para a avaliação de programas de t reinament o, dos est udos de caso desenvolvidos e dos eixos t eóricos de pesquisa, além da análise crít ica quant o ao ref erencial t eórico e as f errament as ut ilizadas em relação à M et odologia M ult icrit ério de Apoio à Decisão – Const rut ivist a (M CDA- C).
Palavras-chave:
Avaliação. Avaliação de desempenho. Capacit ação. Treinament o. M CDA- C M et odologia M ult icrit ério de Apoio à Decisão – Const rut ivist a.* Doutor no Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina (UFSC). SC. E-mail: jorgetasca@gmail.com.
** Professor do Programa de Pós-Graduação em Engenharia de Produção e do Programa de Pós-Graduação em Contabilidade, Universidade Federal de Santa Catarina, (UFSC). E-mail: leonardoensslin@terra.com.br *** Professora do Programa de Pós-Graduação em Engenharia de Produção e do Programa de Pós-Graduação
The construction of a theoretical framework on
performance evaluation of training programs
Abstract
The training, as part of continuing education, must be guided by reflection and
learning, guaranteed, a large extent, by the evaluation. However, the support
of an evaluation process demands the construction of a theoretical framework
that reflects the academic knowledge more relevant and current in this area.
Thus, this study aimed to construct a theoretical framework on the evaluation
of training programs, through an systemic review of articles selected for their
academic relevance and attached to the developed line of research. Regarding the
methodological framework, the nature of the objective of this study is exploratory,
and the nature of the article, theoretical. The study incorporates an inductive logic,
and draws upon secondary data sources. The study is qualitative and applied and
the main technical procedure used was bibliographical research. As result, this
paper presents the analysis of the theoretical aspects of performance evaluation,
the tools used to evaluate training programs, the developed case studies and
theoretical lines of research, and critical analysis on the theoretical framework
and tools used in relation to Multicriteria Decision Aid - Constructivist (MCDA-C).
keywords:
Evaluation. Performance evaluation. Training. MCDA-C. Multicriteria
Decision Aid – Constructivist.
La construcción de un marco teórico sobre
evaluación del desempeño de los programas de
capacitación
Resumen
programas de entrenamiento, de los estudios de casos desarrollados y de las líneas
teóricas de la investigación, además del análisis crítico del marco teórico y las
herramientas utilizadas relacionadas con la Metodología Multicriterio de Apoyo
a la Decisión - Constructivista (MCDA-C).
Palabras clave:
Evaluación. Evaluación del desempeño. Capacitación. MCDA-C.
Metodología Multicriterio de Apoyo a la Decisión – Constructivista.
Introdução
No cont ext o educacional, ambient e em que se desenvolve est e est udo, os processos de capacit ação emergem diant e da demanda por uma at ualização cont ínua e um processo de f ormação permanent e que result e em prof issionais at ivos e aut ônomos, capazes de grandes mudanças nas at ividades pedagógicas (PIM ENTEL; PALAZZO; BALSANULFO, 2009). Cast ro e Port o (2012, p. 53), pela mesma perspect iva, dest acam a relevância da capacit ação “para o conheciment o, o aprimorament o de compet ências, a reciclagem prof issional e de f orma geral a necessidade de at ualização”.
At u al m en t e, as organ i zações est ão sen do, cada vez m ai s, desaf i adas a desenvolver programas de capacit ação signif icat ivos para seus membros, como uma f orma de compet ir e alcançar o sucesso em um ambient e t ão volát il. Para Pf ef f er (2000), a capacit ação pode ser uma f ont e de vant agem compet it iva em inúmeras organizações, desde que saibam ut ilizá- la.
A capacit ação, def inida como a aquisição sist emát ica de conheciment os, normas, conceit os ou at it udes que result em em melhoria do desempenho, t ornou- se part e da aprendizagem e da mudança organizacional, da avaliação prof issional e do desenvolviment o de carreiras. Assim sendo, a capacit ação e a educação podem ser consideradas como os principais processos volt ados ao cresciment o e ao avanço organizacional, proporcionando um f órum de comunicação de novas est rat égias, novos valores, novas f errament as, além de novas e aperf eiçoadas f ormas de realizar o t rabalho a que se propõem (LINGHAM ; RICHLEY; REZANIA, 2006).
Na mesma linha, a revisão da lit erat ura demonst ra, clarament e, o impact o posit ivo da capacit ação no aprimorament o do desempenho das organizações e o reconheciment o dos gest ores acerca dest a realidade (TENNANT; BOONKRONG; ROBERTS, 2002). Out ro aspect o considerado pelos aut ores diz respeit o à necessidade de uma abordagem est rat égica para o t reinament o, por meio de sua vinculação aos objet ivos da organização. Nesse sent ido, a avaliação pode ser usada para demonst rar um alinhament o claro e conf iável ent re a ef et ividade do t reinament o e os objet ivos organizacionais est rat égicos.
Em grande part e, a idéia de avaliação de programas pode ser rast reada at é ao t rabalho de Tyler (1950), para quem a avaliação era considerada part e int egrant e do processo educacional (WONG; WONG, 2003). Tyler (1950) post ulava que o processo educacional seria compost o por t rês element os principais: objet ivos, experiências de aprendizagem e avaliação (avaliação de procediment os). Nesse cont ext o, a avaliação era vist a, principalment e, como a avaliação do desempenho dos alunos, em t ermos dos objet ivos do programa, avaliação est a que t inha um papel crít ico na melhoria da educação.
Infelizmente, segundo Wong e Wong (2003), desde meados dos anos de 1960, a avaliação tem sido por vezes, encarada como uma atividade relacionada a justificar os recursos financeiros investidos, como apenas um meio voltado a satisfazer as agências governamentais financiadoras e não como parte integrante de um empreendimento educacional.
Para Wong e Wong (2003), o t ermo “avaliação de programas”, t ambém, gera muit a conf usão. Em relação a programas educacionais, seu signif icado varia desde um conjunt o de mat eriais inst rucionais e at ividades em nível nacional at é experiências educacionais com um único aluno. Em um nível mais geral, a avaliação t em sido def inida como uma avaliação f ormal da qualidade do f enômeno educacional. No ent ant o, na visão de Wong e Wong (2003), as def inições de “avaliação f ormal” e “qualidade” são vagas.
Já para Lingham, Richley e Rezania (2006) numerosos est udos t êm realçado a import ância da avaliação de programas de capacit ação como element o necessário e f undament al para as organizações, no sent ido de alavancar a aprendizagem e assegurar a ut ilização ef icient e dos recursos. Todavia, seguem os aut ores, mesmo diant e dessa import ância, um dos aspect os mais negligenciados na f ormação é a f ase de avaliação. As limit ações orçament árias t êm levado muit os responsáveis por t reinament os a empregar inst rument os de avaliação padronizados e disponíveis comercialment e, ensejando assim muit as desvant agens, dent re as quais, a ausência de complet ude e de f oco nos cont eúdos crít icos. Lingham, Richley e Rezania (2006) sugerem que a ef icácia do t reinament o deve basear- se na capacidade do f ormando em aplicar os conheciment os, habilidades e at it udes obt idas no âmbit o da capacit ação. Por out ro lado, a preocupação de que as avaliações de programas de t reinament o não considerem medidas reais para capt ar os conheciment os adquiridos e ret idos, apont a para a import ância do cont eúdo do programa. Assim, diant e dessa complexidade, a maioria dos mét odos de avaliação se sust ent a nas análises de cust o- benef ício ou de simples avaliações ordinais com escalas ambíguas, t ais como, a apuração do nível de sat isf ação dos part icipant es (LINGHAM ; RICHLEY; REZANIA, 2006).
dent re elas a necessidade de monit orar a ef icácia do t reinament o e a redução das insat isf ações que exigiram o seu desenvolviment o.
Assi m , o processo de capaci t ação, com o par t e i n t egran t e da edu cação cont inuada, deve ser balizado pela ref lexão e aprendizagem, oport unizadas, em grande medida pela avaliação, post o que promove o ent endiment o, reorganiza prát icas e conscient iza os sujeit os sobre sua realidade e sua capacidade de mudança.
Diante desse contexto, Tasca, Ensslin e Ensslin (2012) promoveram à avaliação do processo de capacitação dos policiais militares instrutores do Programa Educacional de Resistência às Drogas – PROERD, em Santa Catarina utilizando, como instrumento de intervenção, a Metodologia Multicritério de Apoio à Decisão - Construtivista (MCDA- C). A aplicação do Proerd em escolas públicas e privadas com a finalidade de promover a prevenção ao uso de drogas pela educação e a exigência de novos conhecimentos, habilidades e atitudes que permitam ao policial militar exercer esse novo papel como educador social (PEROVANNO, 2006) transformam a capacitação dos policiais militares instrutores do Proerd em um dos aspectos críticos do programa e justificam a adoção de um rigoroso processo de avaliação.
No ent ant o, somada a necessidade de se est abelecer esse processo de avaliação, surgiu a demanda pela const rução de um ref erencial t eórico que espelhasse o conheciment o acadêmico mais relevant e e at ual nessa área, buscando capt ar as perspect ivas t eóricas e empíricas desse cont ext o em art igos de relevância acadêmica e aderent es a est a linha de pesquisa, além de analisar as pot encialidades ou/e limit ações das f errament as ut ilizadas para a avaliação de programas de t reinament o em relação à MCDA- C.
E assim, dessa demanda, emergiu a quest ão de pesquisa que balizou o est udo desenvolvido: Como const ruir um ref erencial t eórico f undament ado sobre a avaliação de programas de t reinament o que permit a ident if icar as pot encialidades ou/e limit ações das f errament as empregadas para est e f im na amost ra em relação à MCDA- C?
Para responder a essa quest ão, a pesquisa realizada t eve como objet ivo const ruir um ref erencial t eórico sobre a avaliação de programas de t reinament o, por meio de uma revisão sist êmica de art igos que cont êm est udos alinhados ao cont ext o pesquisado e relevância acadêmica, e que permit em apurar as pot encialidades ou/e limit ações das f errament as empregadas para est e f im na amost ra em relação à M CDA- C. O alcance desse objet ivo geral f oi possível com a consecução dos seguint es objet ivos específ icos:
1 - selecionar ref erências bibliográf icas mais alinhadas com o cont ext o dest a pesquisa e com maior relevância acadêmica, em bases de dados com acesso via int ernet ; e
Est e ar t i go t em em su a est r u t u r a, al ém dest a i n t r odu ção, a segu n da seção i n t i t u l ada
METODOLOGIA DA PESQUISA
qu e aborda o En qu adram en t o m et odol ógi co e o Processo para sel eção do ref eren ci al t eór i co e revi sãosi st êm i ca. A t ercei ra seção –
METODOLOGIA MULTICRITÉRIO DE APOIO À
DECISÃO - CONSTRUTIVISTA (MCDA-C) –
dest acao inst rument o de int ervenção qu e or i en t ou a est r u t u ração do processo para a revi são si st êm i ca. A qu ar t a seção den om i n adaDISCUSSÃO E RESULTADOS
se dest i n a à an ál i se cr ít i ca dos est u dos sel eci on ados para com por o ref eren ci al t eór i co sobre aval i ação de desem pen h o program as de t rei n am en t o, sen do di vi di da em Aval i ação de desem penho: def i ni ções, el em ent os e af i l i ação t eór i ca; Fer ram ent as ut i l i zadas para real i zação da aval i ação de desem pen h o n os ar t i gos sel eci on ados; Os est u dos de caso desen vol vi dos n os ar t i gos em an ál i se; e, An ál i se cr ít i ca dos ar t i gos apresen t ados n est e ref eren ci al t eór i co. Já a ú l t i m a seção apresen t a asCONSIDERAÇÕES FINAIS
sobre o t rabal h o real i zado.Metodologia da pesquisa
Enquadramento metodológico
A inexist ência de um padrão est abelecido que perm it a a adoção de um procedi m ent o úni co, no que di z respei t o à m et odol ogi a de pesqui sa, f az a escolha do enquadrament o met odológico variar de acordo com as percepções do pesquisador e os objet ivos da pesquisa (PETRI, 2005). Logo, as def inições acerca desse t ema t êm como pont o de part ida, a seleção da est rut ura met odológica mais adequada à nat ureza da pesquisa. Compart ilhando dest a visão, opt ou- se pela est rut ura met odológica apresent ada na Figura 1, onde se encont ra dest acado o enquadrament o dest e t rabalho
Figura 1 – Enquadrament o met odológico dest a pesquisa.
Font e: Adapt ado pelos aut ores de Ensslin e Ensslin (2008).
Quando se analisa o enquadrament o met odológico da pesquisa pelo prisma de sua lógica, t em- se uma pesquisa de caract eríst icas indut ivas (IUDICIBUS, 2008), vist o que seu objet ivo f oi gerar um conheciment o sobre o ref erencial t eórico da avaliação de desempenho de programas de t reinament o at é ent ão inexist ent e ou desconhecido.
Para a consecução dest e est udo, o processo da pesquisa, no que t ange à colet a de dados, f oi de nat ureza secundária (RICHARDSON et al., 1999), isso em f ace de t odas as inf ormações t erem sido obt idas em publicações cient íf icas. Já pelo viés da abordagem do problema, o processo da pesquisa, caract eriza- se como qualit at iva (RICHARDSON et al., 1999).
Quant o ao seu result ado, a pesquisa consubst ancia- se como aplicada, diant e da clara perspect iva de ut ilização do processo desenvolvido para a revisão sist êmica, bem como dos result ados decorrent es dessa análise.
Considerando, agora, os procediment os t écnicos ut ilizados na realização dest e est udo, rest am evidenciadas as opções pela pesquisa bibliográf ica.
Processo para seleção do referencial teórico e
revisão sistêmica
O conheciment o acadêmico, de uma f orma geral, além de vast o, est á disperso em uma grande variedade de publicações, editores, bases de dados, entre outras fontes de pesquisa.
Est a amplit ude e dispersão do conheciment o acabaram por ensejar a necessidade de um processo est rut urado para seleção dos est udos com maior relevância acadêmica e mais alinhados com o cont ext o pesquisado, no sent ido de dot ar o ref erencial t eórico de um cont eúdo mais f undament ado.
A busca pelos art igos dest inados a int egrar o ref erencial t eórico da pesquisa principiou com a def inição do espaço amost ral. Dest a f eit a, a pesquisa f icou delimit ada às bases de dados com acesso disponibilizado pela Coordenação de Aperf eiçoament o de Pessoal de Nível Superior (CAPES, 2009), t endo em vist a seu alcance e reconheciment o por part e da comunidade cient íf ica brasileira.
Est abelecido o espaço amost ral, o processo para a seleção do ref erencial t eórico sobre a avaliação de desempenho de programas de t reinament o f oi desenvolvido em 11 et apas (TASCA et al., 2010), conf orme explicit ado na Figura 2.
Figura 2 – Et apas do processo para seleção do ref erencial t eórico sobre a avaliação de desempenho de programas de t reinament o.
Com a consecução desse processo f oi possível selecionar, dent re as 29.622 publicações localizadas inicialment e, os 11 art igos (Quadro 1) dest inados a compor o ref erencial t eórico dest a pesquisa, a ser const ruído por meio de uma revisão sist êmica.
Quadro 1 – Art igos selecionados para int egrar o ref erencial t eórico de uma pesquisa sobre avaliação desempenho de programas de t reinament o.
ANO AUTORES TÍTULO PERIÓDICO
2008
West brook, D., Sedgwick- Taylor, A., Bennet t - Levy, J., But ler, G., McManus, F.
A pilot evaluat ion of a brief CBT t raining course: Impact on t rainees’ sat isf act ion, clinical skills and pat ient out comes
Behavioral and Cognit ive Psychot herapy
2007 Darby, J. A. Open- Ended Course Evaluat ions: A Response Rat e Problem?
Journal of European Indust rial Training
2006 Lingham, T., Richley, B., Rezania, D.
An evaluat ion syst em f or t raining programs: A case st udy using a f our- phase approach
Career Development Int ernat ional
2004
Grammat ikopoulos, V., Papacharisis, V., Koust elios, A., Tsigilis, N., Theodorakis, Y.
Evaluat ion of t he Training Program f or Greek Olympic Educat ion
Int ernat ional Journal of Educat ional M anagement
2004
Feat herst one, K., James, I. A., Powell, I., Milne, D., Maddison, C.
A cont rolled evaluat ion of a t raining course f or st af f w ho work wit h people wit h dement ia
Dement ia
2004
Lit arowsky, J. A., M urphy, S. O., Canham, D. L.
Evaluat ion of an anaphylaxis t raining program f or unlicensed assist ive personnel
Journal of School Nursing
2003 Wong, P., Wong, C.
The Evaluation of a Teacher Training Programme in School Management: The Case of Hong Kong
Educat ional M anagement & Administ rat ion
2002
Tennant , C., Boonkron, M . Robert s, P. A. B.
The Design of a Training Programme M easurement M odel
Journal of European Indust rial Training
2000
M cM illan, L., Bunning, K., Pring, T.
The Development and Evaluat ion of a Deaf
Awareness Training Course f or Support St af f
Journal of Applied Research in Int ellect ual Disabilit ies
1999
Kuprenas, J. A., M adjidi, F., Alexander, A. S.
A project management t raining program
Journal of M anagement in Engineering
1998 Campbell, C. P.
Training Course/Program Evaluat ion: Principles and Pract ices
Journal of European Indust rial Training
Est a revisão sist êmica f oi desenvolvida sob um viés de pesquisa sint et izado em 05 et apas, consoant es o apresent ado na Figura 4.
Figura 4 – Et apas da revisão sist êmica para o desenvolviment o do ref erencial t eórico.
Font e: Os aut ores (2012).
O det alhament o de cada uma das et apas e os result ados apurados com a revisão sist êmica seguem apresent ação na seção Discussão e Result ados
Metodologia multicritério de apoio à decisão -
construtivista (MCDA-C)
Nest a seção serão abordados os aspect os at inent es ao inst rument o de int ervenção empregado para realizar a avaliação de desempenho do processo de capacit ação dos policiais milit ares inst rut ores do PROERD em Sant a Cat arina (TASCA; ENSSLIN; ENSSLIN, 2012) e ut ilizado, nest a pesquisa, como orient ador da est rut uração do processo para a revisão sist êmica.
1 – conheciment os int erdisciplinares; 2 – múlt iplos at ores;
3 – inf ormações dif usas, incomplet as e desorganizadas; 4 – dinamicidade;
5 – responsabilidade prof issional;
6 – conf lit os de int eresses; ent re out ros aspect os dessa nat ureza.
São em cont ext os como est e que são empregadas as met odologias mult icrit ério (ROY; VANDERPOOTEN, 1996; FREITAS, RODRIGUES; COSTA, 2009). Essas met odologias acabaram por ser subdivididas em duas corrent es de pensament o:
1 –
Multicriteria Decision Making
(M CDM ) – escola americana; e, 2 –Multicriteria Decision Aid
(M CDA) – escola europeia.A dif erença ent re as duas met odologias reside nas hipót eses de t rabalho ou paradigmas. A MCDM pressupõe que os at ores envolvidos t êm pleno conheciment o do que desejam e as alt ernat ivas são conhecidas. A part ir dest e ent endiment o desenvolve modelos mat emát icos com o objet ivo de encont rar uma solução ót ima, alicerçada em uma sit uação real percebida por t odos de igual f orma, independent e dos envolvidos no cont ext o decisional. A MCDA pressupõe que os at ores envolvidos não t êm pleno conheciment o do problema e as alt ernat ivas devam ser const ruídas, e assim se propõe a modelar esse cont ext o, segundo a percepção de seus at ores, em especial, do decisor, no sent ido de gerar conheciment o nos envolvidos no processo, possibilit ando, assim, a const rução de um modelo personalizado (ROY, 1993; ROY; VANDERPOOTEN, 1996). É oport uno regist rar que o present e t rabalho af ilia- se à MCDA e aos seus pressupost os const rut ivist as, consoant e prát ica do Laborat ório de Met odologias Mult icrit ério de Apoio à Decisão, do Depart ament o de Engenharia de Produção e Sist emas, da Universidade Federal de Sant a Cat arina (LabMCDA- EPS- UFSC). Dest a f eit a, a met odologia passa a ser denominada Met odologia Mult icrit ério de Apoio à Decisão - Const rut ivist a (MCDA- C).
Af iliar- se aos pressupost os const rut ivist as implica adot ar as seguint es perspect ivas:
1 – um problema exist e soment e se f or percebido por alguém, como conseqüência de uma sit uação em que se ent enda necessária uma int ervenção, diant e de sua relevância e possibilidade de solução (LANDRY, 1995);
2 – a compreensão do problema implica geração de conheciment o, t endo em cont a os sist emas de valores, convicções e objet ivos dos envolvidos, desde a percepção do
status quo
at é o grau de ent endiment o do decisor sobre o cont ext o (ENSSLIN; MONTIBELLER; NORONHA, 2001, MEDAGLIA ; ENSSLIN, 2009).A M CDA- C, af ast ando os racionalismos da objet ividade, acredit a que os decisores, segundo Ensslin e out ros (2010):
Necessit am de apoio para explicit ar e mensurar seu(s) valor(es) e pref erências; Desejam t er em cont a seu(s) valor(es) e pref erências, e não valor(es) e pref erências
genéricos ou de out ros casos similares, mesmo os bem sucedidos;
Desejam poder compreender e visualizar as consequências de suas decisões em seus objet ivos (crit érios);
Desejam est abelecer as perf ormances de ref erências em cada objet ivo (crit ério) segundo sua percepção;
Desejam compreender a cont ribuição de cada objet ivo (crit ério) nos objet ivos est rat égicos; e,
Desejam valer- se da expansão do conheciment o propiciado pelo processo de apoio à decisão para ident if icar oport unidades de aperf eiçoament o.
Para alcançar seus objet ivos, a M CDA- C vale- se da at ividade de apoio à decisão, desenvolvida em t rês f ases (Figura 3):
1 - f ase de est rut uração; 2 - f ase de avaliação;
3 - f ase de recomendações. A primeira f ase dest ina- se à compreensão do problema e do cont ext o em que est á inserido.
Figura 3 – Fases da M CDA- C.
Font e: ENSSLIN; DUTRA; ENSSLIN (2000).
Discussão e resultados
Avaliação de desempenho: definições, elementos e afiliação teórica
A primeira análise decorrent e da leit ura dos art igos selecionados f oi apurar sob qual perspect iva os aut ores abordam a t emát ica avaliação de desempenho em seus est udos, por meio da compreensão das def inições dessa avaliação de desempenho adot adas, seus element os e af iliação t eórica.
Por sua vez, Kuprenas, M adjidi e Alexander (1999) inf ormam que o
Training
Management Team –
TM T (organismo responsável pelo processo de avaliação objet o do est udo) def iniu a avaliação da ef icácia do programa de t reinament o como um processo desenvolvido em quat ro níveis:1 – mensuração da inst rução; 2 – mensuração do aprendizado; 3 – ret enção do aprendizado; 4 – ut ilização do aprendizado.
Wong e Wong (2003), ao abordar o t ema avaliação de desempenho, se apropriam do conheciment o produzido por Kirkpat rick (1994). Para ele, algumas ações de f ormação e aperf eiçoament o prof issional consideram que avaliar signif ica medir as mudanças de comport ament o decorrent es de um programa de t reinament o. Out ras, no ent ant o, def endem que a única avaliação real reside na det erminação dos result ados havidos em conseqüência do t reinament o. Out ras, ainda, se sust ent am, apenas, nos coment ários produzidos pelos part icipant es ao f inal do programa de t reinament o. Algumas est ão preocupadas com a aprendizagem desenvolvida em sala de aula, como medida da ampliação do conheciment o e das habilidades, além das mudanças de at it ude, enquant o out ras são a f avor de t odas essas perspect ivas de avaliação. Nesse sent ido, Kirkpat rick (1994) argument a que cada uma dessas quat ro abordagens é apenas parcial. Todavia, t odas elas são import ant es na avaliação de um programa de t reinament o. Logo, propõe um modelo de avaliação em quat ro níveis, incluindo a avaliação da reação dos part icipant es, da aprendizagem, do comport ament o e do result ado.
Já Campbell (1998) considera a avaliação como um processo de int erpret ação dos result ados advindos dos dados colet ados – por meio de t est es, por exemplo – com o propósit o de f azer um juízo sobre a inst rução ou sobre o sucesso de um part icipant e no t reinament o.
Incluindo um novo viés, Tennant , Boonkron e Robert s (2002), ref erenciando o t rabalho de Cot t on (1995), consideram que a est rut uração de um processo de avaliação de t reinament o deve considerar quat ro element os signif icat ivos:
1 – validade – Você est á medindo o que deveria medir?
2 – Conf iabilidade – A mensuração é realizada de uma f orma conhecida? 3 – Prat icidade - É út il na vida real?
4 – Equidade – Traz vant agens ou desvant agens para qualquer est udant e?
Quadro 2 - Element os const it uint es de uma avaliação de desempenho.
AUTORES ELEMENTOS CONSTITUINTES DE UMA AVALIAÇÃO DE DESEMPENHO
Li n gh am , Ri ch l ey e Rezan i a (2006)
Perspect ivas organizacionais e dos part icipant es; modelo de avaliação part icularizado; avaliação do processo de capacit ação e do f eedback dos part icipant es; avaliação do cont eúdo e da aplicabilidade; modelo de avaliação coproduzido.
Wong e Wong (2003) Avaliação da reação, da aprendizagem, do comport ament o
e dos result ados do programa de t reinament o.
Tennant , Boonkrong e Robert s
(2002) Validade; Conf iabilidade; Prat icidade; Equidade.
Kuprenas, M adjidi e Alexander
(1999) A avaliação realizada em vários níveis.
Campbell (1998) Colet a e análise de dados.
Font e: Os aut ores, (2012).
Quant o à af iliação t eórica das def inições de avaliação de desempenho adot adas, Lingham, Richley e Rezania (2006), para o desenvolviment o de seu modelo de avaliação, ref erenciam, da mesma f orma que Wong e Wong (2003), o t rabalho de Kirkpat rick (1994) sobre o modelo de avaliação em quat ro níveis, t odavia, complement am seu embasament o com as argument ações de McCoy e Hargie (2001), no sent ido de que não há nenhum modelo de avaliação complet o e adequado para t odas as sit uações. Cada modelo t em pont os f ort es e f racos. Por isso, há necessidade de uma melhor compreensão da nat ureza da avaliação e de sua f inalidade, bem como de se t er em cont a os aspect os considerados relevant es pela organização e pelos part icipant es do programa de t reinament o.
Kuprenas, M adjidi e Alexander (1999) sust ent am sua percepção sobre a exigência de uma medição e avaliação da ef icácia do programa de t reinament o em vários níveis nas considerações de M arshall (1993).
Won g e Won g (2003), com o m en ci on ado an t er i or m en t e, u t i l i zaram os conheciment os produzidos por Kirkpat rick (1994), em especial, devido à popularidade e simplicidade do modelo propost o, no ent ant o, promoveram uma agregação com o t rabalho de out ros aut ores, t ais como Holt on (1996), em relação ao desempenho individual na escola, e Adams (2001), no que se ref ere ao programa de pós- avaliação.
det erminar sua relevância, ef et ividade e ef iciência de cust o (impact o econômico). E isso é realizado por meio de avaliações que, sist êmica e met odicament e, recolhem e analisam as inf ormações necessárias para just if icar t ais det erminações.
Os demais artigos selecionados e analisados não apresentavam em seu corpo quaisquer ref erências acerca do que era ent endido pelos aut ores como avaliação de desempenho.
Ferramentas utilizadas para realização da avaliação
de desempenho nos artigos selecionados
O segundo pont o objet o da present e revisão sist êmica f oi a ident if icação das f errament as de avaliação de desempenho ut ilizadas para t rat ament o do cont ext o pesquisado em cada um dos art igos selecionados.
Dos onze art igos examinados pode- se prospect ar a ut ilização de f errament as est rut uradas e com denominação em set e deles, enquant o em out ros t rês o processo era realizado sem que houvesse uma denominação específ ica à f errament a ou ao mét odo ut ilizado para est e f im. E, por derradeiro, apenas um dos art igos não ut ilizava nenhuma f errament a para a avaliação de desempenho (Quadro 3).
Quadro 3 – Ferrament as ut ilizadas para avaliação de desempenho de programas de t reinament o.
AUTORES FERRAM ENTAS
West brook et . al (2008) Não há uma denominação específ ica para a f errament a ou mét odo ut ilizado.
Darby (2007) Não ut ilizou nenhuma f errament a de avaliação de
desempenho.
Lingham, Richley e Rezania (2006) Four- phase Evaluat ion Syst em
Grammat ikopoulos et al (2004) Guskey’s M odel of Five Levels
Feat herst one et al (2004) Não há uma denominação específ ica para a f errament a ou mét odo ut ilizado.
Lit arowsky, M urphy e Canham (2004) Pre- experiment al design wit h a pret est and post t est
Wong e Wong (2003) Kirkpat rick’s M odel – Four- Level Evaluat ion M odel
Tennant , Boonkrong e Robert s (2002) Training Programme M easurement M odel
M cmillan, Bunning e Pring (2000) Não há uma denominação específ ica para a f errament a ou mét odo ut ilizado.
Ku p r en as, M ad j i d i e Al ex an d er
(1999) M ult iple- level Training Assessment Process
Campbell (1998) Evaluat ion Schema
Para uma melhor compreensão do emprego dessas f errament as, est a seção f oi dividida em Descrição das f errament as de avaliação de desempenho: objet ivos e processo de desenvolviment o - consubst anciada na apresent ação de seus objet ivos e na sínt ese do seu processo de desenvolviment o; e Análise das f errament as ut ilizadas: crit érios de avaliação e processo de gerenciament o - buscando apurar se o desenvolviment o dessas f errament as permit e ident if icar, mensurar e int egrar os crit érios de avaliação, além de apresent ar um processo de gerenciament o, e, f inalment e, verif icar se a f errament a é mono ou mult icrit ério.
Descrição das ferramentas de avaliação de
desempenho: objetivos e processo de desenvolvimento
OFour-phase Evaluation System
, propost o por Lingham, Richley e Rezania (2006) permit e o desenvolviment o de programas e avaliações que são únicas para cada um dos objet ivos da organização e de seus membros, bem como enseja ações personalizadas que capt am as reações dos part icipant es com base em seus valores - em t ermos de cont eúdo e aplicabilidade. A met odologia permit e, ent ão, o desenvolviment o de programas de t reinament o e avaliações baseados em um processo de aprendizagem de ciclo- duplo, coproduzido pelos envolvidos na sua concepção, realização, avaliação e part icipação, levando em cont a, ainda, os f at ores relevant es para a organização e com signif icado para os seus membros, por meio da realização de um processo cont ínuo de avaliação, f eedback e redef inição de t odo o programa. Como o próprio nome sugere, o sist ema de avaliação empregado nesse est udo é desenvolvido em quat ro f ases:1 – Format ação do programa de t reinament o;
2 – Lançament o e avaliação inicial do programa de t reinament o;
3 –
Feedback
dos primeiros participantes, formatação e gestão das medidas da avaliação; 4 – Treinament o e avaliação em andament o.Est rut urais. Além disso, é consolidado o
survey
que permit irá a avaliação das novas edições do t reinament o, quer pela Análise de Correlação, quer pela ut ilização da Análise de Regressão Linear. Finalment e, a quart a f ase (t reinament o e avaliação em andament o) se dest ina à condução do programa de t reinament o com a nova f ormat ação ou novo cont eúdo. Nessa f ase, t ambém é reiniciado o processo de colet a de dados mediant e a aplicação dosurvey
de avaliação, com a consequent e análise dos result ados em relação aos t emas emergent es levant ados nofeedback
inicial.O
Multiple-level Training Assessment Process
, descrit o por Kuprenas, M adjidi e Alexander (1999), visa a propiciar uma avaliação do programa de t reinament o em vários níveis, no caso específ ico, em quat ro níveis assim nomeados:1 – M ensuração da inst rução; 2 – M ensuração do aprendizado; 3 – Ret enção do aprendizado; 4 – Ut ilização do aprendizado.
O primeiro nível de avaliação (mensuração da inst rução) verif ica se o curso f oi bem recebido pelos part icipant es, mediant e respost as a quest ões como: a palest ra f ez sent ido? Os mat eriais didát icos eram compreensíveis? Todos os cursos f oram avaliados pelos part icipant es ao f inal de cada aula, a part ir de respost as a um
survey
. Além dessesurvey
, os membros do TMT (Training Management Team
) t ambém avaliaram os cursos por meio de ent revist as um a um com os part icipant es. O segundo nível (mensuração do aprendizado) é necessário para det erminar se os alunos compreenderam e assimilaram os conceit os- chave minist rados durant e o t reinament o. Dois mét odos f oram desenvolvidos e ut ilizados para avaliar esse nível de aprendizagem:1 – Ent revist a pós- inst rução com os part icipant es dos cursos; e, (ii)
Quiz
com os part icipant es ant es e depois da aula, com a f inalidade de det erminar se o conheciment o sobre os conceit os- chave evoluiu.O t erceiro nível (ret enção do aprendizado) avalia o êxit o do programa de t reinament o, apurando a qualidade da ret enção do aprendizado após a sua conclusão. Para esse f im, os conceit os- chave t iveram que ser ref orçados durant e alguns meses após o t reinament o. Duas t écnicas f oram ut ilizadas para a ret enção da aprendizagem:
1 – A primeira t écnica f oi a produção de um document o com os principais conceit os do t reinament o dist ribuído a t odos os colaboradores;
2 – A segunda t écnica, semelhant e à primeira, consist iu na edição de um
Já o úl t i m o nível de aval i ação do sucesso do program a de t rei nam ent o (ut ilização do aprendizado) visa a ident if icar se o aprendizado est á sendo ut ilizado. Para Kuprenas, M adjidi e Alexander (1999) realizar a medição de ut ilização do conheciment o é uma t aref a dif ícil, t alvez mais bem avaliada pelo desempenho de longo prazo. Ent ret ant o, a TM T criou sessões semanais de “mesa- redonda” com os novos gest ores de projet os, com a f inalidade de proporcionar um f órum para discussão das quest ões relat ivas ao t rabalho desenvolvido e às ações decorrent es. Essas ações eram baseadas t ant o nos conceit os aprendidos no t reinament o quant o na experiência pessoal dos responsáveis pela coordenação dessa at ividade.
O
Kirkpatrick’s Model
, t ambém conhecido comoFour-Level Evaluation
Model
, ut ilizado por Wong e Wong (2003) inclui a avaliação da reação dos part icipant es, da aprendizagem, do comport ament o e do result ado. As medidas de reação dizem respeit o à sat isf ação dos part icipant es do programa de t reinament o. Já as medidas de aprendizagem apuram o quant o os part icipant es mudaram suas at it udes e melhoraram seus conheciment os e compet ências, após o programa de t reinament o, enquant o as medidas de comport ament o indicam a ext ensão com que a mudança de comport ament o ocorreu, após a realização do t reinament o. E, por f im, a medição dos result ados verif ica os ef eit os globais do programa na organização, em t ermos de moral, rot at ividade de f uncionários, et c. (KIRKPATRICK, 1994). No t rabalho desenvolvido por Wong e Wong (2003), dos quat ro níveis do M odelo de Kirkpat rick, f oram empregados os primeiros t rês níveis, ou seja, a avaliação da reação, da aprendizagem e do comport ament o. O nível 1 (avaliação da reação) inclui a colet a e análise de dados, por meio de umsurvey
, com ref erência às habilidades dos part icipant es, mot ivações e ambient e de t rabalho. No nível 2 (avaliação da aprendizagem) f oi analisado o ef eit o do t reinament o nos part icipant es, em t ermos de aquisição de conheciment os e at it udes, após o período de f ormação, at ravés de t est es verdadeiro/f also e pergunt as de múlt ipla escolha. Na avaliação do comport ament o (nível 3), Wong e Wong (2003) se apropriaram das idéias de Holt on (1996), em relação ao desempenho individual na escola, e de Adams (2001) no que se ref ere ao programa de pós- avaliação. Os aut ores aplicaram umsurvey
longit udinal e recolheram dados dos part icipant es e seus diret ores pelo período de t rês meses após a conclusão do programa de t reinament o.2 – Part e 2 - Colet ar e int erpret ar os dados/inf ormações - cont inua com a preparação, t est es- pilot o e a aplicação dos inst rument os de colet a de dados. Os dados colet ados são ent ão analisados e int erpret ados; e,
3 – Part e 3 - Preparar recomendações e um plano de ação - as at ividades realizadas aqui incluem a apresent ação das conclusões, f ormulação de recomendações para o aperf eiçoament o do programa de t reinament o e o desenvolviment o de um plano para a realização das adequações necessárias.
O
Pre-experimental design with a pretest and posttest
, em pregado por Lit arowsky, M urphy e Canham (2004), t em por objet ivo, por meio da aplicação de quest ionários, avaliar o grau de absorção do t reinament o e se os result ados, em t ermos de aprendizado, f oram alcançados. Para consecução da avaliação f oram desenvolvidos dois quest ionários, um volt ado a avaliar os conheciment os adquiridos e out ro com a f inalidade de ident if icar o nível de conf iança dos part icipant es no que diz respeit o à habilidade para reconhecer e responder, apropriadament e, a uma emergência anaf ilát ica. Os quest ionários eram aplicados ant es do início do t reinament o e logo após a sua conclusão.O
Guskey’s Model of Five Levels
, const ant e do t rabalho desenvolvido por Grammat ikopoulos e out ros (2004), t em como objet ivo avaliar os programas de t reinament o em cinco níveis, a saber:1 – Reações dos part icipant es; 2 – Aprendizagem;
3 – Apoio organizacional;
4 – Uso de conheciment os e compet ências adquiridas; 5 – Result ados da aprendizagem do aluno.
que ref lit am os objet ivos do programa. Esse nível ajudará no aperf eiçoament o do cont eúdo, do f ormat o e da organização do programa como um t odo. O nível t rês (apoio organizacional) deve ser desenvolvido após a capacit ação. Est e t ipo de avaliação, mais complicada, analisa o suport e organizacional para as compet ências adqui r i das no program a de t rei nam ent o. Nesse nível , cost um a- se f or m ul ar pergunt as como: M udanças individuais eram incent ivadas e apoiadas? O apoio administ rat ivo f oi público e not ório? Os problemas f oram abordados com rapidez e ef iciência? Os recursos disponíveis f oram suf icient es, incluindo o t empo para t roca de conheciment o e ref lexão? O sucesso f oi reconhecido e compart ilhado? Et c. Os dados para est a avaliação poderão advir da análise da gerência de capacit ação, de regist ros escolares ou prof issionais, das at as de reuniões de acompanhament o, quest ionários ou mesmo obt idos por meio de ent revist as est rut uradas. O quart o nível (ut ilização pelos part icipant es dos novos conheciment os e habilidades) invest iga a ut ilização de novos conheciment os e habilidades pelos part icipant es do programa de t reinament o. Ela pode ser verif icada ao pergunt ar se os part icipant es est ão ut ilizando bem o que aprenderam. Podem ser usados, para esse f im, quest ionários e ent revist as est rut uradas, orais ou por escrit o, ref lexões pessoais e observação diret a, provavelment e, o melhor mét odo. E, por últ imo, no quint o nível, os result ados da aprendizagem dos part icipant es são medidos. Guskey (2002) reconhece que é impossível det erminar a simples relação de causa e ef eit o ent re o programa de t reinament o e a melhoria da aprendizagem no aluno. Nesse nível devem ser f eit as pergunt as como: Os alunos demonst ram melhoria acadêmica, de comport ament o ou em out ras áreas? Os alunos f oram benef iciados com a at ividade? Ent re out ros. Est e nível vai orient ar o f oco e melhorar t odos os aspect os do programa de t reinament o.
O
Training Programme Measurement Model
, desenvol vi do por Tennant , Boonkrong e Robert s (2002) mediant e a combinação de suas perspect ivas pessoais com element os dos M odelos de Kirkpat rick (KIRKPATRICK, 1994) e Ciro (COOPER, 1994), en al t ece qu e as m edi das de ef et i vi dade do t rei n am en t o devem ser realizadas, concomit ant e, com o programa de t reinament o. NoTraining Programme
Measurement Model
os aut ores consideram que ant es da realização do t reinament o a organização e o responsável pelo programa devem considerar a mensuração de f at ores iniciais que inf luenciarão a capacidade do programa de t reinament o em f ornecer novas habilidades aos part icipant es. Além disso, devem mensurar o programa de t reinament o, t ambém, durant e a sua execução, possibilit ando, dest a f eit a, respost as, em t empo real, às necessidades individuais dos part icipant es. Após a conclusão do t reinament o, t rês et apas de mensuração são recomendadas:1 – Test e imediat o – visa a t est ar as novas habilidades adquiridas pelos part icipant es com o t reinament o. Pode ser aplicada imediat ament e após a conclusão do programa de t reinament o;
seus locais de t rabalho, no sent ido de apurar se o aprendizado est á sendo ef et ivament e ut ilizado;
3 – Test e f inal – Realizado após um det erminado t empo para verif icar o aprimorament o das habilidades e a mudança de comport ament o.
Passando, agora, para a análise dos artigos que não nomearam a ferramenta utilizada, percebe- se que Westbrook et al. (2008), para o desenvolvimento de sua avaliação, utilizaram um
survey
com o objetivo de identificar o grau de satisfação dos participantes do treinamento, e outras escalas médicas pré- definidas para avaliar o resultado do aprendizado gerado. No mesmo sentido, Featherstone et al. (2004) avaliaram a efetividade de um curso por meio da comparação de um grupo experimental (participante do curso) com um grupo controle (não participante), ou seja, valendo- se de um questionário aplicado aos dois grupos, os autores, diante das hipóteses levantadas, passaram a realizar uma análise de correlação, no sentido de apurar a veracidade ou não dessas hipóteses relacionadas ao programa de treinamento avaliado. No mesmo sentido, McMillan, Bunning e Pring (2000) também avaliaram a efetividade de um treinamento, utilizando a estratégia de comparação entre um grupo experimental com um grupo controle. Os participantes foram selecionados aleatoriamente para os dois grupos, sendo dois questionários utilizados para avaliar o conhecimento antes e depois o curso. O primeiro questionário foi ministrado em duas seções. A seção “Conhecimento” avaliou o conhecimento da deficiência auditiva, e a seção “Confiança” avaliou a confiança na gestão do apoio auditivo, bem como o uso de técnicas auditivas. O segundo questionário utilizou cenários para avaliar o reconhecimento de estratégias de comunicação com os adultos que tinham deficiência intelectual e problemas auditivos. A seção “conhecimento” do primeiro questionário foi baseada em um questionário, desenvolvido em uma pesquisa correlata, que possuía 30 questões de verdadeiro/falso. Já a seção “confiança” foi composta por 10 questões que visavam a apurar a confiança dos participantes em utilizar os seus conhecimentos. O segundo questionário (cenários) foi concebido em resposta à investigação realizada em outra pesquisa relacionada ao tema. Oito cenários que envolvem um adulto com deficiência intelectual e auditiva foram utilizados.Dos art igos analisados, soment e o t rabalho de Darby (2007) não empregou nenhuma f errament a para avaliação de desempenho, at é por que esse não era o seu objet o de est udo. Seu t rabalho, que versa sobre o f ormat o das pergunt as ut ilizadas em quest ionários de avaliação, f oi selecionado para est e art igo pela cont ribuição relacionada aos eixos t eóricos inf ormadores dessa pesquisa.
Análise das ferramentas utilizadas: critérios de
avaliação e processo de gerenciamento
as f errament as propugnadas nos art igos selecionados, com vist as a apurar se a ut ilização de cada uma delas permit e ident if icar, mensurar e int egrar os crit érios de avaliação, além de apresent ar um processo de gerenciament o, e, f inalment e, se a f errament a é mono ou mult icrit ério.
Debr u çan do- se sobre os ar t i gos sel eci on ados f oi possível ver i f i car qu e qu an t o à i den t i f i cação dos cr i t ér i os som en t e as f er ram en t as u t i l i zadas por Li ngham , Ri chl ey e Rezani a (2006) –
Four-phase Evaluation System,
Cam pbel l (1998) –Evaluation Schema,
Gram m at i kopou l os e ou t ros (2004) –Guskey’s
Model of Five Levels
, West brook et al . (2008) e M cM i l l an , Bu n n i n g e Pr i n g (2000) per m i t i am rast rear a or i gem dos cr i t ér i os em pregados para a aval i ação de program as de t rei n am en t o. Para Li n gh am , Ri ch l ey e Rezan i a (2006) os cr i t ér i os qu e vão com por t an t o osurvey
de aval i ação qu an t o os t em as em ergen t es são produ zi dos por m ei o de reu n i ões e i n t erações com t odos os en vol vi dos n o program a de t rei n am en t o. Já n oEvaluation Schema
de Cam pbel l (1998), os cr i t ér i os, apesar de, em grande par t e, serem f r ut os de um a est rut ura preconcebida pelo aut or para orient ar os responsáveis pela avaliação, são def i n i dos n a et apa ref eren t e ao pl an ej am en t o, especi f i cam en t e n a ação t en den t e à det er m i n ação dos requ i si t os de aval i ação. Gram m at i kopou l os e ou t ros (2004) def i n i ram os cr i t ér i os i n t egran t es do qu est i on ár i o com a par t i ci pação de especi al i st as n a área de con h eci m en t o do est u do.Por sua vez, no t rabalho de West brook et al. (2008) f oi possível, apenas, ident if icar a origem dos crit érios emprest ados de out ros inst rument os de avaliação aderent es ao est udo desenvolvido. Por f im, na pesquisa realizada por M cM illan, Bunning e Pring (2000) os crit érios que compuseram os quest ionários f oram def inidos pelos aut ores compilando uma série de crit érios desenvolvidos por out ros pesquisadores em est udos relacionados ao programa de t reinament o avaliado. Nos demais art igos analisados, não f oi possível ident if icar como se deu a def inição dos crit érios empregados no processo de avaliação.
No que diz respeit o à mensuração dos crit érios, t odos os art igos da amost ra, exceção ao t rabalho de Darby (2007), empregavam escalas ordinais para esse f im, sendo mais ut ilizada a escala do t ipo
likert
. Est e t ipo de escala ordinal, segundo Darby (2007), comument e varia ent re dois ext remos, at ravés da int erposição de pont os int ermediários, como por exemplo, nest a escala de cinco pont os (5- 4-3- 2- 1) empregada por Campbell (1998), em que “excelent e” é igual 5, “ bom” é igual 3 e “ ruim” igual a 1.Correlação. A int egração ent re os crit érios é mais present e no M odelo de Equações Est rut urais que permit e a correlação de diversas variáveis, simult aneament e, de modo que as múlt iplas relações possíveis sejam apreciadas, já que é capaz de delinear como se art iculam os diversos f at ores envolvidos em um f enômeno social sob análise. O mét odo pode propiciar uma visão da f orma como t ais f at ores se int erligam, ponderando a relevância de cada uma das int er- relações est udadas (CODES, 2005). As out ras f errament as apreciadas não permit iam a int egração dos crit érios, quando muit o ensejavam, apenas, uma análise est at íst ica, principalment e por meio da correlação.
N o q u e t an g e, ag o r a, ao p r o cesso d e g er en ci am en t o , n en h u m a d as f er ram ent as em pregadas per m i t e esse uso. É óbvi o que o resul t ado obt i do com a u t i l i zação do m ét odo, sej a el e qu al f or, abre a possi bi l i dade de repercu ssões em t er m os de gest ão ou adequ ação de procedi m en t os. A gran de di f eren ça ent re o que essas f errament as proporcionam nesse aspect o e o f ulcro da análise propost a resi de n a f al t a de or i en t ação acerca do qu e f azer para apr i m orar o desempenho; qual a alt ernat iva a ser adot ada; qual ação deve ser empreendida. As f errament as em est udo podem at é permit ir que se ident if ique a discrepância de
performance
, m as, cer t am en t e, n ão expl i ci t am qu al ação adot ar para aper f ei çoá- l a e m u i t o m en os qu al o i m pact o dessa escol h a n o desem pen h o, qu er sej a l ocal , qu er sej a gl obal .Finalizando est a subseção, rest ou apurado que t odas as f errament as selecionadas podem ser caract erizadas como mult icrit ério, no sent ido de que consideram mais de um aspect o, avaliando, assim, as ações segundo um conjunt o de crit érios (ENSSLIN; M ONTIBELLER; NORONHA, 2001). Não obst ant e t odas as f errament as t erem est e alcance, merecem dest aque, por explicit arem essa preocupação, os mét odos ut ilizados por Lingham, Richley e Rezania (2006), Kuprenas, M adjidi e Alexander (1999), Wong e Wong (2003), Campbell (1998), Grammat ikopoulos e out ros (2004), Tennant , Boonkrong e Robert s (2002).
Os estudos de caso desenvolvidos nos artigos em
análise
Quadro 4 – Análise do emprego da f errament a de avaliação de desempenho nos art igos selecionados.
AUTORES FERRAM ENTAS ASPECTOS CONSIDERADOS ESTUDO DE CASO
West brook et al (2008)
Não há uma denominação específ ica para
a f errament a ou mét odo
ut ilizado.
Aspect os médicos relat ivos às habilidades geradas
com o t reinament o e result ados clínicos obt idos
pelos part icipant es, bem como aqueles at inent es à sat isf ação dos part icipant es com o
t reinament o.
Cognitive Behaviour Therapy - CBT t raining
desenvolvido pelo Gloucest ershire CBT Foundat ion Course –
Inglat erra. Lingham, Richley e Rezania (2006) Four-phase Evaluation System
Aspect os ref erent es ao cont eúdo, aplicabilidade e import ância das sessões
de um programa de t reinament o.
Appreciative Leadership Training
Program (ALTP) desenvolvido por uma universidade do
meio-oest e dos EUA.
Grammatikopoulos et al (2004)
Guskey’s Model of Five Levels
Foram realizados dois est udos com o objet ivo de avaliar o desenvolviment o, cont eúdo e validade, e o f at or est rut ura do Olympic
Educat ion
Olympic Education Training Program
(OEP) - Grécia.
Feat herst one et al (2004)
Não há uma denominação específ ica para
a f errament a ou mét odo
ut ilizado.
O impact o do t reinament o nos conheciment os, at it udes e enf rent ament o (coping) e a relação ent re essas variáveis, em especial,
o quant o conheciment o e enf rent ament o impact am
na at it ude.
Elderly Mentally Ill (EMI) Residential Homes, localizado no
Nort e da Inglat erra.
Lit arowsky, M urphy e Canham (2004)
Pre-experimental
design with a pretest and
posttest
Conheciment o e conf iança para aplicação do
Wong e Wong (2003)
Kirkpatrick’s Model – Four-Level Evaluation
Model
Aspect os ref erent es à reação dos part icipant es
ao t reinament o, ao aprendizado obt ido e às mudanças de
comport ament o perpet radas.
O programa de t reinament o int it ulado
The School as an Organization (SAO),
part e int egrant e do Programme of Refresher Training
(PRT) promovido em Hong Kong - China.
Tennant , Boonkrong e Robert s (2002)
Training Programme Measurement Model Teórico Teórico M cmillan, Bunning e Pring (2000)
Não há uma denominação específ ica para
a f errament a ou mét odo
ut ilizado.
O conheciment o obt ido no t reinament o, a conf iança para ut ilização
desse conheciment o e o emprego de est rat égias de comunicação com adult os port adores de def iciência
int elect ual e audit iva.
Deaf Awareness Training Course
para prof issionais que t rabalham com adult os port adores de def iciência int elect ual e audit iva em Londres
- Inglat erra.
Kuprenas, M adjidi e Alexander (1999) Multiple-level Training Assessment Process
A inst rução e o aprendizado decorrent e em t ermos de assimilação,
ret enção e ut ilização.
Treinament o em Gest ão de Projet os,
desenvolvido pelo
Bureau de Engenharia da cidade de Los
Angeles - EUA.
Campbell (1998)
Evaluation
Schema Teórico Teórico
Font e: Os aut ores (2012).
Mesmo considerando a similaridade ent re o est udo de caso desenvolvido no âmbit o dest a pesquisa e aqueles narrados nos art igos selecionados, em especial, por que t odos buscam avaliar programas de capacitação, apenas os trabalhos de Lingham, Richley e Rezania (2006), Kuprenas, Madjidi e Alexander (1999), Wong e Wong (2003) e Grammat ikopoulos e out ros (2004) t razem alguma cont ribuição ao present e est udo. Essa cont ribuição, na verdade, vem somar- se às convicções daqueles que adotam a MCDA- C como metodologia de t rabalho, com dest aque à percepção da import ância de avaliações personalizadas que levem em consideração as perspect ivas de t odos os envolvidos no processo (LINGHAM; RICHLEY; REZANIA, 2006), e a necessidade de que o processo de avaliação se dê em múltiplos níveis, t ornando- o, assim, mais amplo e abrangent e (KUPRENAS; MADJIDI; ALEXANDER, 1999, WONG; WONG, 2003; GRAMMATIKOPOULOS et al., 2004).
Quant o às limit ações das f errament as, não houve, por part e dos aut ores ref erenciados, qualquer menção a esse respeit o, salvo alguns aspect os part iculares at inent es ao emprego do mét odo no caso em concret o, como dest acado por West brook et al.(2008) quando mencionam aspect os clínicos que poderiam impact ar nos result ados e a necessidade de uma avaliação com int ervalo maior de t empo para analisar os result ados de longo prazo, por Wong e Wong (2003) em f ace da não ut ilização da quart a f ase do modelo de Kirkpat rick (2004) – avaliação dos result ados – e por Lit arowsky, M urphy e Canham (2004) diant e da ausência de um grupo de cont role.
Análise crítica dos artigos apresentados neste
referencial teórico
Esta subseção tem por finalidade concluir a revisão sistêmica dos artigos selecionados, por meio de considerações acerca do ref erencial t eórico empregado, bem como pelo estabelecimento das vantagens e desvantagens da MCDA- C, em relação às ferramentas identificadas, além de justificar, ao final, porque a utilização da Metodologia Multicritério em Apoio à Decisão – Construtivista transparece como a mais adequada para o contexto avaliado.
Análise crítica quanto ao referencial teórico
empregado nos artigos selecionados
Est e enf oque da análise crít ica f oi direcionado a t rês aspect os, como segue:
1 – À def inição de avaliação de desempenho adot ada pelos aut ores; 2 – À adoção de modelos personalizados ou universais;
3 – Às limit ações e f ragilidades do ref erencial t eórico.
Quant o ao segundo aspect o observado nesse viés da análise crít ica, soment e o modelo propost o por Lingham, Richley e Rezania (2006) deixa explícit o sua nat ureza exclusiva e part icular ao programa de capacit ação avaliado. Dos t ext os const ruídos por Kuprenas, M adjidi e Alexander (1999), Tennant , Boonkrong e Robert s (2002), Lit arowsky, M urphy, Canham (2004) e Wong e Wong (2003), apesar de não haver ref erência expressa, depreende- se serem direcionados especif icament e ao est udo de caso realizado. Em cont raposição, no t rabalho de Grammat ikopoulos e out ros (2004) os próprios aut ores regist ram o uso universal do modelo desenvolvido, ao conceber a possibilidade de seu emprego em processos de desenvolviment o prof issional com est rut ura similar ao pesquisado, mediant e a realização de alguns ajust es. Já nos art igos de West brook et al. (2008), Feat herst one et al. (2004) e M cM illan, Bunning e Pring (2000), mesmo que a quest ão não seja, diret ament e, abordada, t ransparece a possibilidade de ut ilização dos modelos em programas de t reinament o similares. Em Campbell (1998) não f oi possível ext rair inf ormações que permit issem af irmar ser o modelo propost o universal ou part icular.
No t erceiro aspect o dest e pont o da análise crít ica, import a realçar que a apresent ação das limit ações ou f ragilidades do ref erencial t eórico, ut ilizado pelos aut ores dos art igos selecionados, t em o simples objet ivo de apurar em que part icularidades a M CDA- C poderia cont ribuir para um processo de avaliação mais consist ent e e com repercussões ef et ivas na gest ão dos programas de t reinament o avaliados. Nest e sent ido, em prat icament e t odos os t rabalhos, as principais limit ações dizem respeit o aos seguint es aspect os:
1 – A ausência de part icipação dos decisores na def inição dos crit érios de avaliação – logo, f loresce a dúvida se a percepção dos aut ores, responsáveis por essa def inição, alcançou os aspect os relevant es e com impact o na avaliação propost a, exceção f eit a ao t rabalho de Lingham, Richley e Rezania (2006) que t em est e aspect o em alt o grau de import ância, conf orme relat ado ant eriorment e no corpo dest a dissert ação;
2 – A inexist ência de um mét odo est rut urado e t ransparent e para ident if icação dos crit érios de avaliação – assim não há como saber se esses crit érios ref let em, verdadeirament e, as preocupações dos decisores;
e, por conseguint e o que pode ser f eit o para melhorar e qual o grau em que o crit ério est á sendo alcançado;
4 – A impossibilidade de ident if icação das ações de melhoria, no sent ido de que os crit érios elencados no inst rument o de colet a de dados (principalment e, o
survey
) limit am- se a clarear a exist ência ou não de um problema, não orient ando para a ação, ou seja, o indicador de desempenho não comunica qual ação deve ser implement ada para gerar o aperf eiçoament o. M esmo no modelo propost o por Campbell (1998), em que há uma part e dest inada às recomendações e ao plano de ação, est a iniciat iva demanda um grande esf orço, post o que as ações não est ão def inidas e comunicadas em cada um dos crit érios.Análise crít ica das f errament as de avaliação de desempenho ut ilizadas nos art igos selecionados em relação à M CDA- C
Como conclusão dest a revisão sist êmica, rest a agora explicit ar quais as vant agens e desvant agens da M CDA- C em relação às f errament as de avaliação de desempenho ut ilizadas nos art igos selecionados e, f inalment e, just if icar por que est a met odologia poderia cont ribuir para o t rat ament o dos cont ext os pesquisados.
Após a análise do emprego de cada inst rument o de int ervenção nos art igos selecionados, f oi possível ident if icar apenas uma desvant agem da M CDA- C quando aplicada na avaliação de programas de t reinament o. Est a desvant agem se deu em relação ao
Four-phase Evaluation System
(LINGHAM ; RICHLEY; REZANIA, 2006), especif icament e, no que diz respeit o à dependência de que os decisores apresent em como seus os aspect os considerados relevant es pelos part icipant es do programa de t reinament o avaliado por meio da M CDA- C.Já acerca das vant agens do emprego da M CDA- C na avaliação de programas de t reinament o, f icaram evidenciadas, em relação aos dez inst rument os de int ervenção analisados, as seguint es pot encialidades:
1 – A def inição clara dos decisores (excet uando- se o t rabalho de Lingham, Richley e Rezania 2006);
2 – O mét odo est rut urado e t ransparent e para ident if icação dos crit érios, em f orma singular;
3 – A ut ilização de escalas ordinais para medir a at rat ividade dos possíveis est ados da propriedade que se deseja avaliar;
4 – A t ransf ormação das escalas ordinais em cardinais, permit indo, assim, capt ar os dif erent es níveis de at rat ividade ent re as alt ernat ivas;
6 – A apresent ação gráf ica do modelo de avaliação e do perf il de desempenho permit e a ident if icação, de f orma clara, dos objet ivos (crit érios) cujo desempenho necessit a ser alavancado por ações de aprimorament o; 7 – A f acilidade e a assert ividade na geração de recomendações de melhoria de
perf ormance, a part ir do moment o em que os crit érios são const it uídos por ações, permit indo est abelecer um processo de gest ão t ransparent e, volt ado ao aprimorament o do desempenho.
Por f im, da análise encet ada, conclui- se que as vant agens ident if icadas e explicit adas acima just if icam o pot encial de cont ribuição da M CDA- C no processo de avaliação de programas de t reinament o. Ademais, depreende- se do est udo f eit o que est e pot encial de cont ribuição poderia ser alavancado com a ut ilização combinada da M CDA- C com os seguint es inst rument os de int ervenção:
1 – Four- phase Evaluat ion Syst em (LINGHAM ; RICHLEY; REZANIA, 2006); 2 – M u l t i pl e- l evel Trai n i n g Assessm en t Process (KUPRENAS; M ADJIDI;
ALEXANDER, 1999);
3 – Kirkpat rick’s M odel – Four- Level Evaluat ion M odel (WONG; WONG, 2003); 4 – Guskey’s M odel of Five Levels (GRAM M ATIKOPOULOS et al., 2004); 5 – Training Programme Measurement Model (TENNANT; BOONKRONG; ROBERTS, 2002).
A conclusão da possibilidade de uso combinado da MCDA- C com os inst rument os de avaliação ref erenciados acima decorre, em relação à primeira, das vant agens de sua aplicação ao present e cont ext o de pesquisa, enquant o as demais f errament as agregam valor à avaliação por destacarem preocupações que são relevantes e impactam diretamente no desempenho de programas de t reinament o, explicit adas, principalment e nas suas dimensões de avaliação. Une- se, assim, o pot encial da MCDA- C com a cont ribuição dos inst rument os de int ervenção sublinhados na ident if icação, pelos decisores daqueles objet ivos que, ef et ivament e, devem ser avaliados em um processo de capacit ação.
Considerações finais
Rest ou evidenciado durant e o t ranscorrer dest e t rabalho que os programas de t reinament o, por sua import ância no cont ext o educacional, em especial, quando os conheciment os, habilidades e at it udes exigidas conf iguram- se em uma nova f ront eira de at uação prof issional, como é o caso do Programa Educacional de Resist ência às Drogas - Proerd, necessariament e, precisam ser acompanhados por um processo de avaliação que permit a apurar o alcance dos objet ivos propost os com a capacit ação. Além disso, f oi possível verif icar, t ambém, que para est e f im, são empregadas inúmeras f errament as de avaliação.
avaliação de programas de t reinament o que permit a ident if icar as pot encialidades ou/e limit ações das f errament as empregadas para est e f im na amost ra em relação à MCDA- C? E a respost a a est a quest ão pode ser observada na seção
Discussão e Resultados
, mediant e a revisão sist êmica dos art igos selecionados, em relação à MCDA- C.Da mesma f orma, o objet ivo da pesquisa realizada – const ruir um ref erencial t eórico sobre a avaliação de programas de t reinament o, por meio de uma revisão sist êmica de art igos mais alinhados ao cont ext o pesquisado e com maior relevância acadêmica, que permit a apurar as pot encialidades ou/e limit ações das f errament as empregadas para est e f im na amost ra em relação à MCDA- C – t ambém f oi cont emplado na t erceira seção.
Quant o aos objet ivos específ icos, cumpre salient ar o pleno alcance do que f oi propost o, a saber:
1 – Selecionar ref erências bibliográf icas mais alinhadas com o cont ext o dest a pesquisa e com maior relevância acadêmica, em bases de dados com acesso via int ernet – consubst anciado na seção
Processo para seleção do referencial
teórico e revisão sistêmica
, pormeio de um processo desenvolvido em 11 et apas; 2 – Real i zar u m a r evi são si st êm i ca d o s ar t i g o s sel eci o n ad o s p ar a odesenvolviment o do ref erencial t eórico – execut ada na seção
Discussão e
Resultados
, mediant e processo const it uído de 5 et apas.Dest aca- se, oport unament e, como delimit ação de pesquisa, que o ref erencial t eórico const ruído, em consequência da revisão sist êmica, est á part icularizado para um port f ólio de est udos selecionados em f ace de uma combinação de palavras- chaves, uma visão de mundo e um conjunt o de bases de dados def inido pelos pesquisadores.
Finalment e, a t ít ulo de recomendação para f ut uras pesquisas, sugere- se:
1 – Ampliar o escopo de pesquisa, selecionando, além de art igos disponíveis em bases de dados com acesso via int ernet , out ras f ont es, no sent ido de oport unizar uma revisão mais aprof undada de livros e de out ros aut ores relacionados a est a t emát ica;
Referências
ADAM S, J.D. Reint erpret ing Evaluat ion Classics in t he M odern Age.
Journal of
Continuing Higher Education
, v. 49, n.2, p. 15–21, 2001.ALAVI, M .; CARLSON, P. A review of M IS research and disciplinary development .
Journal of Management Information Systems,
v. 8, n. 4, p. 45- 62, 1992.BEINAT, E.
Multiattribute value functions for environmental management
. Amst erdam: Timbergen Inst it ut e Research Series, 1995.CAM PBELL, C. P. Training course/program evaluat ion: principles and pract ices.
Journal
of European industrial training
, v. 22, n. 8, p.322- 44, 1998.CAPES. Coordenação de Aperf eiçoament o de Pessoal de Nível Superior.
Portal
de periódicos. CAPES
. Brasília, DF: CAPES, 2009. Disponível em: < ht t p://w w w. peridodicos.capes.org.br>
. Acesso em: 21 nov. 2009.CASTRO, P. M . R.; PORTO, G. S.. Avaliação de result ados da capacit ação via est ágios pós- dout orais: breves not as sobre a produção cient íf ica em periódicos.
Ensaio:
aval. pol. públ.Educ., Rio de Janeiro, v. 20, n. 74, p. 51- 72, 2012.CODES, A. L. M . M odelagem de equações est rut urais: um mét odo para a análise de f enômenos complexos.
Caderno CRH
, Salvador, v. 18, n. 45, p.471- 484, set ./dez., 2005. COOPER, M . Evaluat ing prof essional t raining.Training and Development
, n. 10, p. 26- 31, 1994.DARBY, J. A. Open- ended course evaluat ions: a response rat e problem?.
Journal of
European industrial training
, v. 31, n. 5, p. 402- 412, 2007.ENSSLIN, L.
Notas de aula da disciplina MCDA I
: Programa de Pós- Graduação em Engenharia de Produção da Universidade Federal de Sant a Cat arina. Florianópolis: UFSC, 2009.ENSSLIN, L.; ENSSLIN, S.R.
