Plano de Avaliação

Como vimos, há vários modelos de avaliação que podem servir de base para a avaliação da transferência da formação, mas independentemente do modelo escolhido, é importante que se prepare um plano ou uma estratégia de avaliação que oriente a recolha da informação (Pineda, 2010). Na definição deste plano de avaliação é fundamental, antes de mais, que se tenham em atenção algumas considerações gerais.

Em primeiro lugar, na definição de um plano de avaliação têm que ser considerados todos os recursos (humanos e materiais) disponíveis para a sua execução de modo a ajustar os custos e o tempo despendido no processo a esses mesmos recursos (Herrero, 2000; Pineda, 2010). O plano de avaliação tem que ser credível mas, ao mesmo tempo, realista e praticável face aos recursos existentes (Pineda, 2010). De pouco serve um plano de avaliação muito rigoroso do ponto de vista metodológico se a empresa não dispuser de meios para o colocar em prática. Mas também de pouco serve um modelo que a empresa seja capaz de empreender mas que tenha pouco ou nenhum rigor. De facto, só com uma avaliação minimamente rigorosa e cuidada é que poderemos obter resultados úteis, resultados esses que terão um impacto muito positivo na organização (Pineda, 2010). Assim, perante recursos escassos, é necessário encontrar uma solução realista mas também (minimamente) rigorosa.

Em segundo lugar, o plano de avaliação deve ser aceite por todos os envolvidos no processo, desde os participantes aos gestores. Se os elementos envolvidos não aceitam o plano este irá falhar (Russ-Eft & Preskill, 2008). Neste sentido, em alguns casos será preferível conceber um plano de avaliação mais simples que seja aceite por todos do que um plano complexo que não receba o necessário suporte organizacional (Pineda, 2010). Cabe aos responsáveis da formação sensibilizar os diferentes intervenientes para este processo e negociar o seu nível de envolvimento (Pineda, 2010).

78

Em terceiro lugar, associado a este trabalho de comunicação e validação do plano, é fundamental que se empreendam esforços de sensibilização geral em relação às questões da avaliação (Pereira, 1996). Deve ficar claro para os diversos agentes, entre outros aspetos, o que é um processo de avaliação e quais os seus objetivos (Pereira, 1996).

Por fim, qualquer plano de avaliação deve resultar de uma abordagem multidimensional (Caetano, 2007b). Assim, de acordo com vários autores (e.g., Cardim, 2009; Herrero, 2000), qualquer plano de avaliação deve formular a sua metodologia a partir das seguintes interrogações essenciais: “O que avaliar?”, “Como avaliar?” “Quem avalia?” e “Quando avaliar?”. Na resposta a estas questões é importante que se considerem conhecimentos empiricamente validados para assegurar que a avaliação é conduzida de uma forma eficaz. Contudo, convém referir desde já que, como veremos, não há uma resposta única para cada uma destas questões, existindo naturalmente um espaço para se considerar as especificidades de cada organização. Alguns autores defendem inclusivamente que, tendo em consideração a enorme variabilidade individual dentro de qualquer organização, se devem adotar diferentes abordagens com diferentes colaboradores, nomeadamente em função grau de autonomia exigido à função (Yellon & Ford, 1999). É possível, assim, que na mesma organização co-exista mais do que um modelo de avaliação.

Nas páginas que se seguem apresentam-se, então, resposta às questões – “O que avaliar?”, “Como avaliar?” “Quem avalia?” e “Quando avaliar?”. A partir do cruzamento das respostas a estas interrogações básicas tendo em consideração especificidades organizacionais e da sua integração num todo podemos, de acordo com Herrero (2000), desenhar um (ou mais) plano(s) de avaliação eficaz(es) e eficiente(s).

O que avaliar?

É neste momento que definimos qual o objeto específico da avaliação, ou seja, quais os elementos que permitem aferir se a formação foi eficaz (Cruz, 1998).

Para responder a esta questão, importa, em primeiro lugar, recordar que a avaliação da transferência da formação é aquela que permite compreender de que forma as aprendizagens realizadas no contexto da formação se traduzem em mudanças no comportamento dos colaboradores (Burke & Hutchins, 2008; Pineda, 2010; Salas et al., 2012). Posto isto, é importante recordar também a distinção que fizemos inicialmente entre avaliação da formação e

79

eficácia da formação, a primeira mais focada nos resultados e a segunda no processo (e.g., Alvarez et al., 2004; Kraiger et al., 1993). Os critérios de avaliação podem assim, ser mais orientados para os resultados e/ou para o processo. Assumimos aqui a importância de adotar uma abordagem holística, no sentido de compreender não só os resultados finais (se houve ou não uma transferência da formação para o contexto de trabalho) como também as variáveis que explicam esses mesmos resultados. Uma avaliação exclusivamente focada nos resultados não permite esclarecer as razões dos resultados adequados/inadequados, dificultando o diagnóstico e implementação de medidas corretivas. Uma avaliação deste tipo desvirtuaria, assim, o sentido de avaliação, que deve ter como objetivo último a orientação e melhoria do processo formativo e, consequentemente, do desempenho dos colaboradores.

Resumindo, é fundamental a utilização conjunta de critérios que, por um lado, permitam averiguar se houve ou não transferência da formação e, por outro, ajudem a diagnosticar as razões desses resultados para posterior intervenção.

Em relação à avaliação dos resultados, naturalmente que os elementos a avaliar variarão em função das mudanças que se pretendem com a intervenção. É fundamental, no entanto, que estes elementos sejam cuidadosamente determinados em função dos objetivos que se pretendem alcançar com a formação (Abernathy, 1999). De uma forma geral, a avaliação pode basear-se em elementos hard, mais objetivos e quantitativos (e.g., acidentes de trabalho, peças com defeito) e/ou em elementos soft, mais subjetivos, de carácter percetivo (e.g., comunicação, satisfação com o trabalho, auto-confiança) (Abernathy, 1999; Caetano, 2007b; Cruz, 1998). O ideal é que, sempre que possível, a avaliação combine os dois tipos de elementos já que ambos apresentam inconvenientes (Caetano, 2007b).

Já no que se refere às variáveis do processo, é necessário identificar os fatores que facilitam e/ou dificultam a transferência da formação para o contexto de trabalho, considerando todos os potenciais fatores que foram já identificados pela literatura.

Como avaliar?

É na resposta à questão “Como avaliar?” que se decidem quais os instrumentos/ferramentas, métodos e técnicas a utilizar para avaliar os elementos previamente determinados.

80

Há uma enorme variedade de instrumentos e ferramentas que podem ser utilizados para avaliar a transferência da formação (Herrero, 2000; Pineda, 2010). Segundo Pineda (2010), esta escolha deve ser orientada pelo tipo de intervenção a ser avaliada, pelo objeto específico da formação e pelas características do contexto organizacional.

A avaliação pode realizar-se mediante a análise de indicadores quantitativos e qualitativos do desempenho disponíveis na organização, a aplicação de entrevistas e questionários, a utilização de grelhas de observação de comportamentos (Cardim, 2009; Cruz, 1998; Herrero, 2000; Pineda, 2010; Warr et al., 1999) e ainda, embora menos comum, através de projetos de aplicação ou de planos de ação (Cardim, 2009; Cruz, 1998; Pineda, 2010).

As entrevistas são uma ferramenta útil, na medida em que permitem obter dados que podem não estar disponíveis nos registos de desempenho do avaliado ou que podem ser difíceis de obter através de outras ferramentas como os questionários ou as observações (Cruz, 1998). Podem ser estruturadas ou não estruturadas, formais ou informais, aplicadas de uma forma presencial ou à distância (e.g., por telefone), de um modo individual ou em grupo (Cruz, 1998; Pineda, 2010). Seja qual for a opção, é necessário que o entrevistador tenha preparação adequada para esta tarefa (Cruz, 1998). Apesar da sua clara utilidade, as entrevistas podem exigir grande dispêndio de tempo, estão sujeitas ao enviesamento do entrevistador e os resultados são mais difíceis de quantificar (Cruz, 1998; Gray, 2004).

Os questionários são, como Gray (2004, p. 188) nota, “um dos métodos de recolha de informação mais popular”. Numa análise da investigação produzida nesta área, verificamos que a esmagadora maioria dos estudos empíricos que analisam a transferência da formação fazem- no essencialmente através da aplicação de questionários respondidos pelos próprios avaliados para averiguar a sua perceção da aplicação da formação ou por outras fontes, como as chefias (e.g., Araújo, Silva, Duarte & Caetano, 2014; Brown, 2005; Facteau et al., 1995; Miguel & Caetano, 2007; Montesino, 2002; Santos & Stuart, 2003; Tesluk et al., 1995), tal como o demonstra a revisão bibliográfica de Salas e Cannon-Bowers (2001).

Esta popularidade deve-se possivelmente ao grande conjunto de vantagens que lhes tem sido atribuídas, entre as quais o facto de permitir recolher um grande conjunto de dados de uma forma rápida e económica, de assegurar o anonimato das respostas, de poderem ser preenchidos a qualquer hora e qualquer momento (ao contrário das entrevistas que exigem que entrevistado e entrevistador encontrem disponibilidade coincidente para se reunirem), de não estarem sujeitos ao enviesamento do entrevistador e de, aparentemente, serem fáceis de

81

conceber (Gray, 2004). Este rol de vantagens torna assim os questionários numa das ferramentas de recolha de informação mais atrativas. No entanto, estes não são livres de desvantagens. Com efeito, através dos questionários não se tem, por exemplo, a oportunidade de clarificar questões. Além disso, a construção de um questionário rigoroso é, ao contrário daquilo que se poderá pensar, um processo complexo e moroso que exige variados cuidados (Cruz, 1998; Gray, 2004).

As grelhas de observação de comportamentos envolvem a construção de uma grelha que reflita o modelo comportamental esperado (Cruz, 1998; Pineda, 2010). Constituem um instrumento de aplicação demorada que exige da parte do avaliador observações sistemáticas (Pineda, 2010). Além disso, a observação pode dar aso ao chamado efeito de Hawthorne, isto é, o facto de o avaliado saber que está a ser observado gera, por si só, mudanças no comportamento (Cruz, 1998). Para ultrapassar este constrangimento tem sido sugerido a presença de um observador que seja familiar ao avaliado e que a observação se mantenha durante um período de tempo prolongado (Phillips, 1990, citado por Cruz, 1998). Apesar das limitações, este é um instrumento que fornece informação muito válida e interessante (Pineda, 2010).

Os planos de ação (ou projetos de aplicação) foram já abordados previamente (a propósito do “problema da transferência”) como uma intervenção que pode facilitar a transferência da formação. Eles surgem novamente neste ponto por terem sido identificados como uma ferramenta que, para além de orientar e potenciar a transferência da formação, permite a sua avaliação a partir da análise dos resultados destes projetos ou planos (Cardim, 2009; Cruz, 1998; Pineda, 2010).

Do ponto de vista metodológico, é importante conceber um plano de avaliação que permita distinguir os resultados devidos à formação daqueles que provêm de outras causas, para assegurar que a formação é a principal responsável pelos efeitos obtidos (Cruz, 1998; Pineda, 2010). Este é um trabalho muito complexo pois o comportamento é influenciado por uma enorme diversidade de fatores (e.g., práticas de liderança, problemas pessoais, aspetos relacionados com o posto de trabalho) (e.g., Argote et al., 2000), pelo que a avaliação deve ser a mais abrangente e rigorosa possível.

Um plano ideal de avaliação da transferência deveria basear-se no método experimental, o qual implica o recurso a um grupo de controlo aleatório (não sujeito a intervenção através da formação) de modo a assegurar de um modo mais fidedigno que os resultados obtidos se devem

82

à formação e não a outras variáveis (Caetano, 2007b; Cardim, 2009; Kirkpatrick, 1979). Para além disso, ambos os grupos seriam submetidos a diferentes análises que permitiriam fazer comparações entre o comportamento pré e pós-formação (Caetano & Velada, 2007; Kirkpatrick, 1979, 1996; Kumar, Narayana & Sagar, 2012; Warr et al., 1999). Como Cruz (1998) denota, a literatura reflete um consenso alargado entre autores quanto à utilização deste método como forma privilegiada de avaliação da formação.

Contudo, como o próprio acrescenta ainda, “a aplicação do método experimental à realidade organizacional coloca algumas dificuldades” (Cruz, 1998, p. 84). Trata-se de uma metodologia que foi desenvolvida para ser utilizada em meio laboratorial, no qual é possível controlar as condições essenciais da experimentação (Cruz, 1998). Em contexto empresarial, um plano deste género seria não só difícil de concretizar como também dispendioso (Jellema, Visscher & Scheerens, 2006). De facto, para além das exigências técnicas, este tipo de avaliação envolveria grande dispêndio de recursos, que as organizações raramente estão dispostas a investir, pois significaria em muitos casos desviar esses mesmos recursos de outras tarefas consideradas prioritárias (Cardim, 2009; Cruz, 1998).

No entanto, como Cardim (2009, p. 151) expõe, a avaliação da transferência constitui também “um trabalho de observação orientada que pode resultar mais de uma apreciação qualitativa do que de uma medição rigorosa”. Portanto, na impossibilidade de um trabalho de medição rigorosa, devem ser consideradas outras alternativas.

Tem sido apontada como alternativa viável aquela em que apenas o grupo sujeito à intervenção formativa será alvo da avaliação, sendo necessário determinar o referente ou critérios em função dos quais se determina a eficácia da formação (Caetano, 2007b). O referente pode ser, por exemplo, a situação inicial/passada ou os objetivos operacionais ou uma combinação destes (Caetano, 2007b; Foxon, 1993). A utilização da situação inicial/passada como referente tem uma importância evidente pois, como Kumar e colaboradores (2012, p.82) referem, “se não conhecemos a situação inicial não podemos determinar com exatidão as mudanças que ocorreram”. Em relação ao recurso aos objetivos como referente, há um consenso alargado (e.g., Alliger et al., 1997; Câmara et al., 1999; Cardim, 2009; Cruz, 1998; Kumar et al., 2012; Pineda, 2010) de que “a avaliação deve realizar-se essencialmente pela verificação do alcance dos objetivos que determinaram as ações de formação, como tal assentando na comparação entre objetivos e resultados” (Cardim, 2009, p. 143). Nesta perspetiva, os objetivos identificados no levantamento de necessidades constituem a base da

83

avaliação dos resultados (Pineda, 2010). Assim sendo, é crucial que os objetivos que se pretendem alcançar com a formação estejam claramente definidos, possam ser observados e medidos (Pineda, 2010).

É importante neste momento fazer uma distinção entre os objetivos da formação e os objetivos/expectativas do(s) cliente(s) da formação (i.e., quem a solicitou a formação), dos formandos e de outros atores organizacionais, os quais nem sempre se encontram em consonância. É inquestionável a necessidade de uma coincidência destes objetivos, pelo que este momento de definição dos objetivos deve ser preparado pelos principais intervenientes – técnicos de recursos humanos, formador, quem solicitou a formação e formando (Alliger et al., 1997; Cruz, 1998). Contudo, como sabemos que tal nem sempre ocorre, é fundamental clarificar aqui que a determinação da transferência da formação deve ser orientada pelos objetivos do(s) cliente(s) da formação, os quais são determinados na resposta à questão “Que mudanças devem ocorrer no comportamento do colaborador se a formação for bem sucedida?” (Alliger et al., 1997). Só assim poderemos ter mais garantias de estarmos a definir os critérios mais relevantes que sejam efetivamente reflexo dos objetivos críticos do programa da formação.

Quem avalia?

A resposta a esta questão permitirá determinar quais os agentes da avaliação, ou seja, quais as pessoas que estarão numa posição mais privilegiada para perceber as mudanças ocorridas no comportamento do colaborador em contexto de trabalho.

A avaliação da transferência da formação pode ser realizada por um ou mais elementos envolvidos na formação e/ou afetados por ela (e.g., o formando, a sua chefia, colegas/pares, clientes). De seguida, exploraremos as vantagens e desvantagens associadas às quatro principais fontes de avaliação – o próprio avaliado, a chefia direta, colegas/pares e clientes.

É frequente solicitar ao próprio avaliado que participe na sua avaliação (Kumar et al., 2012; Pineda, 2010), pois este encontra-se numa posição privilegiada para se autoavaliar, mas sobretudo para avaliar as potenciais barreiras à transferência da formação ligadas à própria formação e ao contexto organizacional (Pineda, 2010). Além disso, solicitar a colaboração do próprio avaliado poderá surtir um efeito muito positivo no mesmo por este se sentir envolvido neste processo (Gomes et al., 2008). Contudo, os auto-relatos têm sido alvo de várias críticas por poderem ser altamente afetados, entre outros, por distorções de memória e elevada

84

desejabilidade social (e.g, Blume et al., 2010; Ford & Weissbein, 1997; Podsakoff, MacKenzie, Leo & Podsakoff, 2003). A título de exemplo, o colaborador pode identificar que a formação que recebeu foi aplicada no contexto de trabalho como forma de agradar ao seu superior (Podsakoff et al., 2003). Pode haver também uma tendência para o colaborador atribuir sempre notas positivas como forma de se valorizar (Cardim, 2009; Taylor, Russ-Eft & Taylor, 2009).

Apesar destas limitações, vários investigadores continuam a basear os seus estudos sobre a avaliação da transferência em auto-relatos, tal como o demonstram as revisões da literatura de Ford e Weissbein (1997) e Salas e Cannon-Bowers (2001). Contra estas críticas, alguns autores defendem que os formandos são provavelmente a fonte de avaliação mais válida, uma vez que as suas perceções (reais ou não) irão guiar a sua motivação e desempenho (Velada et al., 2007).

Para além do próprio avaliado, o processo de avaliação pode incluir a participação de terceiros. Estes desempenham um papel central não apenas na avaliação, mas também na transferência da formação, podendo, como abordamos previamente, facilitá-la ou dificultá-la (Kumar et al., 2012; Pineda, 2010).

As chefias diretas têm sido o grupo mais utilizado para avaliar o impacto da formação no desempenho dos colaboradores (Phillips, 1990, citado por Cruz, 1998). Tradicionalmente, supõe-se que é a chefia direta a pessoa que tem mais oportunidades para observar o comportamento dos colaboradores porque lida diariamente com eles, logo é quem os conhece melhor e quem poderá fazer comparações entre o comportamento antes e após a formação (Cruz, 1998; Kumar et al., 2012; Pereira, 1996; Pineda, 2010). Para além disso, a chefia direta tem, à partida, todo o interesse em fazer uma avaliação o mais precisa possível dos seus colaboradores “pois ganha com a melhoria do seu desempenho e perde com o seu mau desempenho” (Gomes et al., 2008, p. 501). Segundo Phillips (1990, citado por Cruz, 1998, p. 217),“(…) o melhor avaliador é, possivelmente, a chefia imediata do formando, e ainda mais se tiver sido preparada para o observar”.

Não obstante, a escolha da chefia direta para assumir o papel de avaliador da transferência da formação não é livre de desvantagens (Gomes et al., 2008). Com efeito, algumas funções são difíceis de observar pela chefia direta (Gomes et al., 2008). Além disso, corre-se o risco de haver um enviesamento na avaliação, relacionado essencialmente com preconceito ou favoritismo (Gomes et al., 2008).

85

Embora menos comum, também é possível o recurso a colegas/pares, o que é particularmente útil nos casos em que as chefias diretas não têm oportunidade de observar diretamente o comportamento dos colaboradores (Cruz, 1998; Gomes et al., 2008; Kumar et al., 2012). A utilização de colegas/pares também não está isenta de inconvenientes, os quais se prendem essencialmente com potenciais distorções (positivas ou negativas) da avaliação (Gomes et al., 2008; Taylor et al., 2009). De acordo com Phillips (1990, citado por Cruz, 1998, p. 216) a utilização dos colegas/pares é rara “dada a grande subjetividade que envolve e a baixa fidelidade das avaliações que produz”.

Por fim, menos comum ainda é a utilização dos clientes para o desempenho do papel de avaliadores (Pineda, 2010). Tal poderá ser útil, essencialmente, em situações em que os clientes têm a possibilidade de observar de perto o comportamento dos avaliados (e.g., no caso dos colaboradores que trabalham no atendimento ao público) (Gomes et al., 2008). Em relação às desvantagens, destacam-se imediatamente duas relacionadas com a abrangência da avaliação. Por um lado, se se optar por avaliar a perceção de todos os clientes este processo será muito dispendioso; por outro lado, se forem analisadas apenas as opiniões espontâneas dos clientes corre-se o risco de estas serem bastante extremadas (ou muito positivas ou muito negativas) e, portanto, relevantes mas insuficientes (Gomes et al., 2008).

Ao analisarmos as diferentes possibilidades e as suas diversas vantagens e desvantagens, encontramos um denominador comum a todas elas – a subjetividade da avaliação. Numa meta-análise conduzida por Taylor e colaboradores (2009), os autores verificaram que os efeitos de transferência baseados em auto-relatos (e em menor grau nos relatos dos supervisores) eram consistentemente superiores nos diferentes estudos. Por sua vez, os efeitos baseados na avaliação dos colegas/pares eram menores e mais homogéneos. Blume e colaboradores (2010), por sua vez, encontraram na sua meta-análise uma correlação modesta entre a avaliação da transferência realizada pelo próprio e por outros. A auto-avaliação tendia a produzir resultados mais elevados do que a avaliação realizada por terceiros. Tal é consistente com os resultados da literatura no que diz respeito às diferenças entre avaliadores nas avaliações de desempenho (Heidemeier & Moser, 2009). Parece evidente, a partir destes resultados, a necessidade de uma cuidada ponderação na escolha do(s) avaliador(es).

Atendendo a estas limitações e, uma vez que a avaliação da transferência da formação tem um carácter multidimensional, vários autores defendem que esta deve ser uma atividade colaborativa resultante de uma pluralidade de agentes (e.g., Burke & Hutchins, 2008; Cardim,

86

2009; Eseryel, 2002; Herrero, 2000; Pereira, 1996; Pineda, 2010). Ao utilizar múltiplos avaliadores, espera-se reduzir as distorções da avaliação e aumentar a validade dos resultados, uma vez que tal possibilitará obter informação mais rica e diversificada.

Apesar de, na perspetiva de vários autores, esta multiplicidade de intervenientes trazer mais rigor à avaliação, a implicação de vários atores organizacionais neste processo traz também vários constrangimentos (Gomes et al., 2008; Pineda, 2010). Com efeito, uma vez que implica a recolha e análise de muita informação, este torna-se um processo muito exigente do ponto de vista administrativo (Gomes et al., 2008). Corre-se o risco também de todo o sistema falhar se não existir comunicação suficiente entre as pessoas envolvidas no processo (Gomes et al., 2008). Além disso, alguns autores consideram que a soma da subjetividade dos diferentes