Preenchimento da Grelha de Auto-Avaliação

3.4.2.1 – Definição dos indicadores

A implementação da CAF consiste, em última análise, no preenchimento de uma grelha onde estão definidos os critérios e os sub-critérios de Meios e de Resultados que compõem o modelo.

Para o preenchimento da grelha foi necessário que a equipa de auto-avaliação identificasse indicadores16_{, para os diferentes critérios e sub-critérios, bem como o seu modo de pesquisa. Os} indicadores servem como referência para que a equipa encontre na organização as evidências para justificar as pontuações atribuídas a cada sub-critério. Funcionam como um guia para os elementos da equipa no processo de pesquisa de informação e sustentam, posteriormente, a avaliação de cada critério.

Para a definição de indicadores foi utilizado o documento oficial da CAF que exemplifica para cada sub-critério um conjunto de indicadores. Importa referir que os indicadores constantes no

documento oficial da CAF tinham um valor meramente indicativo, tendo a equipa acrescentado outros que considerou relevantes na área de actividade da secção da organização em estudo, bem como eliminado aqueles que não se adequavam ao contexto organizacional em avaliação. (Anexo VI)

3.4.2.2 – Recolha de dados

Para avaliar as unidades organizacionais em estudo relativamente a cada sub-critério, tendo por base os indicadores definidos, foi desencadeado um processo de recolha de dados.

Assim, a informação necessária para o posterior preenchimento da grelha foi obtida através de duas técnicas: pesquisa documental e questionários.

Pesquisa documental

A pesquisa documental foi muito importante. Sempre que fosse possível aferir um indicador através de prova documental, o avaliador deveria solicitar cópia da mesma. Contudo, foi necessário ter em conta que nem sempre havia suporte documental disponível para todos os critérios. Para além disso, importa ainda referir que a prova documental por vezes não é suficiente, sendo muitas vezes necessário conferir o seu verdadeiro valor através de questionários.

Questionários

Outro dos métodos escolhidos para a recolha de informação foi o inquérito por questionário, por administração directa, em que o inquirido é o responsável pelo registo das respostas (Quivy e Campenhoudt, 2005). Este método apresenta alguns riscos, visto que as perguntas podem ser mal interpretadas e o número de respostas pode ser baixo (Quivy e Campenhoudt, 2005).

Para o efeito, construíram-se cinco questionários, tendo em conta cada um dos públicos (gestor de topo, gestores intermédios, colaboradores/pessoas, clientes internos e externos). Cada questionário abordou todos os critérios relacionados com os respectivos destinatários.

Para a construção ou adaptação dos questionários teve-se em consideração o seguinte: (a) linguagem simples e clara; (b) utilização preferencial de questões fechadas a fim de facilitar a análise; e (c) colocação de questões idênticas (de igual conteúdo, mas com formato adequado ao destinatário), nos diversos questionários, de modo a possibilitar a confirmação das afirmações dos inquiridos. Para uma maior fiabilidade das respostas foi opcional a identificação do colaborador respondente.

3.4.2.3 – Análise de resultados

Depois de todos os dados reunidos e feito o seu tratamento, deu-se início a esta fase.

A análise de resultados envolveu todo um trabalho de cruzamento dos indicadores definidos para cada sub-critério, dos documentos recolhidos que serviam de suporte aos mesmos e das informações obtidas com base na análise dos dados recolhidos nos questionários. Este cruzamento de informação permitiu justificar, com evidências, as pontuações atribuídas a cada sub- critério.

No caso dos questionários, foi feita uma primeira análise pelos elementos da equipa e posteriormente os dados foram tratados, pelo investigador, com o auxílio do programa SPSS –

Statistical Package for Social Sciences.

Cada conjunto de questionários tipo foi analisado de modo a obter-se uma média final para cada resposta.

3.4.2.4 – Atribuição de pontuação

Nesta fase do exercício, a equipa de auto-avaliação já dispunha de todos os elementos necessários para preencher a grelha de auto-avaliação. Assim, a equipa atribuiu uma pontuação a cada sub-critério e justificou essa pontuação com base em evidências.

Neste caso, a atribuição de pontuação foi feita primeiramente pelo investigador, apresentando uma proposta de pontuação e defendendo-a com base nos resultados da pesquisa (evidências). Seguiu-se a discussão de ideias com os restantes elementos da equipa, que culminou com a atribuição de uma pontuação final para cada sub-critério/critério, através de consenso ou maioria.

Cada critério tinha seis níveis de avaliação alternativos (0 a 5). As respostas dadas, em termos de avaliação, eram necessariamente diferentes consoante se tratasse de critérios de MEIOS ou de RESULTADOS, pelo que foram utilizados os seguintes quadros de resposta:

MEIOS:

Nenhuma evidência ou apenas evidencia de uma iniciativa sem expressão = 0

Iniciativa planeada - P (plan). = 1

Iniciativa planeada e implementada – D (do). = 2

Iniciativa planeada, implementada e avaliada – C (check). = 3

Iniciativa planeada, implementada, avaliada e revista com base em dados retirados de

acções de benchmarking ajustada em conformidade – A (act). = 4

Iniciativa planeada, implementada, avaliada e revista com base em dados retirados de

RESULTADOS:

Não há resultados avaliados. = 0

Os resultados chave estão avaliados e demonstram uma tendência estável ou negativa. = 1

Os resultados demonstram um progresso modesto. = 2

Os resultados demonstram um progresso substancial. = 3

São alcançados resultados excelentes e são feitas comparações com os resultados

obtidos dentro da organização (benchmarking interno). = 4

São alcançados resultados excelentes e são feitas comparações com os resultados obtidos dentro da organização, e com os resultados obtidos por outras organizações (benchmarking externo).

= 5

A pontuação de cada um dos nove critérios foi obtida através da média das pontuações dos sub-critérios, sendo a soma dos resultados obtidos em cada critério representativa do resultado final da auto-avaliação.

A pontuação global obteve-se, então, através do somatório das pontuações dos nove critérios. Este sistema de pontuação permite efectuar comparações básicas entre os resultados obtidos, por diferentes organizações, que tenham realizado auto-avaliações em situações similares, quer em termos globais, quer por critério, podendo, desta forma, cada critério funcionar como um

benchmark – indicador.