Consenso e Critérios de Paragem

Com vista a atingir um resultado consensual na ordenação dos desafios-chave, e atendendo às características do estudo Delphi, o processo será iterativo e desta forma pode solicitar-se a participação dos profissionais mais do que uma vez, ou seja, sempre que o questionário é lançado é efectuada uma ronda Delphi e dependendo do nível de consenso atingido pelo painel, pode ser desencadeada outra ronda. Entenda-se que a “obtenção de consenso é encarada como a obtenção de um conjunto de respostas estáveis” [Vrytek 2010], logo o painel não tem de estar necessariamente de acordo em relação à importância de todos os aspectos-chave apresentados. Como refere Helmer [1972] “esta convergência de opiniões tem sido observada na maioria dos casos onde a abordagem Delphi tem sido usada. Em alguns casos em que não existe convergência para um intervalo relativamente estreito de valores os pareceres começaram a polarizar em torno de dois valores distintos, de modo que duas escolas de pensamento sobre determinado assunto parecem emergir”.

Para que se possam retirar conclusões do estudo é necessário definir quais os critérios que serão usados para analisar as respostas dos peritos e quais os valores que se pretende atingir para que os resultados sejam considerados válidos e satisfatórios de acordo com os objectivos do estudo. Assim, para analisar as respostas dos peritos será usado o método Delphi com Q-Sort, onde se poderão ordenar os desafios sob a forma de um ranking. Desta forma, cada desafio, no final da ordenação terá atribuída uma posição no ranking que será traduzida com num valor numérico positivo no intervalo igual ao número de desafios propostos a ordenação. Posteriormente, já com o ranking fechado, serão utilizados dois procedimentos de análise, sendo estes o coeficiente de concordância de Kendall e o coeficiente de correlação de Spearman.

Será utilizado o coeficiente de concordância de Kendall, W, para vários avaliadores, tipicamente mencionado na literatura como Kendall coefficient of concordance W. Recorrendo a este coeficiente é possível testar a seguinte hipótese:

H0 : as classificações são independentes vs H1: as classificações estão associadas

Ao efectuar este teste estatístico determina-se o grau de associação entre variáveis, ou seja, neste caso será determinado o grau de associação entre os desafios propostos. O grau de associação também conhecido como correlação de variáveis exige determinados cuidados antes do seu calculo, assim os coeficientes de correlação podem variar entre -1 (uma associação negativa perfeita) e +1 (uma associação positiva perfeita). O valor 0 indica a inexistência de relação linear entre as variáveis.

Ao longo das várias rondas do estudo os valores de correlação obtidos, através do cálculo do coeficiente de Kendall, irão variar dentro deste intervalo sendo necessário definir quais os valores de correlação aceitáveis para que os resultados sejam satisfatórios à luz dos objectivos propostos. Para analisar os resultados e identificar quando se atinge consenso necessário para terminar o estudo ou lançar nova ronda será usada como referência a tabela de interpretação do coeficiente de correlação sugerida por Schmidt [1997] (Tabela 3).

W Interpretação

0.1 Muito Fraco Consenso

0.3 Fraco Consenso

0.5 Consenso Moderado

0.7 Forte Consenso

0.9 Invulgar Forte Consenso

Tabela 3 – Interpretação do Coeficiente de Correlação de Kendall Adaptado de Schmidt [1997]

Para se determinar a evolução do estudo ao longo das várias rondas será utilizado o Spearman rank-order coefficient ou coeficiente de correlação de Spearman . Este coeficiente permite “medir a variabilidade de uma das variáveis explicada pela outra. Dito de outra forma, quando duas variáveis aleatórias estão associadas, a variação de uma delas implica algum tipo de variação na outra” [Hall 2006]. O coeficiente de correlação de Spearman é aplicável ao cálculo de correlação entre variáveis qualitativas porque a “duas amostras de observações ordenáveis, substitui-se cada um dos seus valores pela sua ordem de ordenação, rank” [Hall

2006]. Assim, será calculada a “diferença de ranks correspondentes a cada par de observações [sendo] possível testar as hipóteses:

H0:  = 0 vs H1:  0

Embora um coeficiente nulo não implique independência total este teste é utilizado na prática para averiguar se a associação entre varáveis é significativa ou não, entendendo-se por associação uma correlação não nula.” [Hall 2006].

O valor de uma associação de correlação não nula varia no intervalo entre 0 e 1, assim para proceder à análise dos resultados e identificar se existe de facto associação entre as respostas em diferentes rondas será usada como referência a tabela de interpretação do coeficiente de correlação de Spearman, conforme se indica seguidamente na Tabela 4.

R ou  Correlação [0; 0,25[ Muito fraca [0,25; 0,5[ Fraca [0,5; 0,75[ Moderada [0,75; 0,9[ Forte [0,9; 1] Muito forte

Tabela 4 – Interpretação do coeficiente de correlação de Spearman Adaptado de Finney e Grimm [1982]

É impossível prever os resultados de coeficientes que se conseguiram atingir ao longo do estudo, assim é necessário que na definição dos critérios de paragem se defina um critério que possa ser usado caso os primeiros critérios não de verifiquem, uma vez que o estudo não pode continuar ronda após indefinidamente, assim decidiu-se um número máximo de rondas para o estudo.

Assim, os critérios de paragem definidos para o estudo são:

 W de Kendall igual ou superior 0,7; e

 Rho de Spearman igual ou superior a 0,8

 Máximo de 3 rondas, caso as anteriores não se verifiquem.

Lançado o estudo nas primeiras duas rondas os peritos que constituem o painel puderam propôr novos desafios-chave. Na fase de análise correspondente a cada ronda, verificou-se a

indicação de inclusão de um novo desafio, tendo sido necessário estudar e avaliar (com recurso à literatura) a relevância do mesmo e ponderou-se a sua inclusão, ou não, no estudo. Nesta fase de análise em cada uma das rondas foram analisados os resultados e ponderados os desafios a eliminar tendo como critério de eliminação a sua colocação desfavorável na ranking global. Nos casos em que o número de respostas recebidas até à data de fecho do estudo correspondeu a uma amostra reduzida prolongou-se a ronda por mais alguns dias contactando os profissionais durante esse espaço temporal recordando-os de que a ronda ainda não está encerrada existindo ainda a possibilidade de participação.

Estes coeficientes foram usados para calcular os níveis de concordância e estabilidade a cada ronda do estudo. Foi analisado o nível de concordância entre peritos dentro cada ronda utilizando o W de Kendall. Para analisar a estabilidade das respostas foi utilizado o Rho de Spearman calculando-se o valor deste coeficiente entre as respostas dadas em rondas consecutivas.