2.2 Métodos
2.1.2 Etapa 1 – Questionário: Construção e validação
2.1.2.5 Resultados
Na Tabela 6 apresentam-se os resultados da primeira ronda do painel de Delphi.
Verificou-se que quatro das cinco secções em análise apresentam percentagens de concordância acima dos 90% em todos os parâmetros em análise, mas apenas a secção B apresenta um IVC igual a 1. A secção D apresentou valores que remetem para a não concordância entre os elementos do painel nos quatro parâmetros em análise.
Tabela 6. Resultados da primeira ronda do painel de Delphi
Relevância Clareza Simplicidade Ambiguidade Média
% IVC % IVC % IVC % IVC % IVC
Secção A 100 1,00 91 1,00 96 0,95 92 0,91 95 0,96
Secção B 100 1,00 92 1,00 100 1,00 92 1,00 96 1,00
Secção C 100 1,00 92 0,89 95 0,97 91 0,89 94 0,94
Secção D 63 0,50 54 0,50 59 0,50 50 0,50 56 0,50
Secção E 99 0,99 91 0,96 97 0,99 89 0,87 94 0,95
Média 92 0,90 84 0,87 89 0,88 83 0,83
Média total do questionário 87 0,87 Legenda: % - percentagem de concordância entre os três peritos; IVC – Índice de Validade de Conteúdo
A primeira análise dos peritos levou a que nenhum dos 52 itens do questionário fosse eliminado, tendo sido modificadas as duas perguntas de resposta aberta (Secção D) e acrescentadas duas novas perguntas de resposta fechada que integraram respetivamente o Secção A e E. Assim, a segunda versão do questionário era composta por 54 itens, divididos por cinco secções (Anexo 7).
Os resultados da segunda ronda do painel de Delphi são apresentados na Tabela 7.
Considerando as alterações introduzidas à primeira versão, os valores de concordância sofreram alterações. Assim, a secção A, a secção C e a secção E aumentaram o nível de clareza e simplicidade e diminuíram a ambiguidade, a secção B manteve os valores de concordância, a secção D aumentou os valores de concordância nos quatro parâmetros em análise, mantendo a não concordância no item que avalia a clareza das questões.
Tabela 7. Resultados da segunda ronda do painel de Delphi
Relevância Clareza Simplicidade Ambiguidade Média
% IVC % IVC % IVC % IVC % IVC
Secção A 100 1,00 97 1,00 100 1,00 99 1,00 99 1,00
Secção B 100 1,00 92 1,00 100 1,00 92 1,00 96 1,00
Secção C 100 1,00 96 0,95 100 1,00 99 1,00 99 0,99
Secção D 88 0,84 75 0,50 100 1,00 88 1,00 88 0,83
Secção E 97 0,98 96 1,00 99 0,98 96 0,98 97 0,99
Média 97 0,96 91 0,89 99 1,00 95% 1,00
Média total do questionário 96 0,96 Legenda: % - percentagem de concordância entre os três peritos; IVC – Índice de Validade de Conteúdo
Tendo em conta as observações e justificações apresentadas pelos elementos do painel, procedeu-se a ajustes semânticos e sintáticos nas secções A e E. Assim, mantiveram-se os 54 itens na terceira versão do questionário, mas uma das perguntas abertas (secção D) passou a pergunta fechada e, por isso, passou a integrar a secção E (Anexo 8).
Na análise dos resultados da terceira ronda verificou-se que o item da secção D, que passou a pergunta de resposta fechada e integrou a secção E (linha 40 do Anexo 8), obteve baixa concordância entre os três TF’s (69%) e um IVC de 0,50. O item foi eliminado do questionário final e da análise quantitativa que agora se apresenta, passando o questionário a ser constituído por 53 itens. Após esta alteração, o questionário obteve o acordo total (100%) e IVC de 1 quanto à relevância, clareza, simplicidade e ambiguidade em praticamente todas as secções, com a exceção da secção E, que variou entre 93% e 97% no acordo e um IVC entre 0,90 e 0,99 nas três rondas (Tabela 8).
Tabela 8. Resultados da terceira ronda do painel de Delphi
Relevância Clareza Simplicidade Ambiguidade Média
% IVC % IVC % IVC % IVC % IVC
Secção A 100 1,00 100 1,00 100 1,00 100 1,00 100 1,00
Secção B 100 1,00 100 1,00 100 1,00 100 1,00 100 1,00
Secção C 100 1,00 100 1,00 100 1,00 100 1,00 100 1,00
Secção D 100 1,00 100 1,00 100 1,00 100 1,00 100 1,00
Secção E 100 1,00 88 0,87 95 0,93 87 0,80 93 0,90
Média 100 1,00 98 0,97 99 0,99 97 0,96
Média total do questionário 99 0,98 Legenda: % - percentagem de concordância entre os três peritos; IVC – Índice de Validade de Conteúdo
Os resultados obtidos pela implementação do painel de Delphi são agora apresentados em função das cinco secções de itens que compõem o questionário.
A secção A, composta por itens de base informativa, na primeira ronda mostrou necessidade de aumentar a clareza e a simplicidade e diminuir a ambiguidade. A título de exemplo, foram introduzidas três modificações, nomeadamente a dicotomia entre perturbação e perturbações aquando do conceito PSF no título, para a qual foi decidido manter o termo perturbação, a especificação dos destinatários do questionário – TF’s que acompanhem casos de crianças com PSF, e a introdução de um item que definisse o período de resposta ao questionário. Na segunda ronda foi necessário realizar ajustes na redação do item relativo à confidencialidade e anonimato e explicitar que os questionários seriam disponibilizados online.
Na terceira ronda o grau de concordância foi de 100% e o IVC de 1. Esta secção de itens não pressupõe a obtenção de resultados sobre o tema em estudo, mas é essencial para o enquadramento e compreensão dos dados a recolher, aquando da distribuição do questionário junto da população-alvo (Moreira, 2004).
Na secção B os elementos do painel consideraram na primeira ronda que este item necessitava de clareza. Evidenciaram-se, então, os fins académicos e científicos a que se destinavam os resultados do estudo, diminuindo a ambiguidade. Na segunda ronda foi necessário introduzir uma reformulação sintática, o que conduziu a um grau de concordância de 100% e IVC de 1 no final da terceira ronda.
Foi necessário aumentar a clareza e a simplicidade, diminuindo a ambiguidade da secção C, tal como ocorreu com a secção A. Da primeira ronda resultou a clarificação dos períodos temporais a que remetia a recolha de dados e alteração de alguns conceitos, por exemplo, substituir atendimento por âmbito de atuação e avaliação por recolha de dados. Na segunda ronda foram necessários apenas ajustes gráficos, obtendo-se um grau de concordância de 100%
e IVC de 1 no final da terceira ronda.
A secção D era inicialmente constituída por duas questões abertas: Se o subtipo das perturbações dos sons da fala for de natureza articulatória, qual(ais) a terminologia(s) que usa? e Outros instrumentos que deseje assinalar? Para a primeira questão, na primeira ronda, os elementos do painel consideraram que a forma como estava construída repetia o conteúdo de uma questão anterior. Os valores de concordância foram abaixo dos critérios pré-definidos nos quatros parâmetros em análise (concordância de 48% e IVC de 0,33), não tendo sido apresentadas sugestões de melhoria. Para a segunda ronda manteve-se a pergunta aberta e esclareceu-se os três TF’s sobre a pertinência da pergunta. No final da segunda ronda os critérios mantiveram-se abaixo dos pré-definidos nos parâmetros de relevância, clareza e ambiguidade (concordância de 75% e IVC de 0,67). Para a terceira ronda optou-se pela transformação desta questão em pergunta de resposta fechada, associando-lhe opções de resposta: perturbação articulatória, perturbação fonológica, perturbação fonético-fonológica, perturbação fonética, perturbação fonológico-fonética, perturbação persistente dos sons da fala, perturbação funcional da fala, dislália, sigmatismo, outro (especifique). Com estas opções de resposta considerou-se que a questão se tornava relevante, que estaria clarificada e que diminuiria a possibilidade de ser ambígua. Este item passou a integrar a secção E do questionário. No final da terceira ronda os critérios mantiveram-se abaixo dos pré-definidos nos
parâmetros de relevância, clareza e ambiguidade (concordância de 69% e IVC de 0,50), pelo que se tomou a decisão de eliminar este item do questionário.
Para a segunda questão de resposta aberta, na primeira ronda foi opinião dos membros do painel que esta pergunta era demasiado lata na abrangência de respostas, parecendo diluir-se nas perguntas fechadas que a antecediam (concordância de 65% e IVC de 0,67). Para a segunda ronda a questão foi especificada através da seguinte redação: Que outras áreas/instrumentos utiliza na avaliação de casos com perturbações dos sons da fala? Com esta alteração no final da segunda ronda obteve-se um grau de concordância de 100% e IVC de 1.
As questões da secção E apresentaram como resultado na primeira ronda de análise um grau de concordância de 94% e um IVC de 0,95. Foi necessário aumentar a clareza e diminuir a ambiguidade, efetuando-se alterações de âmbito terminológico (e.g., mudar de crianças para casos e particularizar que a PSF é de natureza articulatória), clarificação do tipo de resposta que se pretendia (e.g., completar determinada questão com Indique por favor o número de casos), reorganização das opões de resposta (e.g., subdividir as opções de resposta pelos tópicos incapacidades e disfunções para a pergunta das comorbidade) e completar com outras opções de resposta (e.g., nas opções de instrumentos de avaliação identificar o domínio de atuação).
Na segunda ronda houve um aumento do valor dos critérios de análise pré-definidos (concordância de 97% e IVC de 0,99), mas manteve-se a necessidade de criar ajustes semânticos e sintáticos, bem como particularizar algumas opções de resposta que poderiam causar confusão ao participante (e.g., na questão relativa às ações de rastreio, onde foi necessário clarificar se são ou não realizadas ações de rastreio, para depois particularizar as idades e contextos). Na terceira ronda foram apresentadas algumas particularidades, como a especificação dos contextos de intervenção terapêutica, considerando os diferentes níveis de cuidados no contexto clínico, ou a especificação dos intervalos de tempo associados às atividades de pré-avaliação, avaliação e pós-avaliação. Nesta última ronda atingiu-se um grau de concordância de 93% e um IVC de 0,97. Não foi obtido um IVC de 1 por duas razões: por um lado, porque os três TF’s consideraram redundante existirem duas questões sobre comorbidade, uma aplicada aos casos com PSF em acompanhamento e outra aplicada aos casos com PSF avaliados pela primeira vez durante o tempo de recolha de dados. Por outro lado, consideraram que ainda não estavam suficientemente claras as opções de resposta relativas ao contexto em que os participantes referissem trabalhar com crianças com PSF. O investigador optou por manter a primeira questão por considerar necessária a caracterização das crianças
com quem os TF’s trabalham e corrigiu a segunda questão, subdividindo as opções de resposta por duas categorias: contexto escolar e contexto de saúde.