Validade e Fiabilidade do Protocolo de Avaliação da Qualidade Vocal da Universidade de Aveiro

(1)

Validade e Fiabilidade do Protocolo de Avaliação da Qualidade Vocal da

Universidade de Aveiro

MESTRANDA: MARTA ALVES

ORIENTADOR: PROFESSOR DOUTOR LUÍS JESUS

Secção Autónoma de Ciências da Saúde

Aveiro, 16 de dezembro de 2015

Objetivos

Rever a versão original do PAQVUA Criar um manual de aplicação

Estudar a validade de conteúdo do PAQVUA

Testar a fiabilidade inter e intra avaliador do PAQVUA

Protocolo de Avaliação da Qualidade Vocal da Universidade

de Aveiro (PAQVUA)

(2)

Método: Fase 1

Protocolo de Avaliação da Qualidade Vocal da Universidade

de Aveiro (PAQVUA)

Instrumento de avaliação, criado com o propósito de ser utilizado por terapeutas da fala (TF) na sua prática clínica habitual, em casos de perturbações vocais em jovens e adultos.

A primeira versão do PAQVUA (Jesus, Barney, Santos, Caetano, Jorge, & Couto, 2009;

Jesus, Vilarinho, & Santos, 2010) foi desenvolvida no âmbito de uma Dissertação de Mestrado (Santos, 2009).

Método: Fase 1

Revisão narrativa da literatura

Conclusões de cariz qualitativo

Nova folha de

registo e manual

(3)

Método: Fase 2

Validade de conteúdo Validade de

conteúdo Painel de PeritosPainel de Peritos

N=6 (M=2;F=4) N=6 (M=2;F=4) Terapeutas da Fala Terapeutas da Fala Idade média: 33,3 anos Idade média: 33,3 anos

63% Mestrado 17% Doutoramento

Média da experiência em voz: 10,2 anos Média da experiência em voz: 10,2 anos Todos fizeram investigação científica na

área da voz

Todos fizeram investigação científica na área da voz

67% efetuaram publicações científicas na área da voz

Método: Fase 2

• Questionário A: caraterização do painel de peritos;

• Questionário B:

• Testar a relevância, clareza e precisão do PAQVUA;

• Dividido em 3 partes (Parte I‐Manual do PAQVUA; Parte II‐Folha de Registo do PAQVUA; Parte III‐Geral).

Questionários aplicados Questionários

aplicados

• Método Bland e Altaman (1986) modificado (Jesus, Valente, & Hall, 2015: 4‐5)Microsoft Office Excel 2013

• Coeficiente de Correlação Intraclasses (CCI)IBM SPSS Statistics versão 21

Análise dos dados obtidos

Análise dos

dados obtidos

(4)

Método: Fase 3

Contexto do estudo

Apresentação do PAQVUA

Aplicação do instrumento em ambiente clínico, por 2 TF diferentes e em 2 momentos

distintos

Amostra

Amostragem não probabilística por conveniência (Breakwell et

al., 2012)

N=12

Fiabilidade inter e intra

avaliador

Método: Fase 3

Caraterização da amostra

• 12 utentes (M=1;F=11);

• Média de idades: 50,6 anos

• Diagnósticos clínicos:

nódulos vocais (8%), pólipo vocal (25%), presbifonia (17%), PUPV (17%), laringite crónica (25%), AEM (8%)

• 42% da amostra está reformada e a restante profissionalmente ativa

Procedimentos e instrumentação

• Sessão de apresentação do PAQVUA

• Aplicação do PAQVUA em dois momentos temporais diferentes

• No primeiro momento 2 TF aplicaram o PAQVUA de forma independente

• Foi utilizado o mesmo procedimento e material em todas as recolhas;

Análise dos dados obtidos

• Kappa de Cohen (variáveis nominais e ordinais)

• Coeficiente de Correlação de Spearman (variáveis quantitativas e ordinais)

• IBM SPSS Statistics versão 21

(5)

Resultados e Discussão: Fase 1

• Avaliação Percetiva da Qualidade Vocal

• Avaliação Aerodinâmica da Voz (Não Instrumental)

• Avaliação Global

• Avaliação Acústica

Folha de Registo

• Introdução

• Descrição do protocolo

• Condições de Aplicação: procedimentos, materiais e equipamentos

• Notas finais

Manual Versão

revista do PAQVUA

Resultados e Discussão: Fase 2

Parte I – Manual de Aplicação

• A maioria dos valores encontra‐se dentro dos limites esperados de concordância.

• Um ponto acima do limite superior.

• Dois pontos que apesar de se encontrarem dentro dos limites de concordância, os valores das médias são bastante baixos e inferiores à média do ponto fora dos limites.

• As médias apresentam alguma variabilidade assim como os DP.

Figura 1- Gráfico do método Bland e Altman (1986) modificado (Jesus et al., 2015:4-5) para a concordância da Parte I

(6)

Resultados e Discussão: Fase 2

Parte II – Folha de Registo ^• Nem todos os valores estão contidos nos limites esperados de concordância.

• Diferenciam‐se três conjuntos de pontos que estão localizados acima do limite superior.

• Existe um grande número de pontos que se encontram dentro dos limites de concordância.

• As médias apresentam alguma variabilidade porém são maioritariamente altas.

• CCI = 0,379, correlação regular (Shrout &

Fleiss 1979) .

Figura 2- Gráfico do método Bland e Altman (1986) modificado (Jesus et al., 2015:4-5) para a concordância da Parte II

Resultados e Discussão: Fase 2

Parte III – Geral

• Nenhum dos valores se encontra fora dos limites, contudo, existe bastante

variabilidade nas médias.

• O item em que a média é a mais baixa é também o ponto mais próximo do limite superior.

• CCI = 0,451 correlação regular (Shrout

& Fleiss 1979)

Figura 3- Gráfico do método Bland e Altman (1986) modificado (Jesus et al., 2015:4-5) para a concordância da Parte III

(7)

Resultados e Discussão: Fase 3

•

Base de dados SPSS: 513 variáveis (57 ordinais, 65 quantitativas e 391 nominais)  189 analisadas

• Variáveis nominais  Kappa de Cohen  valores maioritariamente superiores a 0,600  concordância substancial a excelente (Landis &

Koch, 1977)

• Variáveis ordinais e quantitativas  Coeficiente de Spearman  valores maioritariamente superiores a 0,700  correlação boa a excelente (Dawnson & Trapp, 2004)

Resultados obtidos tanto para a fiabilidade inter avaliador como para a

intra avaliador

Resultados e Discussão: Fase 3

• Os resultados da fiabilidade inter avaliador apresentaram mais

variabilidade e discordância do que aqueles referentes à fiabilidade intra avaliador.

• Desses, os valores que se apresentaram mais baixos relacionaram com avaliações subjetivas e observacionais, o que pode explicar a baixa correlação e concordância.

• Porém, a maior parte das avaliações subjetivas evidenciaram valores elevados  fruto do treino e das explicações fornecidas no manual.

• Na fiabilidade intra avaliador os únicos valores com maior variabilidade

(8)

Conclusões

A nova versão do PAQVUA apresenta‐se como uma ferramenta única e essencial para avaliação da voz como fenómeno multidimensional.

O PAQVUA apresenta caraterísticas de fiabilidade inter e intra

avaliador O PAQVUA evidencia

validade de conteúdo

Limitações e sugestões futuras

Limitações

• Validade de conteúdo não complementada por outro tipo de validade.

• Amostra pequena e pouco variável para o estudo da fiabilidade.

Sugestões futuras

• Aplicar o PAQVUA a uma amostra maior e mais completa.

• Efetuar a fiabilidade intra avaliador com dois avaliadores

diferentes de modo a comparar os dados obtidos.

(9)

Bibliografia

Behlau, M., Madazio, G., Feijó, D., & Pontes, P. (2001). Avaliação de Voz. In M. Behlau (Ed.), Voz: O Livro do Especialista ‐Volume 1. São Paulo: Revinter.

Bland, J., & Altman, D. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. Lancet, 1(8476), 307–10.

Breakwell, G., Hammond, S., Fife‐Schaw, C., & Smith, J. (2012). Research Methods in Psychology(4^aedição). London: Sage.

Dawnson, B., & Trapp, R. (2004). Basic and Clinical Biostatistics(4^aed.). Nova Iorque: Lange Medical Books/McGraw‐Hill.

Jesus L., Castro, M. & Santos, R. (2010‐2015). Protocolo de Avaliação da Qualidade Vocal da Universidade de Aveiro. Universidade de Aveiro, Portugal. Processo INPI 463522 com despacho de concessão em 27/8/2010, inserido no Boletim da Propriedade Industrial Número 2010/08/31 (168/2010). Deferimento pela IGAC em 27/05/2010 (Versão 1), 26/1/2012 – Nº 355/2012 (Versão 2) e 28/8/2015 – Nº 3474/2015/Nº Ref: SIIGAC/2015/7427 (Versão 2.3.6). Disponível em Advanced Communication and Swallowing Assessment (ACSA) http://acsa.web.ua.pt/

Jesus, L., Valente, A. R., & Hall, A. (2015). Is the Portuguese version of the passage “The North Wind and the Sun” phonetically balanced?

Journal of the International Phonetic Association, 45(01), 1–11.

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–74.

Santos, R. (2009). Avaliação de Pacientes com Paralisia Unilateral das Pregas Vocais. M.Sc. Thesis, University of Aveiro, Portugal.

Shrout, P., & Fleiss, J. (1979). Intraclass correlations: uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.