Estudo 1 Validação do Checklist Desempenho Funcional e Social DFS-

3.1.1. Introdução 3.1.2. Material e métodos 3.1.3. Resultados 3.1.4. Discussão 3.1.5. Conclusões 3.1.6. Bibliografia

3.1. Estudo 1 - Validação do Checklist Desempenho Funcional e Social - DFS-84: estudo preliminar

3.1.1. Introdução

A Classificação Internacional de Funcionalidade, Incapacidade e Saúde – CIF, desenvolvida em 2001 como um instrumento para classificação, teve por objetivo o favorecimento de uma linguagem internacional entre profissionais da saúde de diferentes países, como também servir de parâmetro para descrição da funcionalidade e da incapacidade humana (Stucki; Melvin, 2007; Mancini, 2007; OMS, 2003).

Entretanto, desde a criação da CIF, a OMS (2008) já estimulava a sua utilização como instrumento de avaliação. Entre as orientações recomendadas, encontra-se o desenvolvimento de instrumentos de avaliação para identificação e medição. Mancini (2007) também destaca as diversas utilidades do modelo da CIF e salienta o seu uso como sistema de classificação que pode ser utilizado para descrever o impacto funcional de uma condição de saúde na vida do indivíduo ou ainda ser utilizado no processo de avaliação, tomando a forma de “Core Sets”, ou seja, o agrupamento de códigos mais relevantes para as diferentes patologias. O projeto que objetivou a elaboração de Core Sets da CIF, partiu de iniciativas da filial de pesquisa Alemã da CIF ligada a OMS, do Centro de colaboração na Universidade de Munique e do representante da OMS em diversos países do mundo. Foi fundamentado nas Conferências Internacionais do Consenso de Core Sets da CIF, que ocorreram respectivamente em 2002 e 2003 (Cieza et al., 2004). A partir dessas conferências, muitas pesquisas envolvendo a CIF foram desenvolvidas. Brockow et al (2004), desenvolveram um estudo com o objetivo de identificar os resultado dos ensaios clínicos envolvendo a dor lombar, a dor difusa crônica, a osteodistrofia, a osteoporose e a artrite reumatoide usando a CIF como uma referência. No final deste estudo, os autores concluíram que a CIF é eficaz

como referência para identificar e determinar conceitos que possibilitariam a intervenção junto às patologias citadas.

Num estudo de Stam (2005), o autor procurou validar um Core Sets baseado na CIF para a Artrite Reumatoide, construído por diferentes profissionais da saúde e ajustado a partir da perspectiva dos pacientes. Neste estudo, de caráter qualitativo, a partir da escuta dos sujeitos, identificaram-se 220 conceitos, contidos em 367 unidades de significado. Posteriormente esses conceitos foram ligados a 109 categorias da CIF. O estudo comprovou a validade do referido Core Sets, entretanto edições adicionais mostraram a necessidade de inclusão de novas categorias da CIF não contempladas no instrumento.

Um estudo que veio complementar o trabalho de Stam (2005), desenvolvido por Coenen et al. (2006), os autores reforçaram a perspectiva do paciente, as pessoas com Artrite Reumatoide foram envolvidas explicitamente na validação do Core Sets ajustado da CIF, usando a metodologia qualitativa.

Um outro estudo, mais recente, envolvendo a CIF teve por objetivo explorar o relacionamento entre o modelo de CIF e as medidas de resultado que são usadas frequentemente na reabilitação, mais especificamente envolvendo atividades e participação. Quinze (15) instrumentos de medida funcional foram avaliados: Barthel Index (BI), Berg Balance Scale (BBS), Chedoke McMaster Stroke Assessment Scale (CMSA), Euroqol-5D (EQ5D), Functional Independence Measure (FIM), Frenchay Activities Index (FAI), Nottingham Health Profile (NHP), Rankin Scale (RS), Rivermead Motor Assessment (RMA), Rivermead Mobility Index (RMI), Stroke Adapted Sickness Impact Profile 30 (SASIP30), Medical Outcomes Study Short Form 36 (SF36), Stroke Impact Scale (SIS), Stroke Specific Quality of Life Scale (SSQOL) and Timed Up and Go test (TUG). Essa pesquisa provou que, com exceção do Rankin Scale, todos os instrumentos relacionavam-se com a CIF (Schepers et al., 2006)

Khan e Pallant (2007), realizaram um estudo utilizando a CIF para descrever as inabilidades de portadores de esclerose múltipla e identificar a relevância dos fatores ambientais. Neste estudo, 170 categorias de CIF foram identificadas, sendo 48 relacionadas à função corpo, 16 a estruturas de corpo, 68 a atividades

e participação e 38 a os fatores ambientais. Este estudo permitiu identificar as áreas potencialmente importantes no cuidado da Esclerose Múltipla, além de auxiliar na compreensão do impacto dela nas áreas relevantes da saúde, sob a perspectiva dos participantes.

Stuki et al. (2007), procuraram estabelecer relações entre os modelos conceituais da CIF e a “Outcome Measures in Rheumatoid Arthritis Clinical Trials” (OMERACT). Os autores concluíram que o Core Sets da CIF pode ser usado como base para uma especificação mais adicional dos domínios de OMERACT, principalmente no que se refere aos aspectos funcionais.

Prodinger et al. (2008), compararam os instrumento de medidas de uso geral para a avaliação da saúde nos pacientes com Fibromialgia com a CIF. O estudo mostrou que em geral os instrumentos cobriam áreas da função da CIF, entretanto algumas categorias, tais como fatores ambientais, foram mal contempladas por alguns dos instrumentos e puderam constituir um aspecto importante da saúde que merece o melhor desenvolvimento no futuro.

Num estudo de Badley (2008), o autor discute os conceitos da CIF, principalmente no que se refere aos componentes da atividade e da participação. O trabalho estabeleceu críticas em relação algumas lacunas existentes na CIF como: a necessidade de maior definição de alguns conceitos, maior clareza quanto as contribuição de fatores contextuais, assim como a carência de um modelo

conceitual que inter-relacione os componentes CIF.

Rauch, Cieza e Stucki (2008) abordaram a aplicação da CIF na prática clínica da gestão da reabilitação, a partir do desenvolvimento de ferramentas apropriadas baseadas em Core Sets já existentes, em combinação com o uso dos qualificadores da CIF. Os autores sugerem que tais ferramentas podem facilitar a descrição do estado funcional do paciente, estabelecer relações entre os objetivos da reabilitação e alvos apropriados da intervenção, assim como possibilitar melhor visualização dos recursos exigidos para melhorar os aspectos específicos do ser humano e as mudanças no processo reabilitativo.

Hebert et al. (2009) realizaram revisão sistemática da literatura com o objetivo de identificar e avaliar os instrumentos de medida do resultado da reabilitação do amputado de membro inferior e relacioná-los com as funções do corpo da CIF. Nessa revisão, somente os artigos que continham dados relativos às propriedades métricas (confiabilidade, validez ou responsividade) para um instrumento foram incluídos. Dezesseis instrumentos foram identificados e foram classificados: 12 relacionavam-se à função mental global, 1 envolvia função sensorial e a dor, 1 envolvia a função neuromusculoesquelética e 2 referiam-se as funções cardiovasculares e respiratórias. Os autores concluíram que a literatura específica sobre amputação apresenta poucas ferramentas bem-validadas enfocando a função do corpo. Referiram ainda que para todas as escalas analisadas, a responsividade à intervenção não é bem conhecida e deve ser o foco de outros estudos.

Nesse mesmo período, esses autores publicaram um segundo artigo de revisão sistemática (Deathe et al., 2009), onde, após identificar e avaliar os instrumentos de medida do resultado da reabilitação do amputação de membro inferior, estabeleceram relações com as atividades da CIF. O objetivo maior era auxiliar os profissionais na seleção do instrumento mais apropriado para a reabilitação do amputados de membro inferior. Dezessete instrumentos foram identificados e foram classificados em: (a) de testes da caminhada, (b) classes da mobilidade e (c) índices (genérico e específicos para amputados). O estudo concluiu que todos os instrumentos examinados apresentavam potencial para uso na reabilitação de amputados. Entretanto, havia ausência de evidência quanto à qualidade da responsividade deles. De acordo com o estudo, a maioria dos instrumentos se beneficiaria de posterior investigação para otimizar seu uso.

Kohler et al. (2009) relatam um estudo em desenvolvimento referente à criação de um Core Sets para pessoas com amputação baseado na CIF. Apesar do estudo ainda não estar concluído, os autores ressaltaram que a CIF poderia ser usada na clínica como uma lista de verificação para avaliar necessidades do paciente, formular objetivos da reabilitação e avaliar o progresso do tratamento.

Apesar da publicação, nos últimos anos, de muitos estudos relacionados à CIF, ou mais diretamente, à validação de instrumentos baseados na CIF, pode-se constatar que ainda são reduzidas as pesquisas envolvendo a CIF e as pessoas amputadas ou pesquisas que abordem o futebol de amputados.

Assim, o objetivo deste estudo foi o de elaborar, aplicar e validar um instrumento para avaliar o desempenho funcional e social de sujeitos amputados de membro inferior (MI), baseado na CIF.

3.1.2. Material e Métodos

Construção do Instrumento de Pesquisa:

A primeira etapa deste estudo consistiu na elaboração do instrumento de avaliação (Checklist para avaliação de amputados de MI, baseado na CIF).

O instrumento foi elaborado pela actual equipa de investigadores. A seleção das categorias da CIF que compuseram o instrumento foi baseada nas alterações e ou dificuldades relacionadas ao desempenho funcional e social comumente observadas em indivíduos amputados, conforme refere a literatura da área, sejam elas relativas às funções e estruturas do corpo, sejam elas relativas à atividade e participação e aos fatores ambientais.

Construiu-se inicialmente um instrumento com 140 itens. Após análises e discussões, chegou-se a um instrumento com 116 itens; e, após exaustivas revisões, chegou-se a versão final do Checklist contendo 108 itens (anexo 1). Considerando-se que as entrevistas seriam realizadas por mais de um avaliador (a pesquisadora responsável e seus auxiliares), e considerando-se ainda que o Checklist era composto de uma série de itens, não se tratando, portanto, de um questionário; assim visando uniformizar e garantir a fidelidade na aplicação do instrumento, foi elaborado um roteiro, no qual, para cada item a ser preenchido, foi formulada uma pergunta (anexo 2).

Vale ressaltar que este estudo foi aprovado pelo Comitê de Ética em Pesquisa da Fundação Pública Estadual Hospital de Clínicas Gaspar Viana (Belém, Pará) com protocolo nº 065 /09 (anexo 3).

Validação do Instrumento de Pesquisa:

A partir dos 108 itens selecionados da CIF, foram aplicados métodos de comparação estatística (Qui-quadrado, com ponto de corte: p-valor <0.01) para identificar quais seriam as questões que melhor representassem as diferenças de desempenho funcional e social. Então o checklist foi reduzido a um conjunto de 84 itens, sendo essa a quantidade final utilizada no estudo de validação do instrumento.

Para realizar a validação do instrumento, foram selecionados aleatoriamente 30 sujeitos que, além de responderem aos questionários, tiveram também suas entrevistas filmadas. Posteriormente 4 avaliadores assistiram a esses filmes para realizar a pontuação em dois momentos distintos, o que fortaleceu a confiabilidade do instrumento.

No processo de validação, foram utilizados os seguintes procedimentos: Para comparar proporções decorrentes da análise, admitiu-se um erro máximo de 0,20 (20%) na estimativa das proporções, sob situação de máxima variabilidade. Nessas circunstâncias, com uma confiança de 95%, o tamanho da amostra deveria ser n = 29.

Para medir a confiabilidade do instrumento, foi utilizado o Coeficiente de Correlação Intraclasse. Bonnet (2002) demonstrou que, com confiança de 95% para detecção de coeficientes de 0,90, o tamanho ótimo da amostra seria n = 29

para 10 itens em julgamento. Diante disso, optou-se por uma amostra de 30

participantes para a validação do instrumento.

Foi utilizada a fórmula abaixo para determinar o tamanho da amostra para o estudo de validação, conforme prescreve Ayres et al. (2007).

Para atender aos objetivos deste estudo e efetivamente oferecer elementos para análise dos resultados, foram utilizados métodos estatísticos, os quais tiveram a finalidade de estabelecer indicadores quantitativos do desempenho funcional e social de indivíduos amputados de membro inferior.

Para obter os valores numéricos necessários à análise estatística, foram realizados procedimentos prévios à adequação dos dados: as respostas do formulário “Checklist do Desempenho Funcional e Social para Amputados de

Membro Inferior (DFS-84)” foram codificadas na forma de números, os quais

foram utilizados para determinar os escores de 5 domínios: Aspectos Orgânicos - AO, Atividades Cotidianas - AC, Componentes do Desempenho - CD, Participação Social - PS e Fatores Ambientais - FA.

Para determinar os indicadores de desempenho funcional e social (DFS-84), foi inicialmente aplicado o critério de atribuição da pontuação das questões, no qual apenas as questões do domínio FA tiveram modo diferenciado para atribuição da pontuação.

A atribuição de pontuação aos domínios consistiu em transformar o valor das questões em notas que variaram de 0 (zero) a 100 (cem), onde 0 = pior e 100 = melhor para cada domínio. É chamado de “RAW SCALE” porque o valor final não apresenta nenhuma unidade de medida. O cálculo do Raw Scale dos domínios é resultante da aplicação de uma fórmula que tem seus parâmetros ajustados para cada domínio. Assim, foram calculadas notas para todos os domínios, obtendo cinco notas no final, que foram mantidas separadamente, não podendo somá-las e fazer uma média.

Raw Scale, por ser uma escala intervalar, atribui a ordem e a distância entre os pontos da escala. Essa escala permite ao pesquisador demonstrar a existência da

distância absoluta entre dois pontos da escala. Geralmente, os descritores da Raw Scale vão representar um conjunto numérico que abrange as possíveis respostas para uma questão (Por exemplo: "Péssimo", "Fraco", "Regular", "Bom" e "Ótimo"). Não é obrigatório que a distância entre dois pontos da escala seja igual. Dentro de um intervalo de valores (Por exemplo: de 0 a 100) o pesquisador pode desenvolver estruturas mais significativas baseadas em médias e desvios padrões ou criar estruturas de dados baseados na moda, mediana, distribuição de frequência ou outra medida de variação.

A versão 1.0 do formulário DFS – 84 está disponível no anexo 4.

A atribuição de valores para as questões foi estabelecida conforme o critério apresentado no quadro 11.

Quadro 11: Fase 1 - Pontuação das questões!

Domínios Se a resposta for A pontuação será

AO AC CD PS Não há problema 5 Problema Ligeiro Leve ou Pequeno 4 Problema Moderado Médio ou Regular 3 Problema Grave Grande ou Extremo 1

Problema Completo ou total 0

Não Especificado 2

Não Aplicável n/a

FA Nenhuma Barreira 5 Barreira Leve 4 Barreira Moderada 3 Barreira Grave 1 Barreira Completa 0 Nenhum Facilitador 6 Facilitador Leve 7 Facilitador Moderado 8 Facilitador Grave 10 Facilitador Completo 11

Barreira não Especificada 2

Facilitador Não Especificado 9

Não Aplicável n/a

AO - Aspectos Orgânicos AC - Atividades Cotidianas

CD - Componentes do Desempenho PS - Participação Social

Fase 2: Cálculo do Raw Scale

Nessa fase, ocorreu a conversão do valor das questões em escores dos 5 domínios que variaram de 0 (zero) a 100 (cem), onde 0 = pior e 100 = melhor para cada domínio. Nesse instrumento, é também permitido classificar o escore dos domínios em três categorias: Baixo (de 0 a 33,3 pontos), Médio (de 33,4 a 66,6 pontos) e Alto (de 66,7 a 100 pontos).

Foi aplicado o seguinte procedimento para o cálculo dos domínios: Procedeu-se a soma da pontuação de todas as questões de cada domínio, depois dividiu-se esse valor pela variação (soma dos maiores valores que poderiam ser obtidos em cada domínio) e caso houvesse questões inválidas (não aplicáveis ou n/a) o número dessas questões seria multiplicado por 5 (valor máximo de cada questão) e subtraído deste valor, por fim esse total seria multiplicado por 100, chegando- se, então, ao valor do domínio.

As seguintes fórmulas foram utilizadas para o cálculo de cada domínio, como se pode consultar na figura 2.

Figura 2: Fórmulas utilizadas para o cálculo dos domínios

Domínio AO = Soma das questões x 100 (30 – (Questões Inválidas x 5))

!

Domínio AC = Soma das questões x 100 (145 – (Questões Inválidas x 5))

!

Domínio CD = Soma das questões x 100 (85 – (Questões Inválidas x 5))

! Domínio PS = Soma das questões x 100 (65 – (Questões Inválidas x 5))

!

Domínio FA = Soma das questões x 100 (198 – (Questões Inválidas x 11))

Tratamento dos dados:

Para realizar a validação do instrumento, foram utilizados os seguintes

procedimentos de avaliação: consistência interna, reproductibilidade,

reproductibilidade intra-avaliador e validade de critério.

A consistência interna do instrumento foi determinada pelo cálculo do Alfa de Cronbach (Bland, Altman,1997). O índice de Cronbach expressa o grau de consistência de uma medida (Cronbach, 1951). Os utilizadores deste método têm- no sugerido como conservador especialmente para os casos em que os itens da escala são heterogêneos, são dicotômicos ou definem estruturas multifatoriais. Este índice tem sido utilizado em diversos trabalhos de validação de instrumentos (Hagberg, 2004, Larsson et al., 2009). Outros autores ressaltam entretanto, que o Alfa de Cronbach subestima a verdadeira fiabilidade, principalmente no caso em que o instrumento define uma escala multifatorial (Cortina, 1993; Osbourn, 2000). A reproductibilidade, medida pela qual um instrumento de avaliação produz o mesmo resultado em repetidas aplicações, foi realizada pela Análise de Variância – ANOVA (de Vet, Beurskens, 1998). A avaliação da reprodutibilidade intra- avaliador, pelo método do teste reteste, foi realizada pela Correlação Intra-classe (de Vet, 1998). A validade de critério, medida da aplicação prática de um teste, através da comparação entre dois grupos foi realizada pelo teste U de Mann- Whitney, visto que as amostras não apresentaram distribuição gaussiana (Striner, Norman, 1989). Foi previamente fixado o nível alfa=0.01 para rejeição da hipótese de nulidade. O processamento bioestatístico foi realizado no software BioEstat® versão 5.2.

3.1.3. Resultados

Consistência Interna

A avaliação da consistência interna (homogeneidade dos itens dentro de um

é proposto como o mais adequado para instrumentos com escores múltiplos onde os escores nos itens variam igualmente em uma escala, neste caso de Zero a 5 nos domínios AO, AC, CD e OS e numa escala de Zero a 11 no domínio FA. Para investigar a fidedignidade, o Alfa de Cronback foi avaliado para cada um dos domínios do questionário.

Os resultados demonstraram boa confiabilidade nos escores dos domínios AO, AC, CD e PS e razoável confiabilidade no domínio FA, conforme o quadro 12.

Quadro 12: Confiabilidade do instrumento avaliada pelo Alfa de Cronback.

! Alfa de Cronback Confiabilidade

AO - Aspectos Orgânicos 0.7852 Boa

AC - Atividades Cotidianas 0.8692 Boa

CD - Componentes do Desempenho 0.8893 Boa

PS - Participação Social 0.7190 Boa

FA - Fatores Ambientais 0.5167 Razoável

Fonte: Protocolo da pesquisa.

Reproductibilidade Inter-Avaliador

Domínio 1 – Aspecto Orgânicos

A reproductibilidade é a medida pela qual um instrumento de avaliação produz o mesmo resultado em repetidas aplicações do instrumento, realizadas por diferentes examinadores. A avaliação da diferença entre os avaliadores foi realizada pela Análise de Variância – ANOVA (de Vet e Beurskens, 1998), a qual resultou no p-valor = 0.9999, o qual não é significante, logo não há real diferença entre os avaliadores, como fica evidenciado pela média e desvio padrão obtidos pelos 4 avaliadores, conforme está exibido no quadro 13.

Nesse primeiro domínio – Aspectos Orgânicos, verificou-se que a comparação entre os escores atribuídos pelos avaliadores 1 e 2 através da correlação intra- classe obteve o coeficiente de correlação = 0,9994, a comparação entre os escores atribuídos pelos examinadores 1 e 3, assim como dos avaliadores 1 e 4, obteve o coeficiente de correlação = 0,9999. A comparação entre os avaliadores 2

e 3, assim como dos avaliadores 2 e 4, obteve coeficiente de correlação = 0,9994 e, por fim, a comparação entre os avaliadores 3 e 4 obteve coeficientes de correlação 0,9999. Todos os coeficientes obtidos nesse domínio, segundo Fleis (1986), indicam a existência de excelente replicabilidade, sendo essa correlação confirmada pelo p-valor <0,0001, o qual é altamente significante (ver quadro 14 e figura 3).

Quadro 13: Avaliação da validade inter-avaliador do Domínio AO – Aspectos orgânicos, com a

apresentação das medidas de tendência central e variação dos escores fornecidos pelos quatro avaliadores, n=30.

AO - Aspectos Orgânicos

Avaliador 1 Avaliador 2 Avaliador 3 Avaliador 4

Tamanho da amostra 30 30 30 30 Mínimo 16.7 16.7 16.7 16.7 Máximo 100.0 100.0 100.0 100.0 Mediana 80.0 80.0 80.0 80.0 Primeiro Quartil 60.0 60.0 60.0 60.0 Terceiro Quartil 95.8 95.8 95.8 95.8 Média Aritmética 75.3 75.1 75.3 75.3 Desvio Padrão 22.7 22.6 22.7 22.7 Erro Padrão 4.1 4.1 4.1 4.1 Coeficiente de Variação 30.1% 30.0% 30.1% 30.1%

Fonte: Protocolo da pesquisa. p-valor = 0.9999, ANOVA

Quadro 14: Avaliação da concordância inter-avaliadores (replicabilidade) do Domínio AO –

Aspectos orgânicos, avaliada através da correlação intraclasse dos resultados emitidos pelos avaliadores: avaliador 1 (n= 30), avaliador 2 (n= 30), avaliador 3 (n= 30), avaliador 4 (n= 30).

Comparações entre Avaliadores

1 vs 2 1 vs 3 1 vs 4 2 vs 3 2 vs 4 3 vs 4

Variância entre grupos 0.3178 0.3195 0.3191 0.3178 0.3178 0.319 Erro experimental 0.0001 <0.0001 <0.0001 0.0001 0.0001 <0.0001 Estatística F 3216.2 31899.6 31899.4 3216.2 3216.2 31899.6 Correlação Intraclasse 0.9994 0.9999 0.9999 0.9994 0.9994 0.9999 p-valor <0.0001* <0.0001* <0.0001* <0.0001* <0.0001* <0.0001* Nível de replicabilidade EXC** EXC** EXC** EXC** EXC** EXC** Fonte: Protocolo da pesquisa.

* Correlação intraclasse

** Classificação segundo Fleiss, J. L. (1986) !

Avaliador 1 Avaliador 2 Avaliador 3 Avaliador 4 0.0 33.3 66.7 100.0 Do m ín io A O A sp e ct o s O rg â n ico s ! Figura 3: Média e erro padrão do Domínio AO – Aspectos orgânicos dos resultados emitidos pelos

quatro examinadores (n= 30).

Domínio 2 – Atividades Cotidianas

A avaliação da diferença entre os avaliadores foi realizada pela Análise de Variância – ANOVA, a qual resultou no p-valor = 0.9975, o qual não é significante, logo não há real diferença entre os avaliadores, conforme pode ser verificado no quadro 15.

Quadro 15: Avaliação da validade inter-avaliadores do Domínio AC – Atividades Cotidianas, com

a apresentação das medidas de tendência central e variação dos escores fornecidos pelos quatro avaliadores, n=30.

AC – Atividades Cotidianas

Avaliador 1 Avaliador 2 Avaliador 3 Avaliador 4

Tamanho da amostra 30 30 30 30 Mínimo 30.3 31.4 30.3 30.3 Máximo 100.0 100.0 100.0 100.0 Mediana 92.1 91.4 92.6 92.1 Primeiro Quartil 86.4 86.4 86.4 86.4 Terceiro Quartil 97.8 97.7 97.7 97.8 Média Aritmética 89.3 88.7 89.0 89.3 Desvio Padrão 13.8 14.1 14.3 13.7 Erro Padrão 2.5 2.6 2.6 2.5 Coeficiente de Variação 15.4% 15.9% 16.1% 15.4%

Fonte: Protocolo da pesquisa. p-valor = 0.9975, ANOVA

Nesse segundo domínio – Atividades Cotidianas, verificou-se que a comparação entre os escores atribuídos pelos avaliadores 1 e 2 através da correlação intra- classe obteve o coeficiente de correlação = 0,9819, a comparação entre os escores atribuídos pelos avaliadores 1 e 3 obteve o coeficiente de correlação = 0,9921, a comparação entre os escores atribuídos pelos avaliadores 1 e 4 obteve o coeficiente de correlação = 0,9999, a comparação entre os avaliadores 2 e 3 obteve o coeficiente de correlação = 0,9951, já a comparação entre os e avaliadores 2 e 4 obteve o coeficiente de correlação = 0,9819, por fim a comparação entre os avaliadores 3 e 4 obteve coeficiente de correlação = 0,9922. Assim como no primeiro, todos os coeficientes obtidos neste domínio indicam a existência de excelente replicabilidade, segundo Fleis (1986), sendo essa correlação confirmada pelo p-valor <0,0001, o qual é altamente significante, conforme pode ser observado no quadro 16 e figura 4.

Quadro 16: Avaliação da concordância inter-avaliadores (replicabilidade) do Domínio AC –