QUARTA ETAPA – AVALIAÇÃO DO CONTEÚDO PELO COMITÊ

Em continuidade e como resultado das etapas anteriores, a nova versão do instrumento, denominada 3.0, foi enviada a um grupo de profissionais especialistas em avaliação multidimensional de idosos para a avaliação de seu conteúdo (apêndice B). O papel deste grupo, denominado como comitê, foi avaliar e selecionar sistematicamente os itens da escala, registrando suas sugestões de inclusão ou eliminação, assim como demais comentários. Esta avaliação envolveu: 1) avaliação dos domínios, 2) avaliação dos itens e 3) avaliação do instrumento como um todo. Para tanto, considerou-se os seguintes critérios:

Avaliação dos domínios

Abrangência – Avaliar se cada domínio ou conceito foi adequadamente coberto pelo conjunto de itens e se todas as dimensões foram incluídas (Coluci et al, 2015; DeVellis, 2012). Perguntas norteadoras: Quão adequadamente coberto está cada domínio pelo seu conjunto de itens? Algum fenômeno foi esquecido?

Avaliação dos itens

Clareza – Avaliar a redação dos itens, ou seja, se os itens estão redigidos de forma que o conceito esteja compreensível e se expressa adequadamente o que se espera medir. Pertinência – Avaliar se os itens realmente refletem os conceitos envolvidos, se são relevantes e adequados para atingir os objetivos propostos. Observação importante: O item pode ser relevante dentro do conceito/da temática, mas não pertinente especificamente dentro da avaliação proposta (Coluci et al, 2015). Perguntas norteadoras: Quão claro está cada item? Quão pertinente é cada item para a variável latente que se deseja medir?

Avaliação da escala como um todo

Avaliar a abrangência e clareza da escala inteira. Verificar se todas as dimensões foram inclusas e se a estrutura e conteúdo estão apropriados ao público alvo, se são corretos e representativos. Avaliar o formato, o título, as instruções, os domínios, os escores dos domínios e suas análises, considerando clareza e pertinência de cada aspecto avaliado (Coluci et al, 2015).

3.4.1. Participantes

Os participantes deste estudo foram os profissionais que constituíram o comitê de especialistas para a realização desta última etapa da validação de conteúdo da escala de avaliação multidimensional pertencente ao PAGe. Conforme recomendado, este comitê foi formado por um grupo de no mínimo cinco juízes selecionados pelas características do instrumento, suas formações, qualificações, experiências e disponibilidades (Sampieri et al, 2006; Alexandre & Coluci, 2011; Coluci et al, 2015).

Os profissionais foram selecionados após busca na Plataforma Lattes. Também foram recebidas indicações de profissionais atuantes em serviços de referência para a população idosa. Para a busca foi utilizado o termo “Avaliação Multidimensional do Idoso” e os filtros para profissionais doutores brasileiros. Os critérios de seleção dos especialistas incluíram: ter experiência clínica, publicar e pesquisar sobre o tema; ser perito na estrutura conceitual e ter conhecimento metodológico sobre a construção de instrumentos de medida (Sampieri et al, 2006; Alexandre & Coluci, 2011; Coluci et al, 2015). Não foram incluídos profissionais ligados ao ambiente acadêmico da pesquisadora responsável.

3.4.2 Coleta de dados

Foram seguidos métodos padronizados e sistemáticos para a validação de conteúdo pelo comitê de especialistas. Os profissionais foram contatados por e-mail, devido suas diferentes localidade, convidando-os a participar da pesquisa como membros do comitê de especialistas.

Para tanto, foram produzidos e encaminhados: 1) carta convite, por meio do Termo de Consentimento Livre e Esclarecido, explicando o objetivo do estudo, métodos e a função do especialista (apêndice C); 2) link para acesso e preenchimento, em caso de aceitação do convite, do formulário para breve caracterização dos sujeitos composto por variáveis sócio demográficas e acadêmicas/profissionais, desenvolvido na ferramenta web Google Docs (apêndice D); e 3) carta explicativa contendo a apresentação do PAGe, o objetivo da pesquisa e orientações para validação do conteúdo da escala (apêndice E).

Após confirmação da participação, além do instrumento completo, como já mencionado acima, foi enviado ao comitê o documento denominado “Bases conceituais e Avaliação de

Conteúdo do PAGe”, o qual contém a descrição das bases conceituais e teóricas envolvidas no instrumento, juntamente das escalas Likert estruturadas para o preenchimento da avaliação dos itens e de cada área do conteúdo a partir dos critérios psicométricos, com espaços para os registros de comentários e/ou sugestões de melhoria, inclusão ou exclusão de itens da escala (apêndice F).

3.4.3 Tratamento e análises dos dados

Para tabulação dos dados foi feita uma máscara, desenvolvida na ferramenta web Google Docs. Nessa máscara foram inseridas as respostas de cada especialista. Em seguida, foi feita a extração para arquivo Excel. Antes de iniciar análise dos dados, verificou-se a presença de dados faltantes (todas as alternativas em branco) e/ou a necessidade de confirmação de alguns dados que foram assinalados duplamente (mais de uma alternativa preenchida com “x”). Foi constatada a possibilidade de um problema de armazenamento dos dados no arquivo enviado. Para tanto, cada especialista foi contatado por e-mail, pelo qual foram enviados os respectivos dados que necessitavam de preenchimento ou confirmação e a orientação de que assim o fizessem no próprio corpo do e-mail. Em seguida, as respostas foram inseridas diretamente no arquivo do Excel. Os dados referentes a caracterização dos especialistas (variáveis sócio demográficas e acadêmicas/profissionais) foram analisados e serão apresentados de forma descritiva.

Diante do exposto no referencial teórico-metodológico, quanto aos índices de validade de conteúdo, a concordância entre os especialistas foi calculada através do índice de validade de conteúdo (IVC) e da content valitidy ratio (CVR). Entretanto, os resultados de ambos os índices serão apresentados apenas com o intuído de expor a problemática inerente ao uso do IVC. Para a análise final da avaliação dos especialistas foram utilizados apenas os resultados provenientes da CVR. Essa razão possui valores críticos definidos mediante o tamanho da amostra de especialistas (de 5 a 40 especialistas), fornecendo, assim, um método fácil para calcular a significância em estudos de validade de conteúdo (Wilson, Pan & Shumsky, 2012). Originalmente, é proposto que a CVR seja calculada com base em uma classificação de 3 pontos dos itens: 1) “essencial”, 2) “útil, mas não essencial” e 3) “não é necessário”. Em seguida, sua estatística se dá com uma transformação linear da proporção do número de

especialistas que julga o item essencial para o número do total de especialistas, de acordo com a seguinte fórmula:

CVR= número de “essenciais” – ( número total de especialistas / 2) número total de especialistas / 2

Assim, quando todos os especialistas classificam o item como "essencial", o valor da CVR será de 1; quando mais da metade dos especialistas, mas não todos, classifica o item como ‘essencial", o valor da CVR será entre 0 e 1; e quando mais da metade dos especialistas classificam o item como "não é necessário", o valor da CVR será negativo. Complementarmente, a tabela de valores de corte críticos para a CVR (tabela 1) determina se os julgamentos dos especialistas excederam a expectativa ao acaso (Wilson, Pan & Shumsky, 2012).

Tabela 1. Valores críticos para Content Validity Ratio (CVR) N° de

especialistas

Nível de significância (p), two-tailed test

0,20 0,10 0,05 0,02 0,01 0,002 5 0,573 0,736 0,99 0,99 0,99 0,99 6 0,523 0,672 0,800 0,950 0,99 0,99 (...) - - - - 10 0,405 0,520 0,620 0,736 0,815 0,977 11 0,387 0,496 0,591 0,701 0,777 0,932 12 0,370 0,475 0,566 0,671 0,744 0,892 (...) - - - - 40 0,203 0,260 0,310 0,368 0,407 0,489

Fonte: Adaptado de Wilson, Pan & Shumsky, 2012. Verificar a referência original para visualização dos valores para outras amostras (N) de especialistas.

Neste trabalho, foi utilizada escala Likert para classificação da pertinência (1 = não pertinente, 2 = pouco pertinente, 3 = pertinente e 4 = muito pertinente) e clareza (1 = não claro, 2 = pouco claro, 3 = claro e 4 = muito claro) dos itens, posteriormente convertida em valores dicotômicos para o cálculo correto da CVR, com a junção das opções 1 e 2 = negativo (0) e 3 e 4 = positivo (1).

Vale ressaltar que a adoção da CVR foi feita após a avaliação e sugestão do especialista em métodos psicométricos, o qual apontou que o IVC poderia inflar os resultados e, consequentemente, não proporcionar resultados confiáveis. Essa orientação proporcionou maior estudo sobre os métodos e complementação do referencial teórico-metodológico,

definindo-se o uso do valor de corte da CVR (tabela 1), de acordo com o nível de significância de p<0,02 e o número final de especialistas participantes do presente estudo.

3.4.4 Questões éticas

A presente pesquisa foi submetida ao Comitê de Ética em Pesquisa Envolvendo Seres Humanos da Escola de Artes, Ciências e Humanidades, o qual avaliou a viabilidade de sua realização sendo aprovado sob o parecer 2.282.593 (anexo D).

Todos os profissionais foram informados sobre os procedimentos e objetivos da pesquisa e, bem como, a importância de participarem desse estudo, seus direito de desistência a qualquer momento e garantia de anonimato. Aqueles que concordaram em participar, assinaram um Termo de Consentimento Livre Esclarecido de acordo com as normas do Conselho Nacional de Saúde (Resolução 466/2012).