9 ETAPA 6: VALIDAÇÃO DO SOFTWARE
9.1 Materiais e métodos da validação do software
9.1.1 Natureza do estudo
A etapa de validação do software é classificada como uma etapa metodológica. Para Polit, Beck e Hungler (2011), estudos desse tipo são voltados à verificação de métodos de obtenção, organização e análise de dados com a finalidade de elaborar, validar e avaliar instrumentos e técnicas para a pesquisa clínica.
Após a construção do Wise Nurse, realizou-se a validação técnica e de conteúdo do mesmo com profissionais (juízes) com experiência em Informática e DE. A etapa de validação abrangeu uma análise do sistema em toda a sua extensão e a consideração de sugestões dos avaliadores para o aprimoramento do mesmo. Lopes (2001) ressalta a importância de que tecnologias inovadoras sejam avaliadas para que se possa ter uma real noção do que se está produzindo e para evitar que falhas passem despercebidas.
9.1.2 Seleção dos juízes
No que concerne à seleção de juízes em estudos de validação, recomenda-se a determinação de três aspectos fundamentais: o número de juízes, os critérios para a seleção dos mesmos e a forma de análise dos dados para validação (LOPES; SILVA; ARAÚJO, 2013).
Quanto ao número de juízes necessário para a validação verifica-se que há divergências na literatura, pois algumas abordagens priorizam o aspecto quantitativo enquanto outras o qualitativo. Pasquali (1997) sugere um número de seis a vinte sujeitos para esse tipo de validação, porém é difícil encontrar um quantitativo de juízes competentes para a análise desejada. De acordo com Alexandre e Coluci (2010), se levarmos em consideração aspectos qualitativos, deve-se priorizar a formação profissional, a qualificação e a disponibilidade dos profissionais em detrimento do número de juízes.
Diante disso, optou-se por utilizar a abordagem estatística recomendada por Lopes, Silva e Araújo (2013) para a definição do número de juízes associada à utilização de critérios específicos para que fosse obtido um quadro de juízes com quantidade e qualidade aceitáveis.
A definição do número de juízes requer a escolha de três variáveis: o nível de confiança (
Z
12-a/2), o erro amostral (e) e a proporção esperada (P) de juízes que deve ser levada em conta para considerar cada componente da análise como validado. O nível de confiança está relacionado à precisão desejada, enquanto o erro amostral relaciona-se à diferença entre um valor obtido a partir da amostra e o valor verdadeiro na população para a qual o pesquisador deseja generalizar seus resultados (LOPES; SILVA; ARAÚJO, 2013). Nesse estudo foram definidos os seguintes parâmetros: nível de confiança de 95%, erro amostral de 14% e proporção de juízes de 85%. Desse modo, o cálculo final foi determinado por n= 1,962 × 0,85× 0,14/0,142, concluindo em um número amostral de 24 juízes (12 de cada área).
Os critérios de elegibilidade para a amostra de juízes da área da Informática (juízes técnicos) foram:
1. Ser Bacharel em Ciências da Computação;
2. Ter experiência profissional anterior com desenvolvimento de software.
Por sua vez, os critérios de elegibilidade para a amostra de juízes da área da Enfermagem (juízes de conteúdo) foram:
1. Possuir titulação mínima de doutor em Enfermagem;
2. Ser autor(a) ou orientador(a) de Dissertação ou Tese na temática Diagnósticos de Enfermagem.
Para a captação dos juízes da área da Informática, utilizou-se a estratégia bola de neve, isto é, contatou-se profissionais com experiência em desenvolvimento de software e requisitou-se indicações de profissionais com o perfil desejado. Já a captação dos juízes da área da Enfermagem envolveu duas estratégias. Inicialmente, membros atuais e egressos do Núcleo de Estudos em Diagnósticos, Intervenções e Resultados de Enfermagem (NEDIRE) foram contatados. Esse núcleo é composto por três grupos de pesquisa: Grupo de Estudo em Diagnósticos, Intervenções e Resultados de Enfermagem (GEDIRE), Projeto Ações Integradas na Saúde Cardiovascular (PAISC) e Grupo de Pesquisa Cuidado de Enfermagem na Saúde da Criança (CUIDENSC). Em seguida, para complementar a amostra de juízes da área da Enfermagem, também empregou-se a amostragem por bola de neve a partir de indicações feitas pelos juízes recrutados até então. Essa estratégia foi adotada considerando que o perfil profissional desejado para composição do painel de juízes era bastante específico, como mostram os critérios de seleção. Ao final, dos 12 juízes da área da Enfermagem, sete eram membros atuais ou egressos do NEDIRE e cinco eram afiliados a instituições de ensino superior da região Sudeste do Brasil.
9.1.3 Instrumento de coleta de dados, período e operacionalização da coleta
Os juízes de ambas as áreas foram convidados a participar do estudo por meio de uma carta-convite enviada por correio eletrônico (APÊNDICE J). O convite foi enviado a um número maior do que o determinado pelo cálculo amostral devido à possibilidade de não efetivar o contato, de recusa em participar e de possíveis reduções no retorno do instrumento preenchido. Dessa forma, foram convidados 50 profissionais (23 doutores em Enfermagem e 27 bacharéis em Ciências da Computação), os quais atenderam aos critérios de inclusão. Desses, 10 (20%) não aceitaram e 16 (32%) não responderam, mesmo após três tentativas, totalizando 24 (48%) juízes (12 de cada área). Também por correio eletrônico, foram enviados um documento com instruções para executar o download e a instalação do programa e links para acesso e preenchimento do TCLE eletrônico, do Termo de Concordância com os Termos e Condições de Uso do software e dos questionários de validação dos aspectos técnicos e do conteúdo do programa (APÊNDICES K a N).
A coleta de dados ocorreu durante os meses de janeiro e fevereiro de 2015. A validação técnica por juízes da área da Informática abrangeu os critérios ergonomia, funcionalidade, usabilidade e eficiência, enquanto a validação de conteúdo por juízes da área da Enfermagem abrangeu critérios relacionados aos objetivos, ao conteúdo, à relevância e ao ambiente do software.
Para elaborar os instrumentos de validação, foram consultados diferentes referenciais. Os quesitos de avaliação que compõem o item Ergonomia foram adaptados do estudo de Góes (2010), que trata da construção e validação de um objeto virtual de aprendizagem sobre o raciocínio diagnóstico de enfermagem aplicado ao recém-nascido. Os demais quesitos foram desenvolvidos por Clunie (2000) e utilizados posteriormente por Lopes (2001) e Freitas (2010), em seus trabalhos de construção e validação de um software para o ensino dos sinais vitais e de uma hipermídia para ensino do exame físico no pré-natal, respectivamente. A valoração dos itens foi realizada por meio de uma escala do tipo Likert similar à que foi utilizada na validação dos casos clínicos. Ressalta-se que os juízes também puderam sugerir mudança ou inclusão de itens.
Após o recebimento dos instrumentos de avaliação preenchidos pelos juízes, verificou-se a necessidade de fazer ajustes no software. Os ajustes recomendados pelos juízes foram feitos pelo mesmo profissional responsável pela criação da versão inicial do Wise Nurse e possibilitaram a obtenção da versão final, que foi utilizada na fase de Implementação do software.
9.1.4 Organização e análise dos dados
A análise quantitativa das respostas dos juízes empregou a média ponderada do valor atribuído por especialista a cada item de avaliação (IVC), sendo estabelecido um ponto de corte de 0,70 abaixo do qual o item seria considerado como inadequado. Os dados foram armazenados em planilhas do software Excel e analisados com apoio do programa estatístico SPSS versão 20.0. Para verificação de aderência à distribuição normal, foi aplicado o teste Shapiro-Wilk. Os dados foram apresentados em frequência absoluta e relativa, média e desvio padrão.
9.1.5 Aspectos éticos
Conforme exposto anteriormente, a proposta do estudo foi aprovada pelo Comitê de Ética em Pesquisa da Universidade Federal do Ceará/PROPESQ sob o Parecer nº470176 (ANEXO A). Por correio eletrônico os juízes foram, simultaneamente, informados quanto aos objetivos do estudo e convidados a participar do mesmo. Os princípios éticos propostos para pesquisas com seres humanos e os aspectos de beneficência, não maleficência, autonomia e justiça foram atendidos e esclarecidos por meio do TCLE eletrônico. Os juízes deram sua anuência à participação no estudo acessando ao TCLE eletrônico e clicando na opção “concordo”.