Segunda fase: validação do aplicativo pelos especialistas

A validação visa a avaliar o aplicativo por profissionais especialistas na temática (ECHER, 2005).

Nesse sentido, a validação do aplicativo se deu a partir da análise dos especialistas no assunto em duas etapas. A primeira delas é a validação de conteúdo, cujo objetivo é verificar se os conceitos apresentados no instrumento-guia exploram todas as dimensões ou domínios pertinentes ao conceito, bem como avalia se estes estão expressos corretamente (POLIT; BECK, 2011). Já a validação de aparência tem como escopo avaliar o instrumento de forma subjetiva, ou seja, no que diz respeito à clareza e compreensão (LOBIONDO-WOOD; HARBER, 2001).

Sendo assim, após a conclusão de todas as etapas anteriores e aprovação do projeto pelo Comitê de Ética e Pesquisa da UFRN, o aplicativo foi validado por especialistas enfermeiros obstetras e profissionais da área de Tecnologia da informação e comunicação. Lopes (2001) ressalta a necessidade de que tecnologias inovadoras sejam avaliadas com o propósito de se aferir a real noção do que está sendo produzido, sob pena de culminar numa prática profissional infértil, cujas falhas não sejam sanadas.

Dessa forma, foram selecionados especialistas para validação da ferramenta tecnológica produzida. A despeito da ausência de consenso na literatura quanto ao número de profissionais necessários à validação, Linn (2004) recomenda um mínimo de cinco e um máximo de dez juízes. Noutra vertente, Pasquali (1997) sugere sejam de três a vinte, sendo necessário um mínimo de três participantes em cada grupo de experts selecionados. Alexandre e Coluci (2011), por sua vez, enfatizam que deve-se levar em consideração as características do instrumento e a formação, qualificação e disponibilidade dos profissionais. Com efeito, optou-se pelos critérios de Pasquali, tendo sido selecionados 21 especialistas para validar a ferramenta.

Para validação do instrumento-guia de orientações, foram convidados enfermeiros obstetras, enquanto os profissionais da área de tecnologia, com experiência em programação para dispositivos móveis, foram incumbidos de avaliar a funcionalidade, confiabilidade, eficiência e usabilidade do aplicativo.

4.3.2.1Critérios de seleção dos especialistas

Os enfermeiros obstetras e os profissionais da área da tecnologia da informação e comunicação foram selecionados pela análise de currículo na plataforma Lattes, segundo os critérios do modelo de Feringh (1987), ora adaptados pela pesquisadora, conforme listado nos Quadros 1 e 2. Houve adaptação do aludido modelo pela

necessidade de incluir enfermeiros com atuação na assistência, a fim de que a experiência prática, associada ao conhecimento, pudesse enriquecer a avaliação do instrumento-guia de orientações.

Especialistas/Critérios Pontuação

Tese ou dissertação na temática pré-natal 2 ponto/ Título Especialização na temática pré-natal 1/Título Participação em grupos/projetos de pesquisa

relacionados ao pré-natal

1 Ponto

Experiência docente em pré-natal 0,5 ponto/ano Atuação prática em atenção pré-natal 0,5 ponto/ano Autoria em, ao menos, três trabalhos publicados

em periódicos relacionados a pré-natal nos últimos

três anos 0,25 ponto/trabalho

Participar de banca avaliadora de trabalhos em pré-natal

0,25 ponto/trabalho Quadro 1- Critérios de seleção para os especialistas em enfermagem.

Especialistas/Critérios Pontuação

Tese ou dissertação na temática de informática 2 ponto/ Título Especialização na temática informática 1/Título Participação em grupos/projetos de pesquisa

relacionados a desenvolvimento de tecnologias

1 Ponto

Experiência docente em informática 0,5 ponto/ano Atuação prática em atenção na área de informática 0,5 ponto/ano Autoria em, pelo menos, três trabalhos publicados

em periódicos relacionados a desenvolvimento

tecnológico nos últimos três anos 0,25 ponto/trabalho

Participar em banca avaliadora de trabalhos na área de informática

0,25 ponto/trabalho

Quadro 2- Critérios de seleção para os especialistas da área de Tecnologia da Informação e Comunicação.

Os 20 primeiros especialistas enfermeiros e os 10 profissionais da tecnologia da informação e comunicação que atingiram a pontuação máxima foram contatados via

carta-convite enviada por meio de correio eletrônico (APÊNDICE B e APÊNDICE D), que esclarecia a proposta da participação na pesquisa.

Para a validação do critérios de conteúdo, funcionalidade e usabilidade utilizou- se a técnica Delphi, método utilizado para se obter o consenso de opiniões entre um grupo de especialistas por meio da aplicação de questionários estruturados, que circulam entre os participantes, com a realização de feedback estatístico de cada resposta. O nível de consenso é reservado ao pesquisador e, na literatura, varia de 50% a 80% (CASTRO; REZENDE, 2009). Neste estudo, foi estipulado o nível de 80% para o consenso.

Dos e-mails enviados para 20 enfermeiros, obteve-se retorno de 18 na primeira rodada e 14 na segunda. E 10 convites para os profissionais de tecnologia, havendo oito participantes na primeira rodada e sete na segunda. A devolução dos formulários de avaliação ocorreu dentro do prazo estipulado de trinta dias. Para a coleta de dados, foi confeccionado um formulário no serviço de armazenamento do Google Drive® para os enfermeiros e outro para os profissionais de tecnologia.

O instrumento-guia de orientações, constante no aplicativo, foi submetido aos especialistas que fizeram parte da pesquisa, para que avaliassem o seu conteúdo mediante o índice de concordância (IC). Conforme esse parâmetro, foram consideradas válidas pergunta e resposta do instrumento que atingiram o IC igual ou maior que 0,80 entre julgadores. Após, obtidos os números de concordâncias e discordâncias, o cálculo do IC foi alcançado a partir da fórmula IC = NC/NC+NDX100, cujo NC é o número de concordâncias e ND é o número de discordâncias (BATISTA, 1977; BATISTA; MATOS, 1984).

Junto ao instrumento-guia de orientações, seguiram acostados um questionário (APÊNDICE C e APÊNDICE E) de caracterização do especialista e o Termo de Consentimento Livre e Esclarecido (TCLE) (ANEXO B e ANEXO C).

4.3.2.2Critérios para julgamento dos especialistas

Os especialistas enfermeiros obstetras avaliaram perguntas e respostas do instrumento-guia de orientações (APÊNCICE A) dispostas em um quadro, oportunidade em que optaram pelos itens (C) concordo ou (D) discordo e sugestão de acréscimo ou correção.

No que toca à avaliação do aplicativo, os profissionais da área de Tecnologia julgaram os critérios de ergonomia e usabilidade, tendo como base o instrumento utilizado por Barra e Dal Sasso (2010), que será detalhado a seguir. No critério ergonomia da informática, quatro categorias serão avaliadas:

 Organização:

 Modo de acesso ao aplicativo;  Operacionalização;

 Atinge os objetivos desejados.  Interface:

 Aparência das telas do aplicativo;  Estrutura lógica dos dados;

 Conforto visual para manuseio do aplicativo.  Conteúdo do sistema:

 Informações claras, objetivas e atualizadas;

 Conteúdo está inter-relacionado e consistente com a área.  Técnico:

 A estrutura dos dados (como os dados no sistema foram organizados) permite raciocínio compatível com a prática;

 Segurança e privacidade das informações;  Funcionamento adequado do sistema.

Quanto ao critério usabilidade, os itens avaliados foram os seguintes: (i) o aplicativo funciona facilmente na plataforma sem interferências; (ii) as telas do aplicativo são claras, fáceis de ler e interpretar; (iii) o usuário é capaz de acessar o aplicativo facilmente; (iv) a estrutura da informação disponibilizada é viável e fácil de usar; (v) o aplicativo favorece informações eficientes para as dúvidas dos usuários; (vi) é eficiente para o intercâmbio de informações entre o usuário e o aplicativo; (vii) o aplicativo possui um limite de crescimento apropriado às exigências de uso; (viii) o aplicativo permite o manejo eficiente dos dados que utilizam as exigências de memória e não impedem o programa de funcionar.

Cada item dos critérios teve como parâmetro para pontuação a Escala de Likert de 10 (dez) pontos, cujas respostas foram: concordo totalmente, concordo parcialmente

ou discordo totalmente (APÊNDICE F). A escala de verificação de Likert consiste em desenvolver um conjunto de afirmações relacionadas à sua definição, de modo que respondentes emitem seu grau de concordância (LIKERT, 1932).

4.3.3 Terceira Fase: avaliação do aplicativo na adesão às consultas de pré-natal