Procedimentos para coleta dos dados

A coleta de dados ocorreu totalmente online, conforme os instrumentos e procedimentos descritos a seguir.

5.10.1 Instrumentos

Os instrumentos foram elaborados e disponibilizados com a ferramenta Google Drive®, de acesso gratuito, que permite a criação de diversos formatos de formulários eletrônicos.

No total, foram utilizados nove instrumentos para a coleta de dados, sendo seis destinados aos estudantes e três aos enfermeiros especialistas.

Os instrumentos aplicados aos estudantes (Q1, Q2, Q3, Q4, Q5, Q6) são descritos a seguir (QUADRO 6).

QUADRO 6 - Instrumentos para coleta de dados de estudantes. Florianópolis, 2014.

Instrumentos Descrição

Q1 - Características sócio- demográficas dos

estudantes

15 questões sobre as características da amostra e de acesso às tecnologias computacionais na vida diária e acadêmica (APÊNDICE C)

Q2 e Q3 - Pré-teste e pós- teste sobre a avaliação da dor aguda no adulto e recém nascido

20 questões (10 abertas e 10 fechadas) sobre os diferentes aspectos da avaliação da dor em adultos conscientes, sedados e neonatos (APÊNDICE D)

Q4 - LORI 2.0

9 variáveis de mensuração da qualidade de uma tecnologia educacional

eletrônica, avaliadas a partir de uma escala de Likert de 1-Pior avaliação) a 5-Maior avaliação (APÊNDICE E)

Q5 - NASA TLX Dividido em 2 partes: 1) avaliação das taxas das seis dimensões da carga mental de trabalho durante a execução

de uma tarefa, considerando-se uma escala de 0 a 100 pontos, divididos em 20 intervalos iguais; 2) comparação entre 15 pares de dimensões, a partir das quais são identificados seus respectivos pesos para na carga mental de trabalho (APÊNDICE F)

Q6 - Avaliação de satisfação e opinião

11 questões (8 abertas e 2 fechadas) relacionadas a ocorrência de problemas técnicos e com a tecnologia, aspectos positivos e menos positivos, sugestões de melhorias, experiência de

aprendizagem mediada por dispositivos móveis, e níveis de satisfação

(APÊNDICE G) Fonte: Alvarez (2014)

Para a elaboração dos instrumentos de pré e pós-teste aplicados em estudantes antes e depois da intervenção educacional online, considerou-se os objetivos de aprendizagem propostos (FIGURA 9) e também os nos de aprendizagem apresentados durante o acesso aos cenários clínicos (FIGURA 10).

Os mesmos foram validados previamente por enfermeiros que atuam na área de dor e docência em enfermagem.

Ainda, para coleta de dados com enfermeiros especialistas foram utilizados 3 instrumentos (QES1, QES2, QES3), conforme apresentado no QUADRO 7.

QUADRO 7 - Instrumentos para coleta de dados de enfermeiros especialistas. Florianópolis, 2014.

Instrumentos Descrição

QES1 - LORI 2.0

9 variáveis de mensuração da qualidade de uma tecnologia educacional eletrônica, avaliadas a partir de uma escala de Likert de 1-Pior avaliação) a 5-Maior avaliação (APÊNDICE E)

QES2 - NASA TLX

Dividido em 2 partes: 1) avaliação das taxas das 6 dimensões da carga mental de trabalho durante a execução de uma tarefa, considerando-se uma escala de 0 à 100 pontos, divididos em 20 intervalos iguais; 2) comparação entre 15 pares de

dimensões, a partir dos quais são identificados os respectivos pesos para cálculo do índice da carga mental de trabalho (APÊNDICE F)

QES3 - Avaliação de satisfação e opinião

11 questões (8 abertas e 2 fechadas) relacionadas a ocorrência de problemas técnicos e com a tecnologia, aspectos mais positivos e menos positivos, sugestões de melhorias, experiência de aprendizagem mediada por dispositivos móveis, e níveis de satisfação (APÊNDICE G)

Fonte: Alvarez (2014)

Originalmente disponível na língua inglesa, o instrumento LORI 2.0 (NESBIT, BELFER, LEACOCK, 2009) foi traduzido pela autora para língua portuguesa e adaptado para aplicação no estudo, sendo que o mesmo ainda não se encontra validado no Brasil.

Quanto ao instrumento NASA TLX, o mesmo encontra-se disponível para livre utilização em pesquisas na língua inglesa, assim como os manuais para sua aplicação (versão papel e caneta ou eletrônica), no endereço: http://humansystems.arc.nasa.gov/groups/tlx/. O mesmo foi traduzido para o português, sendo esta versão revisada por três professores de língua inglesa, durante estudo de Barra (2012).

5.10.2 Operacionalização

Para abordagem inicial dos alunos e apresentação da proposta de estudo, foram agendados cinco encontros presenciais de vinte minutos cada, com autorização dos professores e da coordenação de curso. Todos os encontros ocorreram em outubro/2013, sendo três durante o horário de aula (manhã) e dois a tarde, todos nas dependências da UFSC.

Observou-se baixa adesão ao estudo, por parte dos estudantes, nos referidos encontros presenciais, fato provavelmente relacionado à proximidade do fim do ano letivo e estágios curriculares, que ocorriam em diferentes hospitais da cidade. Nesta fase foram obtidos apenas oito Termos de Consentimento Livre e Esclarecido (TCLE).

Esta situação exigiu que a pesquisadora aplicasse uma estratégia diferente da planejada para abordagem destes. Assim, foi solicitado à secretaria do curso, uma listagem dos estudantes matriculados e verificada a existência de perfil destes na rede social Facebook®.

Para aqueles que foram localizados, foi enviada uma mensagem privada, explicando brevemente a proposta e convidando-os para participar do estudo, sendo enviado também o link de acesso ao TCLE.

A estratégia resultou em um maior número de estudantes interessados em participar do estudo, sendo que apenas cinco estudantes não foram localizados na rede social, sendo contatados por e-mail pessoal.

Deste modo, os objetivos do estudo e a metodologia proposta para a intervenção educacional online foram apresentados aos estudantes. Aqueles que demonstraram interesse em participar, acessaram o link para o TCLE e confirmaram sua participação.

Somente apos esta etapa, a pesquisadora enviou os links e orientações de acesso aos instrumentos e ao m-OVADor®_{, sendo que}

todas as etapas do estudo foram conduzidas na modalidade online. A comunicação durante o estudo, entre pesquisadora e estudantes, também ocorreu totalmente online, apoiada por chat (assíncrono), mensagem privada (síncrono e assíncrono) e grupo fechado (assíncrono), ambos da rede social Facebook®, e ainda, por e-mail. 5.10.3. Learning Object Review Instrument versão 2.0 (LORI 2.0)

Com o objetivo de padronizar a avaliação de qualidade de softwares educacionais, o instrumento LORI foi desenvolvido, no Canadá (VARGO et al., 2003), encontrando-se atualmente na versão 2.0 (NESBIT, BELFER, LEACOCK, 2009).

O LORI 2.0 é composto por 9 variáveis de avaliação, utilizadas como parâmetro para analisar os seguintes ítens relacionados a qualidade de softwares educacionais considerando: a qualidade de conteúdo, o alinhamento com os objetivos de aprendizagem, o feedback e adaptação, a motivação, o design de apresentação, a interação e usabilidade, a acessibilidade, a reutilização, e ainda, a conformidade com as normas (NESBIT, BELFER, LEACOCK, 2009), conforme QUADRO 8.

QUADRO 8 - Variáveis de avaliação da qualidade da tecnologia a partir do instrumento LORI 2.0. Florianópolis, 2014. Variáveis de avaliação Descrição

Qualidade do conteúdo Veracidade, acurácia, apresentação equilibrada de idéias, nível apropriado de detalhes

Alinhamento aos objetivos de aprendizagem

Alinhamento entre objetivos de aprendizagem, atividades, avaliações e características dos estudantes

Feedback e adaptação Adaptação do conteúdo ou feedback a partir das respostas dos estudantes ou da modulação deste

Motivação Capacidade para motivação e interesse _{em uma população de estudantes}

Apresentação do projeto

Design da informação visual e auditiva para a aprendizagem e processamento mental eficiente

Interação e usabilidade Facilidade de navegação, previsibilidade da interface do usuário e qualidade dos recursos

Acessibilidade Designacomodar estudantes com deficiência e de controles e formatos para mobilidade

Reusabilidade

Possibilidade de uso em diferentes contextos de aprendizagem e em diferentes contextos (móvel, presencial, semi-presencial, individual, em grupo)

Conformidade com normas (confiabilidade e segurança)

Capacidade do produto de software de manter um nível de desempenho especificado e Segurança no acesso privativo a informação em diferentes tipos de dispositivos e plataformas de aprendizagem

Fonte: Nesbit, Belfer, Leacock (2009)

Cada variável do instrumento foi avaliada a partir de uma escala de Likert de 5 pontos, sendo: 1-Ruim, 2-Regular, 3-Bom, 4-Muito Bom, 5-Excelente. Caso um dos ítens fosse considerado irrelevante para o OVA, ou, quando o avaliador não se sentisse qualificado para julgar uma destas variáveis, poderia optar pela exclusão do ítem, marcando na escala a opção “Não aplicável (NA)”.

O LORI 2.0 pode ser aplicado tanto para avaliações individuais quanto para avaliações em painel, sendo que nesta última, recomenda-se o uso do modelo convergente de participação para avaliação colaborativa (NESBIT, BELFER, VARGO, 2002).

Os resultados da avaliação de cada uma das variáveis são geralmente expressos em valores médios, acompanhados de comentários dos avaliadores (NESBIT, BELFER, LEACOCK, 2009).

A ampla utilização deste método de avaliação da qualidade de tecnologias educacionais digitais vem permitindo a comparação entre outros projetos, fornecendo um formato de avaliação comum e permitindo que os usuários selecionem, diante de uma enormidade de produções disponíveis, aqueles de maior qualidade e adequação (NESBIT, BELFER, LEACOCK, 2009).

Uma versão eletrônica do instrumento foi desenvolvida para o estudo (APÊNDICE E), sendo traduzida pela autora e seu uso autorizado previamente pelos autores (ANEXO C).

5.10.4. NASA Task Load Index (NASA TLX)

A seguir apresentamos o protocolo de análise da carga mental de trabalho a partir de intervenção educacional móvel, com o instrumento NASA TLX (QUADRO 9).

QUADRO 9 - Variáveis de análise da carga mental de trabalho de acordo com o instrumento NASA TLX. Florianópolis, 2014.

Dimensões Descrição

Demanda Mental

Quantidade de atividade mental e perceptiva que a intervenção educacional mediada por tecnologia persuasiva demanda

Demanda Física Quantidade de atividade fisica que a intervenção educacional mediada por tecnologia persuasiva demanda do sujeito

Demanda Temporal

Nível de pressão temporal exigida pelo sujeito ao participar de intervenção educacional mediada por tecnologia persuasiva

Desempenho Até que ponto em que o sujeito se sente satisfeito com seu nível de rendimento e desempenho da tarefa

Esforço

Grau de esforço mental e físico que o sujeito tem de realizar para obter seu nível de rendimento

Frustração Até que ponto o sujeito se sente inseguro, estressado, irritado, descontente durante a realização de determinada tarefa

Fonte: Hart, Staveland (1988)

5.11. Descrição e caracterização das variáveis