SATOMI MORI
AVALIAÇÃO DO
WEBSITE
EDUCACIONAL EM PRIMEIROS
SOCORROS
Tese apresentada à Universidade Federal de São Paulo – Escola Paulista de Enfermagem para obtenção do título de Mestre em Ciências.
SATOMI MORI
AVALIAÇÃO DO WEBSITE EDUCACIONAL EM PRIMEIROS SOCORROS
Tese apresentada à Universidade Federal de São Paulo – Escola Paulista de Enfermagem para obtenção do título de Mestre em Ciências.
São Paulo 2010
Co-orientadora:
Profa. Dra. Iveth Yamaguchi Whitaker Orientadora:
Mori, Satomi
Avaliação do website educacional em Primeiros Socorros/ Satomi Mori – São Paulo, 2010.
x, 102f.
Tese (Mestrado) – Universidade Federal de São Paulo. Programa de Pós-Graduação em Enfermagem
Título em inglês: Evaluation of educational website in First Aid
1.Suporte Básico de Vida. 2. Educação à distância.
DEDICATÓRIA
A meus queridos pais, Kiwao e Tsunako, pelo amor incondicional e por terem se dedicado e sempre incentivado meu crescimento pessoal e profissional.
A meus queridos irmãos, Takehiro, Sumika e Shien, pela amizade, apoio e amor fraterno compartilhados em todas as etapas de nossas vidas.
AGRADECIMENTOS
A Deus.
À profa. Dra. Heimar de Fátima Marin pelo exemplo e pelas sábias orientações no desenvolvimento deste trabalho.
À profa. Dra. Iveth Yamaguchi Whitaker, pelo incentivo e oportunidades profissionais concedidas, bem como pela paciência e as preciosas orientações para o desenvolvimento deste trabalho.
Ao Prof. Dr. Ivan Torre Pisa, pelas preciosas sugestões.
A Thiago Martini da Costa, pós-graduando em Informática em Saúde, por gentilmente compartilhar seus conhecimentos e pelas preciosas sugestões.
Às enfermeiras Silene Celerino da Fonseca e Kátia Regina da Silva pelas preciosas colaborações no desenvolvimento do projeto deste estudo.
Às professoras Cássia Regina Vancini, Cibelli Rizzo Cohrs, Suely Sueko Viski Zanei e Valterli Conceição Sanches Gonçalves, pela amizade, companheirismo apoio durante todo o desenvolvimento deste estudo, bem como nas demais atividades profissionais que compartilhamos.
Aos profissionais e alunos que concordaram participar deste estudo.
A Keith Chen de Christo Ribeiro, pela dedicação no trabalho de manutenção do website em Primeiros Socorros.
Às secretárias do Programa de Pós-Graduação em Enfermagem, Luisa Cobra dos Santos e Rita de Cássia Franzé de Oliveira, pela paciência e apoio.
A Ivone Borelli, pelo trabalho de revisão do texto.
SUMÁRIO
Lista de Figuras Lista de Tabelas Lista de Anexos Lista de Apêndices Lista de Abreviaturas Resumo
Abstract
1. Introdução... 01
1.1 A informática nos Cursos de Enfermagem e o ensino de Primeiros Socorros mediado por website ... 03
1.2 Avaliação de website... 07
1.3 Justificativa e Finalidade do Estudo... 12
2. Objetivos... 16
3 Material e Método... 17
3.1 Referencial teórico... 17
3.2 Coleta de dados... 18
1ª Etapa – Elaboração de instrumentos de avaliação do website... 18
2ª Etapa – Validação dos instrumentos de avaliação do website... 19
3ª Etapa - Avaliação da qualidade do website... 21
3.3 Tratamento e Análise dos dados... 23
4. Resultados... 26
4.1 Validação dos instrumentos de avaliação do website... 26
4.1.1 Instrumento de Avaliação – Categoria Profissional de Informática... 26
4.1.2 Instrumento de Avaliação – Categoria Profissional da Saúde... 27
4.1.3 Instrumento de Avaliação – Categoria Aluno... 28
4.2 Avaliação da qualidade do website... 30
4.2.1. Avaliação da qualidade estrutural do Website – Profissional de Informática... 31
4.2.2 Avaliação da qualidade de conteúdo do Website – Profissional da Área de Saúde... 33
4.2.3. Análise de Consistência interna do instrumento de avaliação do website – categoria Alunos... 36
4.2.3.1 Avaliação da Qualidade do Website – Alunos... 37
4.2.3.2 Análise da qualidade do website segundo as respostas obtidas pelos alunos... 38
6. Conclusões... 51
Referências Bibliográficas... 52
Anexos... 58
LISTA DE FIGURAS
Figura1 Distribuição dos Et segundo cada profissional de informática. UNIFESP, São Paulo, 2009.
26
Figura 2
Distribuição dos Et segundo cada profissional de saúde. UNIFESP, São Paulo, 2009.
28
Figura 3 Distribuição dos Et segundo cada professor de ensino superior. UNIFESP, São Paulo, 2009.
29
Figura 4 Respostas dos alunos segundo ocorrência de dificuldades para utilização do website. UNIFESP, São Paulo, 2009.
LISTA DE TABELAS
Tabela 1 Respostas dos profissionais de informática segundo as categorias dos escores. UNIFESP, São Paulo, 2009.
31
Tabela 2 Valores do Índice de Kappa para as categorias dos
escores. UNIFESP, São Paulo, 2009. 32
Tabela 3 Respostas dos profissionais de saúde segundo categoria do escore. UNIFESP, São Paulo, 2009. 33
Tabela 4 Valores do Índice de Kappa para as categorias dos
escores. UNIFESP, São Paulo, 2009. 36
Tabela 5 Análise descritiva dos escores atribuídos pelos
alunos. UNIFESP, São Paulo, 2009. 39
Tabela 6 Análise descritiva dos escores segundo participação prévia em cursos de Primeiros Socorros ou SBV. UNIFESP, São Paulo, 2009.
LISTA DE ANEXOS
ANEXO 1 Aprovação do Comitê de Ética em Pesquisa 58
ANEXO 2 Termo de consentimento para a participação na análise do
instrumento elaborado 60
ANEXO 3 Termo de consentimento da para a participação na avaliação do
website
LISTA DE APÊNDICES
APÊNDICE 1 Versão inicial – Instrumento de avaliação - categoria Profissional
de Informática 62
APÊNDICE 2 Versão inicial – Instrumento de avaliação - categoria Profissional
de Saúde 65
APÊNDICE 3 Versão inicial – Instrumento de avaliação - categoria Aluno 69 APÊNDICE 4 Instrumento para a validação do instrumento elaborado –
categoria profissional de informática 74
APÊNDICE 5 Instrumento para a análise do instrumento elaborado – categoria
profissional da Saúde 82
APÊNDICE 6 Instrumento para a validação do instrumento elaborado –
categoria Aluno 85
APÊNDICE 7 Versão final do instrumento de avaliação do website – categoria
Profissional de Informática 91
APÊNDICE 8 Versão final do instrumento de avaliação do website – categoria
Saúde 94
APÊNDICE 9 Versão final do instrumento de avaliação do website – categoria
Aluno 97
APÊNDICE 10 Tabela. Resultados da análise de consistência interna das
LISTA DE ABREVIATURAS
ARPAnet Advanced Research Projects Agency Network CD Compact Disk
CD-ROM Compact Disk Read Only Memory
CTE Compressão torácica externa
DEA Desfibrilador externo automático
DIS Departamento de Informática em Saúde
DP Desvio padrão
DVD Digital Video Disc
Em Escore máximo
Et Escores totais
HON Health On the Net
HTML Hypertext Markup Language
IC Intervalo de confiança
LS Limite de Segurança
Máx Máximo
Min Mínimo
NIEn Núcleo de Informática em Enfermagem
PCR Parada cardiorrespiratória
RCP Ressuscitação Cardiopulmonar
SBV Suporte Básico de Vida
TV Televisão
Resumo
Abstract
I
I
n
n
t
t
r
r
o
o
d
d
u
u
ç
ç
ã
ã
o
o
_
1 INTRODUÇÃO
O advento dos recursos computacionais e de comunicação promoveram importantes avanços e transformações em diversos aspectos do cotidiano humano, tais como nos relacionamentos interpessoais, no lazer, na economia, no comércio, nos processos de transmissão e aquisição da informação, bem como no processo educacional em diversas áreas de conhecimento.1,2
Ao se analisar o aspecto histórico, percebe-se que sempre houve a busca para a criação de recursos que pudessem facilitar as atividades cotidianas. Considera-se que o ábaco tenha sido o primeiro instrumento criado para simplificar o processamento de informações. Desde então, o desenvolvimento do conhecimento e o aperfeiçoamento dos equipamentos foram aprimorados até o surgimento das ciências computacionais atuais. Pode-se considerar que o processo de desenvolvimento da informática moderna ocorreu recentemente. Na Segunda Guerra Mundial, foi criado o primeiro computador eletromecânico para uso militar por Konrad Zuse em 1936. A partir de então, os modelos de computadores produzidos passaram a ser adaptados, de acordo com as necessidades percebidas e começaram a ser utilizados para outras finalidades.3
Paralelamente, a partir da década de 1970, iniciou-se o processo de desenvolvimento dos sistemas de comunicação com a criação da internet pelo Departamento de Defesa dos Estados Unidos da América. O objetivo inicial foi conectar sua rede experimental, denominada de Advanced Research Projects Agency Network (ARPAnet), a outras redes de rádio e satélites com a finalidade de otimizar a comunicação militar. Posteriormente, a partir da década de 1990, esta passou a ser utilizada também para fins acadêmicos e comerciais. 3
Introdução 2 permitido ao indivíduo acessá-las de qualquer computador conectado a uma rede de internet, além da grande disponibilidade e velocidade para sua obtenção.4 Essas características favoreceram as modificações nas técnicas de ensino e também nos hábitos de estudo.
Ao contrário dos métodos tradicionais de ensino, nos quais as informações são transmitidas de maneira linear e rígida; o uso de recursos disponibilizados nos websites possibilitou a flexibilidade e a não linearidade no processo educacional. Para esta nova maneira de construção das informações, deu-se o conceito de hipertexto na década de 1960, por Ted Nelson, que corresponde a um sistema não linear de organização de informações que permite a realização de múltiplas ligações entre os conteúdos. 1,5,6
As informações disponibilizadas nos websites são organizadas de maneira que se formem redes semânticas, nas quais são permitidas ao usuário a construção de seu conhecimento de modo flexível e multidimensional por meio de links com significados correlacionados, para favorecer a interação de conteúdos e pessoas.7,8 Esta possibilidade deve-se ao fato do indivíduo poder buscar as informações, conforme suas necessidades, com o estilo pessoal de aprendizagem e de construção de novos cenários de representação do saber, pela estruturação dinâmica das relações entre os conteúdos suportados pelo sistema e pela vivência de situações ainda não vividas ou que ainda não estejam preparadas. 5,9
Acredita-se que pela flexibilidade do hipertexto, o indivíduo possa também desenvolver a flexibilidade cognitiva na aquisição, organização e transferência do conhecimento face às novas situações e contextos de utilização. 4 A exploração ativa possibilita que a pessoa desenvolva estratégias próprias para melhor construção do saber, ou seja, este aprende a aprender pela estimulação de sua competência na criação de hipóteses e questões. 6
Introdução 3 inúmeras possibilidades, podendo criar sistemas de referência e apoio, a fim de minimizar o fenômeno da desorientação. Nesse processo também é fundamental que o professor faça reflexões sobre suas práticas pedagógicas, não bastando limitar-se na transmissão do conhecimento. É preciso instigar o aluno a desenvolver o pensamento crítico, a criatividade, a capacidade de se relacionar com as diversas informações e a ser pró-ativo, a fim de que esses processos resultem na transformação, tanto individual como coletiva. 5,6,10
1.1 A informática nos Cursos de Enfermagem e o ensino de Primeiros Socorros mediados por website
Nos cursos de Enfermagem no Brasil, a introdução da informática ocorreu, aproximadamente, em 1985 pela Universidade Federal do Rio Grande do Sul, seguida pela Universidade Federal de São Paulo (UNIFESP) que, em 1987, introduziu a Disciplina de Informática em Enfermagem nos cursos de Doutorado e, posteriormente, com a criação do Núcleo de Informática em Enfermagem (NIEn), a disciplina passou a ser ministrada em diversos cursos da área dessa instituição.11
A partir de então, outras escolas de Enfermagem passaram a incluir o ensino de informática em saúde e enfermagem em seus programas e cada vez mais os recursos tecnológicos disponíveis passaram a ser estudados para a criação de programas computacionais, tanto para auxiliar os enfermeiros em suas atividades diárias como para sua utilização, como recurso educacional na orientação de pacientes e também de alunos dos cursos de Enfermagem.11
Introdução 4 Curso de Graduação em Enfermagem da UNIFESP na Disciplina de Suporte Básico de Vida (SBV), e atualmente, como Disciplina Curricular.
O interesse pelo desenvolvimento desse software educacional surgiu pela observação das condições precárias em que as vítimas eram encaminhadas e admitidas no hospital. Muitas vezes, a ausência ou inadequação do atendimento inicial do evento da ocorrência e durante o transporte piorava as condições da vítima e, consequentemente, mesmo com a realização do atendimento especializado, poderia resultar em sequelas ou até mesmo na sua morte.12
Posteriormente, com o advento da internet todo o conteúdo do CD-ROM foi transferido para ser disponibilizado na World Wide Web. Essa necessidade surgiu da observação da ocorrência de danos frequentes nos CDs resultantes de seu uso constante, da necessidade de alterações periódicas dos conteúdos de acordo com as atualizações das diretrizes de atendimento às vítimas, da limitação da capacidade de armazenamento de informações e do custo relacionado à sua manutenção e atualização.
Além desses fatores, também, foi considerado o objetivo de criar uma ferramenta para a ampla divulgação das informações referentes aos cuidados em Primeiros Socorros, não só para uso acadêmico nos cursos de graduação da UNIFESP, mas também para emprego por leigos, visto que esses também podem realizar alguns procedimentos de Primeiros Socorros.
O Suporte Básico de Vida (SBV) ou Primeiros Socorros consiste na aplicação de manobras para manutenção da respiração e da circulação sanguínea à pessoa em situação de emergência. Esse conjunto de procedimentos, denominado Ressuscitação Cardiopulmonar (RCP), pode ser realizado por leigos capacitados em SBV, além dos profissionais da saúde. 13,14
Introdução 5 foi dividido nos passos A, B e C. Em 1960, Kouwenhoven publicou um artigo afirmando que qualquer pessoa em qualquer lugar poderia iniciar as manobras de RCP. Em 1961, motivados pela possibilidade de reverter uma parada cardiorrespiratória (PCR), a American Heart Associatin (AHA) fundou um comitê em RCP para promover pesquisas, padronização das informações e treinamentos em SBV.15,16,17
Desde então, diversos estudos sobre treinamentos e disponibilidade de informações em SBV vêm sendo realizados. O primeiro recurso tecnológico criado para esse fim e amplamente utilizado até os dias atuais é o manequim que possibilita o treinamento prático de procedimentos, tais como: a ventilação boca a boca e a compressão torácica externa (CTE).18 Posteriormente, outros recursos para a propagação de informações passaram a ser testados e utilizados com a mesma finalidade.
A relevância da divulgação do conhecimento e o desenvolvimento das habilidades em RCP devem-se ao fato de que quando as manobras de RCP são instituídas precocemente e de maneira correta, vidas podem ser salvas. Outro aspecto importante relaciona-se às várias situações clínicas que podem ocasionar a PCR em ambiente extra-hospitalar, como infarto agudo do miocárdio, além de acidentes automobilísticos, de trabalho e domésticos secundários à utilização de equipamentos perigosos.19,20,21
Introdução 6 conhecimentos a respeito do atendimento de vítimas inconscientes, esses eram incompletos ou incorretos.22
A falta de instrução e experiência no atendimento à vítima pode gerar, além de insegurança, a aplicação de medidas imprecisas ou incorretas que podem não surtir efeito, bem como o prejuízo à vítima e à pessoa que tenta prestar o socorro.22 Por isso, é importante que a população tenha fácil acesso às informações e aos treinamentos em SBV. Apesar de algumas instituições oferecerem cursos de SBV, é preciso maior investimento para a propagação de conhecimentos, de modo a abranger um maior número de pessoas.
Nesse sentido, diversas iniciativas vêm sendo realizadas, predominantemente, desde a década de 1990, para a criação e utilização de recursos tecnológicos de comunicação que auxiliam na divulgação de informações e no treinamento de pessoas em SBV, tais como vídeos, televisão (TV), CD-ROM, Digital Video Disc (DVD) e websites.
Dentre esses recursos que podem ser utilizados para fins didáticos, destacam-se os websites pela sua crescente facilidade de acesso pelas pessoas e pelas características que os tornam atrativos para sua utilização na educação. Ressalta-se a possibilidade do estudo ser flexível e não linear, pelo fato do usuário poder desenvolver estratégias próprias para construção do saber e da possibilidade de interagir com o sistema, entre outros.
Introdução 7 dos hipertextos, com vistas a otimizar a obtenção da informação, de acordo com a necessidade do aluno.
1.2 Avaliação de website
Os benefícios obtidos com os avanços na disseminação de informações resultantes da utilização dos recursos da internet são incontestáveis. A cada ano, o número de pessoas que acessam a internet e a quantidade de websites, vem aumentando mundialmente em razão das vantagens proporcionadas pelo uso desses recursos. Em 2009, estimava-se que a população mundial era de, aproximadamente, 6.767.805.208; destes, calcula-se que cerca de 1.733.993.741 tenham acesso à internet, seja em ambiente domiciliar, de trabalho ou em locais públicos. Ainda, desse total de internautas, 66.3 milhões são pessoas residentes no Brasil. 23,24
Embora esse recurso seja amplamente utilizado e facilite o acesso às informações, pode também apresentar diversos aspectos negativos que podem torná-lo inadequado. Seu funcionamento pode prejudicar não só as relações comerciais, mas também a segurança humana25. Normalmente, estas resultam de problemas que podem estar relacionados à estrutura do website ou à qualidade das informações disponibilizadas e podem ser exemplificadas pelo grande volume de informações publicadas na forma de hipertextos que, além de extensos, podem estar desatualizadas ou inadequadas, pela desorganização dos conteúdos, pela presença ou ausência de dispositivos de pesquisa, pelo uso inadequado das cores, entre outros.26,27
Introdução 8 tarefa, além de dificultar a compreensão e o aprendizado pela sobrecarga cognitiva ou física.28,29
Os infortúnios causados pela existência de websites mal estruturados poderiam ser minimizados com a aplicação de regras com a finalidade de controlar a criação de interfaces de baixa qualidade estrutural e de informações. No entanto, as normas internacionais de usabilidade muitas vezes não são empregadas.30 Com a facilidade de acesso à internet, pode-se perceber que houve a proliferação de websites com qualidade questionável e que, muitas vezes, estes podem não ser atualizados com o decorrer do tempo, favorecendo o surgimento cada vez maior de lixos eletrônicos.
Tendo em vista esses aspectos problemáticos, diversos especialistas vêm realizando estudos com o objetivo de criar meios para melhorar a qualidade dos websites e, assim, garantirem a qualidade desses recursos. Dentre algumas das iniciativas, criou-se o termo usabilidade para caracterização de websites que disponibilizam, além do conteúdo relevante, promovem uma experiência efetiva, proveitosa e satisfatória por parte do usuário.28 A usabilidade e também a acessibilidade são características importantes que agregam qualidade aos produtos de conteúdo digital, pois estes visam à satisfação, no alcance dos objetivos de seus usos e também o fácil alcance das informações pelos usuários.31,32
Paralelamente, métodos de avaliação de usabilidade de programas computacionais foram elaborados com a finalidade de avaliar a qualidade da interação do usuário com a interface criada. Além disso, essa avaliação objetiva também a redução de custos, a melhoria da produtividade, a satisfação do usuário e a disponilização de um programa de computador fácil de utilizar. Nesse caso, o grau de usabilidade pode ser obtido por meio da avaliação da eficácia, eficiência e satisfação com que os usuários e o sistema realizam determinadas tarefas.28
Introdução 9 avaliação da interface por juízes que o analisam de acordo com os princípios de usabilidade reconhecidos, denominados de heurísticas e são compostas e caracterizadas por33:
Visibilidade da condição do sistema: o sistema deve sempre manter o usuários informados sobre o que está acontecendo, por meio de feedback apropriado em tempo razoável;
Correspondência do sistema com o mundo real: o sistema deve usar o idioma dos usuários, com palavras, frases e conceitos familiares ao usuário, em lugar de termos orientados ao sistema. Seguir as convenções do mundo real, tornando a informação lógica e natural;
Controle e liberdade do usuário: os usuários frequentemente escolhem as funções do sistema por engano. Nesse caso, é preciso haver uma saída de emergência claramente identificada “para sair do estado indesejado sem ter que passar por um diálogo prolongado”. Suporte desfazer e refazer;
Consistência e padrões: os usuários não devem precisar pensar se palavras diferentes, situações ou ações significam a mesma coisa;
Reconhecimento e prevenção de erros: as mensagens de erro devem ser claras e sem códigos. Melhor que disponibilizar boas mensagens de erro, é projetar um programa que impeça erros;
Ajudar usuários a reconhecer, diagnosticar e recuperar-se de erros: a mensagem de erro deve ser expressa em linguagem simples, sem códigos e indicar problemas, sugerindo uma solução de modo construtivo;
Introdução 10 Flexibilidade e eficiência de uso: o programa deve oferecer aceleradores ao usuário especialista, invisíveis aos novatos e possibilitar a programação de ações freqüentes;
Projeto estético e minimalista: os diálogos usuário-programa não devem ter informações irrelevantes; e
Ajuda e documentação: este item deve ser de fácil localização, objetivo e focado na tarefa do usuário e não ser grande.
Apesar dos princípios descritos serem facilmente reconhecidos e, muitas vezes, serem considerados óbvios por profissionais que trabalham na elaboração e construção de websites, muitas vezes, esses aspectos não são respeitados.33 Por essa razão, torna-se extremamente importante a realização de avaliação da qualidade dos websites.
Dentre os métodos criados para atribuir qualidade à informação em saúde, destaca-se o código de condutas Health On the Net (HON), conhecido amplamente entre os provedores de informações em saúde como HONcode. Este código foi estabelecido pela organização não governamental Health On the Net Foundation, em 1995, conhecido internacionalmente pelo pioneirismo no estabelecimento do código de conduta ética da informação em saúde. O objetivo da avaliação consiste em garantir a disseminação de informações médicas de qualidade, com transparência e objetividade, tanto para pacientes como para profissionais da área.34 Os oito princípios para garantir a qualidade da informação em saúde elegidos pelo código HON são:
Autoridade: somente profissionais treinados e qualificados devem disponibilizar informações ou orientações médicas ou de saúde;
Introdução 11 Confidencialidade: os responsáveis pelo website devem se comprometer e garantir que os dados dos usuários do website sejam preservados, a fim de garantir a privacidade das informações;
Atribuições: as informações sobre as referências das informações disponibilizadas deverão ser explicitadas e se possível disponibilizar um link de acesso em formato Hypertext Markup Language (HTML). Deverá ser exposta também a data de atualização das informações;
Justificativas: as informações referentes a benefícios e desempenho de tratamento, produto comercial ou serviço específico deverão ser respaldadas por comprovações apropriadas de evidências, conforme descrito no item anterior;
Transparência da propriedade: os programadores do website deverão disponibilizar as informações de maneira clara e colocar à disposição meios de contato para aqueles que desejem ajuda ou informações adicionais. Além disso, o endereço do webmaster deverá estar disponível claramente em todas as páginas do website;
Transparência do patrocínio: as informações referentes às organizações governamentais e privadas que tenham contribuído para o desenvolvimento do website por meio de recursos materiais, de serviços ou financeiramente, deverão ser explicitadas de modo claro; e
Honestidade da publicidade e da política editorial: caso o website possua como uma de suas rendas a publicidade, o fato deverá ser indicado claramente e serão descritas suas políticas de divulgação adotadas. Além disso, os anúncios e os materiais promocionais deverão ser apresentados de modo que o usuário consiga diferenciá-los dos materiais produzidos pela instituição geradora do website.
Introdução 12 informações disponibilizadas pelo website a todo o momento. No entanto, demonstra que o website possui a forte intenção de contribuir com a disponibilização de informações médicas de qualidade.35 Esse certificado poderia auxiliar os usuários na identificação de instituições que se preocupam em oferecer ao público informações confiáveis e com transparência.
No processo de criação dos métodos de avaliação dos websites, foram elaborados diversos instrumentos para essa finalidade. No entanto, embora vários desses instrumentos estejam disponíveis de maneira ampla, no Brasil, ainda não existem estudos publicados sobre a validação desses recursos. Apesar desse fato, acredita-se que as iniciativas para a realização de análises de qualidade das interfaces sejam de suma importância para o fornecimento de websites de qualidade para seus respectivos usuários.
1.3 Justificativa e Finalidade do Estudo
A disponibilização das informações sobre Primeiros Socorros por meio de um website confiável pode colaborar não só para o aumento do número de pessoas informadas sobre os procedimentos corretos envolvidos no atendimento a vítimas, mas também favorecer o desenvolvimento de métodos e recursos que podem ser utilizados, para a orientação e capacitação das pessoas a respeito de SBV.
Introdução 13 Esses fatos exemplificam as condições em que a orientação e a instituição de medidas de Primeiros Socorros são importantes nos momentos que antecedem à internação de pessoas acometidas por situações que colocam em risco suas vidas. Percebe-se que a ocorrência desses agravos são altas e ressalta-se a importância da orientação da população para a identificação dessas condições e na realização desses cuidados. Acredita-se que a divulgação de informações sobre o atendimento em Primeiros Socorros por meio da internet possa ser uma grande aliada nesse processo.
O uso de recursos de internet ainda podem e devem ser explorados pelos enfermeiros para orientação não só de sua equipe, mas também de seus pacientes.36 Além disso, apesar dos altos custos para a criação dos softwares educacionais, os websites tornam-se mais atraentes pela possibilidade de abranger um número maior de pessoas. Outro fator relevante e que não deve ser desprezado nos dias atuais, relaciona-se ao grande impacto que esse recurso causa na vida humana.37 A facilidade no acesso e o compartilhamento de informações por milhares de pessoas, tornam-as cada vez mais informadas e conscientes sobre a própria saúde.38
Esse fato deve mobilizar os enfermeiros para que busquem adequar as maneiras como trabalham com seu público.36 Acredita-se que a utilização de recursos tecnológicos auxilia na disseminação das informações sobre as condutas corretas a serem empregadas no atendimento inicial de pessoas que estão em situação de urgência ou emergência. Nesse sentido, o website criado pelo NIEn em parceria com o DIS – UNIFESP pode colaborar para a disseminação das informações em Primeiros Socorros por abranger de maneira ampla e detalhada os procedimentos relacionados às diversas situações.
Introdução 14 Introdução: apresenta a definição de Primeiros Socorros e os objetivos de sua aplicação, além disso, aborda as questões relacionadas à segurança do socorrista e da vítima.
Avaliação da Vítima: as etapas envolvidas na avaliação primária e secundária de vítimas adultas, crianças e bebês são abordadas, bem como algumas situações especiais, como vítimas presas em ferragens e vitimas com capacete.
Parada Cardíaca e Reanimação: são abordados os sinais para a identificação da PCR, bem como as manobras de RCP em bebês, crianças e adultos realizados por um ou dois socorristas.
Obstrução de Vias Aéreas: são abordados os diferentes graus de obstrução de vias aéreas, sua identificação e manobras realizadas para a desobstrução em vítimas conscientes e inconscientes, tanto em bebês como em adultos.
Ferimentos e Hemorragias: são abordados os ferimentos fechados abertos em diferentes níveis de gravidade, desde sua identificação até a conduta inicial. São abordados também a hemorragia, sangramento nasal e amputação.
Fraturas e Imobilizações: são abordados os sinais para o reconhecimento de fraturas, entorses e luxações, bem como os diferentes tipos de imobilização.
Queimaduras: são descritos os diferentes tipos, a gravidade e a conduta inicial em vítimas de queimadura.
Introdução 15 Animais Peçonhentos: são descritas as informações para o reconhecimento de animais peçonhentos e as condutas iniciais em caso de acidente com os mesmos.
Emergências Clínicas: são abordados o reconhecimento e as medidas iniciais relacionadas ao desmaio, às crises convulsivas, a dor torácica, ao acidente vascular encefálico e à hipoglicemia.
Transporte da Vítima: são abordados os cuidados e diferentes técnicas de transporte de vítimas sem história de trauma e com história de trauma.
O
O
b
b
j
j
e
e
t
t
i
i
v
v
o
o
s
s
_16
2 OBJETIVOS
Este estudo teve como objetivos:
• Elaborar e validar instrumentos de avaliação de um website para a análise da qualidade estrutural, de conteúdo e navegabilidade.
M
M
a
a
t
t
e
e
r
r
i
i
a
a
l
l
e
e
M
M
é
é
t
t
o
o
d
d
o
o
_17 3 MATERIAL e MÉTODO
Trata-se de estudo aplicado sobre a análise de um website educacional em Primeiros Socorros utilizado como recurso didático aos alunos do 1º ano de Curso de Graduação em Enfermagem da UNIFESP. O estudo foi aprovado pelo Comitê de Ética em Pesquisa da UNIFESP (ANEXO 1).
3.1 Referencial teórico
Para o desenvolvimento deste estudo, adotou-se o método de avaliação heurística proposto por Nielsen em 1990. Este consiste na avaliação de interfaces para a detecção de problemas relacionados à sua usabilidade, ou seja, relacionados à sua qualidade de uso. Trata-se de um método simples, na qual um grupo de no mínimo de três a cinco avaliadores experientes realizam a avaliação de uma interface de maneira independente, para que não sejam influenciados pela opinião dos demais avaliadores. Para o processo, é utilizado um instrumento estruturado para a documentação da avaliação que contém questões sobre as dez heurísticas, conforme já descrito anteriormente.33
As heurísticas descritas por Nielsen podem ser utilizadas na avaliação de qualquer tipo de interface, pois caracteriza-se por um sistema genérico de avaliação. Para o desenvolvimento deste estudo, julgou-se ser de extrema importância a realização da avaliação de outros aspectos. Para tanto, de acordo com o contexto de uso do website em Primeiros Socorros, decidiu-se realizar a avaliação nos seguintes aspectos e seus respectivos critérios:
Qualidade estrutural do website: autoridade e propósito, aparência geral do website, consistência e padrões, funcionalidade e navegabilidade, conteúdo e erros.
Qualidade da informação: apresentação e conteúdo geral, capítulos (legibilidade, clareza e objetividade; fotos, figuras e animações; vídeos e áudio; e adequação do conteúdo para suas necessidades).
Material e Método 18 e sua apreensão, capítulos (legibilidade, clareza e objetividade; fotos, figuras e animações; vídeos e áudio; e adequação do conteúdo para suas necessidades).
3.2 Coleta de dados
Após a definição do contexto de uso do website e dos critérios de avaliação, a coleta de dados foi realizada conforme a descrição das seguintes etapas:
1ª Etapa – Elaboração de instrumentos de avaliação do website
Para a avaliação do website, três aspectos distintos de sua qualidade foram analisados. Assim, três instrumentos diferentes foram elaborados para que fosse possível analisar os seguintes aspectos:
Qualidade estrutural do website,
Qualidade da informação disponibilizada e Qualidade de navegação.
A criação desses instrumentos foi necessária pela inexistência de um instrumento de avaliação de website traduzido e validado no Brasil. Sua construção foi realizada, tendo como referencial alguns instrumentos e modelos de avaliação utilizados em outros países, tais como: Health-Related Web Site Evaluation Form 39, System Usability Scale40, Heuristic Evaluation33 e o HONcode35.
Para a mensuração de cada item de avaliação, foi utilizada escala de medida Likert pela possibilidade de reconhecer a oposição entre os contrários, além de reconhecer o gradiente e situações intermediárias.41 O intervalo considerado na
escala de cada item de avaliação foi de 5 a 1, e os conceitos referentes à escala variaram, de acordo com o critério de avaliação, conforme a descrição:
- (5) excelente, (4) muito bom, 3 bom, 2 regular, 1 ruim; ou
Material e Método 19 Para a avaliação da qualidade estrutural do website, foram considerados os seguintes critérios: autoridade e propósito de website, sua aparência geral, suas consistências e padrões, sua funcionalidade e navegabilidade, seu conteúdo e os aspectos relacionados aos erros. (Apêndice 1)
Dentre os critérios para a avaliação da qualidade das informações, foram considerados: a apresentação e o conteúdo geral. Na avaliação dos conteúdos específicos, consideraram-se a legibilidade, a clareza e a objetividade das informações, a qualidade das ilustrações (fotos, figuras e animações), dos vídeos e do áudio e a adequação do conteúdo. (Apêndice 2)
Na avaliação da qualidade de navegação, considerou-se: a aparência geral do website, a facilidade de navegação, a atitude do usuário perante o website, a adequação do conteúdo; na avaliação dos conteúdos específicos, consideraram-se a legibilidade, clareza e objetividade das informações, qualidade das ilustrações (fotos, figuras e animações), qualidade dos vídeos e do áudio e a adequação do conteúdo. (Apêndice 3)
Em cada critério de avaliação, foram incluídos itens para determinar a qualidade do site no aspecto avaliado por meio da escala estipulada e ao final de cada critério foi disponibilizado um espaço, para que o avaliador pudesse redigir sua opinião e sugestões sobre a avaliação.
2ª Etapa – Validação dos instrumentos de avaliação do website
Após a elaboração dos três instrumentos, estes foram submetidos à análise de consenso com o objetivo de validar seu conteúdo. O processo enfoca a adequação da cobertura da área de conteúdo a ser medido.42 Para determinar a
validade de conteúdo dos instrumentos, cada item da avaliação foi analisado por meio de um roteiro, observando-se os seguintes aspectos43 (Apêndice 4, 5, 6):
Relação de cada item de avaliação com seu respectivo critério de avaliação,
Material e Método 20 Domínio de conteúdo.
A escala considerada no roteiro de avaliação foi de 1 a 4, e as correspondências entre os valores numéricos e conceituais estipulados foram: (1) sem relação, (2) pouca relação, (3) tem relação e (4) muita relação. E, ao final de cada critério, foi disponibilizado um espaço, para que o avaliador pudesse redigir sua opinião e sugestões sobre a análise dos itens de avaliação.
Para analisar cada instrumento, optou-se por utilizar uma amostra de conveniência constituída de 15 profissionais, sendo cinco da área de informática, cinco da área da saúde e cinco professores de ensino superior. Os critérios de seleção dos profissionais de cada área para compor a amostra foram, conforme a descrição a seguir:
- Para Avaliação da Qualidade Estrutural do website:
Ser profissional da área de informática com formação superior;
Possuir experiência mínima de cinco anos na elaboração de websites; e Pertencer a uma instituição reconhecida na área da informática.
- Para Avaliação da Qualidade da Informação do website: Ser enfermeiro ou médico;
Possuir experiência mínima de cinco anos no ensino de SBV ou na área de Emergência; e
Pertencer a uma instituição reconhecida na área da saúde.
- Para Avaliação da Qualidade de Navegação: Ser professor de ensino superior;
Possuir experiência mínima de cinco anos de atuação em Educação de nível superior (ensino presencial ou à distância); e
Pertencer a uma instituição reconhecida na área do ensino.
Material e Método 21 etapas do estudo. Após a obtenção da resposta favorável à participação do estudo, agendou-se um encontro entre a pesquisadora e o profissional para a assinatura do Termo de Consentimento Livre e Esclarecido (Anexo 2), e o fornecimento dos impressos de avaliação. Além disso, o profissional receberia as orientações de seu preenchimento e, também, seria possível sanar suas dúvidas.
Solicitou-se que a análise fosse realizada no período de até 15 dias, após o recebimento dos impressos e que, ao término desse processo, o avaliador contatasse a pesquisadora por e-mail ou por telefone para devolução do material.
Para validação de cada instrumento, determinou-se o valor ≥ 0,70 como Limite de Segurança (LS). O cálculo para a obtenção do LS de cada instrumento, consistiu na relação entre os escores totais (Et), somatória de todas as pontuações determinadas pelos avaliadores, e escore máximo (Em) que representa a somatória da pontuação máxima possível em cada instrumento.
A correção de cada item dos instrumentos de avaliação do website foi realizada, de acordo com as sugestões feitas pelos profissionais e também, de acordo com a pontuação alcançada pelos mesmos, obtendo-se a versão final dos instrumentos, conforme Apêndice 7, 8 e 9.
3ª Etapa - Avaliação da qualidade do website
Após a validação dos instrumentos, estes foram utilizados para realizar a avaliação do website por dez profissionais e por alunos do curso de graduação em Enfermagem da UNIFESP por meio de amostra de conveniência. Dentre os profissionais, cinco eram da área de informática e cinco da área da saúde.
Os profissionais foram selecionados por meio de busca ativa em instituições reconhecidas na cidade de São Paulo, de acordo com critérios de inclusão da amostra, conforme a descrição a seguir:
- Avaliação da Qualidade Estrutural do website:
Material e Método 22 Possuir experiência mínima de cinco anos na elaboração de websites; e Pertencer a uma instituição reconhecida na área de informática.
- Avaliação da Qualidade da Informação do website: Ser enfermeiro ou médico;
Possuir experiência mínima de cinco anos, como instrutor de BLS ou Emergência; e
Pertencer a uma instituição reconhecida na área da saúde.
- Avaliação da Qualidade de Navegação.
Aluno regularmente matriculado no 1º ano do curso de graduação em Enfermagem da Universidade Federal de São Paulo - UNIFESP
Inicialmente, o estabelecimento de contato com os profissionais foi realizado por telefone, no qual foram explicados os objetivos e as etapas do estudo. Após a obtenção de resposta favorável à participação no estudo, e com a assinatura do Termo de Consentimento Livre e Esclarecido (Anexo 3), solicitou-se o endereço eletrônico do profissional, para que fosse realizado seu cadastramento para acesso ao website em Primeiros Socorros. Nesse momento, também foi combinado um encontro entre a pesquisadora com o profissional para o fornecimento dos impressos de avaliação, o Termo de Consentimento Livre e Esclarecido e para que o profissional recebesse as orientações de preenchimento, bem como, para que as possíveis dúvidas fossem esclarecidas.
Solicitou-se que a análise fosse realizada no período de até 15 dias após recebimento dos impressos; e, ao término desse processo, o avaliador contatasse a pesquisadora por e-mail ou telefone para devolução do material.
Material e Método 23 pesquisadora nessa mesma ocasião, e que o instrumento respondido fosse entregue à pesquisadora no último dia de aula da disciplina.
3.3 Tratamento e Análise dos dados
As análises dos resultados obtidos na avaliação da qualidade do website foram realizadas, conforme a descrição a seguir:
- Análise de Concordância.
O método Kappa44 foi aplicado para realizar a análise de concordância das respostas obtidas dos profissionais da área de informática e da saúde sobre a avaliação da qualidade do website.
O método Kappa é indicado para analisar se uma dada caracterização/classificação de um objeto é confiável. Para tanto, é necessário que esse objeto seja caracterizado ou classificado várias vezes por mais de um juiz. Para descrever a intensidade da concordância entre dois ou mais juízes, verifica-se quantidade de respostas concordantes, ou seja, o número de casos, cujo resultado é o mesmo entre os juízes44.
Material e Método 24
- Análise de Consistência Interna
Para analisar as respostas dos alunos sobre a avaliação da qualidade do website, realizou-se a análise de consistência interna por meio do coeficiente Alfa de Cronbach41. Esse coeficiente é usado para avaliar quão bom é um indicador, quando este é formado pela simples soma de pontos de vários itens.
A confiabilidade medida pelo Alfa de Cronbach, refere-se unicamente à consistência interna do indicador, ou seja, se as medidas dos itens avaliados associam-se coerentemente com a soma do escore final. Seus valores variam de zero a um, e quanto maior seu valor, melhor é sua confiabilidade. Os itens que não apresentam coerência com o escore final podem ser retirados da avaliação, quando influenciam no acréscimo ou decréscimo importante do valor de Alfa de Cronbach ou quando há correlação negativa de cada item com o escore.
Após a análise da confiabilidade, obteve-se um indicador (escore) para analisar a qualidade do website, partindo do ponto de vista dos alunos.O escore de cada aluno foi obtido pela soma dos resultados dos 65 itens que foram incluídos na avaliação da análise de consistência interna. Como as respostas de cada item poderiam variar de 1 a 5, o valor mínimo desta soma foi de 65 e o máximo de 325. Desta forma, foi possível criar a medida adimensional em porcentagem (0% a 100%), utilizando a seguinte fórmula: escore = (soma do escore obtido pelo aluno – 65)/(325 - 65).
Valores de Kappa Interpretação
< 0 Não concordante
0-0,19 Pouco concordante
0,20-0,39 Razoavelmente concordante
0,40-0,59 Moderadamente concordante
0,60-0,79 Substancialmente concordante
Material e Método 25 Para a análise da qualidade do website segundo a opinião dos alunos, consideraram-se os seguintes intervalos do escore:
- Escore ≤ 67% - Website de qualidade insatisfatório
- Escore ≥ 68% a ≤ 78% - Website de moderado qualidade - Escore ≥ 79% a ≤ 89% - Website de boa qualidade
- Escore% ≥ 90% - Website de excelente qualidade
A relação entre os escores, a idade e o sexo dos alunos foi analisada, aplicando-se o teste de correlação de Spearman46. O teste t de Student 47 foi aplicado para comparar o escore entre os grupos que haviam ou não participado de cursos de SBV, previamente à avaliação. O nível de significância dos testes considerados foi de 5%, ou seja, as diferenças foram consideradas significativas se o nível descritivo do teste (valor de p) fosse menor que 0,05.
R
R
e
e
s
s
u
u
l
l
t
t
a
a
d
d
o
o
s
s
_26 4 Resultados
Os resultados estão descritos, de acordo com as etapas desenvolvidas nesta pesquisa.
4.1 Validação dos instrumentos de avaliação do website
Nesta etapa, cada um dos três instrumentos elaborados para a avaliação do website foram analisados por cinco profissionais, conforme sua categoria. Os profissionais da área de informática realizaram a validação do Instrumento de avaliação do website - Categoria: Profissionais de Informática, os profissionais da área da saúde, a validação do Instrumento de avaliação do website - Categoria: Profissionais de Saúde e os professores de ensino superior avaliaram o Instrumento de avaliação do website - Categoria: Aluno.
Cada instrumento foi analisado quanto à: relação, relevância e domínio de conteúdo de cada item conforme o critério de avaliação proposto. O cálculo dos valores do LS de cada instrumento mostrou que a somatória foi ≥ 0,70 em todos, indicando que estavam apropriados, conforme descrição a seguir:
4.1.1 Instrumento de Avaliação – Categoria Profissional de Informática
A média dos escores totais (Et) de cada profissional foi de 408,6 (min: 368; máx: 468; DP ± 16,73). Considerando que o escore máximo possível foi de 504, o valor do LS foi de 0,81. (Figura 1)
Figura1. Distribuição dos Et, segundo cada profissional de informática. UNIFESP, São Paulo, 2009.
0 100 200 300 400 500 Escores Totais
1 2 3 4 5
Resultados 27 Conforme os comentários e sugestões dos profissionais sobre o instrumento de avaliação, alguns itens deveriam ser adaptados em razão da falta de clareza. Portanto, foram realizadas modificações nos itens 2b, 3a, 3b, 3e, 4b e 4e, conforme descrição a seguir:
2b - versão inicial: a utilização das cores respeita o código de cores. - versão final: a utilização das cores está adequada.
3a - versão inicial: o padrão de formatação das páginas e menus é consistente e uniforme em todo o programa.
- versão final: o padrão de formatação das páginas e menus é coerente, possuem fundamentos, não são contraditórios e são uniformes em todo o programa.
3b – versão inicial: as técnicas para chamar a atenção do usuário são adequadas e são utilizadas somente em condições especiais.
- versão final: as técnicas para chamar a atenção do usuário são adequadas
3e – versão inicial: as informações foram agrupadas de maneira lógica. - versão final: as informações foram agrupadas de maneira lógica em todas as páginas.
4b – versão inicial: a identificação do propósito dos links disponíveis é adequada.
- versão final: a identificação dos links disponíveis é adequada.
4e – versão inicial: são disponibilizados meios para “desfazer” uma ação. - versão final: são disponibilizados meios para “desfazer” uma ação (voltar de uma tela a outra).
4.1.2 Instrumento de Avaliação – Categoria Profissional da Saúde:
Resultados 28
Figura 2. Distribuição dos Et, segundo cada profissional de saúde. UNIFESP, São Paulo, 2009.
Os profissionais sugeriram a adaptação dos itens 1d e 1e do instrumento de avaliação em razão do uso de termo incorreto e para melhorar a descrição do item, respectivamente.
1d – versão inicial: os temas abordados são adequados e suficientes para a capacitação dos alunos em primeiros socorros.
- versão final: os temas abordados são adequados e suficientes para informar os alunos a respeito de primeiros socorros.
1e – versão inicial: as questões do capítulo Avaliação são adequadas. - versão final: as questões do capítulo Avaliação são adequadas e estão de acordo com os conteúdos apresentados.
Em relação ao critério de avaliação 2 denominado como Capítulo, foi sugerido a elaboração de um quadro que agrupasse em uma única página a lista de todos os capítulos e os itens de avaliação, com o intuito de facilitar o processo de avaliação do website.
4.1.3 Instrumento de Avaliação – Categoria Aluno:
A média dos Et foi de 199,6 (min: 143; máx: 244; DP ± 3), considerando que o escore máximo possível foi de 252, o valor do LS foi de 0,79. (Figura 3)
0 20 40 60 80 100 120
Escores Totais
1 2 3 4 5
Resultados 29
Figura 3. Distribuição dos Et, segundo cada professor de ensino superior. UNIFESP, São Paulo, 2009.
Conforme os comentários e sugestões dos profissionais, os itens 1b, 2a, 2b, 2c, 3a, 3b, 4a, 4b, 4c, 4d e 4e deveriam ser corrigidos quanto a maneira de escrita, e os itens 2d, 2e e 3c deveriam ser locados em outro critério de avaliação. Portanto, foram realizadas modificações nesses itens, de acordo com a descrição a seguir:
1b – versão inicial: as informações do website estão distribuídas de maneira lógica e clara, facilitando a sua manipulação por usuários comuns.
- versão final: as informações do website estão distribuídas de maneira lógica e clara, facilitando a sua localização pelo aluno.
2a – versão inicial: a organização das informações no site é...
- versão final: a organização das informações no site está adequada. 2b – versão inicial: a distribuição dos ícones nas telas do site é...
- versão final: a distribuição dos ícones nas telas do website está adequada.
2c – versão inicial: a navegação no website: página a página ou de um link para o outro é...
- versão final: a navegação no website: página a página ou de um link para o outro está adequada.
3a – versão inicial: sua receptividade em relação ao website foi:
- versão final: sua disposição para utilizar o website como ferramenta de estudo foi muito boa.
0 50 100 150 200 250
Escores Totais
1 2 3 4 5
Resultados 30 3b – versão inicial: como você classificou a sua motivação para navegar no
website:
- versão final: sua motivação para navegar no website foi muito boa. 4a – versão inicial: o seu conhecimento sobre o conteúdo antes de iniciar o
Disciplina de Suporte Básico de Vida era:
- versão final: o seu conhecimento prévio sobre SBV antes de iniciar a disciplina era muito bom.
4b – versão inicial: como você classifica o seu aprendizado ao fim do estudo por meio do site:
- versão final: o seu aprendizado em SBV ao fim do estudo por meio do website foi adequado.
4c – versão inicial: os objetivos do site ficaram claros no início do estudo. - versão final: o website é adequado para a utilização como ferramenta de aprendizagem.
4d – versão inicial: a compreensão da estrutura do site desde a navegação inicial é...
- versão final: a compreensão da estrutura do site desde a navegação inicial é adequada.
4e – versão inicial: a divisão dos capítulos é...
- versão final: a divisão do conteúdo em Capítulos favorece o aprendizado em SBV
Em relação ao critério de avaliação 5 - Capítulo, na qual o conteúdo de cada capítulo do website seria avaliado separadamente, decidiu-se adaptar a estrutura de sua avaliação, no formato de quadro pela possibilidade de simplificar o processo, facilitando assim seu preenchimento. Essa adaptação foi realizada nos instrumentos de avaliação – categoria profissional da área da saúde e também no instrumento de avaliação – categoria alunos.
4.2 Avaliação da qualidade do website
Resultados 31 4.2.1 Avaliação da qualidade estrutural do Website – Profissional de
Informática
A avaliação da qualidade estrutural do website foi realizada por cinco profissionais de informática, cujas respostas são apresentadas nos dados da Tabela 1.
Tabela 1. Respostas dos profissionais de informática segundo as categorias dos escores. UNIFESP, São Paulo, 2009.
Observou-se que houve variação nas respostas obtidas pelos profissionais de informática, apesar da maioria deles ter concordado em parte ou plenamente com os itens de avaliação. Do total de cinco profissionais, quatro responderam concordar plenamente entre 35,0% a 72,5% dos itens de avaliação. Os cinco profissionais assinalaram o escore concordo em parte entre 10,0% a 55,0% dos itens de avaliação. Quatro profissionais responderam nem concordar e nem discordar em 5,0% a 27,0% dos itens avaliados. Quatro profissionais discordaram em parte dos itens de avaliação entre 2,5% e 5,0% e quatro discordaram plenamente entre 5,0% e 20,0% dos itens de avaliação.
Em relação aos comentários e sugestões feitas pelos profissionais que assinalaram, sobretudo os escores, discordo em parte ou discordo totalmente, foram sugeridas as seguintes correções para a melhoria do website, de acordo com o critério de avaliação:
Autoridade e propósito: realizar a atualização do logo da UNIFESP e colocá-lo no cabeçalho do website, além de disponibilizá-lo como link
Profissional de Informática
1 2 3 4 5
Categoria do Escore n % n % n % n % n %
Discordo plenamente - - 3 7,5 2 5,0 5 12,5 8 20,0
Discordo em parte 2 5,0 - - 1 2,5 2 5,0 2 5,0
Nem concordo, nem
discordo 2 5,0 3 7,5 2 5,0 - - 11 27,5
Concordo em parte 22 55,0 15 37,5 6 15,0 4 10,0 19 47,5
Concordo plenamente 14 35,0 19 47,5 29 72,5 29 72,5 - -
Resultados 32 para o usuário ser direcionado para a homepage ao clicar em sua imagem. A descrição sobre a formação dos autores do website, também foi sugerida.
Aparência geral do website: atualizar o design do website, bem como das imagens, principalmente fotos e vídeos, por possuírem aparência antiga. Alterar o padrão de cores e fontes utilizadas para tornar a navegação mais agradável. Além de incluir animações em flash para tornar o website mais dinâmico e melhorar a distribuição dos ícones que em alguns momentos torna a navegação confusa.
Funcionalidade e navegabilidade: sugeriu-se atenção às mensagens do tipo: “Em breve, estaremos respondendo”. Além de melhorar a distribuição dos ícones, pois não estão bem distribuídos e isso poderia confundir o usuário.
Conteúdo: possibilitar que as imagens ilustrativas ampliem-se ao clique do usuário para facilitar sua visualização.
Para análise da concordância das respostas obtidas pelos profissionais de informática, aplicou-se o método de análise Kappa. De modo geral, observou-se que não houve evidências de concordância entre as respostas dadas pelos cinco avaliadores, uma vez que o valor de Kappa foi de 0,047 (p= 0,137; IC=-0,015 a 0,11). Nos dados da Tabela 2 são apresentados os resultados da concordância das respostas segundo as categorias de escores.
Tabela 2. Valores do Índice de Kappa para as categorias dos escores. UNIFESP, São
Paulo, 2009.
categorias
medidas
Discordo
plenamente Discordo em parte concordo, Nem nem discordo
Concordo em
parte plenamente Concordo
Kappa 0,267 0,038 -0,038 -0,0060 0,052
p-valor <0,001 0,45 NA* NA* 0,295
IC 95% 0,169 a 0,365 -0,06 a 0,136 -0,136 a 0,06 -0,104 a 0,092 -0,046 a 0,15
Resultados 33 Os dados obtidos por meio do valor de Kappa, das variações existentes nas respostas e as sugestões obtidas pelos profissionais de informática, indicam que a estrutura do website deve ser adequada para torná-la mais “moderna” e de fácil compreensão da sua estrutura, bem como fornecer recursos para tornar mais simples a navegação.
4.2.2 Avaliação da qualidade de conteúdo do Website – Profissional da Área de Saúde
Assim como na avaliação da qualidade estrutural do website, a avaliação da qualidade do conteúdo das informações do website foi realizada por cinco profissionais da saúde. Nos dados da Tabela 3, são apresentadas as distribuições das frequências das categorias dos escores de resposta de cada avaliador.
Tabela 3. Respostas dos profissionais de saúde segundo categoria do escore. UNIFESP, São Paulo, 2009.
Verificou-se que as respostas obtidas pelos profissionais da área da saúde foram de maneira geral mais uniforme, não sendo observadas respostas da categoria discordo plenamente ou discordo em parte. A frequência da resposta concordo plenamente variou de 29,9% a 94,7% e concordo em parte foi de 5,3% a 52,6%. Somente dois avaliadores assinalaram a categoria de escore nem concordo e nem discordo com frequência que variou de 10,5% a 17,5%.
Profissionais da Saúde
1 2 3 4 5
Categoria dos escores n % n % n % n % n %
Discordo plenamente ou
Ruim - - - -
Discordo em parte ou Regular
- - - -
Nem discordo, nem concordo ou
Bom - - - - 6 10,5 10 17,5 - -
Concordo em parte ou
Muito bom 3 5,3 26 45,6 24 42,1 30 52,6 6 10,5
Concordo plenamente ou
Excelente 54 94,7 31 54,4 27 47,4 17 29,9 51 89,5
Resultados 34 Apesar da maioria dos escores assinalados pelos profissionais indicarem que o conteúdo do website é adequado, foram apontadas sugestões para adaptação de alguns detalhes das informações para torná-las mais apropriadas. A descrição destes é feita a seguir, de acordo com os critérios de avaliação:
Apresentação e conteúdo geral: disponibilizar links que direcionem o usuário para a página inicial do capítulo e separar as informações referentes a crianças e adultos em módulos distintos, para facilitar a navegação e a localização das informações.
Capítulo - Avaliação da vítima: corrigir as imagens que mostram socorristas sem luvas de proteção e dispositivos de barreira na realização de ventilação boca a boca.
Capítulo – Ressuscitação cardiorrespiratória: disponibilizar o link sobre o desfibrilador automático externo (DEA), de maneira que o mesmo seja de fácil identificação. Corrigir o posicionamento do DEA no vídeo e incluir informações sobre a utilização de suas pás em crianças. Corrigir informações sobre a verificação de sinais de circulação sanguínea e frisar que a checagem do pulso não deve retardar o início das compressões torácicas externas.
Capítulo – Obstrução de vias aéreas: incluir informações sobre edema de glote, e o que se deve fazer em caso de insucesso na aplicação das manobras de desobstrução. Acrescentar figuras e link de vítimas com obstrução de vias aéreas inconscientes. Melhorar as informações do áudio no vídeo de desobstrução das vias aéreas em bebê.
Capítulo - Ferimentos: incluir informações sobre a retirada de objetos encravados na região das bochechas.
Resultados 35 Capítulo - Queimaduras: incluir informações sobre a queimadura solar e como realizar proteções das áreas queimadas para a prevenção de infecções. Evidenciar as informações sobre o resfriamento do local queimado e a retirada de adornos.
Capítulo - Intoxicação: incluir nas páginas do website o contato telefônico do Centro de controle de intoxicações e do Centro de assistência toxicológica. Nas orientações sobre a retirada do excesso de produtos tóxicos da vítima, incluir a orientação sobre retirar seu excesso com um pano antes de lavar o local com água, pois alguns produtos em contato com a água podem agravar a lesão.
Capítulo – Animais peçonhentos: incluir imagens ilustrativas sobre lesões relacionadas a acidentes com animais peçonhentos e corrigir as orientações sobre o reconhecimento de serpentes peçonhentas.
Capítulo – Emergências clínicas: incluir imagens ilustrativas e verificar os níveis de normalidade de glicemia no texto em pdf.
Capítulo - Transporte: corrigir imagens que mostram socorristas sem luvas de proteção e retirar a imagem sobre o transporte de vítima com história de trauma sem a prancha rígida.
Outras sugestões: incluir as referências bibliográficas, padronizar a linguagem técnica e leiga e rever as questões 24 e 30 dos testes.
Resultados 36
Tabela 4. Valores do Índice de Kappa para as categorias dos escores. UNIFESP, São
Paulo, 2009.
Nem concordo,
nem discordo Concordo em parte plenamente Concordo
Valor de Kappa -0,026 -0,054 -0,078
p-valor NA* NA* NA*
IC 95% -0,108 a 0,056 -0,136 a 0,028 -0,16 a 0,0040
* NA - Não se aplica
Por meio das respostas obtidas dos profissionais da área da saúde, observou-se que embora não exista concordância entre as respostas dos avaliadores no valor de Kappa, não foram obtidas as respostas discordo em parte ou discordo plenamente. A ausência de concordância observada no valor de Kappa, pode ter ocorrido em razão da variação das respostas dadas pelos profissionais entre os escores nem concordo, nem discordo; concordo em parte e concordo plenamente. De modo geral pode-se considerar que a qualidade das informações do website é adequada, pois as respostas obtidas pelos profissionais variaram predominantemente entre concordo em parte/ muito bom e concordo plenamente/ excelente.
4.2.3 Análise de Consistência interna do instrumento de avaliação do website – categoria alunos
