Avaliação realizada com especialistas em aplicações educacionais

Com o objetivo de dar sustentação à validação do Modelo Conceitual proposto nesta tese, foi conduzida uma avaliação do Modelo a partir da avaliação da percepção de dois especialistas que desenvolvem pesquisas sobre ferramentas de apoio à educação online. As opiniões desses especialistas são apresentadas nas subseções que seguem.

6.4.1 Planejamento das Entrevistas e Instrumento de Coleta

Para a avaliação do Modelo Conceitual proposto nesta tese junto aos especialistas de domínio foi feita uma seleção intencional baseada no julgamento da pesquisadora, onde foram considerados potenciais interessados em participar deste estudo. A seleção dos interessados considerou um perfil de pesquisador com experiência acadêmica de, pelo menos, 10 anos; sua atuação em projetos de pesquisas relacionadas ao tema deste trabalho; sua participação como líder em

projetos de pesquisa e implantação de ferramentas de apoio à educação online e também a disponibilidade e interesse em participar deste estudo.

Em um contato inicial por e-mail, foi feita uma apresentação geral do projeto e dos objetivos desta avaliação. Após concordar em participar, as entrevistas foram agendadas com dois pesquisadores que atenderam ao perfil desejado. As entrevistas tiveram um caráter informal com interrupções previstas para esclarecimentos e discussões pertinentes. As sessões duraram, em média, 2 horas e 30 minutos e foram gravadas com a permissão dos participantes. Também foram realizadas anotações durante as entrevistas. Um dos entrevistados desconhecia o projeto e para facilitar sua avaliação, foram enviados, antecipadamente, artigos publicados pela pesquisadora e a apresentação em slides que foi utilizada durante a entrevista. O segundo participante já tinha conhecimento sobre o projeto dada uma colaboração pontual em uma parceria no início do desenvolvimento do mesmo.

O instrumento de coleta de dados utilizado consiste de seis questões não estruturadas, que são apresentadas na próxima Seção. Para avaliação das respostas dos gestores foi realizada a análise de conteúdo sobre os dados obtidos. O instrumento de coleta de dados utilizado encontra-se no Apêndice F.

6.4.2 Caracterização da Amostra

Participaram desta avaliação dois pesquisadores doutores que desenvolvem, ativamente, pesquisas sobre ferramentas de apoio à educação online, sendo ambos do gênero feminino. Os perfis dos entrevistados são apresentados no Quadro 6.5.

Quadro 6.59_– Perfis dos especialistas entrevistados. Fonte: elaborado pela autora.

Pesquisador 1 Pesquisador 2

Formação

acadêmica Graduação, mestrado e doutorado em Ciência da Computação.

Graduação engenharia elétrica, mestrado e doutorado em Ciência da Computação.

Tempo de experiência

19 anos com pesquisas relacionadas ao desenvolvimento de ferramentas para apoio à educação online; e,

6 anos como gestora de projetos e de equipes de implantação de soluções para apoio à educação online.

19 anos com pesquisas relacionadas à Educação a Distância;

11 anos como gestora de projetos de pesquisa e de equipes de implantação de ferramentas

Pesquisador 1 Pesquisador 2

Áreas de pesquisa

Educação a Distância; Aprendizagem

Colaborativa Apoiada por Computador; Agentes de interface/sistemas multiagentes; Usabilidade;

Design de sistemas aprendizagem colaborativa;

Acessibilidade; Recursos educacionais abertos interativos e Design e avaliação de jogos educacionais.

Educação a Distância; Teoria das Inteligências Múltiplas aplicada ao ensino na Educação a Distância; Tecnologias Educacionais e Acessibilidade.

Os resultados obtidos nas entrevistas com os pesquisadores são apresentados na Seção seguinte.

6.4.3 Resultados obtidos nas entrevistas com especialistas

A avaliação conduzida junto aos especialistas de domínio foi realizada com o objetivo de validar o Modelo Conceitual proposto nesta tese e foi organizada por meio de entrevista contendo três questões não estruturadas.

As respostas apresentadas para a Q1 indicam que ambos os entrevistados consideram que o Modelo proposto nesta tese é adequado para apoiar o desenvolvimento de aplicações educacionais analíticas. O pesquisador 1 comentou que a coleta de dados a partir das diferentes fontes utilizadas, assim como os serviços de análise disponíveis, torna o Modelo mais completo que os tradicionalmente propostos. O pesquisador 2 mencionou que considera que o contexto do usuário pode ser melhor definido a partir da coleta sob a abstração de redes de sensores híbrida e que as fontes previstas consistem de um conjunto amplo para aquisição de dados, possibilitando uma cobertura maior para a captura de contextos. O pesquisador 2 observou ainda que o Modelo prevê diferentes tecnologias para análises dos dados e possibilita a prospecção de dados a partir da detecção de relacionamentos entre variáveis, oferecendo um suporte mais adequado para a tomada de decisão nos diferentes níveis mencionados, especialmente atendendo às necessidades do gestor de EaD, que necessita de suporte tecnológico que o ajude a sistematizar suas práticas de gestão.

Na Q2 os participantes foram questionados sobre as etapas presentes no Modelo Conceitual, se elas são adequadas e suficientes para atender ao seu propósito de apoiar o desenvolvimento de ferramentas analíticas para suporte à tomada de decisão nos diferentes níveis e para os diferentes perfis. Ambos

entrevistados responderam que sim. O pesquisador 1 comentou que as etapas são satisfatórias e adequadas e considera que o Modelo é completo e atende aos perfis de aluno, tutor, professor e gestor educacional. Este pesquisador mencionou, ainda, que a implementação do Modelo a partir do framework satisfaz adequadamente quesitos de extensibilidade ao permitir a adição de novos componentes e a extensão dos componentes existentes. O pesquisador 2 comentou que o Modelo prevê as etapas essenciais à análise de dados educacionais com algumas vantagens que mencionou: ampla detecção de contextos dos usuários; diferentes modelos de análises, possibilitando o uso do Modelo, implementado a partir do framework, para atendimento às aplicações de LA com diferentes atuações, tais como personalização e avaliação; e, por conseguinte, apoia a tomada de decisão em diferentes níveis.

Sobre a validação do Modelo Conceitual proposto nesta tese, Q3, o pesquisador 1 concordou que a validação proposta é adequada, especialmente, por contemplar a avaliação do framework a partir da perspectiva de desenvolvedores. O pesquisador 2 também considerou que a avaliação conduzida a partir das percepções dos participantes (stakeholders) em relação ao sistema, somada à avaliação feita pelos desenvolvedores sobre o framework e também as opiniões de pesquisadores especialistas no domínio podem ser utilizadas para validar o Modelo Conceitual proposto neste trabalho. As discussões a respeito dos resultados obtidos são apresentadas na Seção seguinte.

6.4.4 Discussões sobre os resultados obtidos nas entrevistas com especialistas

Pesquisadores no domínio deste trabalho julgaram se o Modelo Conceitual, implementado a partir do framework proposto, e as aplicações desenvolvidas satisfazem aos objetivos de análise propostos. De acordo com as opiniões expressas e julgamentos feitos, o Modelo pode ser considerado satisfatoriamente validado e apoia a construção de ferramentas educacionais analíticas direcionadas para aprendizagem, para o ensino e/ou para a gestão educacional.

Ambos pesquisadores manifestaram-se satisfeitos com o Modelo quando questionados e também afirmaram que as etapas previstas apoiam, convenientemente, a construção de aplicações educacionais analíticas que podem

atender diferentes perfis de usuários e diferentes níveis de tomada de decisão em educação.

Dado o exposto, considera-se que na opinião dos participantes desta pesquisa, o Modelo Conceitual proposto nesta tese, implementado a partir do

framework de coleta de dados por meio de redes de sensores híbrida e métodos

análises a partir de modelos preditivo e semântico, pode ser utilizado por instituições de ensino para facilitar a compreensão sobre as etapas envolvidas na coleta e análise de dados educacionais, especialmente por apoiar a tomada de decisão em diferentes níveis (individual, curso/disciplina e gestão).

Com isso, é verdade afirmar que um sistema implementado a partir do Modelo Conceitual e framework propostos pode apoiar na previsão do sucesso/fracasso de estudantes; no monitoramento do desempenho acadêmico e aproveitamento escolar enquanto a disciplina está em andamento, permitindo intervenções e correções; em recomendações e orientações individuais definidas a partir da identificação do comportamento e preferências dos usuários; e na avaliação da aprendizagem.

6.5 Considerações Finais

Este capítulo descreveu em detalhes os procedimentos metodológicos utilizados nesta pesquisa. Foram apresentados o planejamento das entrevistas com cada uma das fontes de dados utilizadas, os resultados obtidos nas entrevistas e discussões sobre tais resultados.

As entrevistas foram realizadas com participantes que atuam nos diferentes níveis de decisão educacional. No nível micro, as avaliações com estudantes possibilitaram a verificação da proposição P1; no nível meso, as entrevistas realizadas com instrutores, possibilitaram a investigação da P2; no nível macro, gestores puderam atestar a veracidade da proposição P3. Desenvolvedores avaliaram o framework proposto, oferecendo suporte para corroborar a veracidade das proposições P4 e P5. Por fim, uma validação aparente foi conduzida com especialistas na área de pesquisa deste trabalho.