Procedimentos

A realização da revisão foi guiada de acordo com o método proposto por Kitchenham e Charters (2007). A seguir, serão apresentadas as principais decisões tomadas durante o estudo, o processo da busca, seleção e extração das informações dos estudos selecionados. Optou-se pela revisão sistemática, pois, de acordo com Dresch et al. (2015) tais estudos apoiam a percepção do pesquisador, em um processo de DSRM, sobre o problema a ser estudado. Isso pode ser realizado por meio de consultas a bases de conhecimento.

Uma das etapas essenciais no processo de Revisão Sistemática é a definição das questões de pesquisa que conduzem a busca dos documentos relevantes, permitindo posteriormente a seleção, análise e extração de dados (KITCHENHAM E CHARTERS, 2007). Considerando o objetivo proposto inicialmente, buscou-se responder a Questão Principal (QP) do estudo, descrita como: Quais as estratégias

de adaptabilidade no contexto de ubiquitous, pervasive e seamless learning?

Tal questão, direcionou a elaboração das strings de busca que serão descritas na próxima subseção. Os termos “pervasive” e “seamless” foram inseridos

considerando que em grande parte dos trabalhos da literatura são retratados como similares. Adicionalmente, Questões Secundárias (QS) foram usadas para nortear a

pesquisa e traçar um perfil das publicações existentes na literatura especializada, a saber:

▪ Qual a natureza das pesquisas que vêm sendo desenvolvidas na área? (QS1) ▪ Quais teorias são usadas para embasar o processo de adaptabilidade nesses

ambientes? (QS2)

▪ Quais os efeitos das estratégias de adaptabilidade no comportamento dos aprendizes? (QS3)

Dando continuidade, foram definidos dois critérios para a realização da busca de artigos: (1) disponibilidade dos estudos na web e (2) acesso gratuito aos documentos. A estratégia de busca e seleção inicial foi desenvolvida através do processo ilustrado na Figura 7.

Figura 7 – Estratégia de busca.

Fonte: A Autora.

Inicialmente, foi realizada uma busca manual dos trabalhos com base no conhecimento obtido anteriormente sobre o assunto. O objetivo foi identificar palavras que pudessem ser utilizadas como sinônimos dos termos. Com isso, foi gerada uma string de busca inicial. Com a string gerada, foi realizada uma busca automática com o intuito de verificar se os resultados identificados eram relevantes ou não. Inicialmente, os resultados não foram satisfatórios, com isso, novamente foi feita uma busca manual, gerando uma nova string de busca, e com esta nova string realizou-se uma nova busca automática. Ao identificar-se resultados relevantes foi dado início a seleção dos artigos.

As strings geradas foram revisadas pelos pesquisadores envolvidos, sua seleção ocorreu baseada na questão de pesquisa principal visando reduzir o erro e retornar o máximo de estudos possíveis. Foram utilizados 5 (cinco) engenhos de busca:

1. ACM Digital Library

2. IEEE Xplore Digital

3. Science Direct

4. SCOPUS

5. Springer Link

A partir daí, foram realizadas buscas de “teste” com objetivo de refinar as

strings identificadas. Elas foram então adaptadas de acordo com cada mecanismo

de busca, porém, sempre de forma a não alterar o seu sentido lógico. Dado a identificação de bons resultados, a seleção dos artigos se deu utilizando as strings de busca apresentadas no Quadro 8:

Quadro 8 – Strings de Busca utilizadas.

Base de Dados String de Busca

ACM ^{+("Seamless learning" "ubiquitous learning" "pervasive learning" "u-learning")+ (personalization} personalized customization customized adaptability adaptivity adaptation adaptive)

IEEE

(("seamless learning" OR "ubiquitous learning" OR "pervasive learning" OR "u-learning") AND (personalization OR personalized OR customization OR customized OR adaptability OR adaptivity OR adaptation OR adaptive))

Scopus

TITLE-ABS-KEY ( ( "seamless learning" OR "ubiquitous learning" OR "pervasive learning" OR "u-learning" ) AND ( personalization OR personalized OR customization OR customized OR adaptability OR adaptivity OR adaptation OR adaptive ) ) AND PUBYEAR > 2005 AND PUBYEAR < 2018

ScienceDirect

TITLE-ABSTR-KEY(("seamless learning" OR "ubiquitous learning" OR "pervasive learning" OR "u-learning") ) and TITLE-ABSTR-KEY((personalization OR personalized OR customization OR customized OR adaptability OR adaptivity OR adaptation OR adaptive)

SpringerLink

("seamless learning" OR "ubiquitous learning" OR "pervasive learning" OR "u-learning" ) AND (personalization OR personalized OR customization OR customized OR adaptability OR adaptivity OR adaptation OR adaptive)

Fonte: A Autora.

Após a identificação inicial, a inclusão de um artigo foi determinada pela relevância em relação às questões de investigação, considerando inicialmente o título e o resumo. Para isso, os seguintes critérios de Inclusão foram definidos:

▪ Artigos primários relacionados às questões de pesquisa (QP, QS1 a QS3) ▪ Artigos Completos

▪ Artigos publicados entre 2006 e 2017 ▪ Artigos em inglês

Os seguintes critérios de Exclusão foram definidos:

▪ Documentos escritos em idiomas diferentes do inglês;

▪ Artigos que não estivessem disponíveis livremente para consulta ou download (em versão completa) nas fontes de pesquisa ou por meio de busca manual; ▪ Estudos enquadrados como apresentações de slides, short papers, keynote,

speeches, cursos, tutoriais, workshops, dissertações e teses;

▪ Artigos repetidos (em mais de uma fonte de busca) tiveram apenas sua primeira ocorrência considerada;

▪ Trabalhos duplicados sobre o mesmo estudo foram considerados como equivalentes. O artigo mais recente foi mantido para análise, o mais antigo excluído. Quando ocorreram dúvidas quanto ao foco e resultados dos estudos (se similares, mesmos resultados ou não), eles foram mantidos para avaliação na próxima etapa.

A qualidade de um artigo pode ser mensurada pela relevância e pelo valor científico de seu conteúdo (KITCHENHAM e CHARTERS, 2007). Logo, a avaliação da qualidade dos estudos primários foi considerada, também, como um critério de exclusão aplicado durante a condução da pesquisa.

Ainda é um desafio a definição do que seja qualidade de estudo. A maioria dos checklists incluem questões que objetivam avaliar a extensão em que o erro é minimizado e a validação interna e externa são maximizadas (KITCHENHAM e CHARTERS, 2007). Desta forma, durante a análise dos estudos primários e coleta de resultados foram aplicados os critérios de qualidade. Isso permitiu um processo adicional de validação dos estudos. Com isso, foi possível identificar trabalhos a serem desconsiderados da pesquisa e observar o grau de importância dos estudos individualmente para quaisquer comparações durante a síntese dos dados.

Os critérios de qualidade (CQ) descrevem critérios abrangentes para cobrir o escopo dos estudos a serem considerados, com alterações para se adequarem aos objetivos e questões de pesquisa da revisão sistemática (KITCHENHAM e CHARTERS, 2007). Os critérios aplicados nesse trabalho são descritos a seguir, sendo aqui apresentados por categorias de acordo com os itens analisados:

Introdução

▪ (CQ1.1) Os objetivos ou questões do estudo são claramente definidos? ▪ (CQ1.2) O tipo de estudo está definido claramente?

Desenvolvimento

▪ (CQ2.1) Existe uma clara descrição do contexto no qual a pesquisa foi realizada?

▪ (CQ2.2) O estudo é adequadamente referenciado e discute os trabalhos relacionados?

▪ (CQ2.3) Apresenta claramente o método de pesquisa utilizado na pesquisa?

Conclusão

▪ (CQ3.1) O estudo apresenta e discute os resultados relativos ao objetivo/questão problema?

▪ (CQ3.2) Os objetivos ou questões do estudo são alcançados?

Questão principal investigada

▪ (CQ4.1) O estudo identifica alguma estratégia de adaptabilidade?

Após essas definições, iniciou-se o processo de avaliação dos estudos primários selecionados. Esse, ocorreu mediante uma condição: à medida que os estudos primários eram selecionados, estes eram lidos em totalidade e avaliados quanto aos critérios citados anteriormente. No intuito de avaliar o grau de adequação aos critérios estabelecidos, foi adotada uma estratégia de avaliação que utilizava a escala de Likert-5 permitindo respostas gradativas de 1 (discordo totalmente) a 5 (concordo totalmente), como apresentada no Quadro 9. Para auxiliar a avaliação, seguindo a escala de Likert-5, para cada critério de qualidade foram definidas algumas categorias.

Quadro 9 – Categorias das respostas referentes aos trabalhos

Categoria Descrição

Concordo totalmente (5) ^{Deve ser concedido no caso em que o trabalho apresente} no texto os critérios que atendam totalmente a questão.

Concordo parcialmente (4) ^{Deve ser concedido no caso em que o trabalho atenda} parcialmente aos critérios da questão.

Neutro (3) ^{Deve ser concedido no caso em que o trabalho não deixe} claro se atende ou não a questão.

Discordo parcialmente (2) ^{Deve ser concedido no caso em que os critérios contidos na} questão não são atendidos pelo trabalho avaliado.

Discordo totalmente (1) ^{Deve ser concedido no caso em que não existe nada no} trabalho que atenda aos critérios da questão.

Fonte: A Autora.

Em seguida, foi realizada uma soma para enquadrá-los em um dos cinco níveis de qualidade, de acordo com esta avaliação:

(i) Excelente: > 86%

(ii) Muito Bom: 66%-85% (iii) Bom: 46%-65%

(iv) Médio: 26%-45% (v) Baixo: <26%

Os artigos que ficaram com os níveis Excelente ou Muito Bom, foram selecionados para a fase de Extração de Dados, descrita a seguir.

Após a etapa de verificação da qualidade, os artigos selecionados foram inseridos no software QDA Miner para a extração e análise dos dados. Segundo Provalis Research (2020), essa ferramenta faz a análise qualitativa dos dados, e é utilizada para extrair informações de documentos. A extração dos dados contemplou as seguintes informações: Identificação do Estudo, Características Metodológicas, resultados do Estudo e observações referentes às questões de pesquisa.

Com relação à identificação do estudo, foram registradas as informações primárias do estudo tais como: título, fonte e autores. Sobre as características metodológicas foram identificados os tipos de abordagem utilizados para avaliar os artigos. A cerca dos resultados, buscou-se identificar os efeitos das estratégias no

comportamento dos aprendizes. Sobre as questões de pesquisa, a análise teve como foco identificar as estratégias de adaptabilidade.