TESTES DE SOFTWARE

UNIVERSIDADE PRESBITERIANA MACKENZIE PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E COMPUTAÇÃO

DOUGLAS ALMENDRO

OERTrust: UM FRAMEWORK PARA AFERIÇÃO DE CONFIABILIDADE EM RECURSOS EDUCACIONAIS ABERTOS BASEADO EM

TESTES DE SOFTWARE

São Paulo

2019

UNIVERSIDADE PRESBITERIANA MACKENZIE PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E COMPUTAÇÃO

DOUGLAS ALMENDRO

OERTrust: UM FRAMEWORK PARA AFERIÇÃO DE CONFIABILIDADE EM RECURSOS EDUCACIONAIS ABERTOS BASEADO EM

TESTES DE SOFTWARE

Tese apresentada ao Programa de Pós- Graduação em Engenharia Elétrica e Computação da Universidade Presbiteriana Mackenzie como parte dos requisitos parciais para a obtenção do título de Doutor em Engenharia Elétrica e Computação.

Orientador: Prof. Dr. Ismar Frango Silveira

São Paulo

2019

Bibliotecária Responsável: Marta Luciane Toyoda – CRB 8/ 8234

A448o

Almendro, Douglas

Oertrust: um framework para aferição de confiabilidade em recursos educacionais abertos baseados em testes de software / Douglas Almendro – São Paulo, 2019.

115 f.: il.; 30 cm.

Tese (Doutorado em Engenharia Elétrica e Computação) - Universidade Presbiteriana Mackenzie - São Paulo, 2019.

Orientador: Ismar Frango Silveira.

Bibliografia: f. 87-90.

1. Recursos educacionais abertos. 2. Engenharia de software. 3.

Testes. 4. Qualidade. I. Silveira, Ismar Frango, orientador. II.Título.

CDD 005.1

Às minhas queridas e amadas meninas, Margarete e Ágatha, pelo apoio incondicional e inspiração, que movem minha vida.

Aos meus pais, pelo incentivo e pela confiança na realização deste trabalho;

E, sobretudo, a Deus!

AGRADECIMENTOS

Ao Professor Dr. Ismar Frango Silveira, pela compreensão e ajuda, que me mostrou o melhor caminho, nos momentos mais críticos da realização deste trabalho;

Aos meus pais, Francisco Almendro Ubeda e Izolina Scocca Almendro, por sempre acreditarem em mim;

Aos meus avós maternos, Dorival Scocca e Irene Cacinelli Scocca, e paternos, João Antônio Almendro Pelegrina e Izabel Ubeda Navarro que, mesmo no oriente eterno, sempre me dão força nos momentos mais difíceis;

Às minhas queridas irmãs, Valquíria Olier Almendro, Rosana Olier Almendro, Lilian Almendro e Nathalia Almendro, pelo amor e carinho que sempre me deram;

À minha segunda mãe, Nezilda Novato da Silva, por sempre apoiar minha família, em todos os momentos;

Aos meus amigos do PPGEEC, Alcides Teixeira Barbos Junior, Pedro Cacique Braga, Vagner Silva, Jéssica Ribas, Julião Braga e Edie Santana. Juntos somos um;

Às Professoras e aos Professores do PPGEEC, Dr. Leandro Augusto da Silva, Dr. Nizam Omar, Dr

. Pollyana Notargiacomo, Dr. Paulo Batista Lopes, Dr. Pedro Paulo e Dr. Maurício Marangoni;

Ao secretário Yopanan Rocha e ao Professor Dr. Luciano Silva, da Faculdade de Computação e Informática do Mackenzie;

Ao Professor Dr. Luís Naito Mendes Bezerra, pelas oportunidades profissionais que sempre me deu e pelo incentivo para começar e terminar este Trabalho;

Ao Professor Dr. Carlos Fernando de Araújo Junior, Pró-Reitor de Educação a Distância da Universidade Cruzeiro do Sul, por abrir as portas da IES para mim;

Às Professoras e Professores da Cruzeiro do Sul Virtual, Dr

. Regina Tavares, Dr. Marcos Ota, Dr

. Andrea Borelli, Dr. Jaime Sandro da Veiga, Dr. Carlos Eduardo de Oliveira Garcia, Dr. Américo Soares Silva, Dr. Alberto Messias da Costa Souza, Me. Alessandra Fabiana Cavalcante e Me. Christian David Rizzato Petrini, que ajudaram nas diversas reuniões para a elaboração do Grupo Focal;

À secretária, Raiane Andrade Menino, por estar sempre à disposição;

Ao amigo e Professor Me. Alexander Gobbato Paulino Albuquerque, pela ajuda

no desenvolvimento do software OERTrust, disponibilizando todos os recursos para a

confecção desse software;

À Universidade Presbiteriana Mackenzie através do Programa de Pós- Graduação em Engenharia Elétrica e Computação (PPGEEC) que proporcionou a bolsa através do apoio do Fundo Mackenzie de pesquisa.

Meu mais sincero e profundo “obrigado”!

“Mas é preciso ter manha

É preciso ter graça

É preciso ter sonho sempre

Quem traz na pele essa marca

Possui a estranha mania

De ter fé na vida

Mas é preciso ter força

É preciso ter raça

É preciso ter gana sempre

Quem traz no corpo a marca

Maria, Maria

Mistura a dor e a alegria . ”

Milton Nascimento & Fernando Brant

RESUMO

Os Recursos Educacionais Abertos (REA) tornaram-se elementos de grande relevância para o ensino e a aprendizagem, quer presencial, híbrido ou a distância.

Sua flexibilidade faz com que sejam adequados para serem materiais de base para distintas situações de ensino e aprendizagem. Entretanto, questões relacionadas à garantia de qualidade dos REA tornam-se frequentes, levando-se em consideração a natureza de tais recursos, visto que admitem versionamento, o que pode incluir modificações substanciais que, porventura, impactem a confiabilidade do recurso. Isto posto, torna-se necessário discutir mecanismos sistêmicos para a garantia de qualidade de REA, considerando as possibilidades de sua revisão, redistribuição e remixagem. Para tanto, a execução de testes em tais recursos pode indicar um mecanismo de aferição de qualidade, sendo necessário para tal basear-se em Áreas do Conhecimento com embasamento teórico suficiente em testes, como é a Engenharia de Software. Nesse sentido, a presente Tese tem como objetivo verificar a aplicabilidade de um conjunto de testes, inspirados na Área de Engenharia de Software, aplicados à verificação de qualidade de REA. Para tanto, propõe-se e se implementa um Framework de suporte à aferição de qualidade de REA, denominado OERTrust, bem como se reinterpreta um conjunto de Testes da Engenharia de Software, adaptando-os para o âmbito de REA. Como prova de conceito, são realizados testes com especialistas e potenciais usuários em REA do tipo vídeo, para os quais se calcula um índice de confiabilidade iT, baseado nos princípios da Lógica Fuzzy, que indica uma tendência de qualidade do REA. Espera-se, com este Trabalho, trazer uma contribuição significativa para as discussões a respeito da garantia de qualidade de REA, cooperando para uma maior adoção efetiva deles, potencializando, assim, a democratização do acesso a materiais educativos de qualidade.

Palavras-chave: Recursos Educacionais Abertos, Engenharia de Software, Testes,

Qualidade.

ABSTRACT

Open Educational Resources (OER) have become important elements for teaching and learning, whether face-to-face, hybrid or distance education. Their flexibility makes them suitable to be basic materials for different teaching and learning situations.

However, issues related to OER quality assurance become frequent, taking into account the nature of such resources, as they allow for versioning, which may include substantial modifications that may have an impact on the reliability of the resource.

Therefore, it is necessary to discuss systemic mechanisms for OER quality assurance, considering the possibilities of revision, redistribution and remixing. To do so, the execution of tests in such resources may indicate a mechanism of quality assessment, being necessary to rely on areas of knowledge with sufficient theoretical basis in tests, such as Software Engineering.

In this sense, the present thesis aims to verify the applicability of a set of tests, inspired in the area of Software Engineering, applied to the quality verification of OER. In order to do so, it is proposed and implemented a framework to support the quality evaluation of REAs, called OERTrust, as well as to reinterpret a set of Software Engineering tests, adapting them to the OER scope. As a proof of concept, tests were carried out with experts and potential users in educational videos conceived as OER, for which an i

reliability index based on the principles of Fuzzy Logic is calculated, which indicates an OER quality trend.

With this work, we hope to make a significant contribution to the discussions about OER quality assurance, subsidising a more effective adoption of OER, thus enhancing the democratization of access to quality educational materials.

Keywords: Open Educational Resources, Software Engineering, Tests, Quality.

LISTA DE TABELAS

Tabela 1 – Descrição dos tipos de Testes de Software ... 35

Tabela 2 – Correlação autores e assuntos ... 43

Tabela 3 – Tipos de Testes de Software aplicáveis em REA (ALMENDRO; SILVEIRA, 2017) ... 46

Tabela 4 – Dados EDUCAR ... 53

Tabela 5 – Dados BIOE ... 54

Tabela 6 – Dados MERLOT ... 55

Tabela 7 – Questões comuns adquiridas no Grupo Focal ... 59

Tabela 8 – Comparativo dos Testes baseados em Engenharia de Software e aplicados ao REA vídeo ... 61

Tabela 9 – Valores tabulados para calibrar a Ferramenta OERTrust ... 65

Tabela 10 – Imagens de Relatórios – Pesquisa 1 de Telas com Gráficos sobre cada questão abordada ... 93

Tabela 11 – Imagens de Relatórios – Pesquisa 2 de telas com Gráficos

sobre cada questão abordada. ... 98

LISTA DE FIGURAS

Figura 1 – Metodologia ... 17

Figura 2 – Regra 10 de MYERS (adaptado de MYERS, 2013) ... 33

Figura 3 – Estratégia de Teste (PRESSMAN, 2011) ... 34

Figura 4 – Framework TIPS ... 40

Figura 5 – Representação Gráfica da dimensão técnica, da dimensão didática e da dimensão de conteúdo ... 48

Figura 6 – Componente Slider ... 57

Figura 7 – Framework computacional de apoio à categorização de critérios de qualidade em Testes de REA ... 66

Figura 8 – Tela inicial OERTrust ... 69

Figura 9 – Menus OERTrust ... 69

Figura 10 – Tela Tipos de Testes OERTrust ... 70

Figura 11 – Tela Tipos de Recursos Educacionais OERTrust. ... 71

Figura 12 – Tela Escolha de Testes para o REA... 71

Figura 13 – Calibragem do peso do Teste... 72

Figura 14 – Cadastro do REA... 72

Figura 15 – Cadastro e reaproveitamento de Testes ... 73

Figura 16 – Atribuição aos Testes... 73

Figura 17 – Visualização do Gráfico de Aferição... 74

Figura 18 – Tela do Gráfico OERTrust. ... 74

Figura 19 – Vídeo 1 – Higienização das mãos com álcool gel... 76

Figura 20 – Vídeo 2 – Higienização das mãos com álcool gel REMIXADO... 78

Figura 21 – Vídeo 3 – Higienização das mãos... 80

Figura 22 – Vídeo 4 – Higienização das mãos com álcool gel... 82

LISTA DE GRÁFICOS

Gráfico 1 – Resultados de busca com as Strings: Learning Objects, Objetos de Aprendizagem, Open Educational Resources e

Recursos Educacionais Abertos... 41

Gráfico 2 – Resultados de busca com as Strings: qualidade - quality, em resumos, palavras-chave ou títulos... 42

Gráfico 3 – Resultados de busca com as Strings: teste - test - testing, em resumos, palavras-chave ou títulos... 42

Gráfico 4 – Comparativo Recursos Educacionais – EDUCAR... 53

Gráfico 5 – Comparativo Recursos Educacionais – BIOE... 54

Gráfico 6 – Comparativo Recursos Educacionais – Merlot... 56

Gráfico 7 – Gráfico de Setores – Participantes Pesquisa 1... 64

Gráfico 8 – Gráfico de Setores – Participantes Pesquisa 2... 75

Gráfico 9 – Índice OERTrust – Média gerada para o Vídeo 1... 77

Gráfico 10 – Índice OERTrust – Média gerada para o Vídeo 2... 79

Gráfico 11 – Índice OERTrust – Média gerada para o Vídeo 3... 81

Gráfico 12 – Índice OERTrust – Média gerada para o Vídeo 4... 82

LISTA DE ABREVIATURAS

ACM Association Computing Machinery

BIOE Banco Internacional de Objetos Educacionais

CAPES Coordenação de Aperfeiçoamento de Pessoal de Nível Superior

CC Creative Commons

CC BY Attribution Alone

CC BY-NC Attribution Noncommercial

CC BY-NC-ND Attribution Noncommercial No Derivatives CC BY-NC-SA Attribution Noncommercial ShareAlike CC BY-ND Attribution No Derivatives

CC BY-SA Attribution Share Alike

FLOSS Free Libre and Open Source Software IEC International Electrotechnical Commission IEEE Institute of Electrical and Electronic Engineers ISO International Organization for Standardization

LO Learning Object

MEC Ministério da Educação

MIT Massachussets Institute of Technology

OA Objeto de Aprendizagem

OCW Open Course Ware

OER Open Educational Resources OERTrust Open Educational Resources Trust REA Recursos Educacionais Abertos SDG 4 Sustainable Development Goals

TIC Tecnologias de Informação e Comunicação TIPS Teaching Information Presentation System

UNESCO Organização das Nações Unidas para Educação, Ciência e Cultura.

V&V Verificação e Validação

SUMÁRIO

1 INTRODUÇÃO... 16

1.1 Justificativa ... 16

1.2 Metodologia ... 17

1.3 Objetivos ... 18

1.3.1 Objetivo geral ... 18

1.3.2 Objetivos específicos ... 19

1.4 Hipótese ... 19

1.5 Contribuições desta Tese ... 19

1.6 Organização da Tese ... 20

2 REFERENCIAL TEÓRICO ... 21

2.1 Educação Aberta ... 21

2.2 Recursos Educacionais Abertos (REA) ... 22

2.2.1 REA pequenos e grandes ... 27

2.3 Licenças ... 28

2.4 Qualidade ... 30

2.5 Qualidade e Testes na Engenharia de Software ... 31

2.6 Qualidade e testes em objetos de aprendizagem e REA ... 36

2.7 Trabalhos correlatos ... 41

2.8 Considerações parciais ... 45

3 O FRAMEWORK OERTRUST... 46

3.1 Mapeamento de Testes de Software para REA ... 46

3.2 Proposta do Framework ... 51

3.2.1 Escolha do tipo de REA ... 51

3.3 Pesquisa ... 57

3.3.1 Pesquisa um ... 58

3.3.2 Arquitetura e implementação do Framework ... 65

3.3.3 Pesquisa dois ... 75

4 CONCLUSÃO ... 84

5 REFERÊNCIAS ... 87

ANEXO A ... 91

APÊNDICE A ... 92

APÊNDICE B ... 94

APÊNDICE C ... 97

APÊNDICE D ... 102

APÊNDICE E ... 111

PÊNDICE F ... 112

APÊNDICE G ... 113

APÊNDICE H ... 114

1 INTRODUÇÃO

1.1 Justificativa

No contexto da Educação, a discussão sobre os REA (Recursos Educacionais Abertos) vem ganhando cada vez mais espaço. Trata-se de uma definição que pode abranger Cursos completos, partes de Cursos, Módulos, Livros Didáticos, Artigos de Pesquisa, vídeos, questionários, simuladores e outros materiais que possam dar apoio à Educação, desde que concebidos à luz de princípios de abertura.

Suas características inerentes de flexibilidade, em especial, a possibilidade de serem copiados livremente, usados e remixados, trazem considerável potencial de uso em diferentes contextos de ensino e aprendizagem, assim como geram diversos desafios, tanto do ponto de vista educacional quanto do computacional.

De acordo com os princípios de abertura, que serão analisados nesta Tese, os REA podem sofrer diferentes tipos de modificação, incluindo revisões e remixagem.

Essas modificações não são, a priori, prerrogativas dos autores do REA; elas podem ser efetuadas na prática por qualquer indivíduo ou Organização.

Tal flexibilidade pode gerar sucesso ou fracasso, dependendo de como são realizadas as modificações, que podem causar impacto relevante na qualidade dos REA. A qualidade, muito embora seja um conceito carregado de subjetividade, é um objetivo que se persegue em diferentes áreas da vida humana, incluindo a Educação.

Quando da concepção de um REA, deve-se seguir um conjunto de requisitos técnicos e didáticos, incluindo a cobertura de conteúdo sobre um determinado tópico.

Já no momento da revisão ou da remixagem de um REA, tem-se que os requisitos já foram traçados, mas a modificação efetuada pode impactar na qualidade do REA original, além de estar propenso a defeitos, falhas ou até mesmo erros – quer do ponto de vista técnico, quer do didático ou do conteúdo. Para tanto, toda e qualquer modificação deve ser testada, para garantir o mínimo de satisfação aos critérios de qualidade que forem estabelecidos.

De acordo com Pressman (2011), qualquer alteração de um produto, por mais

simples que seja esta modificação, deve ser testada. A atividade de testar a

modificação de algum artefato de um REA novo ou revisado/remixado, pode dar

subsídios ao customizador, ao indicar limites para aquilo que pode ser modificado e

quais as consequências da modificação.

Com uma validação objetiva da qualidade de um REA novo ou modificado, pode-se, então, assegurar que sua disseminação não levará problemas a usuários ou a outros customizadores.

Dessa maneira, a essência deste trabalho está vinculada a proporcionar um indicador de confiabilidade em relação aos tipos de testes que devem ser utilizados para garantir a qualidade de um REA.

Segundo Camilieri (2014), devido à necessidade de mecanismos de garantia de qualidade para apoiar o desenvolvimento e o uso sustentável de REA, estão sendo criados na Literatura e na Política europeia e nacional documentos como grande desafio e oportunidade.

Segundo Arimoto (2014), os REAs podem trazer diversos benefícios e impacto à Educação, e sua adoção ainda é limitada. No entanto, há pouca experiência e consenso em pesquisa e prática sobre como definir e abordar a qualidade para os REA.

1.2 Metodologia

A figura 1 demonstra a metodologia deste trabalho Figura 1 – Metodologia

Como primeira etapa efetuou-se o levantamento bibliográfico dando inicia a

proposta geral do framework, alavancando o início dos quesitos motivadores para a

elaboração do artigo Quality and Tests for Open Educational Resources. A

Systematization based on Software Engineering Principles publicado e apresentado

no Twelfth Latin American Conference on Learning Technologies (LACLO), na cidade de LaPlata na Argentina 2017.

Após a publicação foi dado início ao processo de qualificação. Onde foi absorvida as sugestões debatidas pela banca de qualificação, direcionando que naquele momento o estudo incormporasse um recorte em relação aos REA para a implementação da ferramenta. Juntamente com esse recorte foi efetuado uma pesquisa por REA em repositórios de recursos educacionais. Nesta pesquisa foi observado que os vídeos, vem a ser um dos REA mais explorados nestes tipos de repositórios. A escolha por vídeos além de serem os recursos mais explorados também se deu pela não proximidade de softwares ajudando a evitar vícious na interpretação dos possíveis testes relacionados aos softwares. Com estes subsídios moveu-se para a próxima etapa, que germinou o artigo Quality Assurance for Open Educational REsource: The OERTrust Framework, para o International Journal of Learning, Teching and Educational Reserach (IJLTER), em 2018. Após esta publicação foi criada a implementação do OERTrust que teve como atividade inicial a criação do grupo focal que ajudou decidir quais seriam os testes adequados e que deveriam ser implementados em vídeo. Nesta sequência temos a pesquisa 1 que ajudou a definir os pesos para cada tipo de teste. Com estes subsídios foi possível implementar a ferramenta OERTrust. Após a criação do software o mesmo foi colocado em teste com potenciais usuários daa ferramenta com quatro tipos de casos para que os mesmos avaliassem os REA. Com estes resultados foi gerado um outro artigo que foi submetido ao IEEE Latin America Trasactions que foi aprovado. O mesmo até a esta defesa ainda não havia sido publicado.

1.3 Objetivos

1.3.1 Objetivo geral

Este trabalho tem como objetivo propor um Framework

de apoio ao processo de validação e Testes de REA vídeo, considerando suas características de versionamento e remixagem.

1

Considera-se que um framework seja uma sistematização para normalizar um conceito dentro de uma funcionalidade genérica (SCHIMIGUEL; BARANAUSKAS; MEDEIROS, 2006), possibilitando a utilização dessas definições para análise, projeto, implementação e testes (FERGUSON et al., 2014).

A vantagem da sua adoção é o desenvolvimento de um modelo de um padrão para economia de tempo

O Framework está fundamentado nos princípios de validação e testes que advêm da área de Engenharia de Software e que devem ser analisados para se adequar aos quesitos de um REA vídeo.

1.3.2 Objetivos específicos

A partir da definição do objetivo geral, tem-se como objetivos específicos:

 Produzir levantamento do estado da arte para identificar o grau de contribuição desta Tese à Ciência;

 A partir da Literatura, analisar os tipos de testes adequados à natureza de cada tipo de REA;

 Especificar a arquitetura do Framework e realizar a implementação de um protótipo computacional funcional;

 Identificar os elementos relacionados à qualidade de REA que impactarão o cálculo do índice de confiabilidade iT (index of Trustability) proposto nesta Tese;

 Efetuar testes na implementação e analisar os dados obtidos para comprovação da hipótese.

1.4 Hipótese

Um conjunto de testes, baseados nos princípios da Engenharia de Software, organizados e aplicados de maneira sistêmica em um REA podem fornecer um indicador de qualidade para ele.

1.5 Contribuições desta Tese

Entendem-se como contribuições desta Tese:

 Um mapeamento sistêmico dos tipos de testes advindos da área de Engenharia de Software quanto à sua aplicabilidade em REA;

 Um Framework conceitual (e uma implementação dele) de apoio ao Processo de Testes em REA;

 Um mecanismo de aferição de qualidade de REA, baseado nos Princípios da Lógica Fuzzy, culminando no Indicador de Confiabilidade iT.

e trabalho, assim como aumento da produtividade de ferramentas confiáveis de qualidade, atualizadas

e mantidas de acordo com o modelo (GOMES; FURTADO, 2010).

1.6 Organização da Tese

Este trabalho é organizado em Capítulos, com o conteúdo exposto da maneira explicitada a seguir.

Nesta primeira parte, apresenta-se a Introdução e a Estrutura da Tese.

No Capítulo 2, aborda-se o Referencial Teórico usado como base para os estudos e a idealização deste trabalho. Na sessão 2.1, é discutida a abordagem sobre a Educação Aberta no Brasil; em seguida, em 2.2, é demonstrada a contextualização sobre os Recursos Educacionais Abertos (REA) e sua importância para a Educação mundial; na sequência, temos o item 2.3, em que são abordadas as licenças Creative Commons, as quais têm papel fundamental para a existência dos REA.

O conceito de qualidade é abordado de forma geral no item 2.4; prosseguindo, em 2.5, é efetuado o estudo que envolve os conceitos de Qualidade de Software, bem como aspectos da Engenharia de Software que envolvem os diversos tipos de testes, além de abordar a ISO/IEC/IEEE 29119 Software Testing, que norteia as atividades de testes. Em 2.6, discute-se qualidade e testes em objetos de aprendizagem em REA e, como fechamento do capítulo, apresenta-se a Revisão sistemática, bem como os trabalhos correlatos.

O Capítulo 3 envolve a proposta do trabalho, o Mapeamento de Testes de Software para REA e, também, a apresentação da arquitetura do Framework proposto no objetivo geral deste trabalho, bem como as pesquisas efetuadas.

Por fim, no Capítulo 4, é exibida a conclusão e os trabalhos futuros ligados a

esta Tese, com o cronograma de trabalho para a construção de todos os aspectos

propostos acima.

2 REFERENCIAL TEÓRICO

Neste capítulo, serão abordados os temas pesquisados para a elaboração da pesquisa. Como ela possui características multidisciplinares, fez-se necessário buscar Referenciais Teóricos nas seguintes Áreas do Conhecimento: Educação, que abrange Educação Aberta e Recursos Educacionais Abertos, Engenharia de Software, no que diz respeito a testes e qualidade, e princípios básicos de Lógica Fuzzy.

2.1 Educação Aberta

Segundo Santos (2012), os primeiros movimentos de Educação Aberta tiveram seu início na década de 1970, sendo marcados por meio da aplicação de novas práticas de ensino e aprendizagem na Educação Infantil e no advento das universidades abertas.

Hoje em dia, o termo Educação Aberta é utilizado frequentemente no contexto dos REA, envolvendo uma variedade de novas práticas de ensino e aprendizagem tornadas possíveis com a evolução das Tecnologias Educacionais aliadas aos conceitos de abertura.

Lewis (1986) já definia a Educação Aberta como um termo utilizado para relatar cursos flexíveis, desenvolvidos para satisfazer necessidades individuais e que se destinam a transpor as barreiras de ingresso à Educação tradicional.

E Okada afirma:

Educação Aberta está ligada com o conceito de abertura – cuja origem vem do inglês ‘‘openess’’. Trata-se de uma filosofia educacional cujo objetivo é quebrar as barreiras que limitam o acesso à educação superior proporcionando maiores oportunidades de aprendizagem. Os aspectos que caracterizam a aprendizagem aberta são amplo acesso a materiais e tecnologias, opções de escolha em relação aos conteúdos e metodologias, e grande abertura a diversos públicos em diferentes locais, culturas e contextos (OKADA, 2007, p. 2).

Santos (2012) ressalva que é importante que se compreenda que a expressão

Educação Aberta é empregada em contextos diversificados e que se cercam de uma

série de práticas, variando das mais tradicionais a outras mais recentes, e que não é

exclusivo para a utilização de Recursos Educacionais Abertos.

O mesmo autor complementa que existe consenso na Academia de que não há uma definição única para Educação Aberta.

A terminologia “Educação Aberta” é abrangente, por envolver uma coleção de práticas, e a Educação Aberta pode apresentar elementos de várias correntes de pensamento educacionais, relacionadas por seu arcabouço teórico.

Formiga e Litto (2009, p. 39) afirmam que “A terminologia delimita a abrangência de uma ciência e demonstra o domínio pelos seus propositores e usuários. De certa forma, a terminologia constitui o dialeto próprio de cada ciência”.

Dentre os elementos que compõem as diferentes práticas e possibilidades da Educação Aberta, encontram-se os Recursos Educacionais Abertos (REA), ponto fundamental deste trabalho, tópico a ser tratado a seguir.

2.2 Recursos Educacionais Abertos (REA)

Segundo a UNESCO (2017), OER (Open Educational Resources) ou REA (Recursos Educacionais Abertos) “São qualquer tipo de material usado em educação, que esteja no domínio público ou seja introduzido com uma licença aberta”.

São materiais abertos e podem ser copiados livremente, adaptados, usados, remixados e até mesmo re-compartilhados. A possibilidade do reuso dos Recursos Educacionais Abertos, principalmente, dos recursos digitais, que tendem a ser disseminados com mais facilidade, pode abranger Cursos completos, partes de Cursos, Módulos, Livros Didáticos, Artigos de Pesquisa, vídeos, questionários, simuladores e outros Materiais que possam dar suporte ao discernimento.

Da mesma forma que esses recursos têm potencial para expandir de forma relativamente rápida e significativa o número de materiais disponíveis – principalmente, via versionamento, eles podem ajudar os alunos a aprender de maneira mais eficaz, vez que poderiam ser customizados para necessidades específicas de aprendizagem.

Wiley (2007) explica que o contexto Open Educational Resources tem suas origens nos esforços na padronização e na conceituação dos objetos de aprendizagem.

Com a crescente evolução e utilização dos objetos de aprendizagem, Wiley

definiu, em 1998, o conceito de Open Content e criou a Open Content License/Open

Publication License, visando à massificação dos conceitos do movimento FLOSS

(Free Libre and Open Source Software), aplicados ao desenvolvimento de conteúdos educacionais.

O mesmo autor indica que, com a rápida disseminação da ideia de conteúdos abertos educacionais, Larry Lessig e outros membros da escola de Direito de Harvard fundaram, em 2011, a Creative Commons (CC)

e com ela um conjunto versátil de licenças.

Nessa mesma época, o Massachussets Institute of Technology (MIT) resolveu ofertar parte de seus Cursos ao público, para fins acadêmicos, no formato livre – que foi o Projeto MIT Open Course Ware.

Em 2002, a UNESCO patrocinou um evento voltado para a discussão da disponibilização de Recursos Educacionais de forma universal, ressaltando o termo Recursos Educacionais Abertos, com a seguinte definição:

Recursos Educacionais Abertos são materiais de ensino, aprendizado e pesquisa em qualquer suporte ou mídia, que estão sob domínio público, ou estão licenciados de maneira aberta, permitindo que sejam utilizados ou adaptados por terceiros (UNESCO, 2002).

A Declaração de Paris de 2012 (UNESCO, 2012) chama a atenção para o fato de que os Recursos Educacionais Abertos promovem os objetivos das Declarações internacionais e, entre elas, a Declaração Universal dos Direitos Humanos (Artigo 26.1), que estabelece que "Toda pessoa tem direito à Educação".

A Declaração de REA de Paris fornece uma série de recomendações às partes interessadas sobre questões de capacitação, pesquisa e políticas. Encoraja, particularmente, os governos a disponibilizarem materiais educacionais que sejam financiados por meio de fundos públicos com licenças abertas.

A mesma Declaração recomenda, dentro de suas capacidades e autoridade (UNESCO, 2012):

a) Fomentar a conscientização e o uso de REA;

b) Propiciar ambientes facilitadores para o uso das Tecnologias de Informação e Comunicação (TICs);

c) Reforçar o desenvolvimento de estratégias e políticas no REA;

d) Promover a compreensão e o uso de quadros de licenciamento aberto;

2

https://br.creativecommons.org/.

e) Apoiar o desenvolvimento de capacidades para o desenvolvimento sustentável de materiais de aprendizagem de qualidade;

f) Fomentar alianças estratégicas para REA;

g) Incentivar o desenvolvimento e a adaptação do REA em uma variedade de idiomas e contextos culturais;

h) Incentivar a pesquisa sobre REA;

i) Facilitar a busca, a recuperação e o compartilhamento de REA;

j) Incentivar o licenciamento aberto de Materiais Educacionais produzidos com fundos públicos.

Já o 2º Congresso Mundial de REA da UNESCO, celebrado em 2017, teve como tema “REA para a educação de qualidade incluída e igualitária: do compromisso à ação”, e centrou seu foco em identificar as estratégias para aproveitar as potencialidades dos REA para, assim, alcançar uma Educação de qualidade inclusiva e igualitária para a aprendizagem ao longo da vida, para todos, até 2030.

Os objetivos do 2º Congresso Mundial REA focaram em examinar soluções para enfrentar os desafios da integração das práticas do REA em Sistemas Educacionais em todo o mundo, mostrar as melhores práticas do mundo nas políticas e iniciativas de REA e gerar recomendações para a adoção de REA com foco para as melhores práticas.

Já em relação aos desafios para a integração das práticas do REA, verificou- se que a conscientização quanto ao uso de REA se ampliou mais rápido do que sua implementação efetiva. Verificaram, também, que persistem alguns obstáculos que ainda impedem a adoção da REA pela comunidade educacional global.

A Declaração de REA de Paris, de 2012, já havia destacado esses obstáculos como áreas que exigem maior cooperação. Embora tenham sido realizados avanços em cada uma das cinco áreas a seguir, ainda são necessários esforços adicionais da comunidade internacional.

Esses obstáculos são:

1. A capacidade dos usuários de acessar, reutilizar e compartilhar REA;

2. Questões relacionadas à Linguagem e à Cultura;

3. Garantir acesso inclusivo e equitativo aos REA de qualidade;

4. Mudança de modelos de negócios;

5. O desenvolvimento de ambientes de políticas de apoio.

Os REA oferecem a possibilidade de melhorar os benefícios da aprendizagem, baixar os custos e aprimorar a qualidade do ensino, possibilitando o compartilhamento efetivo de conhecimento, fundamental para apoiar a realização do SDG 4 “Sustainable Development Goals” (Vide Apêndice A).

Cabe lembrar que, anterior à definição de REA, já era de uso corrente na Academia e no Mercado o termo Objetos de Aprendizagem (OA), que também são recursos, digitais ou não, com fins educacionais. Geralmente, eles podem conter vídeo, texto, imagem, software e outras mídias sincronizadas entre si, formando uma aplicação multimídia. No entanto, a distinção crucial entre os dois conceitos encontra- se na adoção dos princípios de abertura por parte dos REA (BRAGA, 2015).

Segundo esta filosofia, os REA precisam estar totalmente disponíveis para acesso e permitir diferentes formas de edição, o que não era um pressuposto para os OA.

Segundo Wiley (2006), os REA vêm a ser qualquer Recurso Educacional protegido por direitos CC, seguindo os direitos conhecidos por 5R.

São eles:

 Reter – O direito de fazer, possuir e controlar cópias do conteúdo. Por exemplo, ter a liberdade de efetuar download, replicar, guardar e gerenciar indefinidamente uma música, sem restrições de licença;

 Reutilizar – O direito de usar o conteúdo em sua totalidade ou em partes para seus objetivos pessoais. Por exemplo, fazer download de um vídeo e utilizá-lo quando e como quiser;

 Revisar – O direito de adaptar, ajustar, modificar ou alterar qualquer conteúdo. Por exemplo, efetuar a tradução de um conteúdo para outro idioma;

 Remixar – O direito de combinar o conteúdo original e remixar o material, gerando outro conteúdo. Por exemplo, incorporar perguntas em um banco de questões pré-existente;

 Redistribuir – O direito de compartilhar o conteúdo original, ainda que esse conteúdo tenha sido criado, revisado ou remixado por outras pessoas. Por exemplo, enviar uma cópia de um texto criado por algum autor para outra pessoa.

Amiel (2013) comenta que a remixagem ou remix de Recursos Educacionais

deve estar de acordo com a realidade dos alunos e dos professores, seus

equipamentos e preferências; caso contrário, poderemos ter um esforço dispendioso

e um retorno frustrante. Espera-se que as características inerentes aos REA de poderem ser continuamente adaptados, remixados e transformados venham a tornar docentes e alunos participantes ativos na Educação.

Os REA podem ser uma resposta para a democratização do acesso aos conteúdos educacionais de qualidade.

Green (2017) afirma que a falta de Recursos Educacionais – digitais ou não – continua a ser um dos principais problemas no mundo. No que diz respeito ao tipo de recurso dos mais difundidos, o Livro Didático, nos Estados Unidos, por exemplo, dois terços dos estudantes não compram Livros Didáticos por não ter como pagar por eles.

A situação é ainda mais crítica na América Latina (RODÉS, 2012), o que inclui, obviamente, o Brasil (CRAVEIRO et al., 2008).

Livros Didáticos elaborados sob os princípios de abertura poderiam ser a solução para esse problema (OCHOA et al., 2011).

Os mesmos princípios de abertura que trazem maior flexibilidade aos REA trazem também indagações acerca da qualidade deles. Nesse sentido, reflexões a respeito da necessidade de padrões de qualidade e mecanismos de testes tornam-se importantes.

A necessidade de criar mecanismos para aferição de qualidade de um REA torna-se clara, vez que, com diversas customizações e versionamentos de um REA, alguma versão poderá não executar, não instalar, executar de maneira ineficiente, apresentar erros, defeitos ou ainda falhas, quer do ponto de vista técnico, quer do ponto de vista didático ou de conteúdo.

A definição direta de qualidade é a “maneira de ser boa ou má de uma coisa, superioridade, excelência” (FERREIRA, 2002, verbete: Qualidade).

A qualidade é um elemento que deve estar presente durante todo e qualquer processo de produção, quer de objetos físicos ou intangíveis, quer de artefatos digitais.

Dessa maneira, testes ajudam a aumentar a qualidade de qualquer produto, permitindo que os erros sejam corrigidos, não podendo ser relegados para o fim do processo. Assim, padrões de qualidade e protocolos de teste tornam-se elementos fundamentais no processo de produção de qualquer produto.

Em se tratando do Processo de Criação de REA, ele se aproxima, em muitos

aspectos, do Processo de Criação de Software – apesar de, de acordo com o tipo do

REA, seu processo de criação ser mais aderente à criação de mídia, como no caso

de vídeos educativos ou podcasts. Entretanto, para algumas categorias de REA, como jogos, simulações e softwares educativos, entre outros, o processo de produção segue muitos dos princípios dos processos de desenvolvimento de software.

Nesse sentido, lições aprendidas em relação à Qualidade de Software podem ser inspiradoras no processo de aferição de qualidade de REA.

2.2.1 REA pequenos e grandes

Weller (2010) comenta que grande parte do foco em Recursos Educacionais Abertos vem sendo em torno de projetos REA financiados externamente, como o Open Courseware do MIT e os projetos OpenLearn da Open University.

Esses projetos ajudaram a popularizar a Educação Aberta, gerando uma quantidade considerável de downloads de REA.

Ao se ampliar a definição de REA, podem ser englobados recursos produzidos por indivíduos e compartilhados em sites fora dos repositórios comumente usados. O mesmo autor cita o YouTube, o Slideshare e o Flickr, como exemplos de repositórios que disponibilizam recursos que podem variar em granularidade, qualidade e potencial de uso para aprendizagem.

Ainda segundo o mesmo autor, os REA “grandes” são gerados institucionalmente, sendo provenientes de projetos como, por exemplo, o OpenLearn.

Esses tipos de REA, em geral, esmeram-se para alcançar alta qualidade, seguindo propósitos de ensino explícitos, bem como uma metodologia e sistematização para a produção de REA.

Como um contraponto, o autor aponta a existência dos REA “pequenos”, que são produzidos individualmente, em geral, possuindo baixo custo de produção, por não necessariamente envolverem equipes de produção ou recursos midiáticos mais sofisticados. Eles podem ser produzidos por qualquer pessoa, não somente por educadores.

Ao assumir esta categorização de Recursos Educacionais como grandes e pequenos, sejam eles produzidos de forma institucional ou individual, deve-se ficar atento a algumas das questões que surgem nesse contexto.

Uma das principais diferenças entre os dois tipos de REA é a intencionalidade,

sendo os REA grandes criados com o propósito específico de aprendizagem,

enquanto os REA pequenos podem ser criados a partir de uma variedade de

motivações, mas não se pode negar o potencial deles para a aprendizagem.

Além disso, os REA pequenos possuem um potencial teórico de remixagem maior, seja esta remixagem feita por outro indivíduo ou até mesmo uma Instituição.

Isso leva a uma discussão sobre granularidade de REA, que pode ser observada com maior ênfase em Silveira (2014).

Camilleri (2014) comenta que existem diferenças significativas entre a forma como esses tipos de REA são usados e interpretados pelo público. Tais diferenças se relacionam a aspectos de qualidade, reputação e facilidade de produção. Pode ser que uma mistura de ambos os tipos de REA seja o melhor caminho para a concretização de um cenário de Educação Aberta.

Os REA grandes são um meio útil para aumentar o acesso à Educação Aberta e uma maneira inicial de abordar a reutilização, pois superam muitas das objeções com base na qualidade e na confiabilidade, vez que contam com respaldo institucional.

Os REA pequenos, por sua vez, representam um modelo mais dinâmico, que incentiva a participação dos vários atores do processo educacional e pode ser mais sustentável em longo prazo.

Para os alunos, uma mistura de ambos pode, assim, resultar em uma experiência de aprendizagem variada e interessante.

2.3 Licenças

Os REA têm como objetivo principal o de serem compartilhados. Para tanto, a definição clara de um conjunto de licenças tem impacto decisivo em sua disseminação e uso efetivo. Entre as diversas licenças possíveis, um conjunto de licenças sobressai- se por sua abrangência e flexibilidade, que são as licenças Creative Commons (CC)

As licenças CC têm o papel de amparar o autor e os usuários para que tenham a liberdade de permitir o uso de suas criações de forma flexível. Com esse tipo de licença, o autor pode decidir em quais condições seus Recursos Educacionais Abertos poderão ser utilizados por terceiros. Para tanto, não é obrigado a pagar nenhum tipo de taxa ou realizar qualquer tipo de procedimento burocrático.

Essas licenças vêm a ser um padrão global que oferecem a qualquer pessoa o

direito de compartilhar, utilizar e criar a partir de um trabalho, sendo que, de outra

forma, ela estaria protegida unicamente pela aplicação, por default, de copyright para

proteção de direitos de autoria – o que inclui os direitos patrimoniais e morais.

Um estudo mais amplo a respeito dos direitos autorais quanto ao uso desta licença pode ser visto em Diaz et al. (2014).

Assim, os Recursos Educacionais Abertos licenciados com CC, em geral, possuem acesso gratuito e irrestrito, mas também podem possuir permissão legal para copiar arquivos, traduzi-los em diferentes idiomas, modificá-los para uma situação local, com o fim de atender às necessidades específicas de determinado público, de acordo com o tipo de licença escolhido.

As licenças CC possuem um leque chamado Licenças em Três “Camadas”.

 Texto legal. Instrumento legal, em formato de texto;

 Legível por humanos. Resumo de referência utilizado tanto para quem esteja utilizando ou para quem utilizará a licença. Esta licença condensa e declara os termos e as condições mais importantes;

 Legível por máquinas. Resumo dos direitos e das obrigações, descrito num formato que as aplicações digitais e os mecanismos de busca possam interpretar.

Segundo Creative Commons (2005), “O conjunto destas três camadas de cada licença garante que o conjunto de direitos não é apenas um conceito legal. É algo que os criadores possam compreender e que os usuários possam compreender e que até a própria Internet possa compreender”.

As principais variações de licenças CC são sete:

 “Domínio Público (CCO): esta licença libera conteúdo e não possui restrições;

 Atribuição – Attribution alone (CC BY): esta licença permite que usuários distribuam, remixem, adaptem e criem a partir do trabalho do criador, podendo ser usada, também, para fins comerciais, desde que lhe concedam o devido crédito pela originalidade. Vem a ser a licença mais flexível de todas as licenças disponíveis;

 Atribuição Compartilha Igual – Attribution + ShareAlike (CC BY-SA): esta licença permite que usuários remixem, adaptem e criem a partir do criador, podendo ser usada também para fins comerciais, desde que lhe concedam o devido crédito pela originalidade e que licenciem as novas criações sob termos idênticos;

 Atribuição Sem Derivações – Attribution + NoDerivatives (CC BY-ND): esta

licença permite a redistribuição, comercial e não comercial, desde que o trabalho seja

distribuído inalterado e no seu todo, com crédito atribuído ao autor;

 Atribuição Não Comercial – Attribution + Noncommercial (CC BY-NC): esta licença permite que usuários remixem, adaptem e criem a partir do criador do trabalho para fins não comerciais, e embora os novos trabalhos tenham que atribuir ao criador o devido crédito e que não possam ser usados para fins comerciais, os usuários não têm de licenciar esses trabalhos derivados sob os mesmos termos;

 Atribuição Não Comercial – Compartilha Igual, Attribution + Noncommercial + ShareAlike (CC BY-NC-SA): esta licença permite que usuários remixem, adaptem e criem a partir do seu trabalho para fins não comerciais, desde que atribuam ao criador devido crédito e que licenciem as novas criações sob termos idênticos;

 Atribuição Sem Derivações – Sem Derivados, Attribution + Noncommercial +NoDerivatives (CC BY-NC-ND): esta é a mais restritiva das seis licenças principais, só permitindo que usuários façam download dos trabalhos do criador e os compartilhem desde que atribuam crédito ao criador, mas sem que possam alterá-los de nenhuma forma ou utilizá-los para fins comerciais” (2005).

A CC tem um papel fundamental na disseminação dos REA. Sem esse tipo de licença, as limitações prejudicariam qualquer evolução, modificação ou remixagem. O fato de ter-se REA com esse tipo de licença dá confiança e a liberdade de ser criativo na remixagem desses recursos, ao contrário de alguns objetos de aprendizagem que são blindados por seus proprietários.

Considerando-se a possibilidade de implementação dos princípios 5R por meio de licenças como as CC, questionamentos surgem a respeito da garantia da qualidade dos REA, especialmente após modificações, versionamentos e remixagens.

Nesse sentido, faz-se necessário debruçar-se sobre as definições correntes de Qualidade, em especial no contexto de software.

2.4 Qualidade

A partir do conceito geral de qualidade advindo do senso comum, pode-se chegar a diversas definições, que podem ser aplicadas em Qualidade de Software.

Segundo a Norma ISO 9000 (versão 2000), qualidade é "O grau em que um

conjunto de características inerentes a um produto, processo ou sistema cumpre os

requisitos inicialmente estipulados para estes".

Já Juran (2009, p. 377) expõe duas definições para qualidade: "A característica dos produtos que atendem às necessidades dos usuários e, assim, proporcionam a satisfação deles" e "qualidade é a ausência de deficiências".

Uma vez que um dos pressupostos desta Tese é trabalhar os aspectos de qualidade a partir das lições aprendidas e das experiências obtidas na área da Engenharia de Software, os próximos itens irão discorrer sobre essa abordagem.

2.5 Qualidade e Testes na Engenharia de Software Segundo Pressman:

Qualidade de Software é a conformidade a requisitos funcionais e de desempenho que foram explicitamente declarados, a padrões de desenvolvimento claramente documentados, e a características implícitas que são esperadas de todo software desenvolvido por profissionais (2011, p.

602).

O mesmo autor indica que, na construção de um software, quanto antes se descobrir o erro, menor o impacto no orçamento e no tempo.

No contexto desta Tese, o termo “teste” diz respeito ao contexto originário da Engenharia de Software. Nesse cenário, o processo de teste visa a atingir dois objetivos distintos: indicar que o Sistema atende aos requisitos especificados e também que o software não se comporta de forma diferente do que foi especificado (RIOS, 2013).

É importante, nesse contexto, distinguir falha, erro e defeito. Segundo Rios (2013), a falha ocorre em hardware e em tempo de codificação; por isso a ideia de falha está intimamente associada ao universo físico.

Ao codificar um programa, um desenvolvedor pode, por exemplo, trocar uma instrução de decisão em uma situação que não é testada. Esse tipo de falha fica oculta até que a situação não testada ocorra e cause um erro.

Conforme já apontado em Almendro e Silveira (2017, p. 253):

Um erro indica que certas funcionalidades do software não estão

correspondendo como planejado. Os erros criam instabilidade nas

aplicações, e podem causar inconsistências de dados e informações. O erro

é necessariamente causado por uma falha, mas nem toda falha incorre em

erro, uma vez que a combinação de variáveis que o causam pode nunca

ocorrer.

Já o defeito é a materialização do erro, seja por meio de uma tela com uma mensagem para o usuário, seja por uma parada não desejada etc.

Os defeitos podem ocorrer por vários motivos, tais como:

 Má especificação de requisitos;

 Analistas interpretam equivocadamente os requisitos;

 Especificações funcionais e técnicas elaboradas incorretamente;

 Codificação inadequada;

 Dados inconsistentes ou imprecisos;

 Tentativas frustradas de correções de defeitos.

Um software pode ter passado pelo processo de desenvolvimento com imperfeições. Logo, para evitar que isso aconteça, é de suma importância que haja, nos processos de desenvolvimento, testadores e mesmo analistas de testes, que possam ajudar a apontar problemas e os relatem, para que sejam corrigidos logo no início do processo.

Para fazer isso, eles precisam realizar uma bateria de testes diferentes, que envolvem desde análise da estrutura interna do Objeto de Aprendizagem até a avaliação da interface.

Segundo Pressman (2011), o teste do software é um processo realizado pelo testador de software, que permeia outros processos da Engenharia de Software, e envolve ações que vão do levantamento de requisitos (necessidades) até a execução do teste propriamente dito. Deve-se levar em conta que se ater aos processos previstos pela Engenharia de Requisitos é “um passo fundamental para o desenvolvimento de um bom produto” (PAULA FILHO, 2000, p. 97).

Sommerville (2011) classifica os requisitos de sistema de software como:

funcionais, não funcionais e de domínio, como segue:

 Requisitos funcionais definem as funcionalidades do sistema; como deve reagir em condições específicas e como se comportar em determinadas situações – podem, ainda, declarar o que o sistema não deve fazer;

 Requisitos não funcionais são restrições sobre serviços ou funções

oferecidas pelo sistema. Dentre elas, destacam-se restrições de tempo, sobre o

processo de desenvolvimento e de padrões. A descrição das restrições complementa

a definição de requisitos (PAULA FILHO, 2000);

 Requisitos de domínio são restrições originárias do domínio da aplicação do sistema e refletem características dele. Podem ser requisitos funcionais ou não funcionais.

Diretamente relacionados às definições de requisitos, encontram-se os Testes de Software que, por sua vez, relacionam-se diretamente à qualidade dele.

Em alguns casos, há resistência das equipes de desenvolvimento em testar o software, devido ao custo acarretado pelo teste, mas Pressman (2011) e Myers (2013) já apresentaram que o custo de um defeito é progressivo, ou seja, encontrar o defeito durante o uso de um software pode custar até cem vezes mais do que teria custado se encontrado nas fases de desenvolvimento.

Dessa forma, pode-se afirmar que a adoção de uma política de testes para a aferição de qualidade reduz custos, ao contrário do que se poderia esperar (vide Figura 2).

Figura 2 – Regra 10 de MYERS

Fonte: adaptado de Myers, 2013.

O teste de software também tem por objetivo realizar a verificação e a validação (V&V) (PRESSMAN, 2011), que é uma forma de testar a construção do produto para verificar se está sendo construído de forma correta e se é o produto correto a ser construído.

Em outras palavras, o Teste de Verificação é a garantia de que o software

implementa as características (funcionalidades) especificadas, enquanto a validação

é um conjunto de tarefas que garantem se o software implementado pode ser rastreado segundo os requisitos fornecidos pelo cliente.

A estratégia de testes pode ser vista ou entendida como uma espiral, partindo do centro para a extremidade, o que ilustra as fases do teste dentro do processo.

A Figura 3, a seguir, ilustra a ideia proposta por Pressman (2011):

Figura 3 – Estratégia de Teste

Fonte: PRESSMAN, 2011, p. 38.

Matté (2011) aponta que, “De um modo geral, o teste de software deve ainda prever testes não tão somente com o produto, mas também no processo”. Para que um software atinja os níveis de qualidade esperados, é fundamental que sejam testados outros elementos, como: arquitetura do sistema, requisitos funcionais e não funcionais, métodos e ferramentas de desenvolvimento, entre outros.

Para encontrar erros e identificá-los, é necessário mais do que sorte. É preciso metodologia e adoção de processos que podem auxiliar a vida dos desenvolvedores;

em nosso caso, dos REA.

A seguir, apresenta-se a Tabela 1, com a lista de tipos de testes que podem ser utilizados para a verificação de erros nos objetos de aprendizagem.

Nesse momento, a definição é baseada diretamente em termos de Engenharia de software e em testes que o próprio desenvolvedor poderá executar.

Teste de Sistema

Teste de Validação

Teste de Integração Teste de Unidade

Código Projeto

Requisitos

Engenharia de Sistemas

Tabela 1 – Descrição dos tipos de Testes de Software

Tipo de Teste Descrição

Teste de Unidade Testar em um nível de componente ou classe. É o teste cujo objetivo é um “pedaço do código” (ISO/IEC/IEEE 29119-1: 2014).

Teste de Integração

Garantir que um ou mais componentes combinados (ou unidades) funcionam. Podemos dizer que um Teste de Integração é composto por diversos Testes de Unidade (ISO/IEC/IEEE 29119-1: 2014).

Teste Operacional Garantir que a aplicação pode rodar muito tempo sem falhar (PRESSMAN, 2011).

Teste Positivo-negativo

Garantir que a aplicação vai funcionar no “caminho feliz” de sua execução e vai funcionar no seu fluxo de exceção (PRESSMAN, 2011).

Teste de Regressão Testar toda a aplicação novamente, toda vez que algo for mudado (ISO/IEC/IEEE 29119-1: 2014).

Teste de Caixa-preta

Testar todas as entradas e saídas desejadas. Não se está preocupado com o código, cada saída indesejada é vista como um erro (PRESSMAN, 2011).

Teste Caixa-branca Testar o código. Percorrer todos os caminhos ou partes do código que nunca foram testadas (ISO/IEC/IEEE 29119-1: 2014).

Teste Funcional

Testar as funcionalidades, requerimentos, regras de negócio presentes na documentação. Validar as funcionalidades descritas na documentação (pode acontecer de a documentação estar inválida) (ISO/IEC/IEEE 29119-1: 2014).

Teste de Interface

Testar a navegabilidade e os objetivos da tela funcionam como especificados e se atendem da melhor forma ao usuário (PRESSMAN, 2011).

Teste de Performance Verificar se o tempo de resposta é o desejado para o momento de utilização da aplicação (PRESSMAN, 2011).

Teste de Carga

Verificar o funcionamento da aplicação com a utilização de uma quantidade grande de usuários simultâneos (ISO/IEC/IEEE 29119-1: 2014).

Teste de Aceitação do usuário

Testar se a solução será bem vista pelo usuário. Por exemplo:

caso exista um botão pequeno demais para executar uma função, isso deve ser criticado em fase de testes (ISO/IEC/IEEE 29119- 1: 2014).

Teste de Volume

Testar a quantidade de dados envolvidos (pode ser pouca, normal, grande ou além de grande) (ISO/IEC/IEEE 29119-1:

2014).

Testes de Stress

Testar a aplicação sem situações inesperadas. Testar caminhos,

às vezes, antes não previstos no

desenvolvimento/documentação (ISO/IEC/IEEE 29119-1: 2014).

Testes de Configuração Testar se a aplicação funciona corretamente em diferentes ambientes de hardware ou de software. (PRESSMAN, 2011).

Testes de Instalação

Testar se a instalação da aplicação foi OK. O mesmo teste de portabilidade realizado para verificar se um item de teste ou um conjunto de itens de teste pode ser instalado em todos os ambientes especificados nos requisitos requeridos (ISO/IEC/IEEE 29119-1: 2014).

Testes de Segurança

Testar a segurança da aplicação das mais diversas formas.

Utilizar os diversos papéis, perfis, permissões, para navegar no sistema (ISO/IEC/IEEE 29119-1: 2014).

Fonte: o próprio autor.

Assim como a Engenharia de Software, os testes específicos que consistem em executar programas com a intenção de encontrar erros existem há mais de quatro décadas (PRESSMAN, 2011).

Hoje em dia, há diferentes normas para Testes de Software, dentre as quais se menciona, como exemplo, a ISO/IEC/IEEE 29119 Software Testing, que é um conjunto de normas/padrões para teste de software reconhecido internacionalmente, que tem o objetivo de abranger todas as formas de ciclo de desenvolvimento de software para qualquer Organização.

Esse padrão possui um conjunto de práticas que é dividido em cinco partes, que podem ser utilizadas independentemente de sequência ou obrigatoriedade.

São elas:

 ISO/IEC 29119-1: Concepts & Definitions (Conceitos e Definições);

 ISO/IEC 29119-2: Test Processes (Processo de Teste);

 ISO/IEC 29119-3: Test Documentation (Documentação de Teste);

 ISO/IEC 29119-4: Test Techniques (Técnicas de Teste);

 ISO/IEC 29119-5: Keyword Driven Testing (Teste Orientado à Palavra- chave).

2.6 Qualidade e testes em objetos de aprendizagem e REA

Hylén (2006) comenta que existem materiais fornecidos gratuitamente que não possuem alta qualidade, ainda que muitas das Instituições envolvidas na criação e na disponibilização de REA possuam reputação internacional ou em seus próprios países.

Novas formas de garantir e avaliar a qualidade estão sendo desenvolvidas, simultaneamente com métodos e mecanismos de garantia de qualidade tradicionais, em sua maioria inspirados em outras partes do movimento digital aberto.

A avaliação por pares de materiais de aprendizagem do REA pode ser combinada com comentários e classificações de usuários na web, como pode ser visto em Albuquerque e Silveira (2013), por exemplo. Nesse sentido, a adoção de REA, por parte de Instituições de Ensino, poderia oferecer um grande valor no que se refere à qualidade atrelada à reputação.

Como exemplo, Hylén (2012) cita a William and Flora Hewlett Foundation que

encomendou o desenvolvimento do conteúdo (na forma de Livros Didáticos abertos)

para Faculdades comunitárias em seu Community College Access Project. Também o governo dos Estados Unidos solicitou o desenvolvimento de materiais com ênfase em aspectos de qualidade.

Nesse sentido, Rodés et al. (2012) discorrem sobre um projeto-piloto de adoção de Livros Didáticos abertos no contexto de nove Universidades latino-americanas.

Como o conteúdo criado em todas as iniciativas mencionadas é distribuído sob uma licença Creative Commons Attribution (CC-BY), poderá ser facilmente compartilhado com outros setores educacionais e com alunos, ao longo da vida.

Nesse contexto, a discussão a respeito dos aspectos de qualidade surge com bastante ênfase nos aspectos de abertura que envolvem os REA.

Assim como na Engenharia de Software, o desenvolvimento de REA envolve uma série de atividades nas quais as falhas humanas podem ocorrer e os erros podem surgir em algumas etapas do ciclo de vida, desde a especificação de requisitos incompleta ou imperfeita, até em estágios posteriores de design, implementação e desenvolvimento.

O fato de os REA serem passíveis de múltiplos versionamentos e modificações faz com que essa discussão se torne ainda mais ampla e complexa, o que não ocorria com os OA.

A respeito de testes e qualidade aplicados a OA, Braga (2015) afirma que eles possuem dois objetivos, que são: demonstrar que o Objeto de Aprendizagem faz realmente o que foi proposto e descobrir defeitos do Objeto de Aprendizagem antes que ele seja utilizado.

Já Velásquez et al. (2005) explicitam os elementos que determinam a qualidade de um Objeto de Aprendizagem:

 Elementos tecnológicos: abordam a visão da Engenharia de Software, considerando que o Objeto de Aprendizagem pode ser um produto de software, principalmente, a parte de reutilização e de adaptação, princípio de paradigmas de orientação a objetos;

 Elementos pedagógicos: são os mecanismos de aprendizagem, como:

Gerenciamento da avaliação, Gerenciamento de colaboração, Gerenciamento de relação e Números de exemplos usados;

 Elementos de conteúdo: são os elementos que nos dão a informação sobre

a complexidade do tema e o nível de detalhe na abordagem do Objeto de

Aprendizagem: Confiabilidade da referência, Volatilidade de conteúdo. Por exemplo:

“Disciplinas de Informática”, Extensão do conteúdo, Complexidade do tema e Nível de detalhamento da informação;

 Elementos estéticos/interface: referem-se à apresentação da informação e a disposição dela, como: uso adequado das referências, cores, proporção, disposição, simetria e consistência adequada.

Saindo do contexto de OA para REA, Kawachi (2014) traz um conjunto de diretrizes voltadas para a qualidade do produto e do processo de elaboração de um REA denominado TIPS Framework (Teaching and Learning Process, Information and Material Content, Presentation, Product and Format e System, Technical and Technology).

Esse Framework possui quatro dimensões: processos de ensino e aprendizagem, informação e conteúdo do material, apresentação, produto e formato, e sistemas, técnicas e tecnologia.

Para cada uma dessas dimensões, o autor organiza subdimensões que possuem aspectos voltados para a qualidade, que também são úteis para a verificação e a validação do produto no quesito de testes. Todos os tipos de testes devem estar alinhados ao princípio básico dos requisitos do REA que será construído ou customizado.

Ademais, considerando que os termos “requisitos” e “qualidade” não se aplicam de forma consistente à Indústria de Software, o mesmo cenário acontece no contexto de REA.

O que se sabe é que o usuário final espera que tanto um software quanto um REA tenham um grau de “qualidade” razoável – o que pode ser altamente subjetivo.

Sabe-se, por exemplo, que todo aprendiz se frustra na hora em que um REA para de funcionar ou apresenta algum tipo de falha ou mau funcionamento, seja este causado por erro, defeito, aspectos pedagógicos, seja de conteúdo.

Os princípios elementares da Engenharia de Requisitos, transpostos para o contexto de REA, podem ajudar a eliminar parte dos problemas que o design instrucional precisa solucionar, os quais, muitas vezes, podem ser muito complexos e de difícil mensuração.

Compreender corretamente o problema e seus requisitos (tanto pedagógicos

quanto técnicos) não é uma tarefa trivial, especialmente para REA concebidos com

pouco ou nenhum reuso.