Avaliação da unidade instrucional

As seções a seguir descrevem como ocorreu a avaliação da unidade instrucional desenvolvida neste trabalho.

5.1.1. Definição da Avaliação

Pergunta de pesquisa

Práticas pedagógicas de ensino de engenharia de software e design de interfaces de forma extracurricular inseridas no ensino de desenvolvimento de aplicativos móveis com App Inventor contribuem para o desenvolvimento competências e motivação/interesse à computação do aluno e apresentam qualidade suficiente?

Hipóteses

A utilização de práticas pedagógicas para o ensino de engenharia de software e design de interfaces de forma extracurricular inseridas no ensino de desenvolvimento de aplicativos móveis com App Inventor (h1) aumenta as competências, (h2) aumenta o interesse pela experiência do aluno, (h3) possui boa usabilidade e (h4) facilita a aprendizagem referente ao ensino de conteúdos de computação.

Design de pesquisa

Estudo de caso: one-shot pre-test - post-test (O X O).

Medição

Para a medição da avaliação foi utilizada a abordagem GQM (BASILI et al., 1994), que consiste em sistematicamente decompor a pergunta de pesquisa em perguntas de análise e medidas e o desenvolvimento de instrumentos de medição.

Perguntas de análise

PA1. Práticas pedagógicas para o ensino de engenharia de software e design de

interfaces inseridas no ensino de desenvolvimento de aplicativos móveis com App Inventor aumentam competências dos alunos referentes a aprendizagem de conteúdos de computação?

PA2. Práticas pedagógicas para o ensino de engenharia de software e design de

interfaces inseridas no ensino de desenvolvimento de aplicativos móveis com App Inventor promovem uma experiência de aprendizagem agradável e divertida?

PA3. As práticas pedagógicas projetadas nessas unidades instrucionais para o

ensino de engenharia de software e design de interfaces inseridas no ensino de desenvolvimento de aplicativos móveis com App Inventor facilitam a aprendizagem (usabilidade da unidade)?

PA4. As práticas pedagógicas projetadas nessas unidades instrucionais para o

ensino de engenharia de software e design de interfaces inseridas no ensino de desenvolvimento de aplicativos móveis com App Inventor aumentam o interesse dos alunos em relação a aprendizagem de conteúdos de computação?

A Tabela 35 sintetiza a definição da avaliação da unidade instrucional. Tabela 35: Síntese da definição da avaliação da unidade

Pergunta de análise Medida Instrumento de medição

PA1.A UI aumenta competências dos alunos referente a aprendizagem de conteúdos de computação?

M1.1Grau de aprendizagem referente a capacidade de fazer aplicativos para smartphones

M1.2Grau de aprendizagem referente à capacidade de descrever um algoritmo em uma sequência de instruções

M1.3Grau de aprendizagem referente à capacidade do uso do App Inventor para desenvolver um app em duplas, instalar no smartphone e compartilhar

M1.4Grau de habilidade para ensinar o aprendido a outras pessoas

M1.5Grau de aprendizagem referente a capacidade de fazer aplicativos para smartphones, sendo um processo de

- Rubricas - Questionário pré/pós-unidade alunos - Questionário pós-jogo SplashCode (oficinas) - Observações - CodeMaster 2.0 - Questionário pré/pós-aula Design Visual

- Questionário pós-unidade pais - Questionário pré/pós-oficina alunos

experiência de aprendizagem agradável e divertida?

M2.2Grau de percepção do tempo durante as aulas

M2.3Grau da interação social

(compartilhar a experiência com outros colegas)

M2.4Opinião subjetiva sobre a aula

M2.5Pontos fortes em relação à experiência das aulas

M2.6Pontos fracos em relação à experiência das aulas

M2.7Vontade de participar novamente da UI em outro momento

alunos

- Questionário pós-unidade pais - Questionário pós-oficina alunos

PA3.A UI facilita a aprendizagem?

M3.1Grau de facilidade das aulas

M3.2Grau de facilidade do processo de desenvolvimento de aplicativos para smartphones

M3.3Grau de qualidade geral das aulas

- Questionário pós-unidade alunos

- Questionário pós-unidade pais - Questionário pós-oficina alunos

PA4.A UI aumenta o interesse dos alunos referente a

aprendizagem de conteúdos do computação?

M4.1Vontade de aprender computação na escola

M4.2Grau de satisfação em fazer apps para smartphones

M4.3Percepção da importância da computação no dia-a-dia

M4.4Vontade de trabalhar com computação no futuro

- Questionário pós-unidade alunos

- Questionário pós-unidade pais - Questionário pós-oficina alunos

Para a realização do plano da avaliação durante a aplicação da unidade instrucional em sua versão longa, foi criado um planejamento aula a aula para a aplicação dos instrumentos de medição. A Tabela 36 ilustra este planejamento, utilizado durante o período de aplicação. Cabe ressaltar que em todas as aulas o instrumento de medição de observação foi utilizado, levantando a análise tanto da qualidade da UI quanto da aprendizagem dos alunos. Os workbooks citados na tabela abaixo foram utilizados para medir os resultados a fim de responder a pergunta de análise PA1, com a utilização das rubricas apresentadas na seção 4 deste trabalho. O questionário MEEGA+Kids7 _{também mencionado na Tabela 36 é}

um modelo de avaliação de jogos no ensino de computação para a educação básica desenvolvido no laboratório GQS/INCoD/INE/UFSC.

Tabela 36: Planejamento da avaliação da unidade versão longa

Aula Momento da

coleta de dados

Quem

responde Instrumento de medição

Oficinas

Começo da aula Alunos Questionário pré-oficina alunos

Após o jogo Alunos Questionário MEEGA+Kids

Término da aula Alunos Questionário pós-oficina alunos

Após a aula Pais Questionário pós-oficina pais

Primeiro encontro na UFSC (também foi realizada uma oficina com os Jovens Tutores e Mentores)

Começo da aula Alunos Questionário pré-unidade Aula 2.1 e 2.2 - Processo de

desenvolvimento de apps, identificação problema/solução e análise do contexto e requisitos

Término da aula Alunos Workbooks aula 2.1 e 2.2 Aula 2.3 - Design de baixa fidelidade Final da aula Alunos Workbook aula 2.3 Aula 2.7 - Design visual e testes

Início da aula Alunos Questionário pré-aula design visual

Final da aula Alunos Questionário pós-aula

design visual Aula 2.8 - Testes funcional e de

usabilidade Final da aula Alunos Workbook aula 2.8

Último encontro

Final da aula Alunos Questionário pós-unidade

alunos

Após a aula Pais Questionário pós-unidade

pais

A Tabela 37 apresenta o planejamento da avaliação para a versão curta. Tabela 37: Planejamento da avaliação da unidade versão curta

Aula Momento da coleta de

dados Quem Questionários

Aula 1

Início da aula Alunos Questionário pré-unidade alunos

Após o jogo

Todos que jogaram o jogo (professores e alunos)

Questionário MEEGA+KIDS

Após a aula Alunos Tarefa de casa sobre algoritmos

Aula 3

Durante a aula Alunos Questionário sondagem design visual

Durante a semana da

aula Alunos

Três perguntas a serem respondidas em sala de aula

Questionário de avaliação do design visual do app (alunos se autoavaliam e

Aula 6 Após a aula Alunos Questionário pós-unidade alunos. Questionários habilidades do século XXI.