Conclusões dos Estudos

Nós próximos capítulos iremos apresentar estudos e resultados de nossa pesquisa sobre ge- ração de feedback formativo visando MNI. Cada capítulo refere-se a uma ampla questão de pesquisa e detalha uma sequência de estudos empíricos para investigá-la. Nós decidimos seguir uma ordem lógica dos estudos conduzidos nesta pesquisa de mestrado com o intuito de enfatizar as afirmações que concluímos como resultado do esforço da pesquisa.

As principais contribuições desta pesquisa estão listadas a seguir na forma de afirmações ou claims. Levamos em consideração achados presentes em estudos das áreas de educação em ciência da computação e engenharia de software com o intuito de construir conhecimento sobre elas.

• C1 - Nós geramos feedback automático sobre avaliação da adequação dos nomes de identificadores baseado na descrição do problema de programação;

• C2 - Estudantes melhoram a adequação dos nomes de identificadores de seus progra- mas com ajuda do feedback automático e oportuno;

• C3 - Estudantes acham que o feedback automático e oportuno é útil em fornecer ajuda na escrita de nomes apropriados de identificadores de seus programas.

No Apêndice A, apresentamos os principais estudos conduzidos para reunir evidências que dão suporte a C1 e C2 em um artigo, o qual foi submetido para publicação no SBIE (Simpósio Brasileiro de Informática na Educação): "Giving Automated Feedback About Student Code Identifiers: a Method Based on the Description of Programming Problem".

Capítulo 5

Sobre o Uso da Descrição do Problema de

Programação

Neste Capítulo, vamos investigar e demonstrar que é possível atender ao objetivo de gerar de forma automática feedback sobre a adequação dos nomes de identificadores usando a des- crição do problema de programação. Inicialmente, apresentamos nosso primeiro estudo, no qual convidamos instrutores de um curso de programação introdutória para fornecerem ava- liações humanas sobre a adequação dos nomes de identificadores de códigos de alunos. Em sequência, apresentamos o segundo estudo em que contrastamos os identificadores julgados, como apropriados e inapropriados, da avaliação humana com os identificadores julgados como apropriados, segundo a técnica proposta.

O ponto de partida desta pesquisa é a geração da avaliação automática de qualidade que irá compor mensagens de feedback automático. Para examinar a viabilidade da geração da avaliação automática de qualidade, conduzimos nosso primeiro estudo: uma investigação exploratória, em que examinamos como instrutores realizam avaliações humanas sobre a adequação dos nomes de identificadores de códigos de alunos. No sentido de criar o base- line utilizado para validar o método que propomos, convidamos instrutores, de um curso de programação introdutória, para avaliarem a adequação dos nomes de identificadores tendo em vista a legibilidade. Assim, utilizamos o julgamento dos nomes apropriados e inapro- priados como o baseline para determinar a forma como instrutores avaliam a qualidade dos identificadores de código. Deste ponto em diante, iremos nos referir às avaliações realizadas por instrutores em cursos de programação como "avaliação humana". Nós propusemos a

33 seguinte questão de pesquisa:

QP1: Como a avaliação humana julga a adequação dos nomes de identificadores de código, tendo em vista a legibilidade?

Para responder a esta questão de pesquisa, examinamos nosso baseline para constatar quais as características que a avaliação humana leva em consideração ao julgar identifica- dores de código como apropriados, contrastando-os com os inapropriados. A partir dos resultados, fundamentamos a conjectura/inspiração desta pesquisa:

"Nomes apropriados para denotar identificadores de código são, em grande parte, construídos usando palavras da descrição do problema de programação." Com esta conjectura em mente, conduzimos a segunda investigação empírica deste Ca- pítulo: um estudo de caso descritivo. Neste estudo, verificamos e confirmamos a validade da nossa conjectura de que a maioria dos nomes apropriados de identificadores são constituídos de termos da descrição do problema de programação. A partir dos resultados, chegamos à conclusão que podemos gerar mensagens de feedback automático sobre a adequação dos nomes de identificadores considerados inapropriados, segundo o texto da descrição do pro- blema. Deste ponto em diante, vamos nos referir ao método aqui proposto, de encontrar nomes apropriados de identificadores de código no programa de alunos, através da verifi- cação da presença de termos do vocabulário de referência, como "avaliação de qualidade automática". A questão de pesquisa que dirigiu o estudo de caso descritivo foi:

QP2: A avaliação de qualidade automática, em certa medida, se assemelha à avaliação humana ao julgar nomes apropriados de identificadores de código?

Neste estudo, avaliamos o quanto o julgamento de nomes apropriados de identificadores da avaliação automática, extraídos de programas funcionalmente corretos, assemelha-se ao julgamento da avaliação humana. Para tanto, contrastamos os julgamentos de ambos méto- dos de avaliação e examinamos o quanto eles eram próximos.

5.1 Contexto 34

5.1 Contexto

Os estudos deste Capítulo aconteceram de forma organizada e controlada na UFCG, no curso de graduação em Ciência da Computação, no contexto do curso de LP1. Os estudos apresen- tados nas seções 5.2 e 5.3 aconteceram durante os semestres acadêmicos de 2017.2 e 2018.1, respectivamente.

Em ambos estudos, usamos dados reunidos e coletados usando TST em uma edição do curso anterior - 2017.1. O conjunto de dados usado nos estudos foi composto de 125 no- mes de identificadores extraídos a partir de 58 programas funcionalmente corretos. Estes programas foram submetidos por diferentes estudantes como soluções para uma tarefa de programação dirigida por um texto de especificação do problema. Para conduzir este es- tudo, convidamos todos os instrutores de LP1, incluindo meus orientadores. Todos eles já haviam ensinado em turmas do curso de LP1 e, portanto, possuíam experiência em fornecer avaliação humana sobre programas escritos por alunos desse curso.