VI WORKSHOP DE ENGENHARIA DE SOFTWARE BASEADA EM BUSCA September 23 rd, 2015 Belo Horizonte MG, Brazil

(1)

CBSoft 2015

(2)

CBSoft 2015

WESB 2015

VI WORKSHOP DE ENGENHARIA DE SOFTWARE BASEADA EM BUSCA September 23^rd, 2015

Belo Horizonte – MG, Brazil

ANAIS | PROCEEDINGS

COORDENADORES DO COMITÊ DE PROGRAMA DO WESB 2015 | PROGRAM COMMITTEE CHAIR OF WESB 2015

Maria Cláudia Figueiredo Pereira Emer (UTFPR-Curitiba) Thelma Elita Colanzi (UEM)

COORDENADORES GERAIS DO CBSOFT 2015 |CBSOFT 2015 GENERAL CHAIRS Eduardo Figueiredo (UFMG)

Fernando Quintão (UFMG) Kecia Ferreira (CEFET-MG) Maria Augusta Nelson (PUC-MG)

REALIZAÇÃO | ORGANIZATION

Universidade Federal de Minas Gerais (UFMG)

Pontíficia Universidade Católica de Minas Gerais (PUC-MG)

Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG)

PROMOÇÃO |PROMOTION

Sociedade Brasileira de Computação | Brazilian Computing Society

APOIO | SPONSORS

CAPES, CNPq, FAPEMIG, Google, RaroLabs, Take.net, ThoughtWorks, AvenueCode, AvantiNegócios e Tecnologia.

VOLUME 01 ISSN: 2178-6097

(3)

CBSoft 2015

APRESENTAÇÃO

Sejam todos bem-vindos ao Workshop de Engenharia de Software Baseada em Busca – WESB 2015. O WESB tem contribuído para o crescimento da área no cenário nacional, tornando-se um fórum de grande importância para discussão e divulgação de pesquisas em temas relacionados à área no Brasil. Nas últimas edições realizadas observou-se que o WESB é fundamental para a formação de uma comunidade de pesquisa em Engenharia de Software Baseada em Busca. Ele tem permitido que pesquisadores, ora trabalhando isoladamente, se conheçam, possam se unir, discutir interesses em comum e

propor/realizar projetos de pesquisa. Sendo assim, nesta sexta edição o WESB pretende fortalecer a comunidade de pesquisa recém-criada e contribuir para o crescimento da área no Brasil.

No contexto do WESB, técnicas de busca englobam tanto técnicas tradicionais, como força bruta ou branch-and-bound, quanto meta-heurísticas, como algoritmos genéticos e outros algoritmos bio-inspirados. O WESB é um workshop sobre fundamentos teóricos, de experiências práticas e de automatização da Engenharia de Software Baseada em Busca (SBSE – Search Based Software Engineering) em projetos acadêmicos e industriais.

Os trabalhos submetidos para esta sexta edição foram cuidadosamenterevisados por três avaliadores do comitê de programa, que contou compesquisadores de diferentes regiões do país, e com a colaboração de alguns revisoresexternos. Estes anais contêm os

trabalhos selecionados dentre as submissõesrecebidas. Ao todo, sete trabalhos completos foram selecionados e serão apresentadosnas três sessões técnicas que

integram o evento. Os principais temas abordadosincluem: teste de software, requisitos e linha de produto de software. Além das sessões técnicas, aprogramação também inclui uma palestra convidada e discussões sobre SBSE.

A realização do evento não seria possível sem a colaboração de diversas pessoas.

Portanto, gostaríamos de agradecer a todos que auxiliaram para a realização do evento, em especial, aos membros do comitê de programa. Também, gostaríamos de parabenizar a todos os autores dos trabalhos selecionados e de agradecer aos autores de todas as submissões realizadas. Certamente que sem a colaboração de todos não seria possível realizar o evento. Agradecemos também aos organizadores do CBSoft 2015 pela oportunidade, apoio e infraestruturadisponibilizada.

Desejamos a todos um excelente evento e esperamos que o WESB 2015 possa contribuir para estimular e consolidar a Engenharia de Software Baseada em Busca no Brasil.

Belo Horizonte, setembro de 2015.

Coordenadoras do Gerais do WESB 2015

(4)

CBSoft 2015

COMITÊ DE ORGANIZAÇÃO | ORGANIZING COMMITTEE

CBSOFT 2015 GENERAL CHAIRS

Eduardo Figueiredo (UFMG) Fernando Quintão(UFMG) Kecia Ferreira (CEFET-MG) Maria Augusta Nelson (PUC-MG) CBSOFT 2015 LOCAL COMMITTEE

Carlos Alberto Pietrobon (PUC-MG)

Glívia Angélica Rodrigues Barbosa (CEFET-MG) Marcelo Werneck Barbosa (PUC-MG)

Humberto Torres Marques Neto (PUC-MG) Juliana Amaral Baroni de Carvalho (PUC-MG) WEBSITE AND SUPPORT

Diego Lima (RaroLabs)

Paulo Meirelles (FGA-UnB/CCSL-USP) Gustavo do Vale (UFMG)

Johnatan Oliveira (UFMG)

(5)

CBSoft 2015

COMITÊ TÉCNICO | TECHNICAL COMMITTEE

COORDENADORES DO COMITÊ DE PROGRAMA DO WESB 2015 | 2015 | PROGRAM COMMITTEE CHAIR OF WESB 2015

COMITÊ DIRETIVO | STEERING COMMITTEE Auri Marcelo Rizzo Vincenzi (UFG)

Celso Gonçalves Camilo Junior (UFG)

Silvia Regina Vergílio (UFPR)

COMITÊ DE PROGRAMA | PROGRAM COMMITTEE Adriana C. F. Alvim (UNIRIO)

Arilo Claudio Dias Neto (UFAM) Auri Marcelo Rizzo Vincenzi (INF/UFG) Cássio Leonardo Rodrigues (INF/UFG) Celso G. Camilo-Junior (INF/UFG) Eliane Martins (IC/Unicamp) Geraldo Robson Mateus (UFMG) Gledson Elias (UFPB)

Jerffeson Teixeira de Souza (UECE) Leila Silva (UFS)

Márcio Eduardo Delamaro (ICMC/USP) Márcio de Oliveira Barros (UNIRIO)

Maria Cláudia Figueiredo Pereira Emer (UTFPR)

Mel Ó Cinnéide (University College Dublin, IE (Irlanda)) Pedro de Alcântara dos Santos Neto (UFPI)

Plínio de Sá Leitão Júnior (INF/UFG) Silvia Regina Vergilio (UFPR)

Thelma Elita Colanzi (UEM)

REVISORES EXTERNOS |EXTERNAL REVIEWERS Eduardo Freitas, IFG

Kenyo Faria, IFG Renata Rego, UFAM

(6)

CBSoft 2015

PALESTRAS CONVIDADAS | INVITED TALKS

Estudos Experimentais com Algoritmos de Otimização em Engenharia de Software

Márcio de Oliveira Barros(UNIRIO)

Resumo: Nesta palestra apresentaremos a área de Engenharia de Software baseada em Buscas como um excelente domínio para a realização de estudos experimentais

relacionados com problemas da Engenharia de Software. A realização de estudos experimentais dentro da Engenharia de Software é um assunto relativamente recente.

Embora os primeiros estudos já tenham mais de três décadas, o uso deste recurso de pesquisa para identificação de evidências se intensificou nos últimos 10 anos. Existem diversas razões para esta lenta adoção dos estudos experimentais na Engenharia de Software, mas muitas destas razões deixam de existir quando tratamos da Engenharia de Software baseada em Buscas. Sendo assim abordaremos as razões pelas quais estudos com algoritmos heurísticos tendem a ser mais simples do que em outras áreas da

Engenharia de Software e veremos as técnicas mais comumente utilizadas nestes estudos.

Márcio de Oliveira Barros possui graduação em Informática pelo IM/UFRJ (1992), Mestrado em Engenharia de Sistemas e Computação pela COPPE/UFRJ (1995) e doutorado em Engenharia de Sistemas e Computação pela COPPE/UFRJ (2001).

Atualmente é Professor Associado da UNIRIO. Atua como revisor de diversos periódicos da área de Engenharia de Software, como o Journal of Systems and Software, JSERD, JSEP, ESE, IJSEKE, TOSEM e JUCS. Atua também como revisor de projetos de fomento do CNPq, onde possui uma bolsa de Produtividade em Pesquisa N2. Tem experiência na área de Ciência da Computação, com ênfase em Engenharia de Software e atua em pesquisa nos seguintes temas: otimização heurística na Engenharia de Software (SBSE), software design, gerência de projetos, modelagem e simulação de projetos de software.

(7)

CBSoft 2015

ARTIGOS TÉCNICOS | TECHNICAL RESEARCH PAPERS

SESSÃO 1: Hiper-Heurísticas

Uma hiper-heurística de seleção de meta-heurísticas para estabelecer sequências de módulos para o teste de software

Vinicius Renan de Carvalho, Silvia Regina Vergilio, Aurora Pozo ¹ Uma Solução Baseada em Hiper-Heurística para Determinar Ordens de Teste

na Presença de Restrições de Modularização

Giovani Guizzo, Silvia Regina Vergilio, Aurora Trinidad Ramirez Pozo ¹¹ SESSÃO 2: Requisitos

Seleção de Elementos de Elicitação de Requisitos utilizando Algoritmos Evolutivos Multiobjetivo

Renata M. Rêgo, Arilo C. Dias-Neto, Rosiane de Freitas.

21

Uma abordagem utilizando NSGA-II In Vitro para resolução do Problema do Próximo Release Multiobjetivo

Átila Freitas, Allysson Allex Araújo, Matheus Paixão, Altino Dantas, Celso Camilo-Júnior, Jerffeson Souza

31

Uma Adaptação dos Operadores Genéticos para o Problema do Próximo Release com Interdependência entre Requisitos

Italo Yeltsin, Allysson Allex Araújo, Altino Dantas, Jerffeson Souza

41

SESSÃO 3: Linha de Produto de Software

Otimizando o Projeto de Arquitetura de Linha de Produto de Software com Muitos Objetivos: um Estudo Exploratório

Marcelo C. B. Santos, Wainer Moschetta, Thelma E. Colanzi, Edson Oliveira Jr ⁵¹

Utilizando Otimização por Colônia de Formigas na Seleção de Produtos para o Teste de Mutação do Diagrama de Características

Thiago do Nascimento Ferreira e Silvia Regina Vergilio ⁶¹

(8)

Uma hiper-heur´ıstica de seleção de meta-heur´ısticas para estabelecer sequências de módulos para o teste de software

Vinicius Renan de Carvalho¹, Silvia Regina Vergilio¹, Aurora Pozo¹

1DInf-UFPR, Centro Polit´ecnico, Jardim das Am´ericas, CP 19081, CEP 19031-970, Curitiba - PR. (UFPR)

Resumo. Meta-heur´ısticas, tais como algoritmos evolutivos multi-objetivos, são utilizadas para estabelecer sequências de módulos para o teste de integração, a fim de minimizar o custo relacionado à construção de stubs. Con- tudo, resultados da literatura mostram que nenhum algoritmo pode ser considerado o melhor para qualquer sistema e contexto. Muitas vezes é necessário configurar diferentes algoritmos e realizar experimentos para determinar qual

é o melhor. Para evitar esta tarefa e reduzir o esforço do testador, este trabalho propõe uma hiper-heur´ıstica, chamada MOCAITO-HH, que utiliza o método de seleção Choice Function para selecionar, em tempo de execução, o melhor algoritmo com o melhor desempenho em um dado momento e sistema, considerando diferentes indicadores da área de otimização. O uso da hiper-heur´ıstica obteve resultados equivalentes estatisticamente ao melhor algoritmo, sem que seja necessária a escolha da meta-heur´ıstica por parte do testador.

Abstract. Meta-heuristics, such as multi-objective and evolutionary algorithms, have been successfully used to establish sequence of modules for the integration testing with minimal stubbing cost. However, results from the literature show that no algorithm has been obtained the best performance for any system and context. Many times it is necessary to configure different algorithms and to con- duct experiments to determine the best one. To avoid this and reducing tester’s efforts, this work introduces a hyper-heuristic, named MOCAITO-HH, which uses the method Choice Function to select, in execution time, the algorithm with the best performance in a given moment and system, according to common qua- lity indicators of the optimization field. The use of the hyper-heuristic obtained results that are statistically equivalent to the best algorithm, without requiring the tester’s choice of a meta-heuristic.

1. Introduc¸˜ao

O problema de determinar uma sequência de módulos para o teste de integração visa a determinar uma ordem em que os módulos de um sistema devem ser integrados e testados, que possua o menor custo poss´ıvel, relacionado à construção destubs. Isto pode ser feito decidindo qualstubdeve ser implementado primeiro. Esta tarefa não é uma tarefa trivial, pois o custo é influenciado por diversos fatores.

Diferentes abordagens s˜ao propostas na literatura para resolver este problema.

Dentre estas, destacam-se abordagens baseadas em busca [Wang et al. 2011], tais como a abordagem MOCAITO [Assunção et al. 2014] que trata este problema como um problema de muitos objetivos, e por esta razão, a ser otimizado com algoritmos multi- objetivos. A abordagem inclui passos para a escolha dos objetivos e do algoritmo de

(9)

otimização (meta-heur´ıstica), entretanto não oferece nenhum suporte para auxiliar o testador nesta tarefa. Nos experimentos conduzidos com algoritmos evolutivos multi-objetivos (MOEAs), e relatados em [Assunção et al. 2014], observou-se que nenhum algoritmo se mostrou o melhor para todos os sistemas. A escolha pode depender de caracter´ısticas e interdependências existentes nos módulos dos sistemas e esta escolha pode implicar na condução de experimentos para a determinar o melhor algoritmo. Isto é uma tarefa dif´ıcil para testadores que não têm conhecimento na área de Engenharia de Software Baseada em Busca (SBSE) e que consome bastante tempo e esforço.

Em tais situações, o uso de hiper-heur´ısticas tem despertado interesse da comunidade de SBSE mais recentemente [Harman et al. 2012]. Ainda são poucos os trabalhos que tratam deste tópico. Segundo Burke et al. (2013), hiper-heur´ıstica pode ser definida como: (i) metodologias de seleção de heur´ısticas: heur´ısticas para escolher heur´ısticas, e (ii) metodologias de geração de heur´ısticas: heur´ısticas para gerar heur´ısticas. Ainda são poucos os trabalhos que aplicam hiper-heur´ısticas em SBSE [Kaelbling et al. 1996, Basgalupp et al. 2013, Guizzo et al. 2015a, Jia et al. 2015].

No contexto do problema de integração e teste de módulos, destaca-se a hiper-heur´ıstica HITO [Guizzo et al. 2015a] com o objetivo de auxiliar o testador na escolha de operadores, tais como o de cruzamento e mutação, que melhor resolvem o problema. HITO foi implementada com o algoritmo NSGA-II e apresentou melhores resultados quando comparada ao algoritmo tradicional. Entretanto, HITO não auxilia na escolha do algoritmo multi-objetivo mais adequado ao sistema sendo testado.

Com o objetivo de facilitar esta escolha e evitar esforço comparando diferentes algoritmos, este trabalho propõe uma hiper-heur´ıstica, chamada MOCAITO-HH, que trabalha com a abordagem MOCAITO para resolver o problema de determinação de sequências de teste, e que utiliza a função de seleção CF (Choice Func- tion [Cowling et al. 2001]), que permite escolher durante a otimização o melhor algoritmo em um dado momento, dentre os algoritmos evolutivos: NSGA-II, SPEA-2 e IBEA.

MOCAITO-HH utiliza um ranqueamento considerando o desempenho dos algoritmos de acordo com os indicadoresHypervolume, Spread, Algorithm Effort(AE), Ratio of Non- dominated Individuals (RNI), e um mecanismo para troca de população que permite a alternância de execução entre os algoritmos. Resultados obtidos pela hiper-heur´ıstica mostram equivalência estat´ıstica com a execução de um único (o melhor) algoritmo em cada caso, mas com a vantagem de não ser necessário realizar experimentos para saber qual é o melhor.

O trabalho está organizado como segue. Na Seção 2 a abordagem MOCAITO é brevemente descrita. Após isso, é fornecida uma introdução à área de hiper-heur´ısticas e a função de seleção CF (Seção 3). A hiper-heur´ıstica é proposta na Seção 4 e resultados de sua avaliação são apresentados na Seção 5. A Seção 6 contém trabalhos relacionados e a Seção 7 apresenta as considerações finais.

2. Abordagem MOCAITO

A atividade de teste é geralmente realizada em fases. O teste de unidade, por exemplo, visa a testar cada módulo de software separadamente. Depois disto, estes módulos são integrados e testados. Na maioria das vezes os módulos não são integrados de uma vez.

Essa integração acontece em partes e, por isso a ordem de integração de módulos pode

(10)

depender da disponibilidade prévia de um outro módulo, do qual eles dependem. Desta forma, faz-se necessária a determinação da ordem com que os elementos devem ser constru´ıdos e testados, e caso necessário a construção de um stub. Criar um stub tem um custo, este custo deve ser minimizado por meio de alguma estratégia que decida qualstub deve ser implementado primeiro, esta tarefa não é uma tarefa trivial devido a conflitos de restrições, fatores que impactam a criação de umstube poss´ıveis restrições contratuais.

Dentre as diversas abordagens existentes para o problema [Wang et al. 2011], destaca-se a abordagem MOCAITO (Multi-objective Optimization and Coupling-based Approach for the Integration and Test Order problem), de Assunção et al. (2014). Esta abordagem foi escolhida devido ao fato de trabalhar com algoritmos multi-objetivos. A abordagem MOCAITO permite o uso de diferentes métricas e meta-heur´ısticas, fazendo desta uma abordagem genérica e abrangente. Duas entradas devem ser fornecidas. A primeira é a informação sobre os relacionamentos de dependência entre os módulos. No contexto de software orientado a objetos (OO) os módulos são classes, e a dependência entre as classes é dada por um diagrama chamado ORD (Object Relation Diagram). No contexto de software Orientado a Aspectos, este diagrama é estendido para conter também as dependências entre aspectos e entre classes e aspectos. A segunda entrada é a informação sobre o custo envolvido na construção de umstub, seus valores são utilizados pela função de aptidão do algoritmo (objetivos) [Assunção et al. 2014]. Estas entradas são utilizadas em conjunto pelo algoritmo de otimização multi-objetivo pois a informação sobre os relacionamentos é necessária para que a minimização do custo envolvido na criação não viole as restrições do problema a ser trabalhado. Ao final o testador deve escolher a melhor solução de acordo com os recursos do teste.

Em [Assunção et al. 2014] a abordagem MOCAITO foi avaliada em experimentos com diferentes sistemas e com os algoritmos NSGA-II, SPEA2 e PAES, e os operadores Two Points CrossovereSwap Mutationcomo operadores de cruzamento e mutação, respectivamente. Dois modelos de custo foram utilizados: um com dois objetivos, composto do número de atributos (A) e do número de operações (O) que precisam se emulados caso ostubseja constru´ıdo; e um com quatro objetivos, que utiliza além das medidas A e O, o número de tipos distintos de retorno (R) e número de tipos distintos de parâmetro (P) envolvidos nas operações. Os resultados obtidos foram promissores, mas nenhum algoritmo provou ser o melhor para todos os sistemas. Para que não seja necessária a escolha de tal algoritmo este artigo propõe uma abordagem baseada em hiper-heur´ıstica.

3. Hiper-heur´ısticas

Meta-heur´ısticas têm sido amplamente utilizadas na busca de soluções de diversos problemas, contudo conforme vão surgindo aplicações de meta-heur´ısticas em novos problemas, tem-se a dificuldade de determinar qual combinação de meta-heur´ısticas e operadores seriam os mais efetivos para um dado problema. Neste contexto, o conceito de hiper-heur´ıstica surge como uma poss´ıvel solução para que um processo de busca seja guiado de forma que seja aplicada automaticamente a melhor heur´ıstica de baixo n´ıvel (Low Level Heuristic- LLH) [Sabar et al. 2015].

Segundo Cowling et al. (2001) hiper-heur´ısticas são heur´ısticas que escolhem heur´ısticas. Posteriormente devido à expansão da área, uma nova definição foi proposta por Burke et al.(2013), hiper-heur´ısticas portanto são: (i) metodologias de seleção de

(11)

heur´ısticas; e/ou (ii) metodologias de geração de heur´ısticas. Assim a escolha de uma LLH é realizada comparando os resultados obtidos com resultados anteriores, baseando- se em algum indicador de qualidade comoHypervolume, etc. As LLH podem ser operadores (como por exemplo operadores de mutação e cruzamento), ou meta-heur´ısticas (como NSGA-II, SPEA2, etc.).

Neste trabalho, as LLH são meta-heur´ısticas, algoritmos de otimização multi- objetivos a serem escolhidos automaticamente. É utilizado um método de seleção de heur´ısticas conhecido comoChoice Function(CF) [Cowling et al. 2001] por sua simpli- cidade de implementação e melhora geralmente proporcionada por sua aplicação.

3.1. Choice Function

O m´etodo de Choice Function (CF) foi inicialmente proposto por Cowling et al.

(2001) e tem como objetivo escolher uma LLH de acordo com um ranqueamento.

Para isto, este método adaptativamente classifica cada LLH com relação a uma pontuação [Burke et al. 2013]. Esta pontuação leva em consideração quão bom foram os resultados da execução da LLH, a melhora obtida de sua execução em relação à executada previamente, e o tempo de espera desde sua última utilização. Maashi et al. (2014) propuseram uma simplificação para o método CF, implementando um sistema que utiliza dois ranqueamentos baseados em indicadores (Figura 1). O primeiro ranqueamento é criado a partir dos valores obtidos, para cada heur´ısticah_i, dos indicadores deHypervolume(H), Algorithm Effort(AE), Ratio of Non-dominated Individuals(RNI) eSpread(S), ordena- dos do melhor para o pior, e posteriormente classificados de acordo com a quantidade de vezes que um dado algoritmo obteve o melhor resultado frente aos outros, ou seja, obteve a primeira colocação em algum indicador. A partir do primeiro ranqueamento é criado o segundo, que tem como função ordenar os elementos do melhor para o pior atribuindo- lhes uma colocaçãoF req_rank.

Figura 1. Ranqueamento em dois n´ıveis, adaptada de [Maashi et al. 2014]

A função de seleção é então dada pela Equação 1:

F(h_i) =αf₁(h_i) +βf₂(h_i) (1) ondeαeβ são parâmetros que regulam o impacto de cada item da equação.

O valor def1 é dado pela Equação 2 trabalhando-se diretamente com as variáveis F req_rank(obtida através do segundo ranqueamento (Figura 1)),RN I_rank (obtido através

(12)

do ranqueamento do maior RNI para o menor) eN (quantidade de LLHs). A adição do valor de RNI na Equação 2 permite que o algoritmo não olhe apenas para os melhores resultados, mas também busque um maior número de soluções não dominadas.

f1(hi) = 2∗(N + 1)−(F reqrank(hi) +RN Irank(hi)) (2) O elementof₂(h_i)é o tempo (em segundos) decorrido desde a última execução da heur´ısticah_i. A heur´ıstica que maximiza CF é escolhida.

No trabalho de Maashi et al. (2014) as meta-heur´ısticas NSGA-II, SPEA2 e MOGA foram usadas como LLH para solucionar o problemaWalking Fish Group (WFG) benchmark[Huband et al. 2006]. Devido aos bons resultados obtidos, esta abordagem foi empregada neste trabalho como descrito na próxima seção.

4. MOCAITO-HH

A MOCAITO-HH (MOCAITO using Hyper Heuristics), combina o método Choice Function proposto em [Maashi et al. 2014] com a abordagem MO- CAITO [Assunção et al. 2014]. Para isto, aplica a CF por classificação usando as métricasHypervolume, AE, RNI eSpread. A MOCAITO-HH utiliza o algoritmos como sendo as heur´ısticas de baixo n´ıvel (LLH), sendo estas NSGA-II, SPEA2 e IBEA, todos implementados no jMetal¹.

A Figura 2 mostra como se dá a transferência das populações entre os algoritmos. No caso de uma transição do algoritmo NSGA-II para SPEA2/IBEA, a população é atribu´ıda normalmente e o arquivo recebe o subconjunto de soluções não dominadas. No caso da transição de SPEA2/IBEA para NSGA-II, uma união é realizada entre a população e o arquivo provenientes de SPEA2/IBEA, e um subconjunto é selecionado com ajuda do mecanismoCrowding Distancedo NSGA-II, posteriormente, este subconjunto é atribu´ıdo como população no NSGA-II.

Figura 2. Tipos de passagem de populac¸ ˜ao

Os cálculos dos indicadores Hypervolume e Spread são feitos como base uma dada população e um ponto de referência, sendo este ponto a pior solução poss´ıvel para o problema a ser otimizado. O RNI representa o percentual de soluções não dominadas

1Neste trabalho, diferentemente do trabalho de Assunção et al. (2014) , não foi utilizado o algoritmo PAES, pelo fato de este não ser um algoritmo populacional. Em seu lugar foi escolhido então o IBEA.

(13)

da população em questão. O AE representa o tempo computacional necessário para a LLH executar. Depois de efetuado o cálculo dos indicadores, os ranqueamentos são realizados, com base na Equação 2, e obtido oF(h_i) para cada LLH levando também em consideração of₂(h_i), que é o tempo em segundos que uma dada LLH ficou sem atividade (representado pelo vetorEstimatedT imeW aiting) . Por fim, o maior valor deF(h_i)é selecionado e a LLH em questão é aplicada. Para isto recebe a população LLH vigente.

Algoritmo 1:Pseudoc´odigo da hiper-heur´ıstica MOCAITO-HH na escolha de algoritmos

1 Entrada:A- Problema a ser trabalhado;W- tamanho da janela

2 Sa´ıda: O problema trabalhadoA.

3 in´ıcio

4 Algs←Inicializa algoritmos;

5 enquantoTodos algoritmos n˜ao forem executadosfac¸a

6 Alg←Algs;

7 Alg.atribuirProblema(A);

8 enquantoO tamanho da janela W n˜ao for atingidofac¸a

9 Alg.execute();

10 fim

11 fim

12 EstimatedT imeW aiting←Inicia vetor com 0 para cada LLH;

13 Hypervolumes←Calcula Hypervolume para cada algoritmo;

14 RN Is←Calcula RNI para cada algoritmo;

15 Spreads←Calcula Spread para cada algoritmo;

16 AEs←Calcula AE para cada algoritmo;

17 Ranking←CalculaRanking(Algs, Hypervolumes, RNIs, Spreads, AEs);

18 Alg←ChoiceFunction(Ranking, EstimatedTimeWaiting, RNIs);

19 enquantoA quantidade máxima de avaliações não for realizadafaça

20 enquantoO tamanho da janela W n˜ao for atingidofac¸a

21 Alg.execute();

22 fim

23 EstimatedT imeW aiting←Incrementa EstimatedTimeWaiting de outros algoritmos;

24 Hypervolumes←Calcula Hypervolume para cada algoritmo;

25 RN Is←Calcula RNI para cada algoritmo;

26 Spreads←Calcula Spread para cada algoritmo;

27 AEs←Calcula AE para o algoritmo Alg;

28 Ranking←CalculaRanking(Algs, Hypervolumes, RNIs, Spreads, AEs);

29 proxAlg←ChoiceFunction(Ranking, EstimatedTimeWaiting, RNIs);

30 proxAlg.setPopulation(Alg.getPopulation);

31 Alg←proxAlg;

32 fim

33 A←Alg.obterResultado();

34 retornaA;

35 fim

O Algoritmo 1 mostra o comportamento da MOCAITO-HH na escolha de algoritmos. Primeiramente os algoritmos NSGA-II, IBEA e SPEA2 são inicializados e recebem uma mesma população inicial aleatória. Em seguida, na linha 8 cada um dos algoritmos é executado porW avaliações para que posteriormente os vetores deHypervolume,Spread, AE e RNI sejam preenchidos de forma que cada posição destes vetores representem um dos algoritmos. A abordagem de dois ranqueamentos [Maashi et al. 2014] é utilizada, e o vetorRanking é gerado (linha 17), que juntamente com o vetorRNIs, são utilizados pela CF para que o algoritmoAlgseja escolhido.

Na linha 19 do pseudocódigo inicia-se uma repetição que controla a quantidade de avaliações que devem ser executadas. Na linha 20 o mesmo processo da linha 8 é realizado, contudo este processo é executado apenas para o algoritmoAlg. Na linha 23 o incremento dos itens do vetorEstimatedTimeWaiting é realizado para todos os algoritmos diferentes deAlge, posteriormente, os vetores deHypervolume, Spread, AE, RNI e

(14)

Rankingsão recalculados. A variávelproxAlg recebe o algoritmo escolhido pela CF na linha 29, para que posteriormente, na linha 30, seja realizada a passagem de população do algoritmoAlg(população corrente) para o algoritmoproxAlg.

5. Avaliac¸˜ao da Hiper-heur´ıstica

Para avaliar a MOCAITO-HH foram consideradas duas instâncias do problema: uma com 2 objetivos (A e O) e outra com 4 (A,O,R,P) (ver Seção 2). Foram utilizados os sistemas mais complexos descritos em [Assunção et al. 2014] e na Tabela 1, ou seja, para os quais houve diferença no comportamento dos algoritmos.

Foram utilizados os parâmetros da Tabela 2, conforme usado no trabalho de Assunção et al.; α, β e W foram obtidos empiricamente, testando-se diferentes valores. Os algoritmos e a hiper-heur´ıstica foram executados 30 vezes. Para cada execução foram obtidas a quantidade de soluções não dominadas e realizado o cálculo doHyper- volumepara a população final obtida. Após a execução, foram calculadas a médias das 30 execuções para a métricaHypervolumee para a quantidade de soluções não dominadas. Em seguida o teste estat´ıstico Kruskal-Wallis [Derrac et al. 2011] foi aplicado com a finalidade de verificar equivalências estat´ısticas (significância de 95%).

5.1. Resultados

As Tabelas 3 e 4 mostram os resultados para cada uma das meta-heur´ısticas individual- mente comparados ao resultado do MOCAITO-HH. A coluna Id se refere à identificação do sistema usado, Hyp a média doHypervolumecom seu desvio padrão em parenteses, e a média da quantidade de soluções não dominadas e seu desvio padrão. Valores em negrito representam igualdade estat´ıstica segundo o teste Kruskal-Wallis.

Tabela 1. Sistemas Utilizados no Experimento

Id Sistema Linguagem Vers˜ao LOC Classes Aspectos Dependˆencias

1 AJHotDraw AspectJ 0.4 18586 290 31 1592

2 AJHSQLDB AspectJ 18 68550 276 25 1338

3 BCEL Java 5.0 2999 45 - 289

4 MyBatis Java 3.0.2.2 23535 331 - 1271

Tabela 2. Par ˆametros do experimento

Aval. População/Arquivo Cruzamento Mutação α β W

MOCAITO 60000 300 95% 2% - - -

MOCAITO-HH 60000 300 95% 2% 1 0.1 600

Os resultados mostram que a MOCAITO-HH obteve, em todos os casos, resultados de Hyp equivalentes aos resultados do melhor algoritmo, independentemente do número de objetivos utilizados. Com relação ao tempo de execução os resultados mostraram que o NSGA-II obteve o menor tempo de execução, seguido pelo IBEA, MOCAITO- HH e SPEA2. O fator custo deverá ser objeto de estudos futuros, considerando o uso da MOCAITO-HH em diferentes problemas.

As Figuras 3 e 4 mostram, respectivamente, o percentual de escolha de cada meta- heur´ıstica pelo MOCAITO-HH em cada um dos problemas testados. Percebe-se que o

(15)

Tabela 3. Resultados para 2 objetivos para MOCAITO-IBEA, MOCAITO-NSGA-II, MOCAITO-SPEA2 e MOCAITO-HH

ID IBEA NSGA-II SPEA2 MOCAITO-HH

1 Hyp 9.63E-1 (4.14E-3) 9.67E-1 (5.00E-3) 9.65E-1 (3.80E-3) 9.67E-1 (5.05E-3) Qtd 3.87 (1.50) 4.40 (1.81) 4.83 (2.19) 5.10 (2.25)

2 Hyp 8.59E-1 (8.19E-3) 8.71E-1 (9.24E-3) 8.65E-1 (9.98E-3) 8.64E-1 (1.07E-2) Qtd 17.93 (7.31) 32.20 (7.83) 27.80 (10.97) 25.40 (8.39) 3 Hyp 7.78E-1 (3.33E-3) 7.79E-1 (3.32E-3) 7.77E-1 (5.44E-3) 7.77E-1 (3.90E-3)

Qtd 27.46 (1.16) 28.87 (0.35) 28.77 (0.86) 28.60 (0.6215) 4 Hyp 9.05E-1 (6.95E-3) 9.10E-1 (6.59E-3) 9.11E-1 (7.16E-3) 9.10E-1 (6.21E-3)

Qtd 47.30 (4.45) 60.84 (8.43) 57.20 (5.86) 55.43 (6.59)

Tabela 4. Resultados para 4 objetivos para MOCAITO-IBEA, MOCAITO-NSGA-II, MOCAITO-SPEA2 e MOCAITO-HH

ID IBEA NSGA-II SPEA2 MOCAITO-HH

1 Hyp 9.34E-1 (4.56E-3) 9.48E-1 (4.47E-3) 9.47E-1 (5.03E-3) 9.45E-1 (5.33E-3) Qtd 7.63 (2.95) 65.26 (11.35) 74.56 (24.28) 57.80 (19.50) 2 Hyp 7.17E-1 (1.91E-2) 7.35E-1 (1.72E-2) 7.33E-1 (1.67E-2) 7.31E-1 (1.81E-2)

Qtd 33.40 (18.53) 164.73 (37.95) 122.73 (33.13) 96.66 (32.83) 3 Hyp 4.92E-1 (5.79E-3) 5.01E-1 (1.64E-3) 5.01E-1 (3.01E-4) 5.01E-1 (5.87E-4)

Qtd 19.60 (2.14) 36.20 (1.44) 36.33 (1.27) 36.33 (1.88) 4 Hyp 7.82E-1 (1.25E-2) 8.28E-1 (1.34E-2) 8.25E-1 (1.10E-2) 8.22E-1 (1.01E-2)

Qtd 38.47 (13.64) 276.74 (7.15) 248.73 (5.50) 195.90 (53.05) NSGA-II foi a meta-heur´ıstica mais escolhida pela MOCAITO-HH, e a menos utilizada foi a IBEA, o algoritmo que apresentou os piores resultados. Isto mostra a capacidade da hiper-heur´ıstica em escolher a meta-heur´ıstica mais adequada.

6. Trabalhos Relacionados

O uso de hiper-heur´ısticas desperta interesse da comunidade de SBSE [Harman et al. 2012], mas ainda s˜ao poucos os trabalhos que tratam deste t´opico.

Jia et al. (2015) introduziram uma hiper-heur´ıstica para aprender e aplicar es- tratégias de teste combinatorial. O objetivo é obter uma algoritmo genérico para aplicar este tipo de teste. Basgalupp et al. (2013) propuseram uma hiper-heur´ıstica para a geração de algoritmos que criam árvores de decisão, onde estas árvores de decisão fo-

NSGA-II

36.08%

SPEA2 36.54%

IBEA 27.38%

(a) AJHotDraw

NSGA-II

42.39%

SPEA2 31.48%

IBEA 26.38%

(b) AJHsqldb

NSGA-II

66.08%

SPEA2

18.54% IBEA

15.38%

(c) BCEL

NSGA-II

36.08%

SPEA2 30.54%

IBEA 33.38%

(d) MyBatis

Figura 3. Percentual de escolha para 2 objetivos.

(16)

NSGA-II

41.82%

SPEA2 33.10%

IBEA 25.08%

(a) AJHotDraw

NSGA-II

47.27%

SPEA2 28.35%

IBEA 24.38%

(b) AJHsqldb

NSGA-II

71.78%

SPEA2 15.08% IBEA

13.22%

(c) BCEL

NSGA-II

41.95%

SPEA2 33.09%

IBEA 24.96%

(d) MyBatis

Figura 4. Percentual de escolha para 4 objetivos.

ram utilizadas na predição de esforço software. Kumari e Srinivas (2013) propuseram uma hiper-heur´ıstica para trabalhar com o problema de agrupamento de módulos, a fim de selecionar LLHs tais como operadores de mutação e crossover. Com este mesmo objetivo, o trabalho de Guizzo et al. (2015a) introduziu uma hiper-heur´ıstica, chamada HITO, que seleciona LLHs a serem usadas com o problema de teste e integração de classes e aspectos. Este trabalho aplica hiper-heur´ısticas para o mesmo problema abordado neste trabalho, entretanto HITO seleciona dentre um conjunto de 9 operadores de busca os mais adequados ao problema. Estes operadores são as LLHs. Já o trabalho de Guizzo et al. (2015b) aplica a abordagem HITO utilizando NSGA-II no problema de ordens de teste na presença de restrições de modularização, este trabalho seleciona dentre um conjunto de 20 operadores de busca os mais adequados ao problema.

No presente trabalho, as LLHs não são os operadores de busca e sim as meta- heur´ısticas. Neste sentido as abordagens tem diferentes objetivos e podem ser usadas de maneira complementar. Isto deverá ser investigado em trabalhos futuros.

7. Conclus˜ao

Este trabalho introduziu a hiper-heur´ıstica MOCAITO-HH que tem como objetivo selecionar em tempo de execução, durante o processo de otimização, um algoritmo de otimização multi-objetivo para determinar a sequência de módulos para o teste de integração associada ao menor custo para construção destubs.

MOCAITO-HH utiliza a função de seleção CF, baseada em ranqueamento de acordo com o desempenho dos algoritmos considerando os indicadores Hypervolume, Spread, AE e RNI. Além disso, é considerado o tempo decorrido desde a última vez que um dado algoritmo foi executado. Os resultados da avaliação mostram que a hiper- heur´ıstica é capaz de obter resultados equivalentes estatisticamente ao melhor algoritmo, sem que seja necessário realizar experimentos para determinar qual o mais adequado em cada sistema. Isso reduz o esforço do testador que não precisa optar por um algoritmo.

Como trabalhos futuros pretende-se avaliar o uso de MOCAITO-HH para outros sistemas e realizar um estudo experimental da abordagem em empresas de software. Além disso, poderão ser implementadas e avaliadas outras funções de seleção tais como o MAB (Multi-Armed Bandit [Fialho et al. 2010]). MOCAITO-HH também poderá ser utilizada para resolver outros problemas da Engenharia de Software.

Referˆencias

Assunc¸˜ao, W. K. G., Colanzi, T. E., Vergilio, S. R., and Pozo, A. (2014). A multi-objective optimization approach for the integration and test order problem. Information Science, 267:119–139.

(17)

Basgalupp, M. P., Barros, R. C., da Silva, T. S., and de Carvalho, A. C. P. L. F. (2013).

Software effort prediction: A hyper-heuristic decision-tree based approach. InProce- edings of the 28th ACM Symposium on Applied Computing, pages 1109–1116.

Burke, E. K., Gendreau, M., Hyde, M., Kendall, G., Ochoa, G., Ozcan, E., and Qu, R.

(2013). Hyper-heuristics. J. of the Operational Research Society, 64(12):1695–1724.

Cowling, P. I., Kendall, G., and Soubeiga, E. (2001). A hyperheuristic approach to scheduling a sales summit. InSelected Papers from the Third International Conference on Practice and Theory of Automated Timetabling, pages 176–190.

Derrac, J., Garcia, S., Molina, D., and Herrera, F. (2011). A practical tutorial on the use of nonparametric statistical tests as a methodology for comparing evolutionary and swarm intelligence algorithms. Swarm and Evolutionary Computation, 1:3–18.

Fialho, A., Da Costa, L., Schoenauer, M., and Sebag, M. (2010). Analyzing bandit- based adaptive operator selection mechanisms. Annals of Mathematics and Artificial Intelligence, 60(1-2):25–64.

Guizzo, G., Fritsche, G. M., Vergilio, S. R., and Pozo, A. T. R. (2015a). A hyper-heuristic for the multi-objective integration and test order problem. In Proceedings of the 24th Genetic and Evolutionary Computation Conference (GECCO’15). ACM.

Guizzo, G., Vergilio, S. R., and Pozo, A. T. R. (2015b). Uma solução baseada em hiper- heur´ıstica para determinar ordens de teste na presença de restrições de modularização.

InWorkshop de Engenharia de Software Baseada em Busca.

Harman, M., Burke, E., Clark, J., and Yao, X. (2012). Dynamic adaptive search based software engineering. InProceedings of the ACM-IEEE International Symposium on Empirical Software Engineering and Measurement, pages 1–8.

Huband, S., Hingston, P., Barone, L., and While, L. (2006). A review of multiobjective test problems and a scalable test problem toolkit. IEEE Transactions on Evolutionary Computation, 10(5):477–506.

Jia, Y., Cohen, M., Harman, M., and Petke, J. (2015). Learning combinatorial interac- tion test generation strategies using hyperheuristic search. InProceedings of the 37th International Conference on Software Engineering (ICSE’15).

Kaelbling, L. P., Littman, M. L., and Moore, A. W. (1996). Reinforcement learning: a survey. Journal of Artificial Intelligence Research, 4:237–285.

Kumari, A. C., Srinivas, K., and Gupta, M. P. (2013). Software module clustering using a hyper-heuristic based multi-objective genetic algorithm. In3rd International Advance Computing Conference (IACC’13), pages 813–818.

Maashi, M., ¨Ozcan, E., and Kendall, G. (2014). A multi-objective hyper-heuristic based on choice function. Expert Systems with Applications, 41(9):4475–4493.

Sabar, N., Ayob, M., Kendall, G., and Qu, R. (2015). A dynamic multiarmed bandit- gene expression programming hyper-heuristic for combinatorial optimization problems. IEEE Transactions on Cybernetics, 45(2):217–228.

Wang, Z., Li, B., Wang, L., and Li, Q. (2011). A brief survey on automatic integration test order generation. InProceedings of the 23rd Software Engineering and Knowledge Engineering, pages 254–257.

(18)

Uma Solução Baseada em Hiper-Heurística para Determinar Ordens de Teste na Presença de Restrições de Modularização

Giovani Guizzo, Silvia Regina Vergilio, Aurora Trinidad Ramirez Pozo^∗

1DInf - Universidade Federal do Paraná (UFPR) – Curitiba, PR – Brasil CP:19081, CEP: 19031-970

{gguizzo,silvia,aurora}@inf.ufpr.br

Abstract. Hyper-heuristics are techniques to select or generate low-level heuristics, generally applied to make the use of search algorithms more generic and to improve their results. Despite their advantages, hyper-heuristics have been underexplored in the Search Based Software Engineering (SBSE) field. An ini- tiative for this purpose that was successfully applied to established unit orders for the integration test, is the Hyper-Heuristic for the Integration and Test Order Problem (HITO). HITO helps in the selection of genetic operators during the algorithm execution. This work presents results from the application of HITO in a more complex version of the same problem, in which unit clusters are con- sidered. This version encompasses modularization restrictions and a greater number of possible operators. Evaluation results obtained with HITO are better or equivalent to that, obtained with the conventional algorithm for all tested systems.

Resumo. Hiper-heurísticas são técnicas para a seleção ou geração de heurísti- cas de baixo nível, geralmente utilizadas para tornar a utilização dos algoritmos de busca mais genérica e melhorar os seus resultados. Apesar das suas vantagens, hiper-heurísticas têm sido pouco exploradas no contexto de Engenharia de Software Baseada em Busca (SBSE). Uma iniciativa com este propósito que obteve bons resultados no estabelecimento de ordens de unidades para realizar o teste de integração, é a Hyper-Heuristic for the Integration and Test Order Problem (HITO). HITO visa à seleção de operadores genéticos em tempo de execução dos algoritmos. Neste trabalho são apresentados resultados da ava- liação de HITO em uma versão mais complexa do mesmo problema, na qual o agrupamento de unidades é considerado, o que envolve restrições de modu- larização e um conjunto maior de possíveis operadores. Os resultados obtidos com HITO são superiores ou equivalentes aos obtidos com o algoritmo genético convencional em todos os sistemas testados.

1. Introdução

Algoritmos Evolutivos Multiobjetivos (Multi-Objective Evolutionary Algorithms – MOEAs) têm sido aplicados em diferentes problemas da engenharia de software [Harman et al. 2012]. Entretanto, tais algoritmos demandam um certo esforço e experiência do engenheiro de software para configurá-los e ajustar seus parâmetros, como

∗Os autores agradecem à CAPES e ao CNPq pelo apoio financeiro.

(19)

por exemplo determinar quais são os melhores operadores de busca (cruzamento, mutação e seleção) e suas probabilidades de aplicação. Além disso, as soluções são, em geral, de- pendentes do problema e os algoritmos precisam ser ajustados constantemente. O uso de hiper-heurísticas pode ajudar a superar esses desafios [Harman et al. 2012]. Uma hiper- heurística pode ser definida como uma “heurística para selecionar ou gerar heurísticas [de baixo nível]” [Burke et al. 2010]. A principal característica de hiper-heurísticas é que elas agem sobre o espaço de heurísticas para selecionar ou gerar heurísticas que melhor resolvam o problema, ao invés de agir sobre o problema diretamente, o que geralmente acarreta em bons resultados.

Mesmo com as vantagens que podem ser obtidas, o uso de hiper-heurísticas na área de Engenharia de Software Baseada em Busca ainda é um tema pouco explorado.

Dentre eles destacam-se: o trabalho de Basgalupp et al. (2013) que apresenta uma hiper- heurística para evoluir algoritmos de geração de árvores de decisão para a predição de es- forço. Kumari et al. (2013) apresentam uma hiper-heurística para a solução do problema de agrupamento de módulos. Jia et al. (2015) propõem uma hiper-heurística para aprender e aplicar estratégias de teste combinatorial. Em um trabalho anterior, Guizzo et al. (2015) propuseram uma hiper-heurística para resolver o problema de determinar ordens de unidades (classes ou aspectos) para realizar o teste de integração. Este é um problema difícil da área de teste de software, que consiste em encontrar uma sequência para se testar unidades de software de modo a diminuir o custo para a criação destubs[Wang et al. 2011]. A hiper-heurística chamada HITO (Hyper-heuristic for the Integration and Test Order Pro- blem) foi proposta para selecionar operadores de cruzamento e mutação (heurísticas de baixo nível) enquanto MOEAs são executados. Para este fim, HITO utiliza um método de seleção baseado em escore chamadoChoice Function(CF) [Maashi et al. 2014] e utiliza o MOEANon-dominated Sorting Genetic Algorithm-II(NSGA-II) [Deb et al. 2002]. Nos experimentos realizados, HITO obteve melhores resultados que os obtidos pelo NSGA- II [Guizzo et al. 2015].

Os bons resultados obtidos com HITO motivaram estudos futuros tais como o descrito em [de Carvalho et al. 2015] e o presente trabalho aqui descrito, que tem como objetivo apresentar resultados da aplicação de HITO em uma outra instância do problema, que é o estabelecimento de ordens de teste na presença de restrições de modularização.

Neste problema o objetivo também é determinar uma sequência de unidades a fim de minimizar o custo de construção destubs, entretanto considerando uma característica muito importante do software que é a modularidade. Isso implica na existência de restrições que determinam que unidades relacionadas geralmente sejam desenvolvidas em conjunto e devam ser testadas como um agrupamento (cluster). Dessa maneira, o problema torna- se mais complexo e outros operadores genéticos que lidam com restrições foram pro- postos [Assunção et al. 2013], o que aumenta ainda mais a dificuldade de configuração adequada para o testador na hora de aplicar a solução baseada em busca.

Portanto, a hipótese deste trabalho é que a hiper-heurística HITO é capaz de obter melhores resultados que o MOEA, no caso o NSGA-II, em um problema mais restritivo e mais difícil de ser resolvido. Para responder a esta hipótese são apresentados resultados com os mesmos sistemas e metodologia descritos no trabalho que oferece o tratamento convencional para o problema [Assunção et al. 2013].

Este trabalho é organizado da seguinte forma: A Seção 2 contém brevemente

(20)

conceitos de hiper-heurísticas. A Seção 3 descreve a hiper-heurística HITO. A avaliação experimental é apresentada na Seção 4, juntamente com as discussões dos resultados. Por fim, a Seção 5 conclui este trabalho e apresenta trabalhos futuros.

2. Hiper-Heurísticas

Uma hiper-heurística pode ser definida como um conjunto de abordagens para selecionar ou gerar heurísticas de baixo nível, com aprendizado durante ou antes da otimiza- ção [Burke et al. 2010]. Hiper-heurísticas com aprendizado antes da otimização são cha- madasoff-line, as quais utilizam instâncias debenchmarkspara serem treinadasa priori.

Aprendizado durante a otimização é chamadoon-line, o qual se dá enquanto o problema está sendo resolvido, sem a necessidade de um treinamento prévio [Burke et al. 2010].

Outra possibilidade é não utilizar aprendizado, como por exemplo com uma técnica alea- tória ou gulosa. Heurísticas de baixo nível podem ser operadores de busca ou até mesmo meta-heurísticas, sendo classificadas de natureza de perturbação (muda uma solução exis- tente) ou criação (sintetiza uma solução gradualmente).

Hiper-heurísticas de seleção geralmente possuem uma barreira de domínio que esconde detalhes do problema. Assim, a barreira previne que a hiper-heurística se aco- ple com o problema e a mantém genérica. Hiper-heurísticas de seleção geralmente possuem dois componentes principais [Burke et al. 2010]: i) método de seleção – faz a seleção, com ou sem aprendizado; e ii) método de aceitação – decide aceitar ou não uma solução gerada. Neste artigo é utilizado o método de seleção Choice Function (CF) [Maashi et al. 2014]. A Equação 1 apresenta o cálculo de escore de uma heurís- tica de baixo nível utilizando o CF original [Cowling et al. 2001].

f(h_i) = αf₁(h_i) +βf₂(h_j, h_i) +δf₃(h_i) (1) onde h_i é a heurística de baixo nível sendo avaliada; f₁ é a última performance de h_i; f₂ é a última performance de h_i ao ser executada logo após h_j; f₃ é a quantidade de segundos de CPU que se passaram desde a última vez queh_i foi executada; e α, β e δ são os valores de peso paraf₁, f₂ e f₃. Uma característica peculiar do CF é que este método faz o balanceamento entre a exploração e a intensificação (exploration vs exploi- tation–EvE dilemma). Enquantof₁ ef₂são utilizadas para medir a performance de uma heurística de baixo nível (intensificação), f₃ é utilizada como fator de tempo (explora- ção). Caso a exploração seja preferível, então o pesoδ deve ser incrementado, ouαeβ devem ser incrementados caso a intensificação deva ser focada. Isso se dá pois é interessante continuar aplicando heurísticas de baixo nível com boa performance, mas também é interessante aplicar heurísticas de baixo nível que já estão há algum tempo sem serem aplicadas para aumentar a diversidade das soluções.

O método CF utilizado neste trabalho é a versão simplificada apresentada em [Maashi et al. 2014]. Essa adaptação contém apenas as funções f₁ e f₃ do método original. A Equação 2 apresenta esse método.

CF(h) = αf1(h) +βf3(h) (2)

Os bons resultados obtidos por esta função em um trabalho anterior [Guizzo et al. 2015] e na literatura [Burke et al. 2010, Maashi et al. 2014] motivaram a sua utilização neste trabalho. Outras vantagens são a sua implementação fácil e a sua compatibilidade com o contexto em que HITO é aplicada (a cada cruzamento).

(21)

3. HITO

Hyper-heuristic for the Integration and Test Order Problem(HITO) foi proposta em um trabalho anterior [Guizzo et al. 2015] para a seleção on-line de operadores genéticos e para o problema de determinar uma ordem de teste de integração de unidades com mínimo custo de construção destubs, usando o algoritmo NSGA-II.

O problema de ordem de teste de integração de unidades, resumidamente, é um problema de teste de software que tenta diminuir o custo da criação de stubs en- contrando uma sequência para que as unidades do sistema sejam integradas e testadas [Wang et al. 2011]. Um stub é uma simulação de uma unidade requerida e possui um custo para a sua criação. Uma versão mais complexa deste problema insere o agrupamento de unidades, de modo que as unidades de um determinado grupo sejam integradas e testadas juntas [Assunção et al. 2013]. Isso acarreta em outras restrições e em um incremento na dificuldade do problema, uma vez que quando uma solução possui suas restrições violadas, a mesma é corrigida, acaba tendo seufitnessdeteriorado e o processo de busca se torna menos eficiente. Portanto, é preferível aplicar operadores que consigam otimizar as soluções sem violar suas restrições. Além disso, este problema se torna mais difícil quando múltiplos objetivos são considerados. Em sistemas Orientados a Objetos (OO) uma unidade é uma classe, enquanto que em sistemas Orientado a Aspectos (OA) uma unidade pode ser também um aspecto. Neste trabalho são utilizados sistemas OO e OA, codificados em um problema de permutação e representados por grafosObject Rela- tion Diagram(ORD). Além disso, os seguintes objetivos compõem as funções defitness utilizadas para avaliar o custo dosstubs: i)A– quantidade de atributos que deverão ser emulados porstubs; e ii)M– quantidade de métodos que deverão ser emulados porstubs.

Este problema é propício de ser resolvido por hiper-heurísticas como HITO devido às suas características principais: i) é impactado por diferentes fatores e resolvido adequadamente por MOEAs [Assunção et al. 2013]; ii) é difícil de ser resolvido, princi- palmente considerando o agrupamento de unidades o qual é acompanhado de restrições de modularidade; iii) possui diversos operadores que podem ser adaptativamente selecionados; e iv) o problema é encontrado em diversos contextos, como por exemplo OO e OA [Assunção et al. 2013].

HITO inclui um conjunto de passos apresentados na Figura 1. O primeiro passo é a inicialização de HITO, no qual o usuário seleciona a instância do problema, as funções de fitness, o MOEA a ser executado, as heurísticas de baixo nível que sejam compatí- veis com a representação e o método de seleção, bem como os parâmetros. No segundo passo são estabelecidas as heurísticas de baixo nível. Neste trabalho cada heurística de baixo nível é composta por um operador de cruzamento e um operador de mutação, ou só um operador de cruzamento, formados por todas as combinações possíveis de quatro operadores de cruzamento e quatro operadores de mutação: i) Inter e Intra Cluster Two Points Crossover, e Inter e Intra Cluster Uniform Crossover; ii) Inter e Intra Cluster Swap Mutation, e Inter e Intra Cluster Simple Insertion Mutation. De acordo com Assunção et al. (2013), a diferença entre os operadores Inter e Intra Cluster é que os operadores Intra Cluster fazem a permutação diretamente nas unidades dentro de um grupo, enquanto que os operadores Inter Cluster fazem a permutação de grupos inteiros. Dados estes operadores, foram formadas 20 heurísticas de baixo nível. A vantagem aqui é que o engenheiro de software não vai precisar selecionar qual destes operadores deverá ser utilizado, sendo

(22)

Figura 1. Fluxo de HITO

delegada esta decisão à hiper-heurística. Como mencionado anteriormente, essa seleção é feita por meio do método CF [Maashi et al. 2014].

Cada heurística de baixo nível possui um valor de performance instantânea calculado porf₁no intervalo[0,1]e um valor de tempo calculado porf₃no intervalo[0..+∞], que definem respectivamente a última performance da heurística de baixo nível e quantos cruzamentos passaram desde a sua última execução. Quanto maior o valor def₁, melhor a heurística de baixo nível se saiu. No segundo passo de HITO, ambos valores são inicializados com0e posteriormente cada heurística é aplicada uma vez para atribuir uma performance inicial. Esses valores são atualizados toda vez que uma heurística de baixo nível é aplicada. Basicamente, a cada atualização, o valorf₃ da heurística aplicada é ze- rado e o valorf₃ das demais é incrementado em 1. Já para f₁, a sua atualização é feita utilizando apenas os pais e os filhos envolvidos no cruzamento e na mutação, de acordo com a seguinte equação:

f₁ = 1

|P| · |C| ·X

c∈C

X

p∈P







1 ifc≺p 0 ifp≺c 0.5 caso contrário

(3)

ondeP são os pais envolvidos no cruzamento;Csão os filhos gerados;pé um pai; ecé

(23)

um filho. O resultado é um somatório normalizado entre[0,1]onde0significa que ambos os filhos são dominados (p ≺ c) pelos pais (resultado ruim) e 1significa que ambos os filhos dominam os pais (resultado bom). Portanto, quanto maior o resultado da equação, melhor a performance da heurística e mais propícia esta é para ser aplicada.

No terceiro passo a população é inicializada, e avaliada no quarto passo. A partir daí o laço de repetição de gerações é iniciado até que o critério de parada seja atingido. A cada geração a população filha é preenchida com novas soluções. Para cada cruzamento, os pais são selecionados pelo algoritmo, a heurística de baixo nível com o maior valor de CF é selecionada e aplicada nos pais, as soluções filhas são avaliadas e a atualização de performance def₁ é feita no próximo passo, que também atualiza f₃. Após isso, a população sobrevivente é selecionada pelo MOEA e a geração é incrementada. Quando o critério de parada é atingido, o algoritmo finaliza e retorna a população atual.

Hiper-heurísticas que abordam problemas multiobjetivos devem se preocupar em como avaliar a performance de heurísticas de baixo nível, uma vez que soluções podem ser não dominadas. Em [Maashi et al. 2014] os autores utilizam um mecanismo de performance baseado em indicadores de qualidade que avaliam uma população como um todo a cada geração. Outros trabalhos como [Kumari et al. 2013, Kateb et al. 2014] também avaliam a performance a cada geração. Em [Li et al. 2014] os autores avaliam a performance de uma heurística de baixo nível de acordo com os subproblemas de um MOEA baseado em Decomposição (MOEA/D). Entretanto, até onde foi possível analisar, na literatura apenas HITO utiliza uma função de performance que se baseia inteiramente no conceito de dominância de Pareto utilizando apenas os pais e filhos de um cruzamento, e seleciona as heurísticas de baixo nível a cada cruzamento.

Neste artigo apenas o MOEA NSGA-II é utilizado, mas HITO pode trabalhar com outros algoritmos, que geralmente utilizam operadores genéticos para gerar soluções, e dada a grande quantidade de operadores existentes, a seleção destes pode ser delegada à hiper-heurísticas tais como HITO.

4. Avaliação Experimental

Na avaliação experimental apresentada em [Guizzo et al. 2015], HITO superou o algoritmo NSGA-II [Deb et al. 2002] em todos os sistemas considerando o problema de ordem de teste de integração. O presente trabalho tem como objetivo avaliar se HITO consegue obter os mesmos bons resultados diante de um problema mais complexo e restritivo, enquanto seleciona operadores genéticos diferentes. De modo a avaliar isto, foram utilizados os mesmos sistemas e agrupamentos de unidades tal como os descritos no trabalho que propõe a solução convencional para o problema utilizando MO- EAs [Assunção et al. 2013]. Os resultados de HITO e do algoritmo NSGA-II são comparados utilizando o indicador de qualidade hypervolume [Zitzler and Thiele 1999] e o teste estatístico Kruskal-Wallis com 95% de significância [Derrac et al. 2011]. Este indicador é um dos mais utilizados na literatura e possui compatibilidade com o operador de comparação “/” (better – determina quando uma fronteira de Pareto é melhor que outra [Zitzler and Thiele 1999]).

Os sistemas utilizados são apresentados na Tabela 1. Esses sistemas são OO ou OA e variam em quantidade de unidades, quantidade de dependências entre unidades, linhas de código (LOC) e número declusters.

(24)

Tabela 1. Sistemas utilizados no estudo

Nome Contexto Unidades Dependências LOC Clusters

MyBatis OO 331 1271 23535 24

AJHSQLDB OA 301 1338 68550 15

AJHotDraw OA 321 1592 18586 12

BCEL OO 45 289 2999 3

JHotDraw OO 197 809 20273 13

HealthWatcher OA 117 399 5479 7

JBoss OO 150 367 8434 8

Para este trabalho foi adotada a mesma representação, restrições e funções defit- nessadotadas em [Assunção et al. 2013]. HITO foi implementado usando o framework jMetal [Durillo and Nebro 2011]. Tanto o NSGA-II quanto HITO recebem como entrada o ORD dos sistemas e operam sobre uma representação de permutação, onde o cromos- somo é uma lista de inteiros e cada valor (gene) é o número identificador de uma unidade.

As unidades devem ser integradas e testadas na ordem em que aparecem nesta lista. Um stubé necessário quando uma unidade aparece antes de uma unidade requerida na lista e as funções de fitness A e M (número de atributos e métodos) calculam os custos as- sociados. Além disso, informações sobre os grupos de unidades são disponibilizadas e utilizadas para manter a integridade das soluções durante o cruzamento e a mutação.

Cada algoritmo (HITO e NSGA-II) foi executado 30 vezes para cada sistema.

Por motivos de comparação, o algoritmo NSGA-II e seus parâmetros foram mantidos como apresentados em [Assunção et al. 2013]. Já os parâmetros de HITO foram mantidos como no artigo [Guizzo et al. 2015], no qual foram obtidos após um ajuste empírico. Os parâmetros são: tamanho da população: 300; máximo de gerações (critério de parada):

200; CFα(intensificação): 1; e CFβ (exploração): 0.00005.

Em adição, os valores de probabilidade de cruzamento de 95% e mutação de 2%

foram mantidos para o NSGA-II, conforme [Assunção et al. 2013]. Já para HITO, probabilidades de cruzamento e mutação não se aplicam, pois a hiper-heurística sempre aplica a heurística de baixo nível selecionada. Assim, caso a mutação deva ser aplicada menos vezes, então HITO identificará essa necessidade e aplicará mais as heurísticas de baixo nível que possuem apenas o operador de cruzamento. Essa é uma das principais vantagens de se utilizar hiper-heurísticas: o usuário não precisa escolher operadores e muito menos configurar suas probabilidades.

Como a fronteira de Pareto real (P Ftrue) para esses sistemas não é conhecida, ela foi formada pelas soluções não dominadas encontradas por ambos os algoritmos. Além disso, cada algoritmo obteve uma fronteira de Pareto conhecida (P Fknown) formada pelas soluções não dominadas encontradas em suas 30 execuções. Essas fronteiras também foram avaliadas utilizando o hypervolume.

4.1. Análise dos Resultados

A Tabela 2 apresenta os valores de hypervolume de cada P F_known encontrados pelos algoritmos. Valores destacados em negrito são os melhores resultados.

Como visto na tabela, HITO foi capaz de encontrar as melhores fronteiras para

(25)

Tabela 2. Hypervolume of theP F_known fronts for 2 objectives

Sistema NSGA-II HITO MyBatis 3,09E-1 5,00E-1 AJHSQLDB 5,27E-2 7,16E-1 AJHotDraw 1,42E-2 5,73E-1

BCEL 0,00E0 8,17E-2

JHotDraw 1,24E-1 2,78E-1 HealthWatcher 2,50E-1 2,50E-1

JBoss 0,00E0 0,00E0

todos os sistemas, empatando em apenas dois sistemas. Entretanto, esses dados mostram apenas a qualidade das fronteiras de Pareto final encontradas após as 30 execuções. Para uma avaliação mais precisa, a Tabela 3 apresenta a média dos 30 valores de hypervolume encontrados pelos algoritmos, juntamente com os valores de desvio padrão em parênteses.

Valores destacados em negrito são os melhores valores ou os que possuem igualdade es- tatística ao melhor valor de acordo com o teste de Kruskal-Wallis (95% de significância).

Tabela 3. Hypervolume average found for 2 objectives

Sistema NSGA-II HITO

MyBatis 2,77E-1 (6,91E-2) 3,63E-1 (9,13E-2) AJHSQLDB 7,74E-2 (8,91E-2) 2,11E-1 (1,18E-1) AJHotDraw 8,08E-2 (5,79E-2) 3,48E-1 (2,14E-1) BCEL 2,84E-2 (1,62E-2) 6,85E-2 (6,69E-2) JHotDraw 1,11E-1 (9,11E-2) 1,26E-1 (1,01E-1) HealthWatcher 1,67E-1 (8,80E-3) 2,03E-1 (6,91E-2) JBoss 4,67E-2 (1,70E-1) 3,22E-2 (1,72E-1)

Em resumo, HITO obteve as melhores médias de hypervolume, ou valores estatisticamente equivalentes ao do NSGA-II para todos os sistemas. Esses resultados são compatíveis com o trabalho anterior [Guizzo et al. 2015]. Além de não precisar escolher os operadores e configurá-los, o usuário pode também obter os melhores resultados utilizando hiper-heurísticas, também na presença de restrições de modularização.

De modo a entender melhor o funcionamento da hiper-heurística, foram avaliadas também a quantidade de vezes que cada heurística de baixo nível foi aplicada. Por motivos de espaço, esses dados não foram apresentados em uma tabela. Assim como ocorreu em [Guizzo et al. 2015], dentre as 20 heurísticas de baixo nível, as mais aplicadas foram sempre as que não possuem mutação, pois apresentaram uma performance melhor. Isso se dá pelo fato de que a mutação pode violar alguma restrição e assim deteriorar as solu- ções. Com isso, HITO decidiu aplicar menos vezes heurísticas com este operador. Dentre os operadores de cruzamento, para todos os sistemas exceto BCEL, a heurística de baixo nível que possui apenas o Inter Cluster Two Points Crossover foi aplicada mais vezes que as demais, e a que possui apenas o Intra Cluster Two Points Crossover foi aplicada mais vezes que as heurísticas de baixo nível que possuem o Uniform Crossover. Já para o sistema BCEL, o Inter Cluster Uniform Crossover foi melhor. De fato, os operadores

(26)

de cruzamento Inter Cluster (permutam grupos de unidades como sendo um gene) foram mais eficientes. Já para a mutação, em todos os sistemas, as heurísticas de baixo nível que possuem os operadores Intra Cluster (permutam unidades dentro de um grupo) foram melhores que as heurísticas de baixo nível que possuem o mesmo cruzamento e seus res- pectivos operadores de mutação Inter Cluster. Apesar disso, a utilização de ambos os tipos de operadores (Inter e Intra Cluster) são essenciais para a obtenção de bons resultados.

5. Considerações Finais

No artigo em que HITO foi proposta [Guizzo et al. 2015], essa hiper-heurística foi avaliada e obteve os melhores resultados quando comparada com o NSGA-II em todos os sistemas testados. Neste trabalho, HITO foi avaliada para estabelecer ordens de integra- ção e teste de unidades considerando restrições de modularidade, uma versão mais difícil e restritiva. Devido à necessidade de se testar as unidades em conjunto, um número maior de operadores de mutação e cruzamento devem ser aplicados.

Os resultados mostraram que HITO é capaz de superar ou se igualar ao NSGA-II nos 7 sistemas testados, tanto na qualidade das fronteiras de Pareto finais quanto na mé- dia de hypervolume em 30 execuções. Além dessa análise, o comportamento de HITO foi estudado considerando a quantidade de vezes que cada uma das 20 heurísticas de baixo nível foi aplicada. A avaliação mostrou que heurísticas de baixo nível que possuem apenas operadores de cruzamento obtém melhores performances. Esses resultados positivos demonstram ainda mais as vantagens de se utilizar hiper-heurísticas como HITO: obten- ção de bons resultados e a diminuição do esforço na escolha de quais operadores devem ser utilizados, já que HITO faz isso dinamicamente.

Trabalhos futuros devem explorar a utilização de outros MOEAs em outros problemas do teste de software, tais como a seleção e priorização de casos de teste. Outras heurísticas de baixo nível também podem ser utilizadas para analisar o comportamento de HITO. Pretende-se também utilizar abordagens para o ajuste dinâmico de parâmetros durante a execução da hiper-heurística. Por fim, trabalhos futuros devem explorar outras áreas da engenharia de software que podem se beneficiar do uso de hiper-heurísticas.

Referências

[Assunção et al. 2013] Assunção, W. K. G., Colanzi, T., Vergilio, S., and Pozo, A. (2013).

Determining integration and test orders in the presence of modularization restrictions.

InProceedings of the 27th Brazilian Symposium on Software Engineering (SBES’13), pages 31–40.

[Basgalupp et al. 2013] Basgalupp, M. P., Barros, R. C., da Silva, T. S., and Carvalho, A.

C. P. L. F. (2013). Software Effort Prediction: A Hyper-heuristic Decision-tree Based Approach. InProceedings of the 28th SAC, pages 1109–1116. ACM.

[Burke et al. 2010] Burke, E. K., Hyde, M., Kendall, G., Ochoa, G., Özcan, E., and Wo- odward, J. R. (2010). A classification of hyper-heuristic approaches. In Gendreau, M.

and Potvin, J.-Y., editors, Handbook of Metaheuristics, volume 146 of International Series in Operations Research & Management Science, pages 449–468. Springer US.

[Cowling et al. 2001] Cowling, P., Kendall, G., and Soubeiga, E. (2001). A hyperheuristic approach to scheduling a sales summit. In Burke, E. and Erben, W., editors, Pro-