1
Métodos quantitativos para análise de parâmetros do Simulated
Annealing
WILDERSON MOREIRA PINTO (IFMG – Campus Congonhas) will31121991@yahoo.com.br KENESTON SOUSA COELHO (IFMG – Campus Congonhas) kenestonsc@yahoo.com.br SILVIA MARIA SANTANA MAPA (IFMG – Campus Congonhas) silvia.mapa@ifmg.edu.br ALBANO CÉSAR PADULA DE MORAIS (IFMG – Campus Congonhas) albanopadula@yahoo.com.br DANIEL APARECIDO OLIVEIRA SILVA(IFMG–Campus Congonhas)daniel.oliveira66@yahoo.com.br
Resumo: O Problema de Alocação de Salas é comum em diversas instituições de ensino, quando se faz necessário programar horários e alocar salas. A solução manual de problemas desta natureza é considerada difícil e pode demandar vários dias de trabalho, sendo que a utilização de técnicas matemáticas exatas se torna inviável, dependendo do tamanho do problema. Ganha destaque neste cenário técnicas metaheurísticas, como o Simulated Annealing, que a partir de requisitos classificados como essenciais e não essenciais, consegue gerar soluções de boa qualidade, escapando de ótimos locais, com relativo baixo custo computacional. O objetivo deste trabalho consiste em determinar quais dos parâmetros do Simulated Annealing possuem maior impacto na geração de soluções para um problema de caráter fictício. Para isso, foi necessaria a aplicação das ferramentas estatísticas de sumarização de dados e projeto fatorial para obter informações de como os parâmetros da metaheurística interferem nos resultados do Problema de Alocação de Salas.
Palavras-chave: Simulated Annealing; Sumarização de dados; Projeto fatorial.
1. Introdução
O Problema de Alocação de Salas (PAS), conhecido na literatura como Classroom Assignment Problem, diz respeito à distribuição de aulas a salas, respeitando-se certas restrições e considerando-se que as aulas dos cursos já estejam programadas, isto é, que já estejam definidos os horários de início e término das aulas de cada turma de cada disciplina e o problema, então, é o de alocar essas aulas às respectivas salas.
A solução manual deste problema é uma tarefa árdua e normalmente requer vários dias de trabalho, dependendo do tamanho do problema, sendo considerado um problema NP-difícil (Even et al. 1976, Carter and Tovey 1992), o que, em casos reais, dificulta ou até mesmo impossibilita sua resolução por técnicas de programação matemática, ditas exatas. Por isto, no presente trabalho aplica-se uma técnica heurística ao problema, o que não garante a sua otimalidade, mas visa obter respostas viáveis e tão boas quanto possível.
Apesar das técnicas heurísticas não garantirem a otimalidade numérica, como as técnicas exatas, elas conseguem, em geral, gerar soluções de boa qualidade sem um elevado custo computacional, medido em tempo de processamento. Dentre as heurísticas, destacam-se as chamadas meta-heurísticas, as quais, ao contrário das heurísticas convencionais, têm
2 caráter geral e são providas de mecanismos para escapar de ótimos locais. Dentre as meta-heurísticas que vêm sendo aplicadas em problemas de programação de horários e alocação de salas, destacam-se: Simulated Annealing (Souza et al. 2002), Busca Tabu (Burke et al. 2001) e Programação Genética (Ueda et al. 2001).
Neste trabalho será utilizada a técnica Simulated Annealing (SA) projetada para trabalhar com uma estrutura de vizinhança com movimentos de alocação. O objetivo será realizar uma abordagem quantitativa a partir da utilização de técnicas estatísticas de sumarização de dados e projeto fatorial, visando analisar quais parâmetros utilizados pelo SA possuem maior impacto na solução gerada, possibilitando melhor compreensão de como o sistema se comporta durante a execução dos experimentos.
2. Metodologia
Um dos principais objetivos deste trabalho é proceder a uma análise estatística do comportamento do sistema na geração de soluções para o problema abordado. Para tanto, utilizou-se a coleta de dados e alguns métodos estatísticos para auxiliar na compreensão de como o sistema se comporta durante a obtenção de soluções para o problema.
A técnica estatística de sumarização de dados foi utilizada para facilitar a compreensão e identificar características dos dados estudados, fornecendo medidas estatísticas de média, moda, mediana, variância, coeficiente de variação, intervalos de confiança, quartis, etc., além de mensurar o número de replicações necessárias para alcançar estimativas com certa confiança.
Outra técnica utilizada foi o projeto fatorial, que é uma ferramenta muito eficaz para estudar sistemas complexos, pois permite identificar as interações entre as variáveis envolvidas no problema, uma vez que a cada tentativa completa ou réplica do experimento, todas as combinações possíveis dos níveis dos fatores são investigadas (Montgomery e Runger, 2012). Segundo Jain (1991), a técnica 2kr é utilizada quando se tem k fatores que podem variar em dois níveis diferentes e a análise deseja isolar os erros experimentais. Cada conjunto de experimentos é reproduzido r vezes. Através desta classe de desenho fatorial pode-se facilmente analisar e classificar os fatores em ordem de impacto.
No problema em questão, a utilização da técnica projeto fatorial foi necessária para determinar os efeitos dos parâmetros do Simulated Annealing e de suas interações na qualidade das soluções geradas e identificar qual destes parâmetros possui impacto mais significativo no desempenho do sistema.
3. Simulated Annealing (SA)
O método Simulated Annealing foi desenvolvido e utilizado originalmente em simulações de termodinâmica, para análise computacional de processos de recozimento de certos materiais sólidos, onde estes eram aquecidos até determinada temperatura e então resfriados até que atinjam a energia mínima, ou seja, o equilíbrio térmico. Fazendo-se analogia a problemas combinatórios, podem-se considerar os possíveis estados do metal como as soluções, a energia de cada estado corresponde à função objetivo que, dependendo do
3 problema pode ser maximizada ou minimizada e a energia mínima seria a solução ótima do problema.
O sistema Simulated Annealing considera alguns parâmetros que podem ser variados e estudados, sendo eles:
Temperatura inicial;
Temperatura final;
Número máximo de iterações em certa temperatura (SAmax);
Número máximo de iterações sem melhora da função objetivo (Itermax);
Coeficiente de resfriamento (α).
Os métodos de otimização comumente encontrados na literatura buscam, a partir de uma solução inicial aleatória, uma nova solução que, ao ser comparada com a inicial avalia se houve redução da função objetivo e, caso seja verdadeira, esta solução passa a ser considerada como corrente e os passos são repetidos até que não sejam observadas melhoras nos valores da função objetivo.
O método Simulated Annealing utiliza técnicas para o refinamento de soluções do problema, buscando melhores soluções e evitando a convergência para valores de ótimos locais, uma vez que aceita movimentos de piora para explorar novas regiões e melhores soluções (Vieira, 2006). Na prática ele requer que o problema seja especificado em termos de um espaço de soluções com uma estrutura de vizinhança definida sobre ele, bem como uma função de custo mapeando cada solução em um valor numérico. O processo se inicia com um membro qualquer do espaço de soluções, normalmente gerado aleatoriamente, e seleciona um de seus vizinhos randomicamente. Se este vizinho for melhor que o original ele é aceito e substitui a solução corrente. Se ele for pior por uma quantidade ∆, ele é aceito com uma probabilidade e-∆/T, onde T decresce gradualmente conforme o progresso do algoritmo. Esse processo é repetido até que T seja tão pequeno que mais nenhum movimento seja aceito, sendo esta a melhor solução encontrada durante a busca e tomada como uma boa aproximação para a solução ótima.
4. Problema de Alocação de Salas (PAS)
O Problema de Alocação de Salas (PAS) é enfrentado por diversas instituições de ensino de médio e grande porte e consiste em alocar turmas às salas de aula, respeitando as restrições pré-determinadas. Trata-se de um problema combinatório cuja resolução manual pode demandar muito tempo e esforço por parte dos responsáveis e, por este motivo, é considerado pela literatura existente como um problema NP-difícil (Even et al. 1976, Carter e Tovey 1992).
Em problemas de alocação de salas são considerados alguns requisitos, na qual são atribuídos pesos de acordo com o grau de importância, sendo que os mais importantes recebem pesos maiores, definindo assim os requisitos essenciais e não essenciais do problema. Os requisitos considerados essenciais na modelagem do problema neste trabalho foram: em uma mesma sala e horário não pode haver mais de uma aula; e uma sala não pode receber uma turma cuja quantidade de alunos seja superior à sua capacidade. O único
4 requisito não essencial considerado na formulação foi: utilizar o espaço das salas eficientemente, evitando alocar aulas de turmas pequenas em salas de maior capacidade.
Outras restrições poderiam ter sido consideradas, tais como: sempre que possível, alocar a uma mesma sala alunos de um mesmo curso e período; se possível, cada uma das salas deve ser deixada vazia em pelo menos um horário ao longo do dia, de forma a possibilitar sua limpeza, dentre outras.
A função objetivo é mensurada por duas componentes, uma de inviabilidade g(s), que mede o não atendimento dos requisitos essenciais e, caso não seja atendida, gerará uma alocação inviável e outra de qualidade h(s), que mede o grau de não atendimento dos requisitos não-essenciais e cujo atendimento é desejável, mas caso não seja satisfeito não gerará soluções inviáveis. A função objetivo pode ser expressa como:
Desta forma, a função objetivo associa um número real a cada solução do universo de soluções existentes e deve ser minimizada. Quanto menor for o número associado à função objetivo, melhor será a solução encontrada para problema.
5. Descrição do problema
O problema considerado para análise deste estudo é um exemplo hipotético de pequeno porte, com uma centena de horários distribuídos por uma dezena de salas, com as aulas realizadas de segunda a sexta, nos períodos da manhã, tarde e noite. A solução do problema é representada por uma matriz S = (Sij)mxn, onde m representa o número de horários reservados para a realização das aulas e n o número de salas disponíveis. Em cada célula Sij é colocado o número da turma t alocada ao horário i e sala j. Uma célula vazia indica que a sala j está desocupada no horário i.
O algoritmo foi implementado na linguagem C, usando o compilador GNU GCC e testado em um microcomputador PC Intel Core 2 Duo, 1,83 GHz, com 4 GB de RAM, sob sistema operacional Windows Seven. O pseudocódigo do algoritmo é apresentado na Figura 1.
5
FIGURA 1 – Pseudocódigo do algoritmo.
Os tempos de processamento para geração de soluções não serão analisados neste trabalho, pois seu impacto no sistema analisado, por ser um problema de pequeno porte, é da ordem de segundos, e não está definido no escopo do presente trabalho.
6. Sumarização de dados
Para a técnica estatística sumarização de dados foram criados dois sistemas de testes, um para a solução inicial e outro para o SA, sendo que para este último foram definidos os parâmetros mostrados na tabela 1.
TABELA 1- Parâmetros do Simulated Annealing
Parâmetros Simulated Annealing
SAmax 5.000
Itermax 10.000
Temperatura_inicial 1.000
Temperatura_final 0,01
6 Foram coletados 32 valores de função objetivo para o problema de alocação de salas, tanto para a solução inicial quanto para o Simulated Annealing, sendo os valores obtidos mostrados na Tabela 2 e a dispersão de respostas exibida no Gráfico 1.
TABELA 2 – Valores de Função Objetivo obtidas
Solução Inicial Solução Simulated Annealing
Função Objetivo Função Objetivo
627.686 573.632 648.707 691.750 33.092 23.082 33.092 57.116 561.620 677.736 717.776 579.638 23.082 23.082 23.082 35.094 673.732 690.749 729.788 611.670 67.126 87.146 33.092 25.084 559.618 723.782 775.834 745.804 67.126 45.104 43.102 23.082 673.732 646.705 581.640 614.673 45.104 109.168 25.084 33.092 524.583 570.629 793.852 636.945 33.092 89.148 55.114 23.082 720.779 618.677 790.849 575.634 111.170 33.092 25.084 23.082 708.767 595.654 666.725 634.693 35.094 57.116 33.092 33.092
GRÁFICO 1- Dispersão das respostas
Estimativas estatísticas para os valores de funções objetivo dos sistemas “Solução Inicial” e “Simulated Annealing” foram calculadas e mostradas na Tabela 3.
7
TABELA 3- Estimativas estatísticas para os valores de função objetivo Estimativa Solução Inicial Simulated Annealing
Média 654.494,0313 43.915,3125 Desvio-padrão 72.270,2833 25.045,5766 Coef.Variação 0,1104 0,5703 Moda 673.732 33.092 q1 581.640 25.084 q2 647.706 33.092 q3 717.776 57.116 Min 561.620 23.082 Max 720.779 111.170 IQR 136.136 32.032
Analisando o coeficiente de variação, pode-se concluir que a técnica de geração de uma solução inicial é mais estável que as respostas geradas pelo SA (0,1104 < 0,5703). Isto já era de se esperar, visto que a geração de uma solução inicial não está submetida a técnicas de otimização e movimentos na estrutura de vizinhança, que explicam a maior variabilidade do SA devido aos erros experimentais.
7. Projeto Fatorial
Projetos fatoriais 2kr são usados, em geral, de maneira preliminar, antes de estudos mais detalhados. A técnica estatística Projeto Fatorial 2kr é capaz de prever se um fator tem efeito significativo no experimento e mensurar se existem interações entre os fatores considerados. Pretende-se determinar quais fatores do SA e suas interações tem impacto mais significativo na minimização da função objetivo, á luz dos erros experimentais.
Para a aplicação desta técnica, a variável resposta é o valor da função objetivo, FO. SAmax, Alfa e Itermax são os fatores do SA que serão variados, fazendo k=3. Os experimentos serão replicados 22 vezes, ou r=22, a fim de se estimar o impacto do erro experimental na variável resposta.
Portanto, os níveis dos fatores assumirão valores máximo e mínimo dentro das respectivas faixas de intervalos. Sabe-se a priori que quanto maior os valores de Alfa, SAmax e Itermax, maiores são as chances de se obter melhores valores de função objetivo. Sendo assim, os efeitos são unidirecionais. A Tabela 4 mostra esta premissa para valores específicos dos fatores SAmax, Alfa e Itermax. Para cada nível de cada fator calculou-se a média da função objetivo FO. Enquanto variou-se um fator os outros foram mantidos constantes.
8
TABELA 4 – Valores específicos dos fatores SAmax, Alfa e Itermax.
Nível FO
Variável Fator Baixo Alto Baixo Alto
A SAmax 500 50.000 53.112,0 51.910,8
B Itermax 1.000 100.000 68.927,8 42.501,4
C Alfa 0,10 0,99 95.554,4 50.709,6
Os testes foram feitos variando-se os fatores, como mostrado na Tabela 4, e foram obtidos os valores da função objetivo (Tabela 6), conforme as denominações da Tabela 5.
TABELA 5 – Denominações para funções objetivo
Samax
Alto Baixo
Alfa Alfa
Alto Baixo Alto Baixo
Itermax Alto AA EE BB FF
Baixo CC GG DD HH
TABELA 6- Valores da função objetivo
Valores de Função Objetivo
r AA BB CC DD EE FF GG HH 1 23.082 23.082 113.172 113.172 23.082 45.104 53.112 53.112 2 43.102 35.094 81.140 81.140 47.106 390.449 91.150 91.150 3 33.092 23.082 43.102 43.102 45.104 77.136 335.394 204.263 4 23.082 43.102 113.172 113.172 57.116 97.156 65.124 317.376 5 23.082 121.180 37.096 37.096 25.084 293.352 155.214 432.491 6 33.092 55.114 111.170 111.170 369.428 155.214 35.094 179.238 7 33.092 23.082 33.092 33.092 47.106 285.344 406.465 133.192 8 23.052 23.082 33.092 33.092 35.094 57.116 124.183 82.141 9 25.084 23.082 45.104 45.104 45.104 157.216 131.190 343.402 10 35.094 67.126 79.138 79.138 25.084 89.148 33.092 131.190 11 47.106 77.136 89.148 89.148 33.092 45.104 122.181 53.112 12 57.116 109.168 37.096 37.096 45.104 79.138 97.156 109.168 13 23.082 87.146 79.138 79.138 43.102 23.082 111.170 197.256 14 33.092 35.094 68.127 68.127 47.106 55.114 395.454 161.220 15 33.092 55.114 23.082 23.082 55.114 33.092 87.146 396.455 16 23.082 111.170 33.092 33.092 35.094 109.168 228.287 67.126 17 55.114 23.082 98.157 98.157 250.309 47.106 198.257 33.092 18 69.128 33.092 76.135 76.135 45.104 278.337 173.323 45.104 19 33.092 65.124 131.190 131.190 25.084 56.115 206.265 230.289
9
20 33.092 23.082 35.094 35.094 33.092 91.150 506.565 85.114 21 47.106 45.104 33.092 33.092 259.318 33.092 79.138 466.525 22 33.092 23.082 55.114 55.114 77.136 464.523 194.253 70.129
média 35.548 51.110 65.807 65.807 75.817 134.648 174.055 176.461
Deve-se notar que o Sistema AA atingiu uma solução com função objetivo ligeiramente melhor que todos os outros Sistemas, no valor de 23.052, refletindo em uma melhor alocação de salas, com menos penalidades por excesso ou ociosidade de salas. Este resultado é interessante, visto que variando os parâmetros do sistema, foi permitido um número maior de iterações em uma dada temperatura, um maior número de iterações sem melhorias e um coeficiente de resfriamento maior, o que faz o sistema resfriar mais lentamente. Sendo assim, com esta configuração têm-se mais chances de escapar de um ótimo local e gerar soluções de melhor qualidade. Os erros calculados são apresentados na Tabela 7.
TABELA 7 – Errros experimetais
Tabela dos erros experimentais
r AA BB CC DD EE FF GG HH 1 -12.466 -28.028 47.366 47.366 -52.735 -89.544 -120.943 -123.349 2 7.554 -16.016 15.334 15.334 -28.711 255.801 -82.905 -85.311 3 -2.456 -28.028 -22.705 -22.705 -30.713 -57.512 161.339 27.802 4 -12.466 -8.008 47.366 47.366 -18.701 -37.492 -108.931 140.915 5 -12.466 70.070 -28.711 -28.711 -50.733 158.704 -18.841 256.030 6 -2.456 4.004 45.364 45.364 293.612 20.566 -138.961 2.777 7 -2.456 -28.028 -32.715 -32.715 -28.711 150.696 232.410 -43.269 8 -12.496 -28.028 -32.715 -32.715 -40.723 -77.532 -49.872 -94.320 9 -10.464 -28.028 -20.703 -20.703 -30.713 22.568 -42.865 166.941 10 -454 16.016 13.332 13.332 -50.733 -45.500 -140.963 -45.271 11 11.558 26.026 23.342 23.342 -42.725 -89.544 -51.874 -123.349 12 21.568 58.058 -28.711 -28.711 -30.713 -55.510 -76.899 -67.293 13 -12.466 36.036 13.332 13.332 -32.715 -111.566 -62.885 20.795 14 -2.456 -16.016 2.321 2.321 -28.711 -79.534 221.399 -15.241 15 -2.456 4.004 -42.725 -42.725 -20.703 -101.556 -86.909 219.994 16 -12.466 60.060 -32.715 -32.715 -40.723 -25.480 54.232 -109.335 17 19.566 -28.028 32.351 32.351 174.493 -87.542 24.202 -143.369 18 33.580 -18.018 10.329 10.329 -30.713 143.689 -732 -131.357 19 -2.456 14.014 65.384 65.384 -50.733 -78.533 32.210 53.828 20 -2.456 -28.028 -30.713 -30.713 -42.725 -43.498 332.510 -91.347 21 11.558 -6.006 -32.715 -32.715 183.502 -101.556 -94.917 290.064
10
TABELA 8: Dados para a técnica Projeto Fatorial
I A B C AB AC BC ABC Y 1 -1 -1 -1 1 1 1 -1 176.461 1 1 -1 -1 -1 -1 1 1 174.055 1 -1 1 -1 -1 1 -1 1 134.648 1 1 1 -1 1 -1 -1 -1 75.817 1 -1 -1 1 1 -1 -1 1 65.807 1 1 -1 1 -1 1 -1 -1 65.807 1 -1 1 1 -1 -1 1 -1 51.110 1 1 1 1 1 1 1 1 35.548 779.251 -76.800 -185.007 -342.710 -71.988 45.675 95.096 40.863 Total q* = 97.406 -9.600 -23.126 -42.839 -8.998 5.709 11.887 5.108 Total/8 SS* = 1.669.890.086.068 16.220.102.400 94.126.011.390 322.988.153.308 14.251.194.405 5.737.099.725 24.869.149.310 4.591.938.762
Fração explicada por: 0,91% 5,27% 18,08% 0,80% 0,32% 1,39% 0,26%
SSY = 3,45625E+12
SSE = 1,30358E+12 72,97%
11 Dentre os fatores considerados, os mais significativos são: B, C e BC, ou Itermax, Alfa e a interação entre eles, capazes de explicar 24,74% da variação da resposta FO. Pela equação, percebe-se que ao se aumentar os fatores Alfa, Itermax e SAmax é possível uma redução no valor da função objetivo, porém todas as interações que envolvem o fator Alfa fazem aumentar a função objetivo, em proporções menores em termos de significância.
Se a finalidade é minimizar a função objetivo manipulando apenas estes três parâmetros do SA, vale investir inicialmente no fator Alfa (coeficiente de resfriamento), elevando-o ao máximo possível, em detrimento aos outros fatores considerados. O impacto desta decisão na resolução do problema é o aumento do tempo de execução do algoritmo. Portanto, os fatores do SA devem ser elevados até quanto tempo se está disposto a esperar por uma resposta.
Ainda analisando a Tabela 8, conclui-se que a fração da variação da resposta explicada pelos fatores SAmax (A), Itermax (B), Alfa (C) e suas interações somam 27,03% apenas, e os restantes 72,97% da variação está atrelada aos erros experimentais, ou à parcela não controlada pelo modelo proposto. Esta análise motiva o estudo da variação da resposta em função da solução inicial gerada, sendo então proposto como trabalho futuro o desenvolvimento de um Modelo de Regressão para prever a variação da resposta com relação aos valores das soluções iniciais aleatoriamente geradas, então submetidas à metaheurística SA.
8. Conclusões
A aplicação das técnicas estatísticas Sumarização de dados e Projeto Fatorial 2kr ofereceu informações relevantes para o melhor entendimento de como os parâmetros da metaheurística Simulated Annealing interferem na geração de soluções ao Problema de Alocação de Salas implementado.
Definidos os fatores do SA que seriam analisados no escopo do trabalho, os mesmos foram variados e os dados analisados com o auxílio da técnica Projeto de Experimentos. Notou-se que o fator Coeficiente de Resfriamento (Alfa) é o que possui maior impacto na variação da resposta (função objetivo), seguido pelo fator “Número máximo de iterações sem melhora da função objetivo” (Itermax) e a interação entre eles. O fator “Número máximo de iterações em uma mesma temperatura” (SAmax) não é significativo para explicar a variação da resposta para o problema analisado, mas também pode auxiliar na redução da função objetivo. Com a aplicação da técnica, chegou-se também à conclusão de que os fatores do SA analisados explicam apenas 27%, e o restante da variação da resposta está atrelado a outros fatores não controlados pelo modelo proposto no escopo do trabalho.
Sumarizando os dados, pode-se concluir que valores de Alfa a partir de 0,9 produzem soluções de melhor qualidade para o Problema de Alocação de Salas, com 80% de confiança, sendo vantajosa a análise deste fator do SA, por ser, entre os outros parâmetros do SA, o de maior impacto na geração de soluções.
Sendo assim, os objetivos iniciais traçados neste trabalho foram alcançados, possibilitando um melhor entendimento do comportamento do sistema na geração de soluções
12 para o problema variando-se parâmetros do Simulated Annealing, definindo quais fatores possuem maior impacto na minimização da função objetivo, tomada como métrica. Como trabalho futuro recomenda-se o desenvolvimento de um modelo de regressão para prever a variação da resposta com relação ao fator de maior impacto do SA.
Referências Bibliográficas
BURKE, E.K., COWLING, P., LANDA SILVA, J.D. and McCOLLUM, B. Three Methods to Automate the Space Allocation Process in UK Universities, Lecture Notes in Computer Science, 2079: 254-276.
CARTER, M.V. and TOVEY, C.A. (1992).When Is the Classroom Assignment Problem Hard?, Operations Research, 40:S28-S39.
EVEN, S., ITAI, A. and SHAMIR A. (1976) “On the complexity of timetabling and multicommodity flow problems”, SIAM Journal of Computation, 5:691-703.
JAIN, R. Art of Computer Systems Performance Analysis Techniques For Experimental Design Measurements Simulation And Modeling. Wiley Computer Publishing, John Wiley & Sons, Inc. 1991.
LAPPONI, Juan Carlos. Estatística usando EXCEL. 4. ed: Elsevier Campus, 2005. 496p.
MONTGOMERY, D.C; RUNGER, G. C. Estatística aplicada e probabilidade para engenheiros. Rio de Janeiro: LTC, 2012.
SOUZA, M.J.F.; MARTINS, A.X.; ARAÚJO, C.R. Uma metaheurística híbrida baseada em Simulated Annealing e Busca Tabu para o Problema de Alocação de Salas. In: Proceedings XI Congreso Latino-Ibero-Americano de Investigación de Operaciones y Sistemas, Concepción, 2002a. 1 CD-ROM.
SOUZA, M.J.F., XAVIER, A.X. E ARAÚJO, C.R. (2002). Experiências com a utilização de Simulated Annealing e Busca Tabu na resolução do Problema de Alocação de Salas. In: XXXIV Simpósio Brasileiro de Pesquisa Operacional - SBPO, Instituto Militar de Engenharia, Rio de Janeiro, Brasil. Anais do XXXIV SBPO. UEDA, H., OUCHI, D., TAKAHASHI, K. and MIVAHARA, T. (2001). A Co-evolving Timeslot/Room Assignment Genetic Algorithm Technique for Universities Timetabling, Lecture Notes in Computer Science, 2079: 48-63.
VIEIRA, L.E. Algoritmo Evolutivo para o Problema do Caixeiro Viajante com Demandas Heterogêneas. Dissertação (Mestrado em Engenharia da Produção) - Universidade Federal de Santa Maria, Santa Maria, 2006.
