Verifica-se um resultado de cerca de 50% de melhorias temporais no treino iterativo de Leduc Poker. Sabendo-se que para o jogo de Poker 2NL Texas Hold’em, o CFR, demora cerca de 2 semanas para calcular uma estratégia razoável (num computador idêntico ao utilizado para o cálculo do algoritmo nesta dissertação), pode ser realizado um simples cálculo de proporcionalidade direta, e espectar a redução de 1 semana ou mais no cálculo para o Texas Hold’em, usando o método iterativo. Foi possível notar grandes diferenças na melhoria do Leduc em relação o Kuhn, isto porque o Kuhn apresenta um jogo bastante rápido e com poucos conjuntos de informação. Deste modo, comparando o Leduc ao Texas Hold’em, poderá ser espectável que o desempenho seja superior a 50%, sendo esta uma expectativa muito otimista. Em relação à memória utilizada, visto que esta aumentou com a utilização do algoritmo iterativo, é expectável que aumente também para o jogo de Poker original utilizado atualmente na ACPC (Anual Computer Poker Competition), que, segundo [17], necessita de cerca de 1,094 × 10138 YB de RAM para ser resolvido.
Neste capitúlo foram analisados todos os resultados obtidos nas experiencias relativas aos dois métodos utilizados nesta dissertação, resultados temporais, espaciais e verificação da credibilidade das estratégias criadas, foram também comparados os resultados dos dois métodos.
37
Capítulo 6
Conclusão
Neste capítulo serão apresentadas as principais conclusões, assim como algumas sugestões de trabalho a desenvolver em investigações futuras.
6.1 Conclusões
Esta dissertação teve como principal objetivo, a conversão do método recursivo para o método iterativo de um algoritmo de criação de estratégias para jogos, o CFR. Desta conversão esperam-se melhorias de desempenho em termos de tempo, memória e resultados. Foram utilizados dois jogos de Poker para a aplicação deste algoritmo: o Kuhn Poker e o Leduc Poker e para ambos foram criados treinos de estratégias utilizando tanto o método recursivo como iterativo do CFR para comparar os métodos e retirar conclusões.
Comparando os métodos, é possível verificar melhorias temporais na criação de estratégias para ambos os jogos, sendo que as melhorias são mais significativos no Leduc Poker devido ao facto do Kuhn Poker ser um jogo muito pequeno e de calcúlo rápido com o método recursivo (cerca de 5% melhorias temporais). Com base nos resultados obtidos no Leduc (cerca de 40% de melhorias temporais) é possível concluir que o método iterativo ao CFR apresenta um aumento significativo de desempenho. Este desempenho pode ser extrapolado para o jogo maior de Poker, o 2NL Texas Hold’em, e estimar melhorias temporais na utilização do método iterativo de mais de 50%, o que seria soberbo atendendo ao tempo espectável que o método recursivo do CFR necessita para criar uma estratégia razoavelmente boa.
38
No que diz respeito à memória utilizada, verifica-se aumento no jogo do Leduc Poker que poderá estar relacionado com a quantidade de arrays que têm de ser criados para armazenar a informação processada durante a criação da estratégia.
É importante salientar que não existem grandes diferenças entre as estratégias criadas pelo método original e o iterativo, e que o valor médio esperado é praticamente o mesmo, o que valida as melhorias temporais, uma vez que para criar a mesma estratégia, o tempo diminui com a aplicação do método iterativo.
Em suma, a elaboração desta dissertação permitiu mostrar que é possível obter melhor desempenho temporal do CFR aplicando o método iterativo.
6.2 Trabalho futuro
Após a realização desta dissertação, ficam algumas recomendações e alterações que podem ser feitas futuramente.
Com a criação do método iterativo, poderiam ser facilmente obtidas melhorias através da implementação do algoritmo em GPU, permitindo a atualização concorrente dos nós de cada nível. Isto seria possível devido ao elevado poder de processamento da placa gráfica em relação ao CPU dos computadores, tirando assim partido da capacidade de cálculo aritmético que estas oferecem. Desta forma, para investigações futuras sugere-se a aplicação do algoritmo do CFR iterativo em GPU.
39
Capítulo 7
Bibliografia
[1] P. Morris, Introduction to games theory, springer, (1994).
[2] Von Neumann, J. and Morgenstern, O., Theory of Games and Economic Behavior (60th Anniversary Commemorative Edition), Princeton University Press, (2007).
[3] F.Barrichelo,http://www.teoriadosjogos.net/teoriadosjogos/list- trechosimprime.asp?id=29, consultado pela ultima vez dia 6/09/2014
[4] Lanctot, M., Lisy, V., and Bowling, M., Search in Imperfect Information Games using Online Monte Carlo Counterfactual Regret Minimization. In AAAI Workshop on Computer Poker and Imperfect Information.(2014).
[5] Billings, D. Algorithms and assessment in computer poker, PhD thesis, University of Alberta, 2006.
[6] “JohnVonNeumann.”[Online].Available:
http://pt.wikipedia.org/wiki/John_von_Neumann.
[7] Lanctot,M.; Neller, T.(2013). An Introduction to Counterfactual Regret Minimization. http://cs.gettysburg.edu/~tneller/modelai/2013/cfr/index.html, consultado pela ultima vez dia 6/09/2014
[8] Risk, N. and Szafron, D. Using counterfactual regret minimization to create competitive multiplayer poker agents, In Proceeding AAMAS '10 Proceedings of the 9th International Conference on Autonomous Agents and Multiagent Systems: volume 1 - Volume 1, Pages 159-166. 2010.
[9] Lancot, M.; Waugh, K; Zinkevich, M.; and Bowling, M. (2009).Monte Carlo sampling for regret minimization in extensive games. In Proc. of NIPS, volume 22, 1078-1086. [10] Johanson, M.; Bard,N.; Lanctot,M; Gibson, R. and Bowling, M.; Efficient Nash
equilibrium approximation through Monte Carlo counterfactual regret minimization, Proceedings of the 11th International Conference on Autonomous Agents and Multiagent Systems, 2012.
40
[11] Davis, T.; Burch, N. and Bowling, M. Using Response Function to Measure Strategy Strength, Proceedings of the Twenty-Eighth AAAI Conference on Artificial Intelligence, 2014.
[12] Johanson, M., Bard, N., Burch, N., and Bowling, M. (2012). Finding Optimal Abstract Strategies. In Extensive-Form Games. In Proceedings of the National Conference on Artificial Intelligence (AAAI), pages 1371–1379.
[13] Teo•filo, L. F.; Reis, L. P. and Cardoso H. L., Speeding-up Poker Game Abstraction Computation: Average Rank Strength, in Computer Poker and Imperfect Information: Papers from the AAAI 2013 Workshop, 2013, pp. 59-64.
[14] K. Glocer and M. Deckert, (2007) Opponent Modeling in Poker.
[15] S. Ganzfried and T. Sandholm, (2010). Game theory-based opponent modeling in large imperfect-information games. In Proceeding AAMAS '11 The 10th International Conference on Autonomous Agents and Multiagent Systems - Volume 2, Pages 533-540. [16] H. Park and K. Kim, “Opponent modeling with incremental active learning: A case
study of Iterative Prisoner’s Dilemma,” … Intell. Games (CIG), 2013 IEEE …, 2013. [17] M. Johanson,(2013) Measuring the size of large no-limit poker games.
[18] Zinkevich, M.; Johanson, M.; Bowling, M.; and Piccione,C. (2008). Regret minimization in games with incomplete information. In Advances in Neural Information Processing Systems 20 (NIPS 2007).
41