Estudo de analises e soluc¸˜oes de problemas em sistemas de
cloud para computac¸˜ao de alto desempenho
Rodrigo da Silva Barboza Lima1
1UNESP - Universidade Estadual Paulista
Instituto de Biociˆencias, Letras e Ciˆencias Exatas (IBILCE) Cˆampus de S˜ao Jos´e do Rio Preto
Resumo. Este trabalho tem como objetivo descrever e analisar estudos rela-cionados `a computac¸˜ao de alto desempenho em ambientes de cloud com o foco no uso de rede que ´e um dos principais problemas existentes nesse tipo de aplicac¸˜ao.
1. Introduc¸˜ao
Computac¸˜ao na nuvem ou cloud computing ´e um tema popular nos dias de hoje, devido `a reduc¸˜ao do custo que normalmente ´e focado no estilo conhecido como pay-per-use na qual os usu´arios ou inquilinos pagam apenas de acordo com o uso no ambiente. Todo o dinamismo existente traz alguns problemas no sistema como um todo, especialmente em momentos de congestionamentos ou de alta demanda. Os trabalhos, estudos e experi-mentos apresentados apontam esses problemas e apresentam diferentes soluc¸˜oes para os mesmos.
2. Estudos e experimentos analisados
Inicialmente ´e apresentado o problema por meio dos experimentos realizados por [Roloff et al. 2017], na qual realiza benchmarks e observa os pr´ıncipais gargalos em um sistema de cloud. Logo ap´os uma soluc¸˜ao para a melhoria de envio de mensagens no MPI publicado por [Sudhakar et al. 2018] e por [Esp´ınola et al. 2017] alem de uma al-terativa para tentar reduzir o congestionamento da rede com agendamentos dinˆamicos em [Vicentini et al. 2019]. Para finalizar ´e apresentado um conceito para redes se auto-adaptarem [Zahid et al. 2018] .
2.1. HPC Desempenho de Aplicac¸˜oes e Eficiˆencia de Custos na Nuvem
A computac¸˜ao em nuvem chama a atenc¸˜ao da comunidade de computac¸˜ao em alto de-sempenho e o trabalho de [Roloff et al. 2017] avalia a performace e efiˆencia de custo em diferentes ambientes clusters e clouds. Os experimentos foram executados em dois sistemas tradicionais de cluster, econome da GRID5000, e dois provedores de nuvem, Microsoft Azure e Amazon EC2, na qual possuem 256 cores, s˜ao processadores intel de uma gerac¸˜ao semelhante, utilizam Ubuntu Server 14.04 LTS e Open MPI mantendo um padr˜ao para a comparac¸˜ao, mesmo assim existe uma variac¸˜ao no tamanho de mem´oria que n˜ao ´e relevante para estes testes pois a menor quantidade ´e mais que suficiente para a aplicac¸˜ao conforme a Tabela 1. ´E importante lembra que existem algumas excess˜oes para essa padronizac¸˜ao, A9 utiliza SUSE Linux e Intel MPI. Os benchmarks utilizados foram o High Performance Linpack (HPL) benchmark para avaliar a performace computacional bruta, STREAM benchmark para medir a largura da banda de mem´oria e para medir a velocidade da rede o teste Exchange do benchmark da Intel MPI.
Tabela 1. Configurac¸ ˜oes utilizadas nos ambientes
Iniciando pela performace da aplicac¸˜ao em geral pelos trˆes benchmarks utilizados foi rankeada da seguinte maneira, do mais veloz para o menos veloz: A9, Cluster-I, D5, G4, G5, A11, C3.8X, X1.32X, Cluster-2, A4. No geral foi observado que o maior gargalo encontrado nos testes e aplicac¸˜oes testadas foi com relac¸˜ao `a performace da rede e que a degradac¸˜ao de performace ocasionados por virtualizac¸˜ao ou outras aplicac¸˜oes pela nuvem s˜ao insignificantes segundo os autores. J´a o ambiente de melhor custo efiˆencia avaliado foi o A9, ´e importante citar que EC2 entrega mais performace por dolar que Azure. 2.2. MCM: Um novo gerenciador de comunicac¸˜ao MPI para sistemas em nuvem O trabalho de [Esp´ınola et al. 2017] ´e avaliado uma forma de melhoria de latencia na comunicac¸˜ao MPI em momentos de congestionamento. Para isso ´e proposto um m´etodo que tenta melhorar o desempenho do tempo de latˆencia da comunicac¸˜ao para aplicac¸˜oes MPI que s˜ao executadas em nuvens p´ublicas. O m´etodo ´e dividido e considerado em duas partes: online e offline. A parte offline executa antes da aplicac¸˜ao e busca definir a caracterizac¸˜ao da topologia de rede construindo as informac¸˜oes armazenadas em uma Ma-triz de Distˆancias de Latˆencia e uma MaMa-triz de Sensibilidade, analisando a comunicac¸˜ao MPI entre todos os pares de m´aquinas virtuais na nuvem e assim criando uma Tabela de Criac¸˜ao de Caminhos Alternativos. Por outro lado, a parte online captura todas as mensa-gens da aplicac¸˜ao MPI antes de alcanc¸arem a biblioteca selecionando o melhor caminho sem congestionamento sempre verificando a latˆencia de cada caminho, o processo ´e di-vido em: monitoramento das mensagens, notificac¸˜ao por meio de ACK para atualizar a tabela de caminhos alternativos, detecc¸˜ao de congestionamento, configurac¸˜ao de caminho e selec¸˜ao de caminho alternativo.
Os experimentos com NAS-CG classe B e C foram realizados em 16 n´os, uti-lizando t2.medium na Amazon EC2 cloud. Os testes tentam expor ambientes em que congestionamentos ocorrem nas quais o MCM pode melhorar o desempenho. O cen´ario A demonstra um ambiente ideal para o uso do MCM enquanto o cen´ario B tenta construir um ambiente no pior caso para o MCM, assim ´e poss´ıvel observar o desempenho obtido em ambos os cen´arios pela Figura 2.
2.3. Otimizac¸˜ao baseada em caminho das operac¸˜oes de comunicac¸˜ao coletivas do MPI em nuvem
Comunicac¸˜oes baseadas em algoritmos com conhecimento da topologia de rede s˜ao ine-fientes em ambientes de nuvem devido ao uso de virtualizac¸˜ao, com isso o trabalho de
Figura 1. Tempo de execuc¸ ˜ao do MCM e da aplicac¸ ˜ao em diferentes cen ´arios.
[Sudhakar et al. 2018] consiste na melhoria de efiencia do das operac¸˜oes de comunicac¸˜ao coletivas do MPI, especialmente para o MPI Broadcast al´em de explorarar custos de otimizac¸˜ao para o MPI criando assim uma uma nova abordagem. Os algoritmos propostos se baseiam em analisar os caminhos das mensagens trocadas e construir um ranqueamento baseado no desempenho, encontrando assim os menores caminhos independentemente da topologia. Os experimentos foram executados em um cluster com 1+8 n´os, o servidor possui dois processadores Intel Xeon E5-264 enquanto os outros n´os um processador In-tel Xeon E5-2640, utilizando uma rede InfiniBand, Rocks Cluster 6.1.1 e CentOS 6.5. Os resultados como encontrados na Figura 2, ´e poss´ıvel observar uma melhoria do MPI, mais precisamente MPICH2, com o MPI melhorado pelo trabalho, variando de acordo com o tamanho das mensagens trocadas.
2.4. Provisionamento de recursos com base em SDN e com reconhecimento de v´arios usu´arios para Big Data Streaming baseado em nuvem
Sistemas de nuvem compartilhado possuem multiplas vantagens assim como alguns pro-blemas como perda de desempenho em certos momentos como por exemplo em momen-tos de utilizac¸˜ao intensiva dos diferentes usu´arios que compartilham a nuvem. Assim o trabalho de [Vicentini et al. 2019] tenta solucionar esse tipo de problema desenvolvendo um mecanismo que analisa os recursos e sua disponibilizac¸˜ao automaticamente sem a necessidade de um supervisor. O sistema avalia por meio de microbenchmarks o estado dos recursos f´ısicos do ambiente da nuvem que s˜ao ligadas `a decis˜ao das pol´ıticas de agendamento e reagendamento. A an´alise obtida revela que o proposto Dynamic Sche-duler obtem uma melhoria de performace em relac¸˜ao ao EvenScheSche-duler, que distribui igualmente os recursos entre os usu´arios. A melhoria de desempenho alcanc¸a 50.1% para CPU, 62.3% para disco r´ıgido e 43.8% em rede.
2.5. Uma Rede Auto-Adapt´avel para Nuvens HPC: Arquitetura, Estrutura e Implementac¸˜ao
Infiniband se tornou a mais popular rede de interconex˜ao padr˜ao para sistemas de computac¸˜ao de alto desempenho. No trabalho de [Zahid et al. 2018] ´e proposta uma estru-tura de rede auto-adapt´avel utilizando infiniband como tecnologia de prot´otipo, para isso ´e utilizado um software externo que consiste em um loop de controle de feedback para se auto otimizar. O principal aspecto da estrat´egia ´e utilizar um motor de adaptac¸˜ao que uti-liza m´etricas da rede e nuvem obtidas pelo monitoramento do servic¸o. O prot´otipo criado utiliza OpenSM e linguagem C, enquanto a monitorac¸˜ao dos recursos foi armazenado no
Figura 2. Comparac¸ ˜ao de performace entre o MPI e o MPI melhorado, baseado no tamanho de mensagem e n ´umero de processos no eixo Y e o tempo m ´edio em segundos no eixo X
MariaDB. A abordagem se baseia em estrat´egias utilizadas pelo rainbow framework e foi apresentada como proof-of-concept, assim os resultados obtidos ainda n˜ao foram consis-tentes de maneira geral, mesmo que em casos espec´ıficos se obtem uma pequena melhora de desempenho na rede.
3. Conclus˜ao
Como apresentado em [Roloff et al. 2017] ´e poss´ıvel observar que o maior gargalo encon-trado em sistemas de nuvem ´e a rede, congestionamentos podem ser solucionados com melhorias nos protocolos de comunicac¸˜ao [Sudhakar et al. 2018][Esp´ınola et al. 2017]
assim como em sistemas de multi-usu´arios o agendamento dos recursos pode trazer mui-tos benef´ıcios tentando evitar os congestionamenmui-tos [Vicentini et al. 2019]. Portanto o uso de computac¸˜ao em nuvem n˜ao ´e s´o vi´avel para computac¸˜ao em alto desempenho como soluc¸˜oes para melhoria de desempenho focando em suas dificuldades est˜ao sendo desenvolvidas em abordagem diferentes que podem ser implementadas em conjunto.
Referˆencias
Esp´ınola, L., Franco, D., and Luque, E. (2017). Mcm: A new mpi communication mana-gement for cloud environments. Procedia Computer Science, 108:2303 – 2307. Inter-national Conference on Computational Science, ICCS 2017, 12-14 June 2017, Zurich, Switzerland.
Roloff, E., Diener, M., Gaspary, L. P., and Navaux, P. O. A. (2017). Hpc application performance and cost efficiency in the cloud. In 2017 25th Euromicro International Conference on Parallel, Distributed and Network-based Processing (PDP), pages 473– 477.
Sudhakar, C., Ramesh, T., and Waghmare, K. (2018). Path based optimization of mpi collective communication operation in cloud. In 2018 International Conference on Computing, Power and Communication Technologies (GUCON), pages 595–599. Vicentini, C., Santin, A., Viegas, E., and Abreu, V. (2019). Sdn-based and
multitenant-aware resource provisioning mechanism for cloud-based big data streaming. Journal of Network and Computer Applications, 126:133 – 149.
Zahid, F., Taherkordi, A., Gran, E. G., Skeie, T., and Johnsen, B. D. (2018). A self-adaptive network for hpc clouds: Architecture, framework, and implementation. IEEE Transactions on Parallel and Distributed Systems, 29(12):2658–2671.
