OpenMPI+ ´e a vers˜ao da biblioteca para computa¸c˜ao paralela OpenMPI b´asica estendida com um servi¸co de sincroniza¸c˜ao de tempo baseado no RGAP para a fun¸c˜ao MPI Wtime(), observe que como informado em [119] o padr˜ao Message Pas- sing Interface (MPI) [116] n˜ao define um ponto fixo no passado para o in´ıcio do tempo global. Atualmente, esta fun¸c˜ao requer que todos os rel´ogios locais dos n´os que executam uma aplica¸c˜ao MPI estejam externamente globalmente sincroniza- dos, seja por meio um hardware dedicado (por exemplo, uma rede de sincroniza¸c˜ao) ou uma solu¸c˜ao de software, como NTP que ´e normalmente utilizado em clusters Beowulf.
O fato de RGAP ser livre de ressincroniza¸c˜ao e portanto evitar a introdu¸c˜ao de ru´ıdos extras de sistema causados por daemons pode ser explorado de v´arias maneiras. Por exemplo, ele pode fornecer timestamps globalmente corretos para as mensagens e beneficiar os procedimentos de an´alise de tra¸cos e avalia¸c˜ao de desem- penho com base no tempo mais preciso das aplica¸c˜oes paralelas. No OpenMPI+ a fun¸c˜ao original MPI Wtime() ´e modificada. Especificamente, em vez de utilizar gettimeofday() em OpenMPI+, MPI Wtime() chama a fun¸c˜ao get global time() do RGAP implementada dentro da biblioteca, que fornece uma referˆencia de tempo global para a computa¸c˜ao paralela.
C´odigo fonte 6.5: Estrutura de dados do RGAP em OpenMPI+
s t r u c t rgap t {
u64 localBaseTime ; u64 remoteBaseTime ; u64 minimalRTT ; }
Isto ´e realizado com a introdu¸c˜ao da estrutura de dados rgap t no OpenMPI. A estrutura de dados ´e apresentada no C´odigo 6.5, onde localBaseTime ´e o valor RVEC local no instante da sincroniza¸c˜ao, remoteBaseTime ´e o valor RVEC remoto, tal como indicado pelo n´o de referˆencia, e minimalRTT ´e o round time trip mais curto calculado durante a fase sincroniza¸c˜ao do processo. A estrutura rgap t ´e ent˜ao adi- cionada na estrutura de dados ompi communicator t e o algoritmo de sincroniza¸c˜ao dentro da fun¸c˜ao ompi mpi init(), atrav´es da fun¸c˜ao OpenMPIplus Boot().
O C´odigo 6.6 mostra o algoritmo de sincroniza¸c˜ao RGAP implementando para o OpenMPI, a fun¸c˜ao OpenMPIplus Boot(). Diferentemente da implementa¸c˜ao original do RGAP, apresentando na se¸c˜ao anterior, para o OpenMPI o processo de referˆencia do rel´ogio global (servidor RGAP) ´e o processo com rank 0, sendo ele que
C´odigo fonte 6.6: Procedimento de inicializa¸c˜ao do RGAP para o OpenMPI
i n t OpenMPIplus Boot ( . . . ) { s t r u c t rgap t rgap ;
i f (0 == ompi comm rank (MPI COMM WORLD) )
f o r( i =1; i < ompi comm size (MPI COMM WORLD) ; i++){ while(rgapOUT( c l i e n t s t a t u s , . . . ) )
c l o c k g e t t i m e (CLOCK RVEC, &time now ) ; time ns = TimeToInt(&time now )
MPI Send(&time ns , . . . ) ;
MPI Recv(& c l i e n t s t a t u s , . . . ) ; }
e l s e
while(rgapOUT( c l i e n t s t a t u s , . . . ) ) {
c l o c k g e t t i m e (CLOCK RVEC, &tpre ) ; MPI Recv (&time ns , . . . ) ;
c l o c k g e t t i m e (CLOCK RVEC, &tpos ) ;
c l i e n t s t a t u s = r g a p t e s t ( tpre , tpos , &rgap , &minRTTs) ; MPI Send(& c l i e n t s t a t u s , . . . ) ; }
return OMPI SUCCESS; }
inicia a sincroniza¸c˜ao com os outros n´os que fazem parte de uma mesma computa¸c˜ao paralela. Observe que a fun¸c˜ao OpenMPIplus Boot() possui duas fun¸c˜oes auxiliares: a fun¸c˜ao rgapOUT() ´e respons´avel por decidir com base na vari´avel client status se deve finalizar a execu¸c˜ao do la¸co de sincroniza¸c˜ao para um processo; e a fun¸c˜ao rgap test() que com base nos valores tpre e tpos calculam o valor corrente do RTT e decide se o n´o j´a se encontra sincronizado, armazenando o resultado correspondente na vari´avel client status.
O procedimento mostrado no C´odigo 6.6 deve ser executado para todos os n´os de uma computa¸c˜ao paralela, descartando as primeiras D mensagens de cada n´o uma vez que essas mensagens geralmente tˆem valores mais elevados de RTT e rgap - test() s´o leva em conta os 20 menores valores de RTT para calcular o desvio padr˜ao utilizado como crit´erio de parada. O C´odigo 6.6 n˜ao foi projetado para tratar as mensagens enviadas atrav´es MPI Bcast() por esta forma de envio de mensagem n˜ao ser utilizado durante esta etapa do procedimento de inicializa¸c˜ao da biblioteca OpenMPI.
6.4
Considera¸c˜oes Finais
Este cap´ıtulo detalhou o projeto e constru¸c˜ao do novo mecanismo para cria¸c˜ao e manuten¸c˜ao de rel´ogios globais em clusters de computadores energeticamente efici- ente. Inicialmente o cap´ıtulo apresenta uma breve revis˜ao do RVEC e como este ´e integrado ao sistema operacional Linux, e da propriedade ECP oferecida por ele. ´E a propriedade ECP que viabiliza o projeto do RGAP como um mecanismo para cons- tru¸c˜ao de rel´ogios globais em clusters de computadores software livre de opera¸c˜oes
de ressincroniza¸c˜ao, opera¸c˜oes essas que existem em outras solu¸c˜oes baseadas em software como ´e apresentado na Se¸c˜ao 2.2. Por fim, este cap´ıtulo detalha como o RGAP foi integrado `a biblioteca MPI OpenMPI como mecanismo para fornecer o rel´ogio global exigido para o correto funcionamento da mesma.
Cap´ıtulo 7
Avalia¸c˜ao Experimental do Rel´ogio
Global de Alta Precis˜ao
Este cap´ıtulo apresenta os resultados de uma avalia¸c˜ao experimental do Rel´ogio Global de Alta Precis˜ao (RGAP): primeiramente s˜ao apresentados os dados da ava- lia¸c˜ao do Rel´ogio Virtual Estritamente Crescente (RVEC) no hardware utilizado para os experimentos, em especial a propriedade Estritamente Crescente e Preciso (ECP), corroborando estes resultados com uma placa Global Positioning System (GPS), fundamental para o correto funcionamento do RGAP. Tendo demonstrado experimentalmente a confiabilidade do RVEC s˜ao apresentados os resultados da ava- lia¸c˜ao do algoritmo b´asico do RGAP descrito na Se¸c˜ao 6.2, para em seguida realizar a avalia¸c˜ao experimental da implementa¸c˜ao do RGAP dentro da biblioteca OpenMPI, como descrito na Se¸c˜ao 6.3.
7.1
Ambiente experimental do RGAP
O ambiente experimental utilizado ´e composto por um cluster homogˆeneo de computadores com quatro n´os como pode ser observado na Figura 7.1 e cujas ca- racter´ısticas est˜ao descritas na Tabela 7.1 (com o tipo do componente na primeira coluna e o modelo utilizado na segunda). O circuito de hardware que mant´em os rel´ogios de sistema durante os experimentos ´e o High Performance Event Timer (HPET).
Tabela 7.1: N´o computacional Dual Xeon Quad (Harpertown)
Componente Modelo
kernel Linux 3.1.10
Processador Intel Pentium Xeon E5410 2, 33 GHz Dura¸c˜ao Te´orica do Ciclo 0, 43 ns
Cache L2 12 MB
FSB 1333 MHz
Mem´oria DRAM 6 ∗ 4 GB DDR3 ECC
Interface de Rede 2 ∗ 10/100/1000 Mbps
Unidade de Disco 1 TB SATA 7200 RPM
Placa GPS TSync-PCIe-001 (Acur´acia de 50 ns) [120]
Figura 7.1: Ambiente experimental utilizado na avalia¸c˜ao do RGAP