apresentado ´e apenas para a disponibiliza¸c˜ao de processamento utilizando padroniza¸c˜ao particular. Assim, somente pode ter interoperabilidade com outras infra-estruturas base- adas em OurGrid. O Globus, por sua vez, possibilita alto n´ıvel de padroniza¸c˜ao, distri- bui¸c˜ao de tarefas sobre diferentes plataformas de processamento, emprega padroniza¸c˜ao nos sistemas de seguran¸ca, permitindo o emprego de servi¸cos para diferentes finalidades. Sendo apresentando como a op¸c˜ao mais adequada para a utiliza¸c˜ao neste trabalho.
3.6
Ferramentas para Distribui¸c˜ao de Processamento
em Grade Computacional
Nesta se¸c˜ao vamos apresentar as ferramentas que realizam a tarefa de gerenciar a distribui¸c˜ao de tarefas computacionais sobre um grupo de recursos e que possam ser utilizados em conjunto ou integradas aos ambientes de grade computacionais baseados na ferramenta Globus.
3.6.1
Portable Batch System - PBS
O Portable Batch System (PBS) ´e um sistema para gerenciamento de lotes de tarefas para aglomerados de processadores (n´os) distribu´ıdos em ambiente de rede (CLUSTER- RESOURCE, 2007). A primeira vers˜ao deste sistema foi desenvolvida entre 1993 e 1997 pela NASA (National Aeronautics and Space Administration) para substituir os sistemas de distribui¸c˜ao de tarefas em lote at´e ent˜ao utilizados pela agˆencia. Posteriormente, a empresa Veridian System assumiu a distribui¸c˜ao comercial do produto.
O PBS ´e indicado para a distribui¸c˜ao de tarefas que n˜ao possuem interdependˆencias (BoTs-Bag of Task), e a sua fun¸c˜ao principal ´e conhecer os recursos dispon´ıveis , distribuir os trabalhos para as filas de execu¸c˜ao, gerenciar as filas de execu¸c˜ao e monitorar o estado do processamento da tarefa em ambiente de aglomerados de computadores (HENDERSON, 1995; CLUSTER-RESOURCE, 2007).
Esta ferramenta tem um arquitetura simplificada, por´em funcional, formada basica- mente por quatro componentes:
• Servidor de Tarefas: A principal fun¸c˜ao do servidor ´e fornecer os servi¸cos b´asicos para o aglomerado, tais como recebimento/cria¸c˜ao de uma tarefa, modifica¸c˜ao e envio da tarefa para fila de execu¸c˜ao;
• Monitor de Recurso: A principal fun¸c˜ao deste componente ´e verificar as informa¸c˜oes relacionadas ao estado dos n´os de processamento. Cada unidade de processamento executa uma instˆancia do Monitor de Recursos;
• Servidor de Execu¸c˜ao de Tarefas: Este componente ´e respons´avel pela execu¸c˜ao das tarefas nos n´os de processamento. Esta ferramenta tamb´em ´e conhecida como MOM (Machine Oriented Miniserver). Em cada equipamento do ambiente ´e executado uma instˆancia deste servidor;
• Escalonador: Este componente obt´em informa¸c˜oes dos Servidores de Execu¸c˜ao de Tarefas (MOMs) e dos Monitores de Recursos para conhecer o estado do ambiente no instante desejado. Atrav´es dos dados coletados, o escalonador aplica as melhores pol´ıticas locais para submeter as tarefas da fila de espera para execu¸c˜ao nos n´os de processamento. (HENDERSON, 1995).
Em um ambiente de aglomerado de computadores baseado no PBS (PBS-cluster ) existem dois tipos de m´aquinas, uma m´aquina de gerenciamento conhecida como diretor ou master, que executa as fun¸c˜oes do Servidor de Tarefas e do Escalonador; e o conjunto de tamanho N vari´avel de n´os para processamento que executa as fun¸c˜oes de Servidor de Execu¸c˜ao de Tarefas e Monitor de Recurso (HENDERSON, 1995).
A figura 3.11 apresenta a organiza¸c˜ao da arquitetura de um aglomerado de computa- dores baseado em PBS.
O sistema PBS possui diversas distribui¸c˜oes, sendo OpenPBS, PBSpro e TORQUE- PBS. Os aglomerados concebidos com estas ferramentas podem ser utilizados como re- cursos de processamento de ambientes de grade computacional baseado no Globus traba- lhando em conjunto com o WS-GRAM e MDS do Globus.
3.6.2
Condor e Condor-G
O Condor ´e um gerenciador de lotes de tarefas para ambientes de rede locais, que provˆe mecanismos para gerenciamento de filas de execu¸c˜ao, pol´ıticas de escalonamento, gerenciamento de prioridades de execu¸c˜ao e classifica¸c˜ao de recursos computacionais. O processo de execu¸c˜ao do Condor consiste em recepcionar as tarefas dos clientes, coloc´a-las em uma fila de execu¸c˜ao, executar a tarefa e por fim devolver a resposta ao cliente. O Condor tamb´em possibilita a execu¸c˜ao das tarefas de forma oportunista, utilizando as esta¸c˜oes ociosas de um ambiente de rede local (THAIN; TANNENBAUM; LIVNY, 2005).
3.6 Ferramentas para Distribui¸c˜ao de Processamento em Grade Computacional 51
Figura 3.11: Arquitetura base de um aglomerado de computadores baseado no PBS. Adaptado de (HENDERSON, 1995)
O Condor-G ´e um componente adicional de gerenciamento da execu¸c˜ao de tarefas so- bre aglomerados Condor, PBS e outros gerenciadore de recursos computacionais, port´avel com os padr˜oes de seguran¸ca, com os servi¸cos de indexa¸c˜ao de recursos possibilitando, assim o acesso a equipamentos em ambientes multi-institucionais (FREY et al., 2002).
O Condor ´e considerado o gerenciador de tarefas em lote para os recursos sobre o ambiente institucional e o Condor-G o gerenciador de execu¸c˜ao multi-institucional que faz a interface com as ferramentas de grade computacional do Globus. A figura 3.12 apresenta de forma esquem´atica a disposi¸c˜ao do Condor e do Condor-G sobre um ambiente de grade. A forma de execu¸c˜ao oportunista empregada no Condor utiliza as m´aquinas que est˜ao sem utiliza¸c˜ao no momento, como por exemplo, sem atividade nas interfaces de entrada (teclado, mouse) e utiliza¸c˜ao de CPU pr´oxima a zero. Caso a esta¸c˜ao apresente algum tipo de utiliza¸c˜ao o Condor migra o processo em execu¸c˜ao para outra CPU. Alguns processos n˜ao podem ser preemptados, assim, o Condor reserva as esta¸c˜oes que possibilitar˜ao manter a execu¸c˜ao do processo do in´ıcio ao fim (THAIN; TANNENBAUM; LIVNY, 2005).
Figura 3.12: Condor e Condor-G dispostos sobre um ambiente de grade computacional baseado no Globus Toolkit (THAIN; TANNENBAUM; LIVNY, 2005).
3.6.3
GridWay
O GridWay ´e uma ferramenta que foi desenvolvida especificamente para trabalhar com ambientes Globus, provendo interfaces amig´aveis entre o usu´ario e a grade compu- tacional nas atividades de gerenciamento da execu¸c˜ao de tarefas, e fornece mecanismos para execu¸c˜ao eficaz de tarefas possibilitando a troca adaptativa dinˆamica das condi¸c˜oes de execu¸c˜ao (HUDO; MONTEIRO; LLORENTE, 2005).
Para o usu´ario, o GridWay apresenta dois componentes principais: interface de usu´ario por linha de comando, que provˆe comandos para simples submiss˜ao, parada, rein´ıcio e cencelamento da execu¸c˜oes de tarefas. O agente pessoal de recursos ´e o respons´avel por descobrir os recursos dispon´ıveis, submeter e escalonar as tarefas do usu´ario e tamb´em monitorar o desempenho da tarefa (HERRERA et al., 2004).
A arquitetura do GridWay ´e apresentada na figura 3.13 e os t´opicos a seguir descrevem as funcionalidades de cada um dos componente apresentados na figura.
• Interface do usu´ario: respons´avel por submeter os comandos inseridos pelo usu´ario. Este m´odulo inclui o DRMAA (Distributed Resource Management Application API ) que ´e a implementa¸c˜ao de um padr˜ao OGF para suporte ao desenvolvimento de aplica¸c˜oes distribu´ıdas baseadas em C e Java;
• Mediador de Acesso ao Dispositivo: Conhecido como MAD (Middleware Access Driver ), ´e o componente respons´avel por integrar o ambiente externo `a grade com o interno. O MAD adquire as informa¸c˜oes do ambiente (recursos dispon´ıveis, gerente
3.6 Ferramentas para Distribui¸c˜ao de Processamento em Grade Computacional 53
Figura 3.13: Arquitetura do meta-escalonador GridWay (GLOBUSALIANCE, 2007). de recursos) e as disponibiliza para o usu´ario final. Todos os componentes do n´ucleo do GridWay o acessam para realizar as suas tarefas;
• N´ucleo GridWay: ´e uma conjunto de componentes que provˆe o completo gerencia- mento da execu¸c˜ao e agenciamento de recursos, oferecendo escalonamento avan¸cado e capacidades para recupera¸c˜ao de falhas de execu¸c˜ao. O gerenciador de dispa- ros realiza todos os est´agios de submiss˜ao da tarefa e monitora se a execu¸c˜ao est´a acontecendo de maneira correta. O gerenciador de informa¸c˜oes ´e o respons´avel por descobrir e monitorar as informa¸c˜oes sobre as esta¸c˜oes e execu¸c˜oes. O gerenciador de execu¸c˜ao ´e o respons´avel pela submiss˜ao e monitoramento da execu¸c˜ao da tarefa. O gerenciador de transferˆencia ´e respons´avel pelas opera¸c˜oes que envolvem o acesso e a prepara¸c˜ao dos dados para processamento, incluindo o envio de c´odigos bin´arios e a coleta dos dados n˜ao mais utilizados nos recursos de processamento;
• Escalonador: respons´avel por decidir o m´etodo de distribui¸c˜ao das tarefas sobre os recursos dispon´ıveis no momento. No GridWay o escalonador trabalha de forma adaptativa, avaliando as melhores condi¸c˜oes de escalonamento no momento da exe- cu¸c˜ao. Esta opera¸c˜ao ´e realizada com base nas informa¸c˜oes do ambiente, no hist´o- rico de execu¸c˜oes anteriormente realizadas e nas prioridades configuradas para os
recursos e usu´ario. O escalonador do GridWay permite a submiss˜ao de tarefas em ambiente composto com recursos heterogˆeneos, por exemplo, aglomerados baseados no PBS, esta¸c˜oes convencionais, esta¸c˜oes multiprocessadas e clusters paralelos. • Interface do Gerenciador de Informa¸c˜oes: realiza a interface com o n´ucleo do GridWay
e com os sistemas de informa¸c˜ao da infra-estrutura da Grade (MDS2, MDS4); • Interface do Gerenciador de Execu¸c˜ao: realiza a interface com os servi¸cos de geren-
ciamento de tarefas e recursos da grade (pr´e WS-GRAM, WS-GRAM);
• Interface de Gerenciador de Transferˆencia: realiza a interface com os servi¸cos de transporte de dados da grade (GridFTP, RFT).
Por ser um aplicativo mais recente que os demais apresentados, o GridWay possibilita a distribui¸c˜ao de tarefas baseadas em duas plataformas de desenvolvimento, sendo C/C++ e Java. Os demais apresentados conseguem somente distribuir tarefas baseadas em C e Fortran (GLOBUSALIANCE, 2007).
Esta ferramenta possibilita que o usu´ario, por meio de um arquivo de descri¸c˜ao de tarefas, possa descriminar as caracter´ısticas do ambiente onde seu(s) processo(s) ser´a(˜ao) executado(s). Entre as vinte e cinco op¸c˜oes dispon´ıveis para configurar o ambiente de execu¸c˜ao, podemos citar algumas como: indicar a m´aquina ou a localidade que deve ser executada (i.e. REQUIREMENTS = HOSTNAME = “maquina01.lsi.usp.br ” ou REQUIREMENTS = HOSTNAME = “*.lsi.usp.br ”), indicar a arquitura do processador (i.e. REQUIREMENTS = ARCH = “i686” ), indicar o gerenciador de tarefas local (i.e. fork, pbs, condor, etc.), o sistema e a vers˜ao do sistema operacional (i.e. Linux, Windows, etc.). Na apˆendice B apresentamos todos os parˆametros poss´ıveis para configura¸c˜ao do ambiente de execu¸c˜ao.