Sistemas de computação e análise de dados

(1)

Sistemas de computação e

análise de dados

I Workshop RENAFAE

Eduardo Gregores

(2)

LHC: Uma nova escala em computação

2

1500 MByte/s

100 MByte/s

20 MByte/s

Stored

(After Level 3)

(3)

Processamento Distribuído

(4)

Eduardo Gregores XXVII ENFPC

Águas de Lindóia, 2006 4

Tier 0

Tier 1

(5)

Arquitetura Grid de Processamento

• Grid é um sistema que coordena recursos sem um sistema de

controle central.

• Usa protocolos padrão e código aberto.

• Possue diferentes níveis de funcionalidade.

• Aplicativos e Serviços

– Programas dos Usuários

– Interfaces de Uso

– Interfaces de Monitoramento.

• Middleware

– Acesso aos processadores

– Acesso aos dados

– Servicos de Informação

• Recursos

– Servidores, Discos, etc..

• Infraestrutura de Rede

– Conexões, Roteadores, etc...

5

(6)

(7)

(8)

(9)

Rede KyaTera‐GridUNESP

Rio Claro

UNESP UFSCar PUCC CPqD UNICAMP CenPRA

11

6

2

1

21

Mackenzie

Ribeirão Preto

USP COC USP

Baurú

São José Rio Preto

Unesp 15 km

Unesp

Araraquara

4

1

ITA

São José Campos

UF ABC

Sto André

UNISANTOS

Santos

São Paulo

1

11

1

USP USP

1 Gb/s

Campinas

Terremark Internacional

São Carlos

20 Rede Experimental

Americana Catanduva Arujá

10 Gb/s

Amplificadores ópticos

UNESP

Botucatú

1

Barra Funda

Ilha Solteira

Unesp

(10)

C‐Wave traffic ‐ Rio & São Paulo contribution

(11)

Recursos Heterogêneos

T0 CERN

T2 UERJ

T2 SPRACE

GridUnesp

(12)

8 Clusters & 33.3 Teraflops

• Central Cluster (2,048 cores)

– 4 Servers

– 256 two Quad Core nodes

– RAID =108 TB

– Infiniband technology

12

7 X

• Distributed Clusters (896 cores)

– 1 Server

– 16 two Quad Core nodes

– RAID = 12 TB

– Gigabit

(13)

Elementos do Grid

Alocador de Recursos

– Recebe os pedidos dos usuários – Encontra os recursos necessários – Pergunta ao Índice de Informações

Índice de Informações

– Mantém a informaçào sobre os recursos disponíveis – Pode residir na mesma máquina que o Alocador de Recursos

Gerenciador de Réplicas

– Coordena o replicação dos dados – Providencia a redundância dos dados – Move os dados para a proximidade do local onde será realizado o processamento

Catálogo de Réplicas

– Pode residir na mesma máquina que o Catálogo de Réplicas – Mantém a informação sobre as réplicas – Associa o nome lógico do dado a um ou mais nomes físicos

Elemento de Processamento

– Recebe os pedidos de trabalho e os distribui aos trabalhadores – Provê a interface entre o Grid e os sistema de ordenamento de trabalhos – Pode gerenciar um ou mais trabalhadores.

Nó de Trabalho

– É a máquina que faz o processamento dos dados.

Elemento de Armazenamento

– Provê espaço de armazenamento de dados – Provê uma interface homogênea aos diversos Sistemas de Armazenamento.

Interface do Usuário

– Habilita o acesso ao Grid. 13

(14)

Arquitetura Básica de um Grid

(15)

Arquitetura Típica de Site

15 Gateway Gatekeeper

Computing

Element

Head Node

OSG Condor Home NFS / NIS PhEDEx SRM

Storage

Element

Head Node

PNFS dCache

Worker Nodes

Condor Pool

Login Web

Users

Access

Condor Pool GSIFtp

Disk Server

NFS dCache

Pool

Files

Pool

LAN

WAN

Home OSG

VO’s software

Data

Jobs

dCache

(16)

LHC Computing Grid (LCG)

16

177 localidades

31 paises

27.500 CPU’s

44.300 TB de disco

(17)

Open Science Grid ‐ OSG

17

66 localidades

5 paises

24.000 CPU’s

83.500 TB de disco

(18)

CMS Grid Applications

• Monte Carlo Production

– Allows processing tasks to be distributed to Grids and Farms.

– Centrally managed by dedicated teams.

• ProdRequest: User and admin request management frontend application.

• ProdMgr: Supplies work to ProdAgent based on requests from ProdRequest.

• ProdAgent: Network of agents that execute the workflows on some resource.

• Analysis Jobs

– CRAB (CMS Remote Analysis Builder)

• Run CMSSW on Grid environments

• Enqueue the following steps: job creation, submission, status check, output

retrieval.

– JobRobot

• Perform user analysis using CRAB on CMS resources on a large scale

• use the LCG/EGEE resource broker to submit jobs.

• run analysis jobs on all datasamples at all sites individually.

• PhEDEx: The CMS data replication service

– One copy at Cern; one distributed copy at regional centers

– Among and between regional and local centers

(19)

GridUNESP Research Areas

Medical

Physics

Biological

Networks

Molecular

Dynamics

19

Lattice

QCD

Relativistic

Chemistry

Geological

Modeling

Turbulence

Network

Security

High Tc

Superconductivity

Structure Factor S(k) - F = 1.2 - Kagomé Lattice

X Direction

(20)

Uso do SPRACE pelas VO’s

VO Last Min Avg Max

ATLAS 2 0 0.908 11 CMS 11 0 19.66 221 DZERO 139 0 93.91 226 FERMILAB 0 0 1.177 101 GLOW 10 0 50.56 117 LIGO 32 0 80.11 224 OSG 0 0 0.736 18

(21)

(22)

(23)

(24)

(25)

(26)

(27)