Relatório Científico

(1)

Relatório Científico

Projeto Temático

Processo 03/04519-9

Física Experimental de Anéis de Colisão

SPRACE e HEP Grid−Brazil

(

http://hep.ift.unesp.br/SPRACE/

)

Sérgio F. Novaes Eduardo de M. Gregores

(2)

Índice

1 Resumo do Projeto Inicial...2

2 Realizações do Período...5

2.1 Resumo das Atividades Realizadas ...5

2.2 Ampliação e Manutenção do SPRACE...5

2.2.1 Implantação da Fase III...5

2.2.2 Manutenção do SPRACE...9

2.3 Participação na Colaboração DZero...9

2.3.1 Análise de Dados: Procura por Dimensões Extras ...9

2.3.2 Processamento de Dados...14

2.3.3 Artigos Publicados ...15

2.4 Participação na Colaboração CMS...18

2.4.1 Configuração do SPRACE no Open Science Grid...20

2.4.2 SPRACE: Tier 2 do CMS ...23

2.4.3 Participação no CSA06 ...25

2.5 Outras Atividades...27

2.5.1 Projeto GridUNESP...27

2.5.2 Projeto Kyatera/UltraLight ...30

2.5.3 Demonstrações de Transmissão de Dados - SC05...31

2.5.4 I Brazilian LHC Computing Workshop...31

2.5.5 Atividades de Extensão...32

2.5.6 Implantação de Ferramenta Wiki ...34

2.5.7 Repercussões na Mídia ...34

3 Planejamento para o Próximo Período...36

3.1 Integração OSG – SAMGrid ...36

3.2 Participação no DZero ...36

3.3 Participação no CMS ...36

(3)

1 Resumo do Projeto Inicial

Anéis de colisão são importantes instrumentos na investigação das interações fundamentais e da estrutura da matéria. O Tevatron do Fermilab e o Large Hadron Collider (LHC) do CERN desempenharão um papel fundamental para estas investigações durante os próximos 20 anos.

Estes aceleradores deverão produzir uma quantidade de dados sem precedentes, devendo atingir 109_{GB durante a próxima década. Estes dados deverão ser armazenados,} processados e analisados por milhares de pesquisadores ao redor do mundo. Para alcançar este objetivo de forma eficiente, as colaborações internacionais estão desenvolvendo a arquitetura Grid de processamento distribuído.

Como membros das colaborações DØ do Fermilab e CMS do CERN, pretendemos nos unir aos esforços internacionais no sentido de implementar centros de análise distribuídos destes experimentos. Planejamos construir um centro de processamento em São Paulo que servirá inicialmente como Centro Regional de Análise da Colaboração DØ e posteriormente como elemento do HEP Grid do CMS.

Em sua primeira etapa, esta unidade deverá prover serviços tais como distribuição do código computacional do DØ, simulação de Monte Carlo do experimento, administração de submissão e execução de processos, acesso ao banco de dados do DØ e reprocessamento e análise dos dados obtidos. Em uma segunda etapa, deveremos nos engajar nas iniciativas relacionadas ao HEP Grid da Colaboração CMS do CERN que deverá estar produzindo dados a partir de 2007.

Uma das grandes vantagens da arquitetura Grid é que um investimento inicial relativamente modesto garante nossa inserção na comunidade internacional de usuários de Grid, tornando acessível o poder de processamento representado pelo conjunto das demais unidades interligadas ao redor do mundo.

Este centro de processamento terá sua principal aplicação voltada para o processamento dos dados produzidos pelos experimentos de Altas Energias dos quais fazemos parte. No entanto, nada impede que outros grupos possam vir a fazer uso deste equipamento. Podemos antever alguns usuários em potencial, tais como: instituições responsáveis pela previsão de tempo (INPE/MCT, IPMET/UNESP), projetos internacionais em Astronomia (SOAR, Gemini), grupos voltados para o seqüenciamento genético (Rede ONSA), pesquisa em prospecção de petróleo e modelagem geológica, instituições de pesquisa em modelagem molecular e celular, instituições médicas envolvidas na reconstrução de imagens tomográfica (PECT, PET).

Além de sua importância para o desenvolvimento científico e tecnológico, esta iniciativa deverá desempenhar um importante papel na formação de recursos humanos. Ela deverá gerar competência não apenas na Física de Altas Energias mas também em áreas correlatas tais como redes de altas velocidades, processamento de alto desempenho e, acima de tudo, na arquitetura Grid.

Similarmente ao que ocorreu com a World Wide Web, cuja ubiqüidade vem promovendo uma revolução em todos os setores da sociedade, espera-se que os reflexos dos Grids se façam sentir muito além da Física de Altas Energias. O processo de

(4)

desenvolvimento do Grid já envolve profissionais de diversas especialidades (computação, eletrônica, redes ópticas, desenvolvimento de software, banco de dados, etc.), permitindo gerar capacitação nessas diferentes áreas.

Detalhamos a seguir o cronograma de execução do projeto original, tanto no que se refere à aquisição, instalação e teste do hardware como ao desenvolvimento de software e uso do cluster para simulação de eventos de Monte Carlo dos experimentos DØ e CMS, bem como análise dos dados coletados.

Planejamento para 2003 – 2004

• Preparação da infra-estrutura para implantação do projeto (instalação de conexão óptica de rede, elétrica, ar condicionado, etc.);

• Implantação do projeto com a aquisição do material correspondente à primeira unidade de processamento paralelo (Fase I) com 16 CPU’s e 292 GB de disco; • Instalação e teste do equipamento;

• Reavaliação das tarefas específicas para o desenvolvimento do projeto nesta primeira fase;

• Estabelecimento de cronograma de viagens e de visitantes nacionais e internacionais;

• Assinatura de Memorandum of Understanding com a Colaboração DØ e com o

Fermilab regulando a existência do Centro Regional de Análise de São Paulo (SPRACE);

• Instalação do software DØ Run II no cluster, que inclui:

o DØ Software Release e software de análise;

o Ferramentas para desenvolvimento de código do DØ; o Sistema de Acesso a Dados Remotos (SAM);

• Início da produção de eventos de Monte Carlo do DØ na Fase I do cluster; • Revisão dos cronogramas e Relatório da Fase I.

• Aquisição das 32 CPU’s e 1,6 TB de disco correspondentes à Fase II do projeto; • Instalação e teste do novo equipamento e integração ao equipamento da Fase I; • Instalação e início dos testes do software da Colaboração DØ responsável pela

distribuição de tarefas entre os Centros de Análises Regionais;

• Nova fase de produção de eventos de Monte Carlo do DØ no cluster integrado (Fase II);

• Início dos trabalhos de análise de dados e produção de resultados físicos com o

cluster;

(5)

• Aquisição do material correspondente à Fase III, composta de 32 CPU’s e de 1,6 TB de disco;

• Instalação e teste do novo equipamento e integração ao parque computacional das Fases I e II;

• Testes de hardware e software com todas as 80 máquinas integradas;

• Nova fase de produção de eventos de Monte Carlo e análise de dados do DØ no

cluster integrado (Fase III);

• Instalação e início dos testes do software da Colaboração CMS do CERN;

• Instalação e configuração de software para atendimento das necessidades do trabalho no CMS;

• Início da produção de eventos de Monte Carlo do CMS; • Início da simulação para os detectores do CMS;

• Revisão dos cronogramas e relatório da Fase III.

• Produção de eventos de Monte Carlo do CMS;

• Testes de novos softwares e da performance do cluster;

• Distribuição de tarefas e preparação para trabalhos de análise física no CMS; • Integração do cluster ao Grid da Colaboração CMS;

• Revisão dos cronogramas e responsabilidades; • Avaliação Geral do Projeto e Relatório Final;

• Apresentação de nossa proposta de continuidade dos trabalhos às Colaborações DØ e CMS.

(6)

2 Realizações do Período

O cronograma de atividades proposto no projeto inicial tem sido cumprido de forma muito satisfatória. Detalhamos abaixo as principais atividades referentes a este período de projeto, dividindo-as em 4 grandes grupos: (i) atividades relacionadas à ampliação e operação de nosso cluster computacional; (ii) nossa participação no experimento DZero; (iii) início de nossa participação no experimento CMS; (iv) atividades fomentadas pelo projeto.

2.1 Resumo das Atividades Realizadas

Resumimos aqui as atividades que foram realizadas durante o período a que se refere este relatório..

• Implantação da Fase III do SPRACE com a aquisição de 32 worker nodes; • Prosseguimento da análise física de dimensões extras com dados do DZero; • Produção de mais de 9 milhões de eventos de Monte Carlo do DZero com

transferência de 600 GB de dados para o Fermilab;

• Publicação de 17 artigos em revistas internacionais arbitradas; • Implementação do software do CMS no cluster do SPRACE; • Integração do SPRACE ao Open Science Grid

• Início da operação do SPRACE como uma Tier 2 do CMS;

• Participação na Computing, Software, & Analysis Challenge 2006 (CSA06);

• Início da implantação do GridUNESP com a aprovação do projeto pela Finep; • Participação no projeto Kyatera/UltraLight

• Participação nas demonstrações de transmissão de dados (Bandwidth Challenge) na SuperComputing 2005;

• Realização do I Brazilian LHC Computing Workshop;

• Início da implantação do projeto de divulgação científica “Estrutura Elementar da Matéria: Um Cartaz em Cada Escola” com suporte financeiro do CNPq;

• Implantação de ferramenta Wiki para facilitar a colaboração dentro do grupo. Apresentamos a seguir maiores informações sobre cada um destes tópicos.

2.2 Ampliação e Manutenção do SPRACE

2.2.1 Implantação da Fase III

Durante o período deste relatório foi realizada a implantação da terceira fase de nosso centro de processamento de dados, conforme originalmente proposto. O projeto para esta segunda ampliação foi novamente cercado de cuidados. Foram tomadas decisões no

(7)

sentido de se conseguir adquirir a tecnologia mais recente, dentro do orçamento disponível, o qual foi elaborado em 2005.

Devido à variedade e complexidade das novas tecnologias disponíveis, com destaque para o surgimento no mercado dos primeiros processadores de núcleo duplo (‘dual-core’), percebemos que seria essencial fazer uma escolha criteriosa dos novos servidores. Procuramos assim maximizar o desempenho e flexibilidade e ao mesmo tempo minimizar os custos de aquisição e de operação, incluindo consumo de energia e necessidade de refrigeração. A escolha da tecnologia foi uma decisão estratégica: custo versus desempenho e eficiência no consumo de energia e dissipação de calor. Tal escolha levou em conta a necessidade de otimização do data-center do SPRACE, aumentando a densidade de poder computacional por volume ocupado pelos servidores e, ao mesmo tempo, evitando o consumo excessivo de energia elétrica e novos investimentos na capacidade de refrigeração.

Visando aproveitar ao máximo o orçamento disponível para a fase III, decidimos dividir a aquisição em 3 partes: orçamentos de servidores e racks foram enviados para fabricante de computadores, de switches para fabricantes de equipamentos de rede, e de nobreaks para revendas especializadas nesse tipo de produto. Esta estratégia permitiu negociar o melhor preço diretamente com as empresas especializadas em cada tipo de equipamento, evitando o repasse de lucro entre fornecedores. A estratégia foi bem sucedida, pois foi possível adquirir equipamentos topo de linha dentro do orçamento disponível. Tal ocorreu, por exemplo, com os switches de rede. Através de negociação com apoio da 3Com, foi possível obter um preço diferenciado junto ao distribuidor CNT Brasil, que em geral não efetua venda ao consumidor final. Porém, com pedido da 3Com, e com a intermediação da revenda Ziva Tecnologia e Soluções Ltda., tornou-se possível adquirir um par de switches 3Com modelo 3824 (3C17400) a um preço cerca de 40% inferior ao praticado no varejo.

O levantamento técnico para a aquisição dos servidores iniciou-se em abril, através de contatos com representantes da Intel Brasil. Em maio, tomamos a decisão de escolher os novos processadores Intel série 5100, de codinome Woodcrest, para a implementação da Fase III. Resultados preliminares publicados em abril indicavam que essa nova plataforma apresentava inovações tecnológicas que resultavam numa maior eficiência no consumo de potência e num maior desempenho do poder de processamento, quando comparada aos mais rápidos processadores de núcleo único (‘single-core’) da geração anterior, e a um custo muito próximo destes.

O processador Woodcrest consiste de dois núcleos de processamento, encapsulados em um chi único, compartilhando um mesmo cache nível 2 de 4 MB. O espaço de memória no cache compartilhado é alocado dinamicamente de acordo com as necessidades de cada processador, e também serve como meio de troca de dados entre eles. A nova plataforma que dá suporte aos processadores Woodcrest (denominada plataforma Bensley) fornece uma infra-estrutura muito melhor para servidores low e mid-range, a faixa de servidores que atende aos requisitos de processamento do SPRACE. Esta plataforma possui uma largura de banda muito maior para cada processador e para a memória do que as plataformas anteriores da própria Intel. Esta plataforma também adotou a nova tecnologia de memórias do tipo Fully Buffered DIMMs, que consistem de um arranjo de memórias DDR2 padrão

(8)

unidas por um chip que funciona como um buffer, o qual se comunica com o controlador de memória através de um link serial. Os novos servidores passam a dispor de 4 canais FB-DIMM que permitem acessos concorrentes aos módulos de memória, permitindo uma largura de banda de acesso à memória superior a 20 GB/s.

Comparando-se servidores com 4 núcleos de processamento (processor /

dual-core) com servidores com 2 núcleos (dual-processor / single-dual-core), poder-se-ia esperar um

desempenho 2 vezes superior. No entanto, resultados de testes publicados em abril deste ano1_{já mostravam que o desempenho de servidores com 2 processadores Woodcrest} chega a ser 3 vezes superior para operações aritméticas e lógicas com números inteiros (SPECint2000 Standard Benchmark), e quase 4 vezes superior para operações em ponto flutuante (SPECfp2000 Standard Benchmark), em relação a servidores com 2 processadores da geração anterior. Esta melhoria deve-se principalmente à melhoria na tecnologia de cada núcleo de processamento, ao aumento na velocidade do front-side-bus e a melhorias no chipset.

Conforme fomos informados pela Intel Brasil, o SPRACE foi o primeiro projeto envolvendo os novos processadores dual-core série 5100 da América Latina, e esteve entre os primeiros do mundo.

. A descrição do equipamento adquirido é: • Nós de Processamento:

o Plataforma LX 211 XEON EM64T

o Processador 2 x Xeon Dual Core 2,0 GHz FSB 1333 MHz o Memória: 4 GB FBDIMM DDR2 (4 pentes de 1GB) o Disco: 1 x SATA 160 GB

o Rede: 2 interfaces Intel 10/100/1000 (1Gbps) o CDROM 24X / Floppy

o Sistema Operacional: RedHat LINUX o Gabinete tipo rack com 1U de altura. • Rack:

o Largura padrão (19”) com 23 U's de altura. o Ventilação forçada.

Foram realizadas tomadas de preço entre os seguintes fornecedores para o equipamento especificado (valores em Reais):

Itautec

Item Descrição Qtd. Valor Total

1 Nó de Processamento 32 11.990,00 383.680,00

2 Racks 2 6.430,00 12.860,00

Total R$ 396.540,00

(9)

IBM

2 Racks 2 4.343,6 8.687,20

Total R$ 681.156,89

HP

2 Racks 2 9.320,00 18.640,00

Total R$ 430.000,00

Dell

2 Racks 2 16.506,60 33.013,20

Total R$ 656.450,64

Tabela 1: Preço obtido junto aos fornecedores para compra dos equipamentos da terceira

fase do projeto

Vale lembrar que a proposta da Itautec incluiu uma Garantia "On Site" de três anos estendida aos demais equipamentos adquiridos em fevereiro de 2004 (1 servidor Infoserver 1251 + 16 nós de processamento Infoserver 1252) e em junho de 2005 (32 nós de processamento LX210)

Após a aquisição e instalação deste equipamento, o SPRACE ficou com a seguinte configuração:

• Capacidade de processamento: 240 processadores Xeon perfazendo um total de 720 GHz de poder de processamento. Destes processadores, 46 deles possuem 512 MB de memória e 196 possuem 1 GB, totalizando 220 GB de memória RAM.

• Capacidade de Armazenamento: Dos 86 nós de processamento, 54 deles possuem discos de 36 GB e 32 deles 160 GB. Cada um dos 2 servidores de armazenamento possui dois discos de 36 GB e o servidor de gerenciamento possui 4 discos de 72 GB. Dois RAID’s possuem 2.016 GB cada e outros 2 RAID’s tem capacidade de 4.200 GB cada, perfazendo um total de 14.8 TB de capacidade de armazenamento. As conexões internas do cluster são inteiramente gigabit e ele está externamente conectado a um link gigabit com a saída internacional de 622 Mbps da NARA e a um link gigabit com o Rio de Janeiro através do projeto GIGA da RNP.

(10)

2.2.2 Manutenção do SPRACE

Devido à grande demanda por memória dos aplicativos do CMS, vimo-nos obrigados a aumentar a memória dos nós de trabalho adquiridos na fase I, passando de 512MB por processador, para 1 GB por processador, configuração na qual já haviam sido adquiridos os nós de processamento da fase II. Os nós de trabalhos adquiridos na fase III possuem também 1 GB de memória RAM por núcleo de processamento. Da mesma forma, a enorme quantidade de transmissão de dados simultâneos que ocorrem durante a operação do processamento dos dados do CMS, nos obrigou a aumentar a memória do servidor de disco, passando também de 512MB para 1 GB por processador. Após este upgrade, todos os componentes do cluster passaram a possuir 1GB de memória por núcleo de processamento, ajustando-se às especificações requeridas para o processamento dos dados do experimento CMS.

Foram adquiridos 24 módulos de memória DDR PC-2100 de 1 GB, do tipo ‘ECC registered’, marca Itaucom, modelo 01GE266R54. Através de negociação com apoio da Itautec, foi possível obter preço diferenciado junto ao distribuidor Alcatéia, que em geral não realiza venda ao consumidor final. Por intermediação da Itautec, foi possível fechar a compra com este distribuidor a um preço cerca de 30% mais em conta do que o praticado no varejo.

Percebemos também que a instalação de um ambiente de comunicação colaborativa virtual, através de recursos de videoconferência, tornou-se absolutamente necessária para atender à demanda crescente por comunicação com grupos do exterior, bem como a participação em seminários e workshops com maior freqüência, e com um número cada vez maior de participantes. Um equipamento de videoconferência de última geração foi adquirido para uso do grupo, após consulta técnica realizada com representantes da Polycom, uma das empresas líderes no segmento de áudio e videoconferência. Foi escolhido o modelo VSX-7000s, para manter compatibilidade com os sistemas de videoconferência usados pelos diversos grupos da colaboração. Tal equipamento permitirá estabelecer comunicação multiponto, com áudio e vídeo de alta qualidade, com grupos americanos através de conexão à MCU da ESNet, com sede na Califórnia, e com grupos europeus através de conexão à MCU do IN2P3, com sede em Lyon. O equipamento adquirido tem interface para conexão em redes IP e possibilidade de expansão futura para conexão com rede telefônica ISDN. É capaz de interoperar com outros sistemas de videoconferência baseados em hardware ou software (por exemplo, o VRVS), incluindo suporte a QoS e multicast, seguindo a especificação H.323, que estabelece padrões para a comunicação multimídia em redes que não dispõem de qualidade de serviço, como a Internet.

2.3 Participação na Colaboração DZero

2.3.1 Análise de Dados: Procura por Dimensões Extras

Em um experimento de grande porte como o DØ os dados passam por um longo processo antes de serem utilizados para a análise. A quantidade de dados gerados é enorme e necessita de um procedimento de seleção (Trigger) antes da gravação em fita magnética. Outro aspecto fundamental é a necessidade de padronização dos procedimentos de acesso aos dados e de análise, tendo em vista a grande quantidade de físicos

(11)

participantes do experimento. É desejável um mecanismo robusto e, ao mesmo tempo, de fácil acesso para que os diversos grupos possam fazer suas análises de forma independente e padronizada.

O ambiente computacional de análise do DØ, simplesmente chamado Framework, é um sistema orientado a objeto que provê uma interface comum e uma determinada metodologia para fazer análise de eventos. O Framework define o caminho que o evento percorre nos programas aplicativos dos usuários. O objetivo do Framework é passar os dados do evento de um programa a outro, na ordem e configuração estabelecida pelo usuário na hora de rodar o programa.

A partir de 2005 a colaboração do Dzero vem utilizando amplamente o CAFe, um conjunto de ferramentas que podem ser utilizadas pelos diversos grupos de análise. Utilizamos programas desenvolvidos pelos diversos grupos de algoritmos, sendo possível selecionar os parâmetros apropriados para nossa análise.

Nosso grupo iniciou uma análise física para a colaboração DZero aproveitando a experiência anterior de membros do grupo em fenomenologia de Partículas Elementares. Iniciamos então uma colaboração direta com o Prof. Greg Landsberg, um dos líderes de análise do Dzero, que foi coordenador por vários anos do grupo de Novos Fenômenos (New

Phenomena). O Prof. Landsberg veio a São Paulo em duas oportunidades, em Novembro de

2005 e em Abril de 2006, quando os procedimentos para o início de uma análise foram discutidos. O Prof. Landsberg é renomado especialista na procura de dimensões extras em aceleradores2.

Dentre suas atividades no Instituto de Física Teórica mencionamos o seguinte seminário:

Titulo: "Out-of-this-World Physics: From Particles to Black Holes" Palestrante: Prof. Dr. Greg Landsberg

Instituição: Brown University Data/Hora: 25\11\05 às 16h00

Local: Auditório Diógenes de Oliveira (auditório maior)

Resumo: Search for large and small spatial extra dimensions is one of the most exciting new directions in our quest for physics beyond the Standard Model. LEP collider and "tabletop" gravitational experiments have already joined these searches and set constraints on the strength of gravity at short range. The most interesting opportunities in probing extra dimensions in the near future will become available with the current and next generation of hadron colliders: the upgraded Tevatron and especially LHC, where the ultimate tests of the new models of gravity will be accomplished. I'll discuss various effects of extra dimensions that can be seen sought experimentally, including the most striking possibility of black hole production at the LHC.

2_{G. Landsberg [CDF e DZero Collaboration], eConf C040802, MOT006 (2004)}

(12)

Aproveitando sua experiência, estamos iniciando a análise da existência de sinais de Dimensões Extras Universais (UED)3_{no experimento DZero do Fermilab. Esse tipo de} modelo tem sido bastante estudado recentemente, sendo o Prof. Gustavo Burdman uma das referências na fenomenologia desses modelos4.

Teorias com dimensões extras -- além das três espaciais e do tempo -- existem na literatura desde a tentativa pioneira de Kaluza e Klein de unificar o eletromagnetismo com a gravidade no começo do século XX. Atualmente, teorias de supercordas requerem a existência dessas dimensões. Acreditava-se que essas dimensões estariam compactificadas em uma escala muito pequena, sendo irrelevante para a fenomenologia na escala de energia que os aceleradores são capazes de explorar.

No entanto, surgiram recentemente alguns modelos de dimensões extras com o objetivo de tratar o problema da hierarquia de escalas da Física de Partículas Elementares. Nestes modelos é possível testar a existência de dimensões extras em aceleradores. Vários cenários foram propostos em que o efeito de dimensões extras podem se manifestar na escala de 1 TeV, tais como:

• Grandes Dimensões Extras5_{: Nesse cenário as dimensões extras podem ser} grandes (escala até de milímetro), mas só a gravidade poderia se propagar nas dimensões extras (ou em linguagem técnica, no bulk).

• Modelo Randall-Sundrun6_{: Neste outro cenário a escala de compactificação é} pequena, só a gravidade se propaga no bulk onde há um suprimento exponencial da escala de Planck, aliviando o problema da hierarquia de escalas e levando a conseqüências fenomenológicas na escala de 1 TeV.

• Dimensões Extras Universais: Aqui, todas as partículas do modelo padrão podem se propagar nas dimensões extras, criando estados excitados (torres de Kaluza Klein) para todas as partículas do Modelo Padrão, os quais podem ser observados na escala de 1 TeV.

O modelo de Dimensões Extras Universais será o alvo de nossa análise. Para esta classe de modelos ainda não foram obtidos limites diretos provenientes de aceleradores, de forma que esta análise é bastante importante. Além disso, vínculos indiretos de correções radiativas estabelecem um limite na escala de massa do modelo da ordem de 250 GeV, sendo a princípio possível melhorar esse vínculo no DZero. A fenomenologia do modelo é bastante rica, sendo bastante semelhante à supersimetria, como veremos a seguir.

Nos modelos de UED todas as partículas do Modelo Padrão podem se propagar nas dimensões extras. Como conseqüência, cada partícula possui parceiros de Kaluza-Klein (KK), formando vários estados excitados. Devido à conservação de momento nas dimensões extras existe a conservação em nível de árvore do número de KK, definido como sendo o número do estado excitado de cada partícula. No entanto, correções no bulk (o espaço das dimensões extras) e nas branas (o espaço limitado nas nossas 4 dimensões

3_{T. Appelquist, H. -C. Cheng e B. A. Dobrescu, Phys. Rev. D 64, 035002 (2001).} 4_{G. Burdman, B. A. Dobrescu e E. Ponton, JHEP 0602, 033 (2006).}

5_{N. Hamed, S. Dimopoulos e G. R. Dvali, Phys. Lett. B 429, 263 (1998); N.}

Arkani-Hamed, S. Dimopoulos e G. R. Dvali, Phys. Rev. D 59, 086004 (1999)

(13)

usuais) quebram essa conservação que passa a ser apenas uma conservação multiplicativa discreta (do tipo paridade) chamada de paridade KK, (-1)n_{, sendo n o estado excitado de KK.}

Como conseqüência, a produção dos parceiros de KK do primeiro estado excitado (os mais leves) só pode ser feita em pares (n=1). O estado mais leve (LKP) com n=1 é estável, sendo um bom candidato à matéria escura. Vemos nesses dois pontos grandes semelhanças com supersimetria.

O modelo mais popular de UED é o modelo mínimo, com apenas uma dimensão extra. O modelo mínimo pode ser determinado apenas pelos parâmetros R e λ, onde λ é a escala de energia a partir da qual o modelo não é mais válido. A fenomenologia do modelo e seus sinais experimentais serão ditados pelo espectro de massa dos estados KK. Em primeira ordem, a massa dos estados KK para o enésimo modo será dada por mn2 = n2 / R2 +

m02 sendo R a escala de compactificação e m0 a massa da partícula correspondente no

Modelo Padrão.

A degenerescência das massas dos estados KK é quebrada pelas correções de 1-loop, que estabelecem um ordenamento nas massas dos estados excitados. O primeiro estado excitado mais pesado é o do glúon, seguido pelos quarks, bósons W, léptons e fóton, respectivamente.

Como os acoplamentos dos estados excitados são semelhantes aos acoplamentos do Modelo Padrão, esperamos uma grande produção de pares de quarks excitados (Q1) no

Tevatron do Fermilab. Após a cadeia de decaimento dos pares Q1, teríamos o sinal inclusivo

de missing ET acompanhados de jatos. No entanto, as massas dos estados excitados são

quase degeneradas de forma que o produto do decaimento não é muito energético, resultando em um sinal difícil de ser visto no Tevatron. Um sinal mais promissor é um sinal envolvendo léptons no estado final, apesar das razões de decaimento em léptons ser menor que em quarks.

Após a primeira visita do Prof. Landsberg em Novembro de 2005, nos dedicamos ao aprendizado de uma análise experimental no DZero. Para que nos familiarizássemos com as ferramentas de análise do DZero, estudamos um sinal com dois clusters eletromagnéticos, tentando reproduzir o pico do bóson Z e calcular a seção de choque do Z 7_{, utilizando o}

Common Analysis Format (CAF)8_{. Nessa análise passamos por todas as etapas de uma} análise real: escolhemos o conjunto de dados, selecionamos os eventos, aplicamos os cortes de qualidade para os elétrons e calculamos todas as eficiências envolvidas a partir dos dados experimentais. Calculamos a luminosidade para nosso conjunto de dados utilizando as ferramentas do DZero, chegando a um valor para a seção de choque do Z bem próximo ao valor obtido pela Colaboração DZero.

7_{Elaboramos um página na internet com o desenvolvimento e resultados desse exercício:}

http://hep.ift.unesp.br/Twiki/bin/view/Main/AnalysisZPole

(14)

Figura 1 – Pico do Z após subtração do background.

Em Abril deste ano tivemos uma segunda visita do Prof. Landsberg, aproveitando sua vinda para o workshop da LISHEP 2006. Nessa visita ficou acertado que iremos estudar os sinais com dois léptons de mesma carga na busca de Dimensões Extras Universais. Este sinal deve ter um background físico pequeno, sendo que a principal fonte deve ser a produção de pares de bósons de gauge do modelo padrão. O background instrumental de QCD deve ser estimado a partir dos dados.

Preparamos uma simulação de Monte Carlo para o sinal de Dimensões Extras Universais estudando possíveis cortes que iremos efetuar para reduzir o background9_{, que} foi apresentada no início de Setembro ao grupo de Novos Fenômenos durante uma visita ao Fermilab dos pesquisadores Pedro Mercadante e Sérgio Lietti nos meses de Agosto e Setembro de 2006. Neste estudo notamos que o sinal de dois leptons de mesmo sinal é bastante promissor. Para o Tevatron foram feitos estudos fenomenológicos para um sinal com quatro leptons no estado final, no entanto a grande degenerescência dos estados excitados leva a leptons pouco energéticos diminuindo em muito a eficiência para o sinal de quatro leptons10_{. Em nosso estudo preliminar, o sinal de dois leptons de mesmo sinal} permite um alcance bem maior para o modelo.

9_{Elaboramos um página na internet com o desenvolvimento e resultado dessa silumação:}

http://hep.ift.unesp.br/Twiki/bin/view/Main/AnalysisUED

(15)

Figura. 2 – Seção de Choque do sinal e do background de dois leptons de mesmo sinal antes

e depois de cortes cinemáticos.

Durante a visita ao Fermilab, os pesquisadores também participaram da escola de verão The Hadron Collider Physics Summer Schools11_{entre os dias 9 e 18 de Agosto, com o}

intuito de se discutir as ferramentas experimentais e teóricas para o LHC. Durante o mês de Setembro, juntamente com o Prof. Landsberg e com experts da colaboração, iniciaram a simulação do sinal de UED acoplada a simulação do detector do DZero e a seleção dos dados do DZero para a análise.

Após a visita ao Fermilab será dada continuidade à análise dos dados no SPRACE, devendo ser terminada até o começo de 2007 visando sua apresentação na conferência de Moriond 2007.

2.3.2 Processamento de Dados

A implementação de uma unidade de processamento remoto da colaboração DZero tem sido um dos pontos fundamentais deste projeto. Trata-se da primeira experiência em processamento distribuído em escala global a ser posta em operação. As atividades de processamento dos dados do experimento dividem-se em dois grandes grupos: simulação do experimento e processamento dos dados adquiridos. Durante este período atuamos na simulação do experimento, produzindo eventos de Monte Carlo para a colaboração.

Para realizar a produção de Monte Carlo utilizamos até junho de 2005 o McFarm, programa que distribui a simulação desses eventos para todos os computadores do cluster. A partir de julho de 2005 a simulação de eventos de Monte Carlo no SPRACE passou a ser realizada via SAMGrid.

O SAMGrid começou a ser desenvolvido em janeiro de 2002 como um projeto de computação do Fermilab e é o primeiro projeto de Grid a ser efetivamente utilizado pelos

(16)

experimentos de Física de Altas Energias. Entre outubro de 2005 e setembro de 2006 foram processados no SPRACE 86 simulações de Monte Carlo do DZero, totalizando aproximadamente 9.500.000 eventos, gerando cerca de 600 GB de dados, os quais foram transferidos pela rede para o sistema de armazenamento em fita do Fermilab.

Mês Simulações Eventos Dados Transferidos (GB)

Out/2005 7 644.500 35,6 Nov/2005 7 730.000 45,1 Jan/2006 1 51.250 4,5 Fev/2006 9 1.127.500 65,5 Mar/2006 12 1.502.500 89,8 Abr/2006 5 752.000 50,7 Mai/2006 23 1.929.500 130,6 Jun/2006 13 1.153.250 78,1 Jul/2006 4 614.250 40,3 Ago/2006 3 613.000 40,6 Set/2006 2 305.750 19,2 TOTAL 86 9.423.500 600

2.3.3 Artigos Publicados

Abaixo apresentamos a lista dos artigos publicados por nosso grupo junto com a colaboração DØ durante o período deste relatório.

1. Measurement of the Lifetime Difference in the B0(S) System, D0 Collaboration. e-Print Archive: hep-ex/0507084

Phys. Rev. Lett. 95, 171801 (2005)

2. Measurement of Semileptonic Branching Fractions of B Mesons to Narrow D** States, D0 Collaboration. e-Print Archive: hep-ex/0507046

Phys. Rev. Lett. 95, 171803 (2005)

3. Search for the Higgs Boson in H->WW(*) Decays in ppbar Collisions at sqrt(s)=1.96 TeV, D0 Collaboration. e-Print Archive: hep-ex/0508054

Phys. Rev. Lett. 96, 011801 (2006)

4. Search for pair production of second generation scalar leptoquarks in p anti-p collisions at sqrt(s) = 1.96-TeV, D0 Collaboration, e-Print Archive: hep-ex/0601047

(17)

5. Search for excited muons in p anti-p collisions at sqrt(s) = 1.96 TeV, D0 Collaboration, e-Print Archive: hep-ex/0604040

Phys.Rev. D73, 111102 (2006)

6. Search for squarks and gluinos in events with jets and missing transverse energy in p anti-p collisions at sqrt(s) = 1.96 TeV, D0 Collaboration, e-Print Archive:

hep-ex/0604029

Phys.Lett. B638, 119-127 (2006)

7. Direct Limits on the B_s^0 Oscillation Frequency, D0 Collaboration, e-Print Archive: hep-ex/0603029

Phys. Rev. Lett. 97, 021802 (2006)

8. Search for a heavy resonance decaying into a Z+jet final state in p-pbar collisions at sqrt(s) = 1.96 TeV using the D0 detector, D0 Collaboration, e-Print Archive: hep-ex/0606018

Phys. Rev. D74, 011104 (2006)

9. Search for R-parity violating supersymmetry via the LL anti-E couplings lambda(121), lambda(122) or lambda(133) in p anti-p collisions at sqrt(s) = 1.96 TeV, D0

Collaboration, e-Print Archive: hep-ex/0605005

Phys. Lett. B638, 441-449 (2006)

10. Measurement of the Isolated Photon Cross Section in ppbar Collisions at sqrt{s}=1.96 TeV,, D0 Collaboration, e-Print Archive: 0511054

Phys. Lett. B639, 151-158 (2006)

11. Search for the Rare Decay B0_s -> phi mu^+ mu- with the D0 Detector, D0 Collaboration, e-Print Archive: 0604015

Phys. Rev. D74, 031107 (2006)

12. Measurement of B(t->bW)/B(t->qW) at sqrt(s) = 1.96 TeV, D0 Collaboration, e-Print Archive: 0603002

Phys. Lett. B639, 616-622 (2006)

13. Limits on Anomalous Trilinear Cauge Couplings from WW -> e+ e-, WW -> e \mu, and WW -> \mu+ \mu- events from ppbar collisions at sqrt(s) = 1:96 TeV. e-Print Archive: physics/0608011

Phys. Rev. D74, 057101 (2006)

14. The Upgraded DØ Detector, D0 Collaboration. e-Print Archive: physics/0507191

(18)

15. Search for Resonant Second Generation Slepton Production at the Tevatron, D0 Collaboration, e-Print Archive: 0605010

Phys. Rev. Lett. 97, 111801 (2006)

16. Search for Scalar Leptoquarks in the Acoplanar Jet Topology in ppbar collisions at sqrt(s)=1.96 TeV, D0 Collaboration, e-Print Archive: hep-ex/0607009

Phys. Lett. B640, 230-237 (2006)

17. Search for Neutral Higgs Bosons Decaying to Tau Pairs in ppbar Collisions at sqrt(s)=1.96 TeV, D0 Collaboration, e-Print Archive: hep-ex/0605009

Phys. Rev. Lett. 97, 121802 (2006)

18. Search for associated Higgs boson production WH->WWW*->l^ pm nu l'^ pm nu'+X in p bar p collisions at sqrt s =1.96 TeV, D0 Collaboration, e-Print Archive:

hep-ex/0607032

Phys. Rev. Lett. 97, 151804 (2006)

19. Search for Neutral, Long-lived Particles Decaying into Two Muons in p-pbar Collisions at sqrt(s) = 1.96 TeV, D0 Collaboration, e-Print Archive: hep-ex/0607028

Phys. Rev. Lett. 97, 161802 (2006)

20. Search for the Standard Model Higgs Boson in the p-pbar -> ZH -> neutrino-antineutrino-b-bbar Channel, D0 Collaboration, e-Print Archive: hep-ex/0605022

Phys. Rev. Lett. 97, 161803 (2006)

21. Search for Particles Decaying to a Z Boson and a Photon in ppbar Collisions at sqrt(s)=1.96 TeV, D0 Collaboration, e-Print Archive: 0605064

Phys. Lett. B 641, 415 (2006)

22. Search for W' boson production in the top quark decay channel., D0 Collaboration, e-Print Archive: hep-ex/0607102

Phys. Lett. B 641, 423 (2006)

23. Search for Pair Production of Scalar Bottom Quarks in p-pbar Collisions at sqrt(s)=1.96 TeV , D0 Collaboration, e-Print Archive:

(19)

2.4 Participação na Colaboração CMS

O LHC deverá enfrentar um grande desafio para processar os dados produzidos em seus detectores. Deverá ocorrer um bilhão de interações próton-próton por segundo produzindo uma média de 30 ou 40 novas partículas. Esta taxa de produção jamais foi atingida em outro detector e deverá exigir que o CMS tenha que armazenar dados, depois do trigger de nível 3, a razão de 100 MB/seg.

O processamento destes dados só será possível com a implementação da arquitetura de Grid. Neste contexto, todos os laboratórios que participarem de um experimento do LHC poderão contribuir para o processamento colocando à disposição seus recursos computacionais. Passa, portanto, a ser imprescindível participar desta iniciativa para que se possa fazer pesquisa científica nesta área.

Como parte de nossa preparação para participar do processamento para a Colaboração CMS, o SPRACE passou a fazer parte do Open Science Grid (OSG)12_{. O OSG} é a iniciativa americana de processamento distribuído que apóia a computação científica através da colaboração entre pesquisadores, desenvolvedores de software e engenheiros de rede. O OSG vem operando uma rede internacional de recursos computacionais que permite acesso aos pesquisadores de diversas áreas a esses recursos compartilhados.

Como qualquer outro Grid, o OSG pode ser definido como um sistema que coordena recursos sem a utilização de um sistema central de gerenciamento, no qual o sistema combinado é significativamente maior que suas partes. Para tornar-se universal e possibilitar seu desenvolvimento também de forma distribuída e descentralizada, o OSG é baseado em código aberto e utiliza protocolos padrões.

O funcionamento de um Grid pode ser mais bem compreendido se visualizado em termos de suas camadas de funcionalidades.

• Camada de Aplicativos e Serviços • Camada do Middleware

o Acesso ao processamento o Acesso aos dados o Serviços de autenticação o Serviços de comunicação o Serviços de Informação • Camada dos Recursos

o Armazenamento de Dados o Processamento de Dados o Sistemas de Monitoramento

12_{http://www.opensciencegrid.org}_/

(20)

• Camada de Infra-estrutura de Rede o Switches e roteadores

o Equipamento de transmissão dos dados

Dentre estas camadas de funcionalidades, podemos identificar o middleware como sendo a parte nova trazida pela arquitetura de grid ao funcionamento dos sistemas de computação. Existem várias opções para a escolha do middleware mais adequado. Um deles, no entanto, se destaca; é aquele que é regulamentado por um consórcio de desenvolvedores, o Globus Consortium, e organizado no Globus Toolkit. Os principais components do Globus Toolkit são:

• GRAM (Globus Resource Allocation Manager): Converte a demanda por recursos empreendida pelo Grid em instruções que o sistema local possa compreender. • GSI (Grid Security Infrastructure): Provê a autenticidade do requerente dos

serviços e especifica sua autorização de uso dos recursos locais.

• MDS (Monitoring and Discovery Service): É o serviço encarregado de fornecer informação sobre os recursos existentes no Grid e sua disponibilidade de alocação.

• GRIS (Grid Resource Information Service): É o serviço executado pelos elementos computacionais do Grid para propagandear a quantidade e disponibilidade dos serviços locais.

• GIIS (Grid Index Information Service): Serviço que coordena e cataloga as informações disponibilizadas pelos diversos GRIS.

• GridFTP: Mecanismo de transferência de dados baseado no clássico File Transfer Protocol (FTP).

Estas funcionalidades estão presentes nos diversos elementos que compõe um Grid computacional. Dependendo da especificidade dos serviços a serem fornecidos, os elementos do Grid possuem uma ou mais dessas funcionalidades. Os diversos elementos que compõem um Grid podem ser descritos como:

• Alocador de Recursos: Este é um dos sistemas centrais do Grid, e um dos mais difíceis de serem implantados. Cabe a este elemento do Grid receber os pedidos dos usuários e encontrar no Grid os recursos necessários a realização da tarefa especificada no pedido. Utiliza as informações existentes nos catálogos de recursos e consulta os serviços de monitoramento para alocar os recursos mais bem adequados à realização do serviço solicitado.

• Índice de Informações: Elemento que mantém atualizadas as informações sobre os recursos existentes no Grid bem como sua situação de uso e disponibilidade. Pode eventualmente residir na mesma máquina que o Alocador de Recursos.

• Gerenciador de Réplicas: Uma das características centrais do Grid é a disponibilidade perene de seus recursos e conteúdo, independentemente do estado de seus constituintes individuais. Assim, um determinado dado não pode

(21)

nunca estar alocado em um local apenas, pois a sua falha acarretaria na perda desses dados por todos os membros do Grid. Da mesma forma, os recursos devem ser descritos pela sua funcionalidade e não pela sua localização física. Cabe a este elemento do Grid gerenciar a replicação dos dados, mapear a descrição dos dados à sua localização e assegurar a redundância constante de todos os dados do Grid. Deve também gerenciar o movimento dos dados de modo a estarem o mais próximo possível do processamento que os utilizem. • Catálogo de Réplicas: Pode eventualmente residir no mesmo elemento

computacional que o Gerenciador de Réplicas. Cabe a ele manter a informação a respeito das réplicas existentes de certo dado, bem como manter a associação entre o nome lógico associado a esse dados e os correspondentes nomes físicos que esses dados possuam nos diversos recursos do Grid.

• Elemento de Computação: São os elementos do Grid que realizam gerenciam o trabalho de processamento. O Elemento de Computação recebe os pedidos de trabalho e os entrega aos seus Trabalhadores. Este elemento providencia a interface entre o Grid o sistema de gerenciamento e distribuição de trabalhos local.

• Nó de Trabalho: São as máquinas que realizam o processamento.

• Elemento de Armazenamento: São os elementos do Grid encarregados do armazenamento dos dados. Todos os elementos de Armazenamento de um Grid devem possuir uma interface uniforme de acesso aos seus dados de modo a serem transparentes ao usuário do Grid.

• Interface do usuário: São as máquinas através da quais os usuários têm acesso aos serviços do Grid.

2.4.1 Configuração do SPRACE no Open Science Grid

O SPRACE participa do Open Science Grid contribuindo com os seguintes elementos:

a) Elemento de Computação:

O Elemento de Computação do Open Science Grid no SPRACE está localizado na máquina spgrid.if.usp.br. No OSG este elemento de computação está registrado como sendo a localidade SPRACE do parque UNESP. Ele funciona como gateway dos trabalhadores do cluster e como servidor de login dos usuários locais. Ele serve ao cluster as seguintes funcionalidades:

• Middleware do OSG. Está atualmente instalada no nosso elemento de computação a versão 0.4.1 do conjunto de serviços do OSG, o mais recente. Este conjunto de serviços contém os seguintes pacotes:

o Globus Toolkit – Middleware básico do sistema de manuseio de trabalhos do Grid

(22)

o GUMS (Grid User Membership Service) – Verifica a autenticidade dos requerentes dos serviços de grid consultando seus registros nas diversas Organizações Virtuais atendidas pelo SPRACE e os mapeia em contas locais, determinando suas autorização e política de uso dos recursos do SPRACE.

o GIP (Generic Information Provider) – Provê aos serviços de informação do OSG as informações relativas à existência e disponibilidade dos recursos de processamento do SPRACE.

o BDII – Provê ao EGEE, Grid utilizado pelos membros do LHC Computing Grid localizados na Europa, as mesmas funcionalidades do GIP para o OSG. Necessário para compatibilização dos recursos computacionais mundialmente distribuídos do experimento CMS.

• Condor: Sistema de gerenciamento, ordenamento e distribuição de trabalho aos nós de processamento. Recebe os trabalhos do middleware do OSG e os executa nos recursos existentes no cluster.

• Ganglia: Sistema de monitoramento do funcionamento do cluster. Provê informação em html do estado dos componentes do cluster, tais como carga de trabalho, ocupação de memória, tráfego de dados etc. Atualiza as informações a cada minuto e mantém um histórico de até um ano.

• CMSSW: Conjunto de pacotes do experimento CMS, utilizado para a realização das simulações de Monte Carlo e processamento dos trabalhos de análise de dados do experimento.

• NFS: Serviço de sistema de arquivos de rede que exporta o software do OSG, o Condor e o CMSSW aos nós de trabalho, bem como o home dos usuários locais aos diversos elementos do cluster que o necessite.

b) Nós de Trabalho

O SPRACE está disponibilizando atualmente os nós de trabalho da Fase I e da Fase III ao elemento de computação do OSG. Assim que estiver terminada a incorporação dos serviços do SAMGrid ao OSG, os nós de trabalhos adquiridos na fase II passarão também a fazer parte do conjunto de recursos de processamento disponibilizados para os serviços advindos do OSG.

Os serviços oriundos do Grid são executados em partições do disco local dos trabalhadores e apagados quando do término do trabalho. Os trabalhadores estão localizados na rede local do cluster e comunicam-se com a rede mundial através do firewall localizado no gateway do cluster.

c) Elemento de Armazenamento

O Elemento de Armazenamento do Open Science Grid no SPRACE está localizado na máquina spdc00.if.usp.br e registrada como sendo a localidade SPRACE:sem_v1 do parque UNESP. Nele foram instalados as seguintes funcionalidades e serviços.

• pNFS: Sigla de Perfectly Normal File System, o pNFS é um sistema de arquivo em que recursos de armazenamento fisicamente distribuídos, como discos em

(23)

máquinas distintas, aparecem como sendo parte de um único sistema de arquivos contínuo. Ele é constituído basicamente por um banco de dados

postgresql com interface de acesso similar aos comandos posix usuais de

manipulação de arquivos. Nele está também incorporado o servidor NFS de modo que as informações sobre seus arquivos possam ser exportadas aos demais elementos do cluster.

• dCache: Sistema de catalogo de arquivos. Utiliza o pNFS para acesso aos recursos de armazenamento em disco, e pode ser utilizado também para armazenamento em fita.

• SRM: O Storage Resource Manager faz parte do middleware do OSG para prover acesso uniforme aos recursos computacionais do Grid. Sua função básica é traduzir o Logical File Name com o qual os arquivos universalmente distinguidos no Grid em Physical File Name, que é como os arquivos são identificados e localizados pelos sistemas locais. É também o serviço do Grid encarregado de prestar informações e realizar operações com os arquivos dos diversos Elementos de Armazenamento do Grid. Faz a interface entre o Grid e o dCache local ao cluster.

• PhEDex: Este é o sistema utilizado pela colaboração CMS para a movimentação de dados entre os diversos elementos de processamento e armazenamento utilizados pelo experimento. Este serviço é encarregado de manter o catálogo com a localização das réplicas dos dados globalmente distribuídos e realizar a sua movimentação para o processamento dos dados que os requisitar. Utiliza o SRM para realizar suas operações.

• Squid: É o sistema do CMS de acesso e distribuição das informações do banco de dados da calibração do detector e do sistema de aquisição de dados, fundamental para a realização da análise dos dados adquiridos.

d) Nós de Armazenamento do dCache

Assim como o Elemento de Computação possui os nós de trabalho que lhe disponibilizam poder de processamento, da mesma forma o Elemento de Armazenamento possui seus nós de armazenamento que lhe disponibiliza capacidade de armazenamento. No Elemento de Armazenamento do SPRACE cada nó de armazenamento executa seus próprios agentes de transferência de dados e possui conectividade com a rede mundial de modo a aumentar sua capacidade integrada de transferência de dados. Nele estão instalados os pools do dCache para o compartilhamento do armazenamento, e os clientes do SRM para a execução da transferência dos dados para aquele determinado pool. Os nós de armazenamento do SPRACE são:

• Servidor de Disco: Este é o servidor de armazenamento massivo do SPRACE ao qual estão conectados os módulos RAID, com uma capacidade total de 12 TB. Além de fornecer 4 pools ao dCache de 1,5 TB cada, este servidor exporta via NFS aos demais elementos do cluster a área onde estão localizados os aplicativos específicos de cada Organização Virtual.

(24)

• Nós de Processamento: Devido ao custo decrescente e aumento da capacidade dos discos locais dos servidores de processamento, estes podem ter ao mesmo tempo a função de processar dados e disponibilizar seus discos para se incorporarem ao sistema de arquivos distribuídos do cluster. Em cada um dos 32 nós de processamento adquiridos na fase III deverá ser instalado um disco SATA de 500GB perfazendo um total de 16TB de espaço distribuído entre os nós. Com a sua incorporação ao Elemento de Armazenamento do SPRACE nos moldes descritos, o SPRACE contará com cerca de 28 TB de disco e será capaz de realizar 33 sessões de transmissão de dados em paralelo, com capacidade de até 1Gbps cada.

2.4.2 SPRACE: Tier 2 do CMS

Durante os meses de Junho e Julho, os pesquisadores deste projeto realizaram estágio de pesquisa no CERN visando o início da participação efetiva do grupo paulista nas atividades do experimento CMS. Durante esse estágio, participaram de diversas atividades, dentre as quais podemos destacar:

• Participação na reunião do Grid Deployment Board, que coordena a implantação dos diversos Grids utilizados pelo sistema de processamento e análise de dados dos experimentos do Cern, visando harmonizar seus desenvolvimentos e assegurar a sua interoperalbilidade. Entre esses Grids encontram-se o OSG, EGEE, NorduGrid e UKGrid.

• Participação no WLCG Tier2 Workshop onde foram discutidas e definidas as

atribuições e competências dos elementos de processamento e armazenamento de nível 2 (Tier2) dos experimentos do LHC.

• Participação nos WLCG Tier2 Tutorials & Experiment Sessions onde foram discutidos e ensinados em detalhe as diversos elementos e funcionalidades que devem estar presentes nos experimentos. Participamos dos tutoriais referentes ao experimento CMS

• Participação no WLCG OSG-EGEE Joint Operations Workshop, onde foram discutidos os detalhes, procedimentos e guias de ação para a compatibilização destes dois Grids no processamento de dados dos experimentos do LHC.

• Participação nas reuniões do CMS Annual Review, quando os diversos grupos de trabalho do CMS apresentaram o status de suas áreas de atuação, tanto no que se refere à construção do detector, quanto a elaboração do seus sistemas de processamento e análise de dados.

• Participação nas reuniões da CMS Week, reunião trimestral geral da Colaboração. Nesta reunião houve a eleição do próximo Spkesman da colaboração, da qual participamos e votamos enquanto grupo de São Paulo. • Conversas extremamente frutíferas com membros chaves da colaboração CMS,

quando pudemos delinear nossa linha de atuação do experimento e nos preparar para a inclusão do SPRACE no sistema de processamento do experimento enquanto Tier2.

(25)

Table based on the OSG MonALISA measurements between 2006-10-25 05:00:00 and 2006-10-26 05:00:00 (GMT)

CMS / OSG CMS / OSG

Sites RunningJob * Hours Job Number (Finished Jobs)

(US-CMS Tier-1) USCMS-FNAL-WC1-CE 16927 / 17693 6330 / 6493 (US-CMS Tier-2) CIT_CMS_T2 3280 / 4260 1802 / 1897 MIT_CMS 2 / 5612 9 / 138 osg-gw-2.t2.ucsd.edu 576 / 6199 312 / 9495 Purdue-ITaP 0.4 / 174 1 / 533 Purdue-Lear 2501 / 2501 501 / 501 red.unl.edu 2150 / 2150 802 / 802 UFlorida-IHEPA 563 / 4430 102 / 380 UFlorida-PG 706 / 6290 819 / 1203 UWMadisonCMS 1276 / 11014 221 / 514 (Other CMS Tier-2) SPRACE 684 / 684 1336 / 1340 (Others) FIU-PG 0 / 0 1 / 5 OSG_INSTALL_TEST 7 / 7 31 / 36 UERJ_HEPGRID 0.7 / 260 1 / 31 CMS Total 28673 12268 Notes:

# -> Not Listed in MonALISA * -> Zero OSG Usage

! -> Zero CMS Usage

This table with an extended format is also available at:

http://grow.its.uiowa.edu/cms-reports/daily.php.

For the original complete set of OSG MonALISA reports, visit:

http://grid02.uits.indiana.edu:8080/reports/.

Figura 3: Relatório semanal elaborado pela colaboração CMS nos EUA mostrando a

atividade de seus diversos membros.

Como resultado da participação nestes workshops e tutoriais, e guiados pelas diversas conversas realizadas, ainda durante a realização deste estágio de pesquisa iniciamos em final de junho as atividades necessárias para a inclusão do SPRACE enquanto Tier2 do experimento CMS. Cerca de 40 dias após o início desta empreitada o SPRACE estava produzindo os primeiros eventos de Monte Carlo oficiais para a colaboração, trocando dados com as demais Tier1 e Tier2, e realizando trabalhos de análise em Grid.

(26)

Figura 4: Transferência de dados durante as duas primeiras semanas do SC06.

É com grande prazer que relatamos que o SPRACE tornou-se um Tier2 plenamente funcional do experimento CMS. O T2_SPRACE vem se juntar aos Tier2 de Caltech, MIT, Winsconsin, Florida, Purdue e Nebraska, formando o sistema de processamento das Américas do CMS, sob a centralização do Tier1 do Fermilab. Uma amostra da atividade do SPRACE enquanto Tier 2 do CMS pode ser vista na Figura 3.

Mais uma vez o pioneirismo e capacidade da equipe do SPRACE se fizeram presente, tornando-o o primeiro T2 do hemisfério Sul a atuar plenamente sob a arquitetura de Grid do LHC, o World LHC Computing Grid.

2.4.3 Participação no CSA06

O Computing, Software, & Analysis Challenge 2006 (CSA06) visa testar a capacidade de processamento e transferência de dados utilizando a infra-estrutura mundial de grid do LHC. Estes testes devem atingir por volta de 25% da capacidade necessária durante a operação do CMS que deverá ocorrer daqui há um ano. Dentre os objetivos do CSA06 podemos citar:

• Testar o workflow e o dataflow utilizando uma amostra de 50 milhões de eventos

• Executar a reconstrução dos dados na Tier 0 do CERN

• Criação e distribuição dos Analysis Object Data (AOD) para todas as Tiers 1 • Distribuição dos dados crus (Raw data) e reconstruídos para as Tiers 1 • Skim os jobs nas Tiers 1 e propagar os dados para as Tiers 2

(27)

Figura 5: Trabalhos executados pelos sites do OSG nas duas primeiras semanas do CSA06

Deste exercício deverão participar aproximadamente 20 Tiers 2 ao redor do mundo, sendo que o SPRACE será o único centro do hemisfério Sul presente. Deverá ser atingida uma taxa de transferência de 20 MB/s entre as Tiers 1 e as Tiers 2 ser transferidos aproximadamente. Os recursos computacionais envolvidos incluem 1.100 CPU’s localizadas no CERN (Tier 0), 2.500 CPU’s pertencentes às Tiers 1 e mais 2.500 CPU’s das Tiers 2.

O CAS06 iniciou-se em 2 de outubro com a reconstrução de eventos de minimum bias no CERN. Os dados foram divididos em 20 amostras e transferidos para as Tiers 1. Em 9 de outubro o CERN iniciou a transferência de dados de calibração que foram transferidos para as várias Tiers 1 onde serão armazenados por um período de 30 dias. Skim jobs começaram a ser transferidos para as Tiers 2. Em 16 de outubro começaram as análises de dados nas Tiers 2. Todo o ciclo do CSA06 deverá terminar em 13 de novembro.

No caso do SPRACE, a Tier 1 associada é a do Fermilab. Desta forma foi muito importante contar com o link da WHREN-Lila entre São Paulo e a Internet2 americana. Este link financiado em conjunto pela NSF e pela FAPESP vem desempenhando um papel essencial no desenvolvimento de nossa pesquisa.

Na Figura 4 mostramos a atividade de transferência dos dados a serem processados pelo SPRACE durante as duas primeiras semanas do CSA06, utilizando-se o PhEDEx, infra-estrutura de compartilhamento dos dados usado pelo CMS. Em apenas 2 semanas, um volume total de quase 5 TB de dados foram inseridos no sistema de armazenamento do SPRACE e posteriormente processados.

Na Figura 5 mostramos um quadro com o total de trabalhos executados por cada site do Open Science Grid participante do CSA06 durante as duas primeiras semanas. Note-se que apesar de estarmos operando ainda com apenas os recursos da primeira fase, equivalentes a 1/8 de nosso poder total de processamento, nossa performance foi similar a centros como o MIT.

(28)

2.5 Outras Atividades

2.5.1 Projeto GridUNESP

O Programa de Integração da Capacidade Computacional da UNESP (GridUNESP), formulado e coordenado pelo nosso grupo, foi submetido pela universidade na Chamada Pública MCT/Finep/CT-Infra Proinfra – 01/2005. Este foi o único sub-projeto aprovado pela UNESP tendo recebido a maior verba (R$ 4.415.477,00) dentre os mais de 150 projetos submetidos em todo o Brasil.

Este é um exemplo dos benefícios secundários gerados pelo nosso Projeto Temático. A experiência adquirida com a implementação da infra-estrutura de Grid no SPRACE será agora compartilhada com toda a universidade com a implantação do primeiro Grid universitário da América Latina. Projetos semelhantes foram desenvolvidos por algumas universidades americanas nos últimos 2 anos, como por exemplo, em Harvard (CrimsonGrid), Wiscosin (GLOW), Texas (UTGrid) e Michigan (MGrid).

O GridUNESP visa atender à demanda de docentes, pesquisadores e grupos de pesquisa cujos projetos científicos requeiram grande capacidade de processamento e armazenamento de dados. Este programa deverá implantar centros de processamento locais, interligando-os através da arquitetura Grid. Essa estrutura de computação distribuída possibilitará também a agregação dos recursos já existentes, racionalizando sua utilização e aumentando a potencialidade do parque computacional da UNESP.

A arquitetura Grid de processamento distribuído tem se estabelecido como o novo paradigma em computação de alto desempenho. Essa abordagem vem sendo utilizada por áreas de pesquisa que requerem o processamento e armazenamento de grande quantidade de dados tais como física de altas energias, seqüenciamento genético, previsão de tempo, prospecção de petróleo, modelagem molecular e celular, reconstrução de imagens médicas etc.

A UNESP, com sua estrutura multicampi, possui o perfil de uma instituição que pode se beneficiar muito com a implantação de infra-estrutura de computação em Grid. Uma rede interligando os principais centros de processamento de dados da universidade possibilitará a distribuição eqüitativa desses recursos geograficamente dispersos, permitindo o acesso de todos a uma infra-estrutura computacional que de outra forma seria inviável ou extremamente dispendiosa. Além de sua importância para o desenvolvimento científico e tecnológico da UNESP, esta iniciativa permitirá que a universidade acompanhe os avanços mais modernos em tecnologia da informação capacitando profissionais nesta área.

A formulação do plano estratégico do presente projeto envolveu diversas etapas. O “Programa de Integração da Capacidade Computacional da UNESP (GridUNESP)” foi lançado pela Pró-Reitoria de Pós-Graduação e Pesquisa com o objetivo de identificar projetos científicos na universidade que requeiram grande capacidade de processamento e armazenamento de dados. No edital foi estabelecido o objetivo do programa e apresentada a estrutura geral do GridUNESP. Após a análise criteriosa dos projetos apresentados foram selecionados 15 deles, pertencentes a diferentes unidades do Estado de São Paulo, que satisfazem às características descritas no edital. São eles:

(29)

• Definição de Regiões Genômicas Críticas Envolvidas na Progressão, Resposta a Tratamento e Metástase em Tumores Humanos;

• Dinâmica de Vórtices em Supercondutores de Alta Temperatura Crítica do Tipo II; • Estudo Mecânico Quântico de Processos Não Radiativos em Moléculas de

Interesse Biológico;

• Estudo Numérico de Sistemas de Elétrons Fortemente Correlacionados em Baixa Dimensionalidade;

• Genoma Estrutural-Rede de Biologia Molecular Estrutural;

• Implementação Otimizada de Algoritmos Estocásticos para Alinhamento Múltiplo de Seqüências em Clusters de Arquitetura Beowulf;

• Simulações Numéricas de Larga Escala em Física; • Física de Altas Energias e HEP Grid;

• UNESP-Gridgene;

• Modelagem das Propriedades Elétricas de Cerâmicas Semicondutoras; • Aspectos Termodinâmicos no Processo de Enovelamento de Proteínas;

• Modelagem Tridimensional de Dados Geológicos, Fisiográficos, Hidrográficos e Geo-ambientais;

• Caracterização Teórica das Propriedades Elétricas e Catalizadoras de Óxidos • Métodos Analíticos e Numéricos em Engenharia Mecânica;

• Análise de Fluxo de Dados: Um Modelo para a Detecção de Ataques em Grids Computacionais e Redes de Alta Velocidade

• Caracterização de novos materiais baseados em membranas e desenvolvimento de ligas especiais para uso no desenvolvimento de nanomateriais e materiais de alto valor agregado (peles artificiais, regeneração do tecido ósseo e em implantes dentários biocompatíveis).

• Bioprospecção químico-farmacológica para obtenção de bioprodutos farmacêuticos, cosméticos e agroquímicos.

Maiores detalhes sobre os projetos científicos apresentados podem ser encontrados no documento http://hep.ift.unesp.br/novaes/GridUNESP/ProjetoGridUNESP.pdf

A seguir foi realizada uma reunião de trabalho no campus de Bauru onde os diversos grupos tiveram a oportunidade de apresentar seus respectivos projetos. Deste workshop também participaram, além do Pró-Reitor de Pós-graduação e Pesquisa e do Coordenador de Informática da universidade, empresas privadas que poderiam se tornar eventuais parceiros na implantação do projeto. Esta reunião de trabalho forneceu os subsídios necessários para a elaboração do projeto científico e o planejamento estratégico para a implantação do GridUNESP. Maiores detalhes sobre a reunião de trabalho podem ser encontrados no site https://www.unesp.br/grid/

É importante notar que os projetos apresentados envolvem diversas instituições distribuídas por todo o Estado de São Paulo:

(30)

• Faculdade de Ciências, Laboratório de Simulação Molecular, Departamento de Matemática, Bauru

• Faculdade de Ciências, Departamento de Química, Bauru • Faculdade de Ciências, Departamento de Física, Bauru

• Faculdade de Medicina de Botucatu, Departamento de Urologia, Botucatu • Instituto de Geociências e Ciências Exatas, Departamento de Física, Rio Claro • Instituto de Geociências e Ciências Exatas, Departamento de Estatística

Matemática Aplicada e Computação, Rio Claro

• Instituto de Geociências e Ciências Exatas, Departamento de Petrologia e Metalogenia, Rio Claro

• Faculdade de Engenharia, Departamento de Engenharia Mecânica, Ilha Solteira. • Instituto de Biociências, Letras e Ciências Exatas, Departamento de Ciências da

Computação e Estatística, São José do Rio Preto. • Instituto de Química, Araraquara

Além de atender à pesquisa e, conseqüentemente, ao ensino, em todas as áreas descritas no item anterior, a implantação do GridUNESP trará uma série de benefícios à Universidade e ao País:

• Aumentar a produção científica em áreas de fronteira que ainda não produzem melhores resultados devido à carência de recursos computacionais adequados; • Permitir o envolvimento de pesquisadores em novas áreas que requerem

processamento e armazenamento de grande quantidade de dados;

• Gerar produtos de alto valor agregado para a indústria farmacêutica, cosmético, nanomateriais e materiais cerâmicos.

• Integrar a universidade na estruturas de Grid internacionais como o Open

Science Grid (OSG) americano e o Enabling Grids for E-sciencE (EGEE)

europeu;

• Incrementar o intercâmbio internacional com grupos que compartilham os mesmo interesses e necessidades como os laboratórios nacionais americanos e europeus;

• Gerar parcerias da universidade com áreas de alta tecnologia as quais vem tendo cada vez mais interesse no desenvolvimento da arquitetura Grid de processamento;

• Aperfeiçoar a formação de pesquisadores em Tecnologia da Informação com a implantação da estrutura de Grid na universidade.