EMU: Um Cluster de Computadores para o
Departamento de Astronomia do IAG/USP e para o
Núcleo de Astrofísica da UNICSUL
Parte A:
Descrição do EMU e de seu
Impacto Científico Potencial
Resumo
O presente pedido visa atender às necessidades de computação de alto desempenho, atuais e futuras no médio prazo, do Departamento de Astronomia do IAG/ USP, e do Núcleo de Astrofísica Teórica da UNICSUL. O projeto prevê a compra de um cluster de computadores de grande porte, bem como equipamentos e softwares para seu gerenciamento e utilização.
Introdução
O Departamento de Astronomia do Instituto de Astronomia, Geofísica e Ciências Atmosféricas da USP (DA) é o maior e mais importante centro do país na área, e tem como uma de suas principais atividades a produção científica em astronomia. Os pesquisadores do DA mantêm extensos programas de colaboração científica com outros institutos da USP, bem como com pesquisadores, departamentos e instituições nacionais e internacionais. Destaque-se aqui os recém-criados Instituto Nacional de Ciência e
Tecnologia de Astrofísica (INCT-Astrofísica) com apoio do CNPq e Fapesp e
coordenado por docentes do DA (mais detalhes em www.astro.iag.usp.br/~incta).
O Núcleo de Astrofísica Teórica (NAT) da Universidade Cruzeiro do Sul (UNICSUL) é um jovem grupo emergente de pesquisa em astronomia, iniciado em julho de 2006, com auxílio do Programa Jovem Pesquisador em Centros Emergentes da FAPESP.
Na astronomia, como em outras áreas do conhecimento, o desenvolvimento científico tem sido profundamente impactado pelo aumento da capacidade de processamento dos computadores. O progresso nesta área é quase simbiótico: novos e mais avançados modelos físicos requerem computadores maiores; por outro lado, computadores mais avançados motivam o desenvolvimento de novos modelos.
Ressalte-se, também, a profunda integração hoje existente entre a astronomia
numérica e observacional, pois dados de cada vez melhor qualidade requerem, para sua
interpretação, modelos mais avançados. Vê-se, portanto, que a astronomia atual exige o uso rotineiro e intensivo de computadores de alto desempenho, e neste contexto situa-se o presente pedido EMU, que tem por finalidade alçar a capacidade de processamento do
DA e do NAT ao nível necessário para a manutenção e expansão das atividades de pesquisa destes institutos.
O Equipamento
Pleiteia-se a aquisição de um cluster de computadores com 160 processadores Xeon Intel 5550, correspondendo a 640 cores (núcleos) de processamento, com 4 Gbytes de memoria RAM por core. Equipamentos necessários à montagem do cluster, tais como switches, racks e armazenamento, bem como equipamentos necessários à sua operação (servidores e impressora) também são solicitados. Note-se que não são solicitados gerador e nobreaks, pois estes serão fornecidos pelo IAG/USP como parte da contrapartida institucional (parte D).
Os detalhes dos equipamentos são fornecidos na parte G deste pedido, e suplementado pelas planilhas orçamentárias em anexo.
Resultados Esperados
Na tabela do anexo A-1 está listado o tempo de processamento estimado para levar a cabo os projetos associados e complementares que fazem parte deste pedido. Esta tabela demonstra, de forma eloquente, tanto a necessidade atual de um cluster do porte solicitado, quanto a capacidade do corpo de pesquisadores do DA e NAT de utilizar de
forma integral a capacidade de processamento do cluster.
O EMU proposto estará disponível a todos os membros do DA e NAT bem como a seus colaboradores (ver parte E) e atenderá, portanto, a uma comunidade de aproximadamente 150 astrônomos, entre pesquisadores e alunos. Ressalte-se que, na tabela A-1, não estão elencados todos os projetos que farão uso do cluster, e que o EMU proposto atenderá a uma demanda computacional muito maior que a enumerada.
Além disso, destaque-se que boa parte dos códigos numéricos em uso atualmente no DA e NAT são de autoria dos pesquisadores destes institutos ou de seus colaboradores diretos, e que muitos destes códigos têm ampla divulgação nacional e internacional. A disponibilização do EMU fomentará o contínuo desenvolvimento destas aplicações.
Anexo A-1
Projeto
Responsável
T
cálculo *(dias)
Investigação de fenômenos astrofísicos de altas energias: teoria, simulações numéricas e observações
Elisabete Maria de Gouveia
Dal Pino (PR) 165.000 Envoltórios estelares assimétricos Walter J. Maciel (PA) 46.000 Elementos em populações estelares compostas Beatriz Barbuy (PA) 14.000 Os envoltórios de estrelas massivas Antônio Mário Magalhães (PC) 160.000 Dinâmica dos sistemas planetários e planetas
extra-solares Sylvio Ferraz Mello (PC) 30.000 Mapeamento por Eclipse de CAL87 João E. Steiner (PC) 12.000 Starlight: um banco de dados público com
propriedades físicas para 1 milhão de galáxias Laerte Sodré Junior (PC) 5.600 Otimizando listas de opacidades atômicas com o
método de entropia cruzada Paula Coelho (PC) 6.000 Análise das variações de longo termo de
Carinae Augusto Damineli Neto (PC) 40.000 Simulações de N-corpos de aglomerados e grupos
de galáxias Gastão B. Lima Neto (PC) 8.000 Estatística de turbulência em plasmas colisionais e
não-colisionais magnetizados Diego Falceta Gonçalves (PC) 2.000
Tempo de estimado para a conclusão dos projetos:
488.600
Tempo total de CPU disponível durante os 2 primeiros anos de funcionamento do cluster (2 anos 365 dias 640 cores):
467.200 dias PR – Pesquisador responsável
PA – Pesquisador associado PC – Pesquisador complementar
EMU: Um Cluster de Computadores para o
Departamento de Astronomia do IAG/USP e para o
Núcleo de Astrofísica da UNICSUL
Parte B:
Projeto Associado Investigação de Fenômenos Astrofísicos de Altas Energias: Teoria, Simulações Numéricas e Observações
Pesquisadora Responsável: Elisabete M. de Gouveia Dal Pino (IAG/USP)
Colaboradores principais: Grzegorz Kowal, Reinaldo Santos-Lima, Fernanda Geraissate, Marica M. R. Leão, Luis Kadowaki (IAG/USP), Alex Lazarian (University of Wisconsin)
A maior parte da matéria visível do Universo é composta de gás total ou parcialmente ionizado permeado por campos magnéticos, ou, mais especificamente, encontra-se em estado de plasma. Com o avanço dos instrumentos, hoje o mapeamento dos campos magnéticos cósmicos de galáxias, do meio interestelar da Galáxia, e do meio intergaláctico já é uma realidade.
O grupo de Astrofísica de Altas Energias do IAG/USP vem desenvolvendo vários projetos dentro de um contexto multidisciplinar que envolve o estudo teórico e numérico multidimensional de fenômenos astrofísicos de altas energias utilizando como ferramentas básicas a física de plasmas e a magneto-hidrodinâmica. Em meios astrofísicos onde a turbulência possui papel preponderante, como nos casos acima, ocorre transferência de energia desde as maiores escalas do fluido até as escalas dissipativas e viscosas as quais são várias ordens de magnitude menores. Essa situação é em geral numericamente bastante difícil de se resolver e exige o emprego de simulações com enorme resolução numérica. A seguir detalhamos as demandas computacionais de alguns dos projetos que estão sendo conduzidos por nosso grupo.
Evolução de galáxias Starburst, geração de super-ventos galácticos e interação com o meio intra-aglomerado
Uma simulação MHD-Godunov paralelizada da região central de um aglomerado de galáxias com injeção de turbulência por supernovas, com uma resolução de 5123, requer cerca de 15 dias em 32 cores para uma evolução completa do sistema. Para a cobertura do espaço de parâmetros seriam necessários computar 40 modelos, totalizando
Geração de campos magnéticos estelares (dínamo)
No caso das simulações tridimensionais magneto-convectivas do dínamo solar, considerando-se apenas uma pequena caixa retangular da camada convectiva solar com uma resolução de 1283 pontos de grade, o modelo consegue evoluir quase 3 unidades de tempo por dia em 32 cores. Como são necessárias cerca de 200 unidades de tempo, um cálculo completo levaria cerca de 2 mêses. Como serão necessários rodar pelo menos 40 modelos para varrer o espaço completo de parâmetros, estes demandarão 80 meses em 32
cores.
Formação estelar induzida por turbulência supersônica de supernovas
No caso das simulações numéricas de formação estelar induzida por turbulência supersônica de SNs e reconexão magnética rápida, uma simulação numérica MHD em paralelo demanda 1 dia por passo temporal, ou cerca de 20 dias para o processamento completo de um modelo, em 32 processadores. Estima-se que são necessários cerca de 60 modelos o que resulta em 1200 dias de processamento em 32 cores.
Geração e evolução de campos magnéticos no Universo em grande escala
No caso das simulações de campos magnéticos do meio intergaláctico turbulento, uma simulação numérica em paralelo, demanda quase um dia por passo temporal, ou cerca de 20 dias apenas para o processamento completo de 20 passos, em 32 processadores. Como são necessários 40 modelos, nesse caso requer-se cerca de 800 dias
de cálculos em 32 cores para a realização do projeto.
Aceleração de raios cósmicos em meios turbulentos
Para a realização de simulações numéricas tri-dimensionais em paralelo da aceleração de raios cósmicos em zonas de reconexão magnética turbulenta, 10 passos temporais demandam 4 dias em 48 processadores. A fim de varrer todo o espaço de parâmetros serão necessários cerca de 40 modelos o que implica na necessidade de um total de pelo menos 80 dias em 48 cores.
Conclui-se que para o desenvolvimento dos projetos acima o tempo estimado é de aproximadamente 48000 dias em um core ou 94 dias em 512 cores.
Projeto Associado Envoltórios Estelares Assimétricos
Pesquisador Responsável: Walter J. Maciel (IAG/USP)
Colaboradores: Alex C. Carciofi, Graziela R. Keller, (IAG/USP), Guy Perrin, Sylvestre Lacour, Pierre Kervella (Observatório de Paris, França)
Dentro do projeto temático “Nebulosas fotoionizadas, estrelas e evolução química de galáxias” dois projetos destacam-se por sua grande demanda computacional, e são detalhados abaixo como parte deste projeto EMU. Ambos os projetos farão uso do código de transporte radiativo HDUST, desenvolvido pelo prof. Alex C. Carciofi do IAG/USP (Carciofi & Bjorkman 2006, 2008).
O HDUST é um código de transferência radiativa baseado no método de Monte Carlo e é o único código em existência capaz de resolver de forma autoconsistente os problemas do transporte radiativo, equilíbrio térmico e estatístico no regime NLTE (non-local thermodynamical equilibrium) para geometrias tridimensionais. A natureza não linear do problema NLTE torna o HDUST um código muito exigente em termos computacionais.
Estrelas Centrais de Nebulosas Planetárias: Ventos e Propriedades Físicas
Estrelas de massa intermediária tornam-se, nos seus estágios finais de evolução, objetos compactos quentes. Os parâmetros fundamentais do vento desses objetos, tais como a taxa de perda de massa e o momento modificado, são ainda pouco conhecidos. Existem evidências observacionais (ex., variabilidade dos perfis de linha de emissão) que apontam para o fato do vento apresentar clumps, ou seja, regiões de adensamento. Essas inomogeneidades tornam muito difícil a caracterização do vento e a obtenção de seus parâmetros fundamentais (ex. taxa de perda de massa).
Neste projeto o HDUST será utilizado para estudar o clumping nos ventos de estrelas quentes de baixa massa. O problema é imensamente complexo, pois a correta representação dos clumps requer um elevado número de células espaciais no código e demanda muita memória por core de processamento (de 4 a 8 Gb por core) e um grande tempo de processamento. Valores típicos de tempo de processamento de um único
modelo giram em torno de 2 a 3 dias usando os 40 cores do cluster Hydra do IAG (ver parte F). Neste estudo pioneiro e exploratório serão necessários centenas de modelos para se cobrir adequadamente o espaço de parâmetros. Estima-se que esse estudo requererá da ordem de 36.000 horas de processamento em um único core para sua conclusão.
Fenômenos assimétricos em Estrelas AGB
Quando atingem o topo do ramo assintótico das gigantes (AGB), estrelas de massa baixa e intermediária podem entrar na fase Mira antes de evoluir para o fase de nebulosa planetária. O processo de perda de massa em estrelas AGB ainda é pouco conhecido, mas provavelmente envolve complexos fenômenos fotosféricos tais como pulsação e overshooting convectivo. Recentemente, a fotosfera de estrelas AGB próximas pode ser estudada através de observações interferométricas de altíssima resolução angular. As observações mostram atmosferas extremamente inomogêneas, cuja correta interpretação física constitue um enorme desafio para a astrofísica teórica atual.
Neste projeto, HDUST será usado para modelar observações interferométricas de várias AGBs, disponíveis através de nossa colaboração com pesquisadores do observatório de Paris. O trabalho será conduzido pelo pós-doutor Xavier Haubois que concluiu recentemente seu doutorado naquela instituição.
Uma previsão exata de demanda computacional para esse projeto é difícil pois o estudo encontra-se ainda em sua fase inicial. Entretanto, estima-se que o tempo de execução para um modelo complexo, como mostrado na Figura 1, será da ordem de 1 dia em 40 cores. Supondo-se que ao menos uma centena de modelos seja necessária para explorar o espaço de parâmetro e obter um best-fit (ou ao menos um good-fit) das observações de uma estrela, vemos que a demanda computacional será provavelmente superior a 10.000 horas de processamento em um core.
Bibliografia
Figure 1: Simulação hydrodinâmica de uma supergigante vermelha com o código CO5BOLD.
Projeto Associado
Elementos em Populações Estelares Compostas
Pesquisadora Responsável: Beatriz Barbuy (IAG/USP)
Colaboradores: Paula Coelho (NAT/UNICSUL), Gustavo Bruzual (CIDA, Venezuela), Cristina Chiappini (Observatório de Genebra, Suíca)
O padrão de abundâncias químicas em galáxias é uma informação fundamental para se entender suas histórias evolutivas. Em particular, a razão de abundância entre elementos (O, Mg, Si, S, Ca, Ti) e Fe é um forte vínculo observacional para a duração da formação estelar: elementos são produzidos principalmente em Supernovas tipo II e portanto contaminam o meio interestelar cedo na história evolutiva de uma galáxia, enquanto que elementos do pico do Fe são produzidos por Supernova Tipo Ia, em escalas de tempo mais longas.
Uma Nova Biblioteca de Espectros Estelares Sintéticos
Nos últimos dois anos viu-se um desenvolvimento importante de modelos de populações estelares que permitem determinar o padrão de abundâncias de aglomerados e galáxias a partir de seu espectro integrado (e.g. Coelho et al. 2007). Um ingrediente
essencial desses modelos são as bibliotecas de espectros estelares sintéticos. Em Coelho et al. (2005) foi apresentada uma biblioteca de espectros de ampla cobertura espectral (de 3000 a 18000 Å), e alta resolução espectral (intervalos de 0,02 Å, FWHM = 0,1 Å), para uso na síntese de populações estelares velhas.
No presente projeto, pretendemos determinar a metalicidade, idade e razão de abundância [/Fe] para uma grande amostra de estrelas ricas em metais, aglomerados globulares e galáxias elípticas, trazendo uma sólida contribuição para o entendimento de populações estelares ricas em metais em ambientes variados. Para tal, faz-se necessário o
cálculo de uma biblioteca atualizada e ampliada de espectros sintéticos estelares, com
parâmetros atômicos e moleculares optimizados, como por exemplo forças de oscilador tal quais apresentados para FeII por Meléndez & Barbuy (2009).
Para as aplicações planejadas, a nova biblioteca deverá incoporar esses recentes avanços em termos de opacidades atômica e moleculares, e cobrir um extenso espaço dos parâmetros estelares pertinentes (temperatura efetiva, Teff, gravidade superficial, log g metalicidades, [Fe/H], e variações individuais de abundância para os elementos C, N, O, Na, Mg, Si, Ca e Ti). Cada espectro requer em média uma hora pra ser calculado em um único core Intel Xeon 5550. O tempo de cálculo necessário para completar a biblioteca será de:
tcalculo = 20 (pontos em Teff) x 11 (pontos em log g) x 4 (pontos em [Fe/H]) x
8 (pontos em Xi) x 4 (resolução em [Xi/Fe]) x 1 hora = 1180 horas.
O cálculo da biblioteca deverá ser repetido várias vezes a fim de se determinar a mais precisa dentre diferentes listas de opacidades atômica e moleculares disponíveis na literatura. Dessa forma, a conclusão deste projeto requer um tempo estimado de 5900
dias em um core.
Padrões de abundância motivados por modelos de evolução química
Um avanço necessário no estudo de padrões de abundância em galáxias envolve a elaboração de modelos de população estelar vinculados à previsões de modelos de
evolução química - objeto central do projeto Jovem Pesquisador FAPESP da pesquisadora complementar Paula R. T. Coelho (ver parte C).
Construir tais modelos requer o cálculo adicional de cerca de centenas espectros estelares sintéticos para explorar o efeito, espectro de uma população estelar típica, de vários padrões de abundância química e de diferentes yields de elementos como o nitrogênio. Com base nisso, estimamos que o tempo total de cálculo estimado em um core Intel Xeon 5500 será:
tcalculo = 10 (número de yields de N) x 11 (resolução no tempo do padrão de abundâncias) x 600 (número de espectros estelares por mistura de
abundâncias) x 1 hora ~ 800 dias.
Para o projeto JP como um todo, os modelos serão expandidos para populações estelares típicas do halo e do disco da nossa Galáxia, e uma grande variedade de tipos morfológicos de galáxias, variando-se tanto yields como função de massa inicial e taxa de formação estelar e cada série de modelos corresponde ao tcalculo acima. Conclui-se que para a conclusão deste projeto o tempo estimado é de ao menos 8000 dias em um core.
Bibliografia
- Coelho P., Bruzual G., Charlot S., Weiss A., Barbuy B., Ferguson J. W., 2007, MNRAS, 382, 498 - Coelho, P., Barbuy, B., Melendez, J., Schiavon, R., Castilho, B., 2005, A&A, 443, 735
