• Nenhum resultado encontrado

Arquitetura de referência virtualizada do Microsoft SQL Server 2014 com Dell PowerEdge FX2

N/A
N/A
Protected

Academic year: 2021

Share "Arquitetura de referência virtualizada do Microsoft SQL Server 2014 com Dell PowerEdge FX2"

Copied!
14
0
0

Texto

(1)

Arquitetura de referência virtualizada

do Microsoft SQL Server 2014 com

Dell PowerEdge FX2

Uma arquitetura de referência da Dell para Microsoft SQL Server 2014 usando o

mais novo servidor da Dell, o PowerEdge FX2, e o Microsoft Windows Server 2012

R2 Hyper-V

Megha Jayaraman

Dell Global Solutions Engineering Dezembro de 2014

(2)

Data Descrição Dezembro de 2014 Versão inicial

Revisões

ESTE WHITE PAPER OFICIAL É APENAS PARA FINS INFORMATIVOS E PODE CONTER ERROS TIPOGRÁFICOS E IMPRECISÕES TÉCNICAS. O CONTEÚDO É FORNECIDO NO ESTADO EM QUE SE ENCONTRA, SEM GARANTIAS EXPRESSAS OU IMPLÍCITAS DE QUALQUER TIPO.

© 2013 Dell Inc. Todos os direitos reservados. É terminantemente proibida qualquer forma de reprodução deste material sem a permissão expressa por escrito da Dell Inc. Para obter mais informações, entre em contato com a Dell. Dell, o logotipo da DELL e a marca da DELL são marcas comerciais da Dell Inc. Microsoft, Windows e Windows Server são marcas registradas da Microsoft Corporation nos Estados Unidos e/ou em outros países. Outras marcas e nomes comerciais podem ser usados neste documento para se referir a entidades que reivindicam as marcas e os nomes ou seus produtos. A Dell não tem nenhum interesse de propriedade em marcas e nomes de terceiros.

(3)

Sumário

Revisões ...2 Sumário executivo ...4 1 Introdução... 5 1.1 Objetivo ... 5 1.2 Público ... 5

2

Visão geral da solução ...6

2.1 Arquitetura Dell PowerEdge FX ...6

2.1.1 Chassi do Dell PowerEdge FX2 ...6

2.1.2 Servidor Dell PowerEdge FC630 ...6

2.2 Dell Storage SC4020 ... 7

3

Arquitetura de referência ...8

3.1 Considerações sobre o design de rede ...9

3.1.1 Configuração de rede do Hyper-V ...9

3.2 Considerações sobre o design de armazenamento ...10

3.2.1 Configuração de armazenamento do Hyper-V ...10

3.2.2 Ativar o acesso direto do SQL Server aos destinos de armazenamento FC ...10

3.3 Considerações sobre alta disponibilidade ... 11

4

Folha de especificações ... 13

(4)

Sumário executivo

A evolução constante dos aplicativos empresariais impulsiona a necessidade de uma infraestrutura adaptável e convergente para que os negócios permaneçam competitivos. A escalabilidade e o

desempenho das aplicações, hardware padronizados e um gerenciamento simplificado continuam sendo parâmetros importantes para os responsáveis pelas decisões de TI, que levam agilidade e eficiência em consideração. A arquitetura convergente DellTM PowerEdgeTM FX foi projetada para oferecer às empresas a

flexibilidade de poder ajustar a infraestrutura de computação para cargas de trabalho específicas para que ela cresça e seja adaptada de acordo com as necessidades de negócios.

Este informe mostra uma arquitetura de referência virtualizada do Microsoft® Windows Server 2012® R2 Hyper-V® para um banco de dados do Microsoft SQL Server® 2014, no Dell PowerEdge FX2 e no Dell CompellentTM Storage SC4020. A solução permite que o foco da empresa seja em se beneficiar da

infraestrutura virtualizada, com cargas de trabalho de bancos de dados OLTP e OLAP. Este informe também destaca diretrizes e melhores práticas para implantar um banco de dados SQL Server em uma plataforma Dell PowerEdge FX2.

Os principais recursos da solução PowerEdge FX para as cargas de trabalho do SQL Server são:

• Confere capacidade de computação densa e facilidade de gerenciamento do sistema convergente como uma única unidade, beneficiando o desempenho do banco de dados SQL Server.

• Oferece alta disponibilidade na camada da infraestrutura e garante o máximo de tempo de atividade para o banco de dados SQL Server.

• Virtualiza a infraestrutura e possibilita a consolidação de aplicações. Em uma plataforma poderosa como o PowerEdgeFX2 SQL Server, o banco de dados pode ser executado juntamente com outras cargas de trabalho facilmente.

• Oferece o desempenho ideal para o banco de dados implantado aplicando as melhores práticas da Dell e da Microsoft à infraestrutura. Para cargas de trabalho virtualizadas, como o banco de dados SQL Server, projetar a arquitetura subjacente do Hyper-V é uma etapa crucial.

• Permite acesso direto ao armazenamento de Fibre Channel (FC) à máquina virtual do SQL Server usando o slot PCIe com a placa adaptadora de barramento do host de FC e o recurso de FC virtual do Hyper-V.

(5)

Até a data da redação deste informe, o PowerEdge FX2 é compatível apenas com os servidores

PowerEdge FC630 e PowerEdge FM120x4. O armazenamento na arquitetura PowerEdge FX2 fará parte de uma versão posterior.

1

Introdução

Atualmente, as empresas de TI sabem da importância de uma infraestrutura convergente que integre computação, armazenamento, rede e gerenciamento em uma única unidade. Ela permite a consolidação de sistemas, a utilização eficiente de recursos, o gerenciamento centralizado e custos de investimento menores. A virtualização dessas infraestruturas confere ainda mais eficiência e facilidade de gerenciamento aos datacenters. O Dell PowerEdge FX2 é uma dessas plataformas modulares, que pode ser adaptada e personalizada no nível do componente para corresponder aos requisitos da carga de trabalho.

O PowerEdge FX2 é uma plataforma de computação de 2U baseada em rack que combina a densidade e a eficiência de um chassi de blade à simplicidade e aos benefícios de custo dos sistemas baseados em rack. Os blocos de servidor permitem que o cliente escolha entre um servidor FC630 ou FM120x4, dependendo do requisito das aplicações. Os módulos de E/S de rede do chassi conferem conectividade à carga de trabalho.

O Microsoft SQL Server 2014 é um mecanismo de banco de dados para empresas que oferece propostas de valor cruciais, como desempenho de alta capacidade, mais tempo de atividade e um recurso de segurança aprimorado, para aplicativos de missão crítica. Os servidores virtualizados PowerEdge FC630 são uma plataforma excelente para hospedar cargas de trabalho do Microsoft SQL Server.

1.1

Objetivo

O escopo deste informe é mostrar uma configuração de referência de exemplo do banco de dados Microsoft SQL Server 2014 no Dell PowerEdge FX2. O informe indica como projetar uma arquitetura de referência baseada em Microsoft Windows Server 2012 R2 Hyper-V e se beneficiar da arquitetura de bancos de dados SQL Server com outras cargas de trabalho. A arquitetura de referência garante alta disponibilidade em todas as camadas da infraestrutura, para computação, rede, armazenamento e aplicações de banco de dados. O informe não detalha o procedimento de implantação ou estatísticas de desempenho da aplicação de banco de dados implantado.

1.2

Público

Este informe oficial se destina a administradores e arquitetos de TI interessados em projetar e implantar uma infraestrutura virtualizada para bancos de dados Microsoft SQL Server com o Dell PowerEdge FX2. Espera-se que o leitor tenha conhecimento do Microsoft Windows Server 2012 R2 Hyper-V, Microsoft SQL Server 2014, Dell Storage SC4020 e Dell PowerEdge FX2.

(6)

2

Visão geral da solução

Esta seção apresenta uma visão geral do hardware usado na arquitetura de referência para implantar um banco de dados virtualizado do Microsoft SQL Server.

2.1

Arquitetura Dell PowerEdge FX

A arquitetura do PowerEdge FX é um conceito convergente, modular e construtivo que se escala e adapta às diferentes demandas de carga de trabalho. Ela é uma arquitetura escalável que permite que empresas aumentem os recursos de processamento de acordo com as necessidades de negócios. A arquitetura é otimizada para cargas de trabalho. Os recursos de computação mais bem adequados podem ser escolhidos para serem executados em qualquer aplicativo de datacenter. A versão inicial do portfólio FX inclui o chassi FX2, dois servidores e módulos de E/S de rede.

O chassi hospeda o servidor e os blocos de armazenamento modulares e ágeis, além de proporcionar eficiência por meio do compartilhamento de energia, rede e gerenciamento no próprio chassi. Os componentes do portfólio FX são descritos nas seções a seguir.

2.1.1

Chassi Dell PowerEdge FX2

A base da arquitetura FX é o chassi PowerEdge FX2, que combina computação, rede e armazenamento em uma única unidade. Ele comporta um microsservidor de 1U e meia largura (PowerEdge FC630) ou um PowerEdge FM120x4. O chassi oferece suporte a até oito slots de expansão PCI Express (PCIe) da 3ª geração de perfil baixo para ampliar a conectividade aos servidores. Módulos de E/S redundantes, de quatro portas, 1 GbE ou 10 GbE estão disponíveis no chassi, para conectividade de rede ao servidor. Esses módulos de E/S, juntamente com três módulos do agregador de E/S FN, simplificam o cabeamento, melhoram o tráfego entre servidores e ativam a convergência de LAN e SAN. O gerenciamento do chassi pode ser feito em cada servidor, usando o iDRAC8 sem agente com o Lifecycle Controller, ou como um chassi, usando o Chassis Management Controller (CMC), um componente de gerenciamento incorporado. A arquitetura de referência usa adaptadores de barramento de host (HBA) de FC QLogic Série 2500 de 8 Gbps para fornecer conectividade de Fibre Channel (FC) ao armazenamento SAN do Dell Storage SC4020. Dois módulos de E/S de quatro portas e 10 GbE são usados para o hipervisor e conectividade de rede à carga de trabalho.

Para obter mais informações sobre o Dell PowerEdge FX2, consulte a Folha de especificações técnicas do enclosure do PowerEdge FX2 (em inglês).

2.1.2

Servidor Dell PowerEdge FC630

O Dell PowerEdge FC630 é um servidor de meia largura e dois soquetes com um desempenho excepcional e formato compacto. O chassi do FX2 pode acomodar até quatro servidores Dell PowerEdge FC630. Cada servidor PowerEdge FC630 é compatível com até 18 núcleos com os mais novos processadores Intel Xeon E5-2600v3 e até 24 módulos de memória dupla em linha (DIMMs), resultando em até 768 GB de memória. Essa capacidade de computação torna o PowerEdge FC630 um candidato adequado para ambientes virtualizados de host e cargas de trabalho pesadas, como bancos de dados empresariais.

(7)

Na arquitetura de referência, usa-se um chassi FX2 com quatro servidores PowerEdge FC630 com unidades de disco 2 X 2,5 polegadas. Esses quatro servidores são virtualizados e podem hospedar cargas de trabalho diferentes junto com um banco de dados Microsoft SQL Server. A placa auxiliar de rede (NDC) Broadcom 57810 de 10 GbE confere conectividade de rede aos servidores usando os módulos redundantes de E/S de pass-through de 10 GbE. Os servidores também contêm uma placa de mezanino de blade para se conectarem aos periféricos suplementares PCIe no chassi PowerEdge FX2.

Para obter mais informações sobre o Dell PowerEdge FC630, consulte a Folha de especificações técnicas do PowerEdge FC630 (em inglês).

2.2

Dell Storage SC4020

Os arrays série SC4020 são baseados na plataforma empresarial SC8000 da Dell. Dois controladores

redundantes, 24 unidades internas, 8 portas de rede Fibre Channel de 8 Gbit ou 4 portas de rede iSCSI de 10 GB e 4 portas adicionais de 10 Gbit para gerenciamento e replicação são oferecidos em um chassi compacto de 2U. Para expansão além das 24 unidades, adicione enclosures SC200 ou SC220 para chegar a uma capacidade bruta superior a 400 TB.

Os principais recursos do SC4020 são detalhados abaixo:

• Ajuste automático para o melhor desempenho e economia de custo com base nas informações de uso em tempo real

• Otimização de flash para todas as implantações em flash ou híbridas com SSD/HDD

• Compatível com Fibre Channel ou iSCSI, juntamente com uma opção NAS com escalabilidade horizontal

• Licenciamento vitalício de software para baixos custos de ciclo de vida • Suporte para Co-pilot

A arquitetura de referência usa um storage array SC4020 com unidades internas 24 X 15 K de 300 GB para arquivos de máquina virtual (armazenamento em VM), bancos de dados SQL Server e outros volumes de dados de carga de trabalho.

Para mais informações sobre o Dell Storage SC4020, consulte a Configuração do array All-In-One Dell Storage SC4020 (em inglês)

(8)

VM autônoma do Microsoft SQL Server 2014 

Cluster Microsoft Hyper-V

Switch FC 1  ISL  Switch FC 2 

LAG  Swit ch  1 de  10  GbE Swit ch  2 de  10  GbE  

3

Arquitetura de referência

Nessa arquitetura de referência, a infraestrutura subjacente é virtualizada usando o Microsoft Windows Server 2012 R2 Hyper-V para otimizar o uso de recursos de hardware e fornecer uma estratégia simples de gerenciamento de solução. O design virtualizado é usado para implantar o banco de dados SQL Server.

Dell PowerEdge Chassi do FX2 SAN  LAN  VMs de outras aplicações  Dell Storage SC4020 Figura 1 Arquitetura de referência

Crie um único cluster Hyper-V a partir dos quatro servidores PowerEdge FC630 no chassi do FX2. Instale o Windows Server 2012 R2 nas unidades internas de 2 X 2,5 polegadas (configuração RAID1) disponíveis com os servidores e configure a função do Hyper-V. Crie um cluster de failover usando esses quatro nós para servir como plataforma de computação para a máquina virtual (VM) do banco de dados SQL Server e para outras VMs da carga de trabalho.

As malhas da rede de área de armazenamento (SAN) e da rede de área local (LAN) são mantidas separadas usando dois switches diferentes para manter os dados de aplicação separados do tráfego na rede.

(9)

Servidores FC630 com NDC de duas portas

Chassi do FX2 Módulo de E/S 1 Módulo de E/S 2

Servidor FC630 1 Porta 1 — NIC 1 Porta 2 — NA Porta 1 — NIC 2 Porta 2 — NA Servidor FC630 2 Porta 3 — NIC 1 Porta 4 — NA Porta 3 — NIC 2 Porta 4 — NA Servidor FC630 3 Porta 5 — NIC 1 Porta 6 — NA Porta 5 — NIC 2 Porta 6 — NA Servidor FC630 4 Porta 7 — NIC 1 Porta 8 — NA Porta 7 — NIC 2 Porta 8 — NA

Agrupamento do

Windows Server 2012 R2 Configuração

Modo de agrupamento de NIC Independente de switch

Algoritmo de balanceamento

de carga HyperVPort

Adaptador de espera Nenhum

Membros do agrupamento

Quatro portas de rede (duas LOMs e duas portas de adaptador

3.1

Considerações sobre o design de rede

Os servidores PowerEdge FC630 se conectam à rede usando uma placa NDC de duas portas e 10 GbE conectada aos módulos de E/S de pass-through de 10 GB. O mapeamento do servidor no módulo de E/S de pass-through para uma NDC de duas portas é mostrado abaixo.

Tabela 1 Mapeamento do servidor nas portas do módulo de E/S de pass-through

A camada de rede foi projetada para ser redundante, com dois switches Dell Networking de 10 GbE para eliminar um único ponto de falha na solução. Esses switches são agrupados usando uma conexão entre switches (ISL). De modo semelhante, as conexões de rede físicas e virtuais são resilientes no nível do servidor por causa do recurso de agrupamento de NIC do Windows Server 2012. Isso se aplica ao host do Hyper-V host e à VM do banco de dados SQL Server.

Na malha SAN, o servidor PowerEdge FC630 se conecta aos switches FC redundantes usando placas PCI e suplementares Qlogic QLE2562 de 8 GBps de duas portas na parte traseira do chassi.

3.1.1

Configuração de rede do Hyper-V

A placa NDC integrada Broadcom de 10 GbE e uma placa de rede suplementar PCIe de 10 GB podem ser combinadas para criar um agrupamento de NIC do Windows Server 2012 R2. As configurações na tabela abaixo são usadas para criar o agrupamento de placas de rede.

(10)

Crie um switch virtual convergente para Hyper-V usando o agrupamento de NIC. Crie adaptadores de rede individuais para gerenciamento, migração ativa, aplicações e pulsação de cluster com ID VLAN específica e ponderação de largura de banda.

A VM implantada do banco de dados SQL Server pode se comunicar com VMs de infraestrutura, como

Active Directory/DNS, Data Protection Manager (DPM), System Center Virtual Machine Manager (SCVMM), etc., usando a rede de gerenciamento, e com outras aplicações como o SharePoint, usando a rede de aplicações.

3.2

Considerações sobre o design de armazenamento

A arquitetura de referência usa unidades de 15 K e 24 X 300 GB do Dell Storage SC4020 para hospedar o cluster de failover do Hyper-V, o armazenamento de VM da carga de trabalho e os arquivos de dados. As duas placas Qlogic QLE2562 de duas portas fornecem quatro conexões por servidor ao array do SC4020. O armazenamento do SC4020 é usado para os dois seguintes fins:

• Armazenar arquivos de VM como o disco rígido virtual (VHDX) • Armazenar dados e arquivos de registro do SQL Server

3.2.1

Configuração de armazenamento do Hyper-V

Para criar um cluster de failover do Windows Server 2012 R2, crie um quorum de 1 GB no armazenamento do SC4020 e reserve-o para os nós do cluster. A configuração de quorum ajuda o cluster a determinar o número de falhas que ele pode tolerar.

Crie um Volume Compartilhado em Cluster (CSV) no SC4020 para armazenar arquivos de VM da carga de trabalho, como o disco rígido de máquina virtual (VHDX). Os CSVs permitem o failover rápido de funções em cluster, como da máquina virtual do SQL Server, para outro nó sem a necessidade de desmontar a unidade, mudar a propriedade ou remontar o volume.

3.2.2

Ativar o acesso direto do SQL Server aos destinos de armazenamento FC

O Windows Server 2012 R2 Hyper-V permite que a máquina virtual se conecte a um storage array baseado em FC existente usando portas FC de dentro do sistema operacional de VM. A VM do SQL Server é configurada para usar esse recurso e se comunicar diretamente com o array do SC4020, usando o adaptador FC virtual. Crie uma SAN virtual agrupando as portas físicas do adaptador Qlogic QLE2562 no servidor PowerEdge FC630. Adicione o adaptador FC virtual, para que a VM acesse o armazenamento do SC4020. Zoneie o endereço dos World Wide Names (WWN) de VM para que a VM do SQL Server acesse as LUNs de dados. Crie os volumes necessários para os dados e arquivos de registro do banco de dados SQL Server.

(11)

Porta FC 1  WWN1  WWN2 Porta FC 2  Placa QLE2562  Qlogic de duas portas  Fibre Channel virtual  Adaptador  VM do SQL Server  Host do FC630 Hyper-V 

Figura 2 Acesso direto do SQL Server aos destinos de armazenamento FC

3.3

Considerações sobre alta disponibilidade

A arquitetura de referência foi projetada para ter alta disponibilidade em diversos níveis, como hardware, hipervisor ou aplicações.

• Hardware: componentes de infraestrutura redundante, como servidores, switches, controladores de armazenamento, unidades, módulos de E/S, caminho de rede e periféricos, garantem que o design da solução continue sendo válido em caso de falha de hardware.

• Hipervisor: em caso de falha de servidor Hyper-V, a máquina virtual do banco de dados SQL Server se reinicia nos outros hosts disponíveis no cluster.

Aplicação: para manter a disponibilidade de aplicações do SQL Server em um cenário de recuperação de desastres, o recurso AlwaysOn pode ser usado.

- A réplica primária do banco de dados pode residir na arquitetura de referência baseada em

Dell PowerEdge FX2, enquanto a réplica secundária do banco de dados pode residir em uma localidade remota. Essa réplica secundária pode ser uma VM autônoma do SQL Server ou pode estar implantada em um servidor físico.

- Crie um cluster de sistema operacional convidado no Windows para esse servidor físico/VM do

SQL Server. Hospede um compartilhamento de arquivos em cluster em um local diferente para garantir o máximo de disponibilidade do banco de dados. Nele, implante instâncias autônomas do SQL Server. Crie e identifique grupos de disponibilidade AlwaysOn para os bancos de dados que precisarem ser protegidos contra desastres.

(12)

Local A

Local C

Servidor de compartilhamento  de arquivos  Organização por clusters de VMs do Windows 2012 R2 sem armazenamento compartilhado  SQL 2014 AlwaysON  Grupo de  disponibilidade —  Primário SQL Server VM autônoma

Cluster do Microsoft Hyper-V do Dell PowerEdge Chassi do FX2 Sincronização de dados (sínc. ou assínc.)

Local B

Grupo de  disponibilidade  AlwaysON do  SQL 2014 —  Secundário  Máquina virtual do servidor físico/Hyper-V

A figura a seguir mostra uma arquitetura de amostra no cenário de recuperação de desastres

(13)

Componente Detalhes

Infraestrutura de virtualização 1 chassi Dell PowerEdge FX2

8 HBAs FC suplementares PCIe DP Qlogic QLE 2652 2 módulos de E/S de pass-through de 10 GbE SFP+ Host de virtualização 4 servidores Dell PowerEdge FC630

Processador 2 processadores Intel Xeon da família E5-2660v3 Memória 128 GB; 8 DIMMs DDR4 de 16 GB

HDD 2 SAS de 15 K e 600 GB em RAID 1 para volume do sistema operacional

Rede NDC de duas portas Broadcom 57810

Sistema

operacional Windows Server 2012 R2 Data Center Edition Storage arrays Dell Storage SC4020 com unidades de disco de 24 X 300 GB e 15 K

Rede 2 Dell Networking S4810 para rede de área local (LAN)

2 switches FC de 8 Gbps para rede de área de armazenamento (SAN) de FC

Componente Detalhes

Processador 6 processadores virtuais Memória 64 GB (estáticos) VHDX do

sistema

operacional 1 x 160 GB no armazenamento de VM no SC4020

Rede 2 adaptadores de rede sintéticos para gerenciamento e aplicações SQL Server 2 adaptadores FC virtuais para conectividade FC

Sistema

operacional Windows Server 2012 R2 Data Center Edition

4

Folha de especificações

As tabelas a seguir listam os componentes usados na arquitetura de referência.

Tabela 3 Configuração da arquitetura de referência

(14)

5

Conclusão

A arquitetura de referência descrita neste guia cobre práticas de design envolvidas na implantação de um banco de dados SQL Server em uma arquitetura de PowerEdge FX virtualizada no Microsoft Windows 2012 R2 Hyper-V. O desempenho do banco de dados depende primariamente da plataforma de computação subjacente. O Dell PowerEdge FC630 é comprovadamente o melhor candidato para implantar bancos de dados SQL Server empresariais, por causa de sua imensa capacidade de computação. Outro parâmetro que impacta a aplicação de banco de dados é a disponibilidade. Esse requisito pode ser atendido com a implantação da alta disponibilidade em diversos níveis da arquitetura de referência para evitar um único ponto de falha.

O guia mostrou as melhores práticas usadas para projetar e definir a configuração de referência do Hyper-V e como complementar o design de aplicações SQL Server. Criar uma arquitetura virtualizada correta é crucial, pois ela afeta diretamente o desempenho e a disponibilidade dos aplicativos de datacenter.

A arquitetura de referência mostra como uma instância autônoma de bancos de dados SQL Server pode ser implantada em uma pilha de arquitetura baseada em Hyper-V junto com outras VMs de carga de trabalho. No cenário de recuperação de desastres, o recurso AlwaysOn pode ser usado para criar réplicas primárias e secundárias do banco de dados em dois locais, com um compartilhamento de arquivos configurado em um terceiro local. Isso garante a alta disponibilidade de aplicações em caso de falha no local.

Referências

Documentos relacionados

(2009), sugerem ampliar o levantamento de parasitas para as espécies no local de origem e verificar a ocorrência dos mesmos parasitas em diferentes espécies de hospedeiros,

A hipoatividade dos interneurônios inibitórios, a depressão da atividade supressora rostro-caudal pré- sináptica, a hiperatividade dos inter neurônios excitatórios, a

suítes e nº de banheiros, respectivamente 0,118, 0,502, 0,184, 0,247, 0,241 e 0,276. Dessa for- ma, o modelo pode ser escrito como:.. O presente estudo teve como objetivo ge-

Um Availability Group suporta failover para um conjunto de bancos de dados e aproveita a tecnologia de espelhamento de ban- co de dados (database mirroring) existente para

MCITP: Business Intelligence Developer on SQL Server 2005 Microsoft Certified Database Administrator – SQL Server

Com efeito, para aqueles Estados que ratificaram a Convenção Internacional para a Eliminação de Todas as Formas de Discriminação Racial surge a responsabilidade

Epidemiology of coronary artery bypass grafting at the Hospital Beneficência Portuguesa, São Paulo Epidemiologia da cirurgia de revascularização miocárdica do Hospital

O Curso de Graduação em Terapia Ocupacional do Campus da Baixada Santista da Universidade Federal de São Paulo (UNIFESP) 20 foi criado em 2006, oferecendo 40 vagas por