REDES CORPORATIVAS
MEMÓRIAS DE AULA
AULA 6
DIMENSIONAMENTO DE CABEAMENTO EM DATA
CENTERS
DIMENSIONAMENTO DE CABEAMENTO
O dimensionamento de infraestrutura de cabeamento em Data Centers é uma tarefa que deve ser feita com bastante critério e o máximo de detalhes possível, pois um mal dimensionamento pode ocasionar problemas de escalabilidade (crescimento) e uma possível instalação de expansão dentro das salas de equipamentos com o Data Center em operação, o que pode colocar em risco os serviços e causar paradas não programadas.
O que veremos aqui será um guia de como fazermos esse planejamento e dimensionamento de cabeamento metálico e óptico seguindo as normas TIA-942.
O planejamento deve iniciar pelo entendimento de todas as EDAs existentes e sua capacidade máxima em termos de portas metálicas e de fibra óptica. Somente para relembrar os conceitos, EDA (Equipment Distribution Area) são os racks onde ficam os servidores e storages de uma sala de equipamentos de um Data Center, ele é composto por patch panels e DIOs, para as conexões dos servidores com interfaces metálicas e ópticas respectivamente.
DIMENSIONAMENTO DE CABEAMENTO
Para melhor entendimento do dimensionamento de cabeamento, vamos utilizar o seguinte exemplo:
• Uma sala de equipamentos possui 6 fileiras de racks com 12 racks de servidores em cada fileira;
• Cada rack possui 10 servidores com 2 interfaces metálicas e 1 óptica; • Existem 2 racks reservados para HDA em cada uma das fileiras de 1 a 6; • Existem 2 racks reservados para MDA na fileira 7;
DIMENSIONAMENTO DE CABEAMENTO
EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA HDA HDA
EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA HDA HDA
EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA HDA HDA
EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA HDA HDA
EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA HDA HDA
EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA EDA HDA HDA MDA MDA A B C D E F G H I J K L M N 1 2 3 4 5 6 7
DIMENSIONAMENTO DE CABEAMENTO
Podemos pegar como exemplo o EDA que está na posição B1, como todos os outros, ele possui 10 servidores com 2 interfaces metálicas e 1 interface de fibra óptica em cada servidor. Para conseguirmos conectar todas as interfaces desses servidores, precisaremos de pelo menos 20 interfaces metálicas e 10 interfaces de fibra óptica, para isso utilizamos 1 patch panel de 24 portas e 1 DIO de 12 portas. ProLiant DL2000HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID 10 Patch Cords de Fibra Óptica saindo de cada servidor e chegando até o DIO. 20 Patch Cords metálicos saindo de cada servidor (2 de cada) e chegando até o Patch Panel. DIO Patch Panel Servidores
DIMENSIONAMENTO DE CABEAMENTO
As EDAs se interligam com as HDAs por meio
de espelhamento de
Patch Panels e DIOs. Os
HDAs (Horizontal
Distribution Area) são as áreas, ou racks, que recebem as conexões
vindas dos EDAs
(servidores) e interligam
com os primeiros
switches. Desta forma,
os HDAs são
responsáveis por integrar os EDAs na rede. ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID ProLiant DL2000 HP Node 3 Node 4 Node 1 Node 2 UID
Espelhamento do Patch Panel da EDA com HDA, se o Data Center for Tier III ou IV deverá prever redundância de
caminhos, ou seja, esse espelhamento tem que ser feito com 2 HDAs diferentes.
DIO Patch Panel
Servidores
Espelhamento do Patch Panel da EDA com HDA, se o Data Center for Tier III ou IV deverá prever redundância de
caminhos, ou seja, esse espelhamento tem que ser feito com 2 HDAs diferentes.
DIMENSIONAMENTO DE CABEAMENTO
Os HDAs são responsáveis por integrar vários EDAs, então é importante considerar no dimensionamento a quantidade de RUs (Rack Unit) serão necessários para os espelhamentos de Patch Panels e DIOs, assim como do espaço necessário para switches, espaçadores, PDUs, bandejas, PDUs e qualquer outro elemento que houver no rack. Se o espaço em um rack não for suficiente para suportar todas as conexões vindas dos EDAs, um segundo rack de HDA deve ser considerado, ou um terceiro, quarto, quantos forem necessários. A escolha dos switches nos HDAs deve ser feita tomando como base a quantidade de interfaces metálicas e ópticas serão necessárias por HDA (rack) e o tráfego suportado pelo switch. Outro ponto importante é a segregação do tráfego com base nos servidores para evitar que servidores que não deveriam ter conectividade permaneçam na mesma VLAN, apesar de não ser um fator a ser considerado no projeto físico do cabeamento, é importante salientar que os switches devem suportar esse tipo de segregação.
DIMENSIONAMENTO DE CABEAMENTO
No exemplo abaixo vemos uma HDA que é capaz de interligar seis EDAs, conforme descrito na figura.
Espelhamento de Patch Panel do HDA com 6 EDAs
DIO
Patch Panel
Switch Cisco 4510 com capacidade para 54 portas de Fibra Óptica e 96 portas metálicas 1 2 3 4 Catalyst 4510R 5 6 7 FAN STATUS 8 9 10 FLEX-SLOT
WS-X45-Sup6-E SUPERVISOR ENGINE 6-E
STATUS RESETSUPERVISORACTIVEUTILIZATION
R X 1 0 G B A S F - 1 X 4 ACTIVE X210GbEUPLINK SFP 10GbE34 1 R X 1 0 G B A S F - 1 X 4 UPLINKSX210GbE UPLINK SFP 10GbE56 2 USBCONSOLE 10/100/1000MGT COMPACT FLASH EJECT 1% 100% ACTIVE “E”SERIES T X T X
WS-X45-Sup6-E SUPERVISOR ENGINE 6-E
STATUS RESETACTIVE SUPERVISOR UTILIZATION R X 1 0 G B A S F - 1 X 4 ACTIVE X210GbEUPLINK SFP 10GbE34 1 R X 1 0 G B A S F - 1 X 4 UPLINKSX210GbE UPLINK SFP 10GbE56 2 USB CONSOLE 10/100/1000MGT COMPACT FLASH EJECT 1% 100% ACTIVE “E”SERIES T X T X STATUS WS-X4418-GB
1000 BASE-X SWITCHINGMODULE 12 34 56 78 9101112 1314 1516 1718
STATUS WS-X4418-GB
1000 BASE-X SWITCHINGMODULE 12 34 56 78 910 1112 1314 1516 1718
STATUS WS-X4418-GB
1000 BASE-X SWITCHINGMODULE 12 34 56 78 910 1112 1314 1516 1718
WS-X4648-RJ45V+E “E” SERIES 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748 POWER OVER ETHERNET IEEE 802.3 POE
STATUS 910111210/100/1000 BASE-TPOWER OVER ETHERNET 131415161718192021222348-PORT 24SWITCHING MODULEMULTI-SPEEDGIGABIT ETHERNET25262728293031323334353637383940 POE
WS-X4648-RJ45V+E123456789101112131415161718192021222324252627282930313233343536373839404142434445464748SERIES“E”
POWER OVER
ETHERNET
IEEE 802.3 POE
STATUS 910111210/100/1000 BASE-TPOWER OVER ETHERNET 131415161718192021222348-PORT 24SWITCHING MODULEMULTI-SPEEDGIGABIT ETHERNET252627282930313233343536 37383940 POE SWITCHED SHOULD BE IN THE OFF ‘O’ POSITION TO INSTALL /
REMOVE POWER SUPPLIES. FASTENERS MUST BE FULLY ENGAGED PRIOR TO OPERATING POWER SUPPLY 100-240V~12A 50/60Hz OUTPUT FAIL INPUT 1OK INPUT 2OK 100-240V~12A 50/60Hz POE ENABLED 4200ACV FAN OK
SWITCHED SHOULD BE IN THE OFF ‘O’ POSITION TO INSTALL / REMOVE POWER SUPPLIES. FASTENERS MUST BE FULLY ENGAGEDPRIOR TO OPERATING POWER SUPPLY 100-240V~50/60Hz12A OUTPUT FAIL INPUT 1OK INPUT 2OK 100-240V~50/60Hz12A POE ENABLED 4200ACV FAN OK Catalyst 4510R-E 1 2 3 4 5 6 7 8 9 10 FAN STATUS SUPERVISOR SUPERVISOR Espelhamento de DIO do HDA com 6 EDAs Patch Cords Metálicos interligando os Patch Panels com o switch Patch Cords Ópticos interligando os Patch Panels com o switch
DIMENSIONAMENTO DE CABEAMENTO
Se parássemos o cabeamento nesse ponto poderíamos ter os seis EDAs, com dez servidores em cada interligados, mas ainda falta interligar os outros 11 HDAs, isso se dá por meio do MDA, criamos espelhamentos de cada HDA para os MDAs. Esse espelhamento pode ser feito por cabeamento óptico, metálico ou ambos. Normalmente opta-se por cabeamento óptico. Para o nosso exemplo utilizaremos a interligação entre HDAs e MDAs por meio de cabeamento óptico, dessa forma precisaremos adicionar portas de DIOs em cada HDA, para isso vamos inserir mais um DIO em cada HDA com 4 portas, sendo que duas serão espelhadas em um MDA e as outras duas em um segundo MDA por motivos de redundâncias.
DIMENSIONAMENTO DE CABEAMENTO
Espelhamento de DIO do HDA com MDA 1 2 3 4 Catalyst 4510R 5 6 7 FAN STATUS 8 9 10 FLEX-SLOT
WS-X45-Sup6-E SUPERVISOR ENGINE 6-E
STATUS RESETSUPERVISORACTIVE
UTILIZATION R X 1 0 G B A S F - 1 X 4 ACTIVE X210GbEUPLINK SFP 10GbE3 4 1 R X 1 0 G B A S F - 1 X 4 UPLINKS X210GbE UPLINK SFP 10GbE5 6 2 USBCONSOLE 10/100/1000MGT COMPACT FLASH EJECT 1% 100% ACTIVE “E” SERIES T X T X
WS-X45-Sup6-E SUPERVISOR ENGINE 6-E
STATUS RESETSUPERVISORACTIVEUTILIZATION
R X 1 0 G B A S F - 1 X 4 ACTIVE X210GbEUPLINK SFP 10GbE3 4 1 R X 1 0 G B A S F - 1 X 4 UPLINKS X210GbE UPLINK SFP 10GbE5 6 2 USB CONSOLE 10/100/1000MGT COMPACT FLASH EJECT 1% 100% ACTIVE “E” SERIES T X T X STATUS WS-X4418-GB 1000 BASE-X SWITCHING MODULE 12 34 56 78 910 1112 1314 1516 1718 STATUS WS-X4418-GB
1000 BASE-X SWITCHINGMODULE 12 34 56 78 910 1112 1314 1516 1718
STATUS WS-X4418-GB
1000 BASE-X SWITCHING
MODULE 12 34 56 78 910 1112 1314 1516 1718
WS-X4648-RJ45V+E123456789101112131415161718192021222324252627282930313233343536373839404142434445464748SERIES“E”
POWER OVER ETHERNET
IEEE 802.3 POESTATUS
9101112POWER OVER ETHERNET 131415161718192021222310/100/1000 BASE-T48-PORT 24GIGABIT ETHERNETSWITCHING MODULEMULTI-SPEED252627282930313233343536 37383940 POE
WS-X4648-RJ45V+E123456789101112131415161718192021222324252627282930313233343536373839404142434445464748SERIES“E”
POWER OVER ETHERNET
IEEE 802.3 POESTATUS
9101112POWER OVER ETHERNET 131415161718192021222310/100/1000 BASE-T48-PORT 24GIGABIT ETHERNETSWITCHING MODULEMULTI-SPEED252627282930313233343536 37383940 POE SWITCHED SHOULD BE IN THE OFF ‘O’ POSITION TO INSTALL /
REMOVE POWER SUPPLIES. FASTENERS MUST BE FULLY ENGAGED PRIOR TO OPERATING POWER SUPPLY 100-240V~12A 50/60Hz OUTPUT FAIL INPUT 1OK INPUT 2OK 100-240V~50/60Hz12A POE ENABLED 4200ACV FAN OK
SWITCHED SHOULD BE IN THE OFF ‘O’ POSITION TO INSTALL / REMOVE POWER SUPPLIES. FASTENERS MUST BE FULLY ENGAGED PRIOR TO OPERATING POWER SUPPLY 100-240V~12A 50/60Hz OUTPUT FAIL INPUT 1OK INPUT 2OK 100-240V~ 12A 50/60Hz POE ENABLED 4200ACV FAN OK Catalyst 4510R-E 1 2 3 4 5 6 7 8 9 10 FAN STATUS SUPERVISOR SUPERVISOR
DIO Adicional para espelhamento com MDA
DIMENSIONAMENTO DE CABEAMENTO
Para o dimensionamento dos MDAs temos que considerar a quantidade de HDAs que temos instaladas na sala de equipamentos, a forma de conectividade (óptica ou metálica) e como é a redundância. No nosso exemplo conectaremos cada HDA em cada uma das MDAs, existirão duas MDAs para provermos uma redundância mínima. Desta forma, precisaremos de doze conexões em fibra em cada MDA e switches core para suportar o tráfego de todos os servidores dessa sala de equipamentos. A seguir podemos identificar os recursos necessários em cada MDA.
DIMENSIONAMENTO DE CABEAMENTO
9 8 7 6 5 4 3 2 1PSUFANSUPFABIOM
STATUS
ID
N7K-SUP 1
SYSTEMACTIVEPWR MGMT LINKACT
SERIAL PORT COM1/AUX
SERIAL PORT
CONSOLE 1 LINK ACT
2 HOST PORTS USB DEVICE PORT CMPSTATUS CMP MGMT ETH RESET STATUS ID N7K-SUP 1
SYSTEMACTIVEPWR MGMT LINKACT
SERIAL PORT COM1/AUX
SERIAL PORT
CONSOLE 1 LINK ACT
2 HOST PORTS USB DEVICE PORT CMPSTATUS CMP MGMT ETH RESET STATUS ID N7K-C7009-FAB-2
FAB 1 FAB 2 FAB 3 FAB 4 FAB 5 STATUS ID N7K-C7009-FAB-2 STATUS ID N7K-C7009-FAB-2 STATUS ID N7K-C7009-FAB-2 STATUS ID N7K-C7009-FAB-2 STATUS ID 1 2 3 4 5 6 7 8 DEDICATED PORT N7K-M132XP-12L 9 10 11 12 13 14 15 16 DEDICATED PORT 17 18 19 20 21 22 23 24 DEDICATED PORT 25 26 27 28 29 30 31 32 DEDICATED PORT
LINK STATUS LINK STATUS
STATUS ID 1 2 3 4 5 6 7 8 DEDICATED PORT N7K-M132XP-12L 9 10 11 12 13 14 15 16 DEDICATED PORT 17 18 19 20 21 22 23 24 DEDICATED PORT 25 26 27 28 29 30 31 32 DEDICATED PORT
LINK STATUS LINK STATUS
DIO
Switch Cisco Nexus 7000 com capacidade para 64 portas de Fibra Óptica
Espelhamento de DIO do MDA com 12 EDAs, duas interfaces de fibra óptica para cada EDA. Patch Cords Ópticos interligando os Patch Panels com o switch
DIMENSIONAMENTO DE CABEAMENTO
Exercício:
Uma empresa deseja montar um Data Center Tier III em um ambiente que já está totalmente projetado para seguir os requisitos arquitetônicos, de construção civil, elétrico, segurança e climatização, faltando apenas as especificações de cabeamento estruturado e equipamentos de redes. Na Computer Room deste Data Center estão previstas 10 fileiras de racks de servidores, com 8 racks de servidores em cada fileira e uma ocupação máxima de 12 servidores por rack, devendo ser considerados pelo menos 2 interfaces de Fibra Óptica e 2 interfaces metálicas por servidor.
1- Especifique a infra-estrutura necessária (ativa e/ou passiva) para cada EDA, informando as especificações e quantidade de cada elemento. Informe também a quantidade de EDAs necessária.
2- Especifique a infra-estrutura necessária (ativa e/ou passiva) para cada HDA, informando as especificações e quantidade de cada elemento.
3- Especifique a infra-estrutura necessária (ativa e/ou passiva) o MDA, informando as especificações e quantidade de cada elemento.
BIBLIOGRAFIA
• VERAS, Manoel. Datacenter - Componente Central da Infraestrutura de TI, 1ª Ed. São Paulo: Brasport, 2009.
• SOUSA, L. B. Redes de computadores – Guia total – Tecnologias, Aplicações e Projetos em Ambiente Corporativo. 1ª Ed. São Paulo: Érica, 2009. KUROSE, J., ROSS, • K., JAMES, F. Redes de Computadores e a Internet – Uma abordagem Top-down. 5ª Ed. São Paulo: Pearson Education, 2010.
