Desduplicação – o que é isso?
O HP StoreOnce elimina com eficácia dados duplicados afim de reduzir o volume de
backup armazenado em disco
– Compara blocos de dados sendo escritos no
equipamento com dados já armazenados.
– Se encontrado dado duplicado,um ponteiro
demarcará o dado original.
– Isso remove, ou “desduplica”, os blocos
redundantes.
– O HP StoreOnce Backup Systems permite a
compressão de dados utilizando a
desduplicação de maneira única antes de
armazenar o dado.
Backup 1
Backup 2
Backup 3
Backup 4
Backup 5
Blocos exclusivos
Gravados no StoreOnce
Quais benefícios são alcançados com a desduplicação?
1.
Manter mais dados em disco –10x mais dados em disco
−
Permitir retenções maiores em disco antes de arquivar em fita ou comprar mais disco
−
Melhorar o nível de serviço permitindo recovery mais rápido
−
Utilização mais efetiva de storage, reduzindo custo por GB para backup
2.
Habilita replicação eficiente
−
Reduz custos com links de replicação de menor velocidade
−
Permite realizar backup remoto e DR com custo menor
−
Reduz overhead no sites remotos de gerenciamento backup, fitas.
3.
Flexibilidade
−
Permitir a execução do backup e desduplicação em diferentes camadas
Características do algoritmo de desduplicação
Dado de backup “chunking”
• Variével – ajusta o tamanho do chunk conforme necessário
•
Divide o dado nos melhores pontos para desduplicação
• Fixo – chunks rígidos– não é recomendado para desduplicação
O tamanho do chunk é muito importante
:
•
StoreOnce – 4K chunks variáveis
•
Data Domain – 8K chunks variáveis
•
Avamar – 10K chunks variáveis
•
Symantec – 64K chunks fixos
Nota Importante:
StoreOnce utiliza o algoritmo de desduplicação mais eficiente do mercado!
Backup de imagens, imagine que cada palavra seja um arquivo
Chunking – Um exemplo em inglês
“I w
.o ke up in the m
.o rning and g
.o t a
cup
.o f c
.o ffee bef
.o re checking my
backups fr
.o m last night.”
Variable
chunking
“I woke up
in the mor
ning and g
ot a
cup o
f coffee b
efore chec
king my
ba
ckups from
last night.”
Fixed
chunking
“I woke up in the morning and got a cup
of coffee before checking my backups
from last night.”
Data
Stream
[based on the letter ‘o’]
[every 10 characters]
Nos chunkings fixos todos os blocos nao se encaixam depois da alteração
Exemplo – Chunking Fixo
“I woke up
in the mor
ning and g
ot a
cup o
f black
co ffee befor
e checking
.
my backup
. s from
las . t night.”
“I woke up
. in the
mor . ning
and g . ot
a
cup o . f coffee
b . efore
chec . king
my
ba . ckups
from . last night.”
Previous
New
“I woke up in the morning and got a cup
of
black
coffee before checking my
backups from last night”
New
data
stream
Eficiência!
Exemplo – Chunking Variável
“I w
.o ke up in the m
.o rning and g
.o t a cup
f c
o ffee bef
o re checking my backup fr
om last night.”
“I w oke up
in the m
or ning and g
ot a cup
of black c
offee bef
ore checking my backup fr
om last night.”
7 out of 8 chunks match – 80% savings.
“I woke up in the morning and got a cup
of
black
coffee before checking my
backups from last night”
Previous
New
New
data
StoreOnce Data Ingestion Process
1.
Variable chunking – intelligent algorithm based loosely on 4k blocks
2.
Hashing – combination of MD5 & SHA-1 to insure collision integrity
3.
Container matching – comparing new data with old data
4.
Sparse indexing – compares existing container patterns with incoming data stream to
quickly identify existing data patterns on disk.
5.
De-duplication – data that is already on disk or identical to other data in the incoming data
stream is not written to disk.
6.
Compression – depending upon the type of data, ratio can typically be anywhere from
1.5:1 - 5:1
7.
Commit (write) de-duplicated data to disk
8.
Housekeeping – process that looks for expired data on disk and removes references to it.
Destino – StoreOnce
Desduplicação – Onde posso obtê-lo?
• Desduplicação onde o dado é criado
• Elimina necessidade de hardware extra nos escritório remotos
• Reduz consumo de rede IP
• Retira carga de processamento da desduplicação da aplicação e do
destino.
• Explora o maximo de throughput oferecido pelo destino
• Utilização eficiente da infra de backup
• Pode utilizar storage genérico
• Otimizado para backup de dados
• Implementação mais simples– Sem mudanças operacionais
Aplicação - ORIGEM
Servidor de Backup
NEW
Oferece proteção confiável aos sites remotos
Replication to target
D2D Backup System
Site Principal
Escritórios Remotos
HP D2D Backup System at
each site
– Backup diarios agendados ao
StoreOnce
– Não requer manutenção
– Utilização eficaz dos discos de backup
– Replicação de dados eficiente
– Gerenciamento centralizado para todos
os sites
Replicação de dados com eficiência
3. Replicação dos
blocos alterados
e do metadado
entre backup A e
B
Target StoreOnce System
2. Desduplicação
Source StoreOnce System
A
B
A
B
A
1. Backup
4. Replicação no Target
B
WAN Link
Como atingir as janelas de backup ?
Consolidação:
Múltiplos backups paralelos
130TB/hr Catalyst
40TB/hr Nativo StoreOnce
Melhorar gerenciamento:
Interface única de
gerenciamento
Aumentar flexibilidade:
Consolidar backups de
várias plataformas num único dispositivo
Escalar:
Capacidade e performance alinhado com
crescimento dados sem mudar arquitetura
Aumentar eficiência:
Desduplicação
The image
Como atingir uma recuperação rápida ?
Performance de Restore:
119% da velocidade do backup
Backup em Disco:
Recuperação mais rápida do que Fita
Maior retenção:
Até 20x mais dados em disco
Possibilita reter meses de backup
Restore simples:
Restore a partir de somente um device para
diversas plataformas, OS ou aplicativo de
backup
FC
4Gb/8Gb FC
8G
b
F
C
Sw
itc
h
10GbE
10
G
b
E
Sw
itc
h
LAN
Via CIFS/NFS
Via iSCSI VTL
Via VTL
Backup
Virtual
Console Única
RESTORE!!!
O StoreOnce funciona no meu ambiente?
Fabric:
Ethernet (VTL)
Ethernet (CAT)
Ethernet (CIFS)
Ethernet (NFS)
Fibre (VTL)
Targets disponíveis:
Virtual Tape
Catalyst
CIFS NAS
NFS NAS
Servidores de
Backup:
Windows
Linux
Solaris
HP-Ux
AIX
Aplicações de
Backup:
ArcServe, BackUp
Exec, Netbackup,
Data Protector,
Networker, TSM,
Veeam, Commvault
Dispositivos de Fita:
HP
Quantum
StorageTek
Ou qualquer outro
fabricante
De qualquer
origem:
HP Servers &
Storage
Dell, IBM, NetApp,
EMC, Apple,
Ou qualquer outro
HP StoreOnce Backup Family
StoreOnce in
HP Data Protector
4500
Series
6500
Series
5.5TB usable
Scalable to
36TB usable
Scalable to
160TB usable
VSA
Series
2700
Series
4700
Series
Scalable to
1.7PB usable
4900
Series
Scalable to
432TB usable
Polymorphic simplicity
ONE Architecture
• Small sites to Enterprise to xSP
• Backup and Replicate anywhere
StoreOnce Catalyst
HP StoreOnce disk-based backup systems
HP StoreOnce Backup:
StoreOnce
VSA
2700
4500
4700
4900
6500
Raw Capacity
N/A
8 TB
24-48 TB
24-192TB
60-560 TB
120-2240 TB
Usable Capacity
Up to 10TB
5.5 TB
16-36 TB
20-160 TB
36-432 TB
72-1728 TB
Scalability – additional disks
(usable)
Scale up in
increments of 1TB
virtual disks
None
One expansion kit to
double raw capacity
Add 7 more
expansion shelves
11 more expansion kits
across 2 drawer units
Multi-node scalability across 2x
42U racks
Performance (native VLS)
N/A
Up to 1.3 TB/hr
Up to 5.4 TB/hr
Up to 7.6TB/hr
Up to 8.5 TB/hr
Up to 63.2 TB/hr
Performance (StoreOnce
Catalyst)
Up to 500GB/hr
Up to 3.7 TB/hr
Up to 9.9 TB /hr
Up to 22 TB/hr
Up to 22TB/hr
Up to 139TB/hr
iSCSI Interface
N/A
4x 1Gb
2x 10 Gb and 4x 1Gb
Ethernet
2x 10 Gb and 4x 1Gb
Ethernet
2x 10 Gb and 4x 1Gb
Ethernet
8 x 1Gb Ethernet and 4 x10Gb
Ethernet Per Couplet
FC Interface
N/A
None
2x 8Gb
2x 8Gb
4x 8Gb
8x 8Gb
RAID
N/A
H/W 5
H/W 6
H/W 6
H/W 6
H/W 6
Base form factor
N/A
1U
2U-4U
2U-16U
7U-12U
Provided in 42U 1075mm rack
Fan-in
N/A
8
24
50
50
384
Deduplication-enabled
replication
Yes – StoreOnce &
Catalyst
Yes – StoreOnce &
Catalyst
Yes – StoreOnce &
Catalyst
Yes – StoreOnce &
Catalyst
Yes – StoreOnce &
Catalyst
Extension to the single federated deduplication architecture and a key component of
HP’s emerging Software Defined Storage portfolio
HP StoreOnce VSA
StoreOnce VSA
• HP StoreOnce delivered as a VMware virtual appliance
• Hardware agnostic (runs in any x86 server)
• Single license enables from 1 to 10TB of usable capacity
(200TB logical equivalent with >20:1 data deduplication)
• Key part of StoreOnce portfolio to deliver cost effective and
comprehensive data solution for
• ITaaS & BaaS, Enterprise ROBOs
• Move data between sites & systems in deduplicated form
• Centralized management of all backup and copy activities
Try VSA free for 60 days at
Architectural Overview
• Developed 100% by HP Labs
• Modular 64-bit architecture
• Lightweight Linux environment
• Supports single or multi-node systems
• Well-defined target interfaces
• Engine runs as a user space app
• Uses industry-standard components
• No dependencies
Operating Environment
File System
StoreOnce Engine
CAT.
VTL
NAS
M
G
M
T
RAID
HP StoreOnce Backup Targets
• Multiple interfaces as backup targets
• Tape emulation: VTL
• General purpose network interfaces: NFS, CIFS
• Data protection optimized interface and protocol: Catalyst
• Catalyst is a HP developed and owned, TCP/IP based
protocol, optimized for backup and restore data transfer
• Catalyst has a client – server architecture
• Server runs on the StoreOnce appliance
• Client component is integrated with the backup application
VTL
NAS
Catalyst
Backup Application
Catalyst
HP StoreOnce Catalyst
Superior control, performance and supportability
compared to VTL & NAS targets
• Control of StoreOnce functions through backup application
for a single point of control
• Faster backup
• Enhanced supportability and troubleshooting
Ap
plica
tion
Back
up
Ser
ver
Target
dedupe
Source
dedupe
Network
dedupe
Catalyst
Catalyst
Catalyst
Catalyst
Catalyst
Catalyst
Catalyst
Catalyst
Catalyst
Extended StoreOnce Catalyst Ecosystem
Ap
plica
tion
Clien
t
Back
up
Ser
ver
Catalyst
Oracle
RMAN
RMAN plugin
Catalyst
BridgeHead
Software
Catalyst
HP Data
Protector
Catalyst
Symantec
NetBackup
OST
Catalyst
Symantec
Backup Exec
OST
Catalyst
new
plugin
new
integration
enhanced
StoreOnce Security Pack
Data-at-Rest Encryption (software based):
• Provides protection of data on stolen, discarded or replaced disks
• Support: Catalyst and VTL
• AES-256 encryption algorithm
• Local Key Management
• Standard FIPS 140-2 level 1 capable
• Minimal performance penalty
Secure Erase functionality (Data Shredding):
• Protection against recovery of deleted data by allowing customers to securely
erase confidential data
• Erase data backed up to a VTL, NAS or Catalyst stores
• NIST SP 800-88 standard
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 24
