Oracle Advanced Compression
White paper Oracle Abril de 2008
Oracle Advanced Compression
Introdução...2
Oracle Advanced Compression...2
Compactação de dados relacionais...3
Algoritmo inovador...3
Benefícios da Compressão de Tabelas...4
Mínimo impacto na performance...4
Compactação de dados não-estruturados...6
Desduplicação do SecureFiles...6
Compactação do SecureFiles...7
Compactação de dados de backup...8
Compactação com o Oracle Data Pump...8
Compactação com o Oracle Recovery Manager...9
Compactação do tráfego de rede...10
Conclusão...11
Oracle Advanced Compression
INTRODUÇÃO
As empresas estão vivenciando uma explosão no volume de dados necessários para administrar os negócios com eficácia. Essa tendência no crescimento dos dados pode ser atribuída a vários fatores cruciais. Recentes mudanças no panorama regulamentar, como as legislações Sarbanes-Oxley e HIPAA, estão intensificando essa tendência, obrigando as empresas a reter vastas quantidades de informações por longos períodos. A distribuição em massa de conteúdo rico e multimídia na Internet, possibilitada graças aos avanços das tecnologias de banda larga, também facilitam o crescimento do volume geral dos dados. Impulsionando ainda mais a tendência exponencial desse crescimento está o advento da Web 2.0, em que os aplicativos colaborativos promovem enormes quantidades de conteúdo gerado pelo usuário.
Segundo várias estimativas, o volume dos dados praticamente dobra a cada 2 a 3 anos.
Essa repentina explosão no volume de dados apresenta um desafio de gerenciamento aterrorizante para os administradores de TI. O grande desafio são os custos de armazenamento crescentes. É verdade que o custo por MB de armazenamento vem despencando nos últimos anos, mas o enorme crescimento no volume de dados que precisam ser retidos online torna o armazenamento um dos maiores componentes de custo do orçamento de TI. Além disso, a escalabilidade e performance dos aplicativos precisa continuar atendendo às demandas dos negócios – mesmo diante da explosão no volume de dados.
O Banco de Dados Oracle 11g introduz o opcional Advanced Compression para ajudar os clientes a lidar com esses desafios. As inovações nas tecnologias de compactação da Oracle ajudam os clientes a diminuir os recursos e custos de gerenciamento de grandes volumes de dados. A introdução dessas novas e fascinantes tecnologias vem em momento oportuno, à medida que os bancos de dados com tamanho na casa dos terabytes, antes considerados uma novidade, estão se tornando predominantes nos data centers empresariais.
ORACLE ADVANCED COMPRESSION
O opcional Advanced Compression do Banco de Dados Oracle 11g introduz um conjunto completo de recursos de compactação para ajudar os clientes a maximizar a utilização de recursos e reduzir os custos.
Ele permite aos administradores de TI reduzir significativamente o tamanho do armazenamento de banco de dados geral, possibilitando a compactação de todos os tipos de dados – sejam dados relacionais normais (estruturados), não-estruturados (documentos, planilhas etc.) ou de backup. Além disso, apesar de a economia no custo de armazenamento em geral ser vista como o benefício mais palpável da compactação, as inovadoras tecnologias inclusas no opcional Advanced Compression foram projetadas para reduzir os recursos necessários e os custos de tecnologia em todos os componentes da infra-estrutura de TI, incluindo memória e largura de banda da rede.
Compactação de dados relacionais
A Oracle é uma das pioneiras na introdução da tecnologia de compactação de banco de dados. O Banco de Dados Oracle 9i introduziu a Compactação de Tabelas há vários anos para permitir que os dados fossem compactados durante operações de carregamento em massa, como carregamento de caminho direto, CREATE TABLE AS SELECT…. (CTAS), etc. Esse formato de compactação era perfeito para ambientes de data warehousing, em que a maioria dos dados é carregada no banco de dados usando processos em lote. O Banco de Dados Oracle 11g introduz um novo recurso chamado Compactação de Tabelas OLTP, que permite que os dados sejam compactados durante todos os tipos de operações de manipulação, incluindo DML convencional, como INSERT e UPDATE. Além disso, o novo recurso melhora significativamente a performance reduzindo o impacto das operações de gravação, sendo adequado também para ambientes transacionais ou OLTP. Assim, essa inovação revolucionária estende os benefícios da compactação a todas as cargas de trabalho dos aplicativos.
Convém observar que o recurso de Compactação de Tabelas introduzido no Banco de Dados Oracle 9i é um recurso básico do Enterprise Edition (EE) e continua assim inclusive no Banco de Dados Oracle 11g. Entretanto, o novo recurso de Compactação de Tabelas OLTP faz parte do opcional Oracle Advanced Compression, que precisa ser licenciado além do Enterprise Edition.
Algoritmo inovador
A Oracle usa um algoritmo de compactação exclusivo projetado especificamente para trabalhar com dados relacionais. O algoritmo funciona eliminando valores duplicados em um bloco de banco de dados, inclusive entre várias colunas. Os blocos compactados contêm uma estrutura chamada tabela de
símbolos que mantém os metadados de compactação. Quando um bloco é compactado, os valores duplicados são eliminados primeiramente adicionando uma única cópia do valor duplicado à tabela de símbolos. Cada valor duplicado é substituído por uma breve referência à entrada apropriada na tabela de símbolos. Através desse design inovador, os dados compactados ficam autocontidos no bloco do banco de dados, pois os metadados usados para converter os dados compactados em seu estado original ficam contidos no bloco. Em comparação com os algoritmos de compactação da concorrência que mantêm uma tabela de símbolos do banco de dados global, a abordagem exclusiva da Oracle oferece benefícios de performance significativos porque não envolve I/O adicional ao acessar dados compactados.
Figura 1. Comparação entre o bloco compactado e o bloco não-compactado Benefícios da Compactação de Tabelas
A proporção de compactação atingida em um determinado ambiente depende da natureza dos dados sendo compactados, especificamente da cardinalidade dos dados. Em geral, os clientes podem esperar reduzir o consumo do espaço de armazenamento em 2 a 4 vezes usando o recurso de compactação de tabelas, ou seja, a quantidade de espaço consumido por um volume de dados descompactados será de duas a quatro vezes maior do que a dos dados compactados. Os benefícios da compactação vão além das meras economias no armazenamento em disco. Uma vantagem importante é a capacidade do Oracle de ler os blocos compactados diretamente sem precisar antes descompactar o bloco. Portanto, não há diminuição mensurável da performance ao acessar dados compactados. Aliás, em muitos casos a performance pode melhorar devido à redução de I/O, já que o Oracle terá de acessar menos blocos.
Além disso, você pode obter um cache de buffer mais eficiente armazenando mais dados no cache sem precisar aumentar o tamanho da memória.
Mínimo impacto na performance
Conforme mencionado acima, o recurso de Compactação de Tabelas não causa impacto negativo nas operações de leitura. Entretanto, a compactação exige um esforço adicional durante a gravação dos dados, tornando inevitável eliminar o impacto na performance para operações de gravação. A Oracle empreendeu esforços significativos para minimizar esse impacto para a Compactação de Tabelas OLTP.
O Oracle compacta um bloco em modo de lote, em vez compactar dados toda vez em que ocorre uma operação de gravação. Um bloco recém-inicializado permanece descompactado até que os dados no bloco atinjam um limite controlado internamente. Quando uma transação faz com que os dados no bloco alcancem esse limite, todo o conteúdo do bloco é compactado. Posteriormente, à medida que mais dados são adicionados ao bloco e o limite é atingido mais uma vez, o bloco inteiro é recompactado para atingir o nível mais alto de compactação. Esse processo se repete até que o Oracle determine que o bloco não pode mais se beneficiar de compactação adicional. Somente as transações que disparam a compactação do bloco sofrerão o mínimo impacto na compactação. Portanto, a maioria das transações OLTP em blocos compactados terá exatamente a mesma performance que teria com os blocos descompactados.
Figura 2. Processo de compactação de blocos
Bloco vazio
Bloco inicialmente descompactado Bloco compactado
Bloco parcialmente compactado Bloco compactado
Legenda
Dados de cabeçalho Espaço livre
Dados descompactados Dados compactados
Os gráficos a seguir ilustram o impacto da Compactação de Tabelas OLTP na performance de um aplicativo real. Esses testes foram conduzidos nas dez maiores tabelas de um banco de dados de ERP:
Figura 3. Impacto da compactação na performance
Performance da varredura de tabelas Tempo (segundos)
2,5 vezes mais rápido
Economia de armazenamento MB
3 vezes menor
Performance de DML
Tempo (segundos)
Impacto inferior a 3%
Como fica evidente nesses gráficos, o Advanced Compression proporciona não só economias de armazenamento significativas, como também melhorias de performance para cargas de trabalho com leituras intensas. Para operações de DML, ele tem um impacto baixíssimo devido ao algoritmo de compactação em lote exclusivo descrito anteriormente.
Como habilitar a Compactação de Tabelas
O exemplo a seguir mostra como a Compactação de Tabelas OLTP pode ser habilitada:
CREATE TABLE emp ( emp_id NUMBER
, first_name VARCHAR2(128) , last_name VARCHAR2(128) ) COMPRESS FOR ALL OPERATIONS;
Da mesma maneira, a Compactação de Tabelas pode ser habilitada em ambientes de data warehousing conforme mostrado a seguir. Esta é a sintaxe de compactação padrão:
CREATE TABLE emp ( emp_id NUMBER
, first_name VARCHAR2(128) , last_name VARCHAR2(128)
) COMPRESS [FOR DIRECT_LOAD OPERATIONS];
Compactação de dados não-estruturados
O SecureFiles, um novo recurso do Banco de Dados Oracle 11g, oferece a melhor combinação de arquiteturas para armazenar conteúdo não-estruturado, como documentos, planilhas e arquivos XML. O SecureFiles foi projetado especificamente para oferecer alta performance em dados de arquivos
equivalente à de sistemas de arquivos tradicionais, ao mesmo tempo mantendo as vantagens do banco de dados Oracle. O SecureFiles foi projetado como um superconjunto da norma ANSI LOB e oferece fácil migração originária de antigos LOBs ou BasicFiles. Com o SecureFiles, as organizações agora podem gerenciar todos os dados relacionais e dados de arquivos associados no Oracle usando um único modelo de segurança/auditoria, um processo unificado de backup e recuperação, além de executar pesquisa em todas as informações. O opcional Advanced Compression do Banco de Dados Oracle 11g inclui tecnologias que reduzem drasticamente o tamanho do armazenamento dos dados do SecureFiles.
Desduplicação do SecureFiles
É extremamente comum os aplicativos armazenarem réplicas exatas dos arquivos. Um exemplo típico é um aplicativo de e-mail em que vários usuários podem receber o mesmo anexo. A Desduplicação do SecureFiles é uma tecnologia inteligente que elimina cópias duplicadas dos dados do SecureFiles. O Oracle armazena uma única imagem dos dados do SecureFiles e substitui as cópias duplicadas pelas referências a essa imagem. Considere um aplicativo de e-mail em que dez usuários recebem um e-mail com o mesmo anexo de 1 MB. Sem a Desduplicação do SecureFiles, o sistema armazenaria uma única cópia do arquivo para cada um dos dez usuários – exigindo 10 MB de armazenamento. Se o aplicativo de e-mail de nosso exemplo tivesse usado a Desduplicação do SecureFiles, teria armazenado o anexo de 1 MB apenas uma vez. Isso representa economias de 90% nos requisitos de armazenamento. Além das economias de armazenamento, a Desduplicação do SecureFiles também aumenta a performance do aplicativo. Especificamente, as operações de gravação e cópia são muito mais eficientes porque somente são gravadas referências à imagem do SecureFiles. Além disso, as operações de leitura podem melhorar se os dados duplicados do SecureFiles já existem no cache de buffer.
Figura 4. Desduplicação do SecureFiles Hash seguro
Como habilitar a Desduplicação do SecureFiles
A desduplicação pode ser habilitada para o SecureFiles conforme a seguir:
CREATE TABLE images ( image_id NUMBER, image BLOB)
LOB(image) STORE AS SECUREFILE (TABLESPACE lob_tbs DEDUPLICATE);
Compressão do SecureFiles
O opcional Advanced Compression do Banco de Dados Oracle 11g oferece mais um mecanismo para controlar o tamanho dos dados do SecureFiles. Além da Desduplicação tratada anteriormente, a Compactação do SecureFiles utiliza algoritmos de compactação para minimizar ainda mais o armazenamento necessário aos dados do SecureFiles. A compactação de arquivos típicos, como documentos ou arquivos XML, tem uma redução de 2 a 3 vezes no tamanho. Usando inteligência incorporada, a Compactação do SecureFiles evita automaticamente a compactação de dados que não obteriam benefícios – por exemplo um documento que foi compactado com uma ferramenta de terceiros antes de ser inserido no banco de dados como SecureFile.
Atualmente, dois níveis de compactação são suportados, sendo que o nível mais alto atinge maior compactação, porém exige mais utilização de CPU. O impacto típico da Compactação do SecureFiles na CPU fica entre 3 e 5%. Os aplicativos ainda são capazes de executar leituras e gravações aleatórias nos dados compactados do SecureFiles, porque os dados compactados estão divididos em pequenas porções. Isso pode melhorar em grande medida a performance em comparação com a compactação de arquivos inteiros antes de inseri-los no banco de dados.
Como habilitar a Compactação do SecureFiles
O exemplo a seguir mostra como a compactação pode ser habilitada para o SecureFiles:
CREATE TABLE images (
image_id NUMBER, image BLOB)
LOB(image)STORE AS SECUREFILE (TABLESPACE lob_tbs COMPRESS);
Compactação de dados de backup
Além de compactar dados armazenados no banco de dados, o Oracle Advanced Compression também inclui o recurso de compactar dados de backup. O Oracle Recovery Manager (RMAN) e o Oracle Data Pump são as duas ferramentas mais usadas para fazer backup dos dados armazenados no Banco de Dados Oracle. O RMAN faz um backup de cada bloco dos dados do banco de dados, também conhecido como backup “físico”, que pode ser usado para executar recuperação de banco de dados, tablespace ou em nível de bloco. Em contrapartida, o Data Pump é usado para executar um backup
“lógico” descarregando dados de uma ou mais tabelas em um arquivo simples. O Oracle Advanced Compression inclui a capacidade de compactar os dados de backup gerados por uma dessas ferramentas.
Compactação com o Oracle Data Pump
A capacidade de compactar os metadados associados a um trabalho do Oracle Data Pump é oferecida no Banco de Dados Oracle 10g Release 2. No Banco de Dados Oracle 11g, esse recurso de compactação foi estendido para que os dados de tabela possam ser compactados na exportação. A compactação com o Data Pump é uma operação em linha, por isso o tamanho reduzido do arquivo de despejo significa uma economia considerável no espaço em disco. Diferentemente de utilitários de compactação do sistema de arquivos ou sistema operacional, a compactação do Data Pump é totalmente em linha na importação também, por isso não é necessário descompactar um arquivo de despejo antes de importá- lo. Os conjuntos de arquivos de despejo compactados são descompactados automaticamente durante uma operação de importação, sem exigir quaisquer etapas adicionais do administrador de banco de dados.
No seguinte exemplo de compactação do banco de dados Oracle de amostra, os esquemas OE e SH foram exportados enquanto compactavam simultaneamente todos os dados e metadados. O tamanho do arquivo de despejo foi reduzido em 74,67%.
Três versões do utilitário gzip (GNU zip) e um utilitário de compactação UNIX foram usados para compactar o conjunto de arquivos de depuração de 6,0 MB. A redução no tamanho dos arquivos foi equivalente à da compactação com o Data Pump. Observe que a redução no tamanho dos arquivos de despejo varia dependendo dos tipos de dados e de outros fatores.
A funcionalidade total do Data Pump está disponível usando um arquivo compactado. Qualquer comando usado em um arquivo normal também funcionará em um arquivo compactado. Os usuários têm as seguintes opções para determinar quais partes de um conjunto de arquivos de despejo devem ser compactados:
• ALL permite a compactação de toda a operação de exportação.
• DATA-ONLY permite a gravação de todos os dados no arquivo de despejo em formato compactado.
• METADATA-ONLY possibilita que todos os metadados sejam gravados no arquivo de despejo em formato compactado. Esse é o padrão.
• NONE desabilita a compactação para toda a operação de exportação.
Para obter mais informações sobre o Oracle Data Pump, acesse
http://www.oracle.com/technology/products/database/utilities/index.html
Como habilitar a compactação com o Data Pump
O exemplo a seguir mostra como a compactação pode ser habilitada para o Data Pump:
expdp hr FULL=y DUMPFILE=dpump_dir:full.dmp COMPRESS;
Compactação com o Oracle Recovery Manager
O crescimento contínuo dos bancos de dados empresariais cria um enorme desafio para os
administradores de bancos de dados. Os requisitos de armazenamento para manter os backups de banco de dados e a performance dos procedimentos de backup são afetados diretamente pelo tamanho do banco de dados. O Oracle Recovery Manager (RMAN), um utilitário de backup e recuperação da Oracle, introduziu recursos de compactação no Banco de Dados Oracle 10g. A compactação com o RMAN oferece uma drástica redução no armazenamento necessário para backups. Devido à forte integração do RMAN com o Banco de Dados Oracle, os dados de backup são compactados antes de serem gravados em disco ou fita e não precisam ser descompactados antes da recuperação, oferecendo uma enorme redução nos custos de armazenamento. Entretanto, a performance do backup é afetada devido à grande proporção de compactação, resultando em maiores intervalos de backup.
O Oracle Advanced Compression introduz novos recursos de compactação que melhoram a
performance do RMAN, ao mesmo tempo reduzindo drasticamente o armazenamento necessário para backups. Com base no algoritmo de compactação ZLIB padrão de mercado, os backups compactados no RMAN são até 40% mais rápidos do que os backups compactados no Banco de Dados Oracle 10g. A Oracle atinge essa drástica melhoria na performance enquanto reduz a proporção de compactação em menos de 20%. A rápida compactação do RMAN é uma solução perfeita para backups incrementais ocorridos durante o expediente de trabalho normal.
Os gráficos a seguir ilustram o impacto da compactação no tamanho e performance do backup do RMAN. Esses testes foram conduzidos em um banco de dados de ERP real.
Figura 4. Compactação com o RMAN
Comparação do tamanho do backup
A compactação reduziu o tamanho do backup em 6 vezes.
Sem compactação Compactação no 10g Compactação no 11g
Comparação de velocidade do backup – I/O rápido (disco)
A compactação no 11g é quase 2,5 vezes mais rápida do que a compactação no 10g Sem compactação
Compactação no 10g Compactação no 11g
Comparação de velocidade do backup – I/O lento (fita)
A compactação no 11g reduz o tempo de backup em quase 3 vezes Sem compactação
Compactação no 10g Compactação no 11g
Esses gráficos demonstram que o opcional Advanced Compression do Banco de Dados Oracle 11g oferece backups de RMAN compactados muito mais rápidos em comparação com o Banco de Dados Oracle 10g. Isso ajuda a manter o intervalo de backup curto e reduzir o tamanho dos backups.
Como habilitar a compactação com o RMAN
A sintaxe para a rápida compactação no RMAN é esta:
RMAN> CONFIGURE COMPRESSION ALGORITHM ‘zlib’;
A compactação do RMAN pode ser executada da seguinte maneira:
RMAN> backup as COMPRESSED BACKUPSET database archivelog all;
Compactação do tráfego de rede
O Oracle Data Guard oferece a infra-estrutura de software de gerenciamento, monitoração e automação para criar, manter e monitorar um ou mais bancos de dados de standby, a fim de proteger os dados empresariais contra falhas, catástrofes, erros e corrupções de dados. O Data Guard mantém a sincronização de bancos de dados principais e de standby usando dados de redo (as informações necessárias para recuperar uma transação). Como as transações ocorrem no banco de dados principal, os dados de redo são gerados e gravados nos arquivos de log de redo locais. Os Serviços de Transporte de Redo do Data Guard são usados para transferir esses dados para o(s) local(is) de standby.
Indisponibilidades na rede ou no servidor de standby podem impedir que os dados de redo sejam transportados para o servidor de standby. Quando a indisponibilidade é resolvida, o Oracle executa automaticamente uma resolução de lacunas de redo, transportando todos os dados de redo necessários para sincronizar o banco de dados de standby. O Oracle Advanced Compression introduz o recurso de compactar os dados de redo conforme são enviados pela rede durante a resolução de lacunas. Através dessa compactação, a largura de banda da rede é maximizada para aumentar a taxa de transferência da resolução de lacunas, que pode ficar até duas vezes mais rápida com a compactação, garantindo que o banco de dados de standby seja sincronizado rapidamente e a alta disponibilidade seja alcançada.
Para obter mais informações sobre o Oracle Data Guard, acesse http://www.oracle.com/technology/deploy/availability/index.html CONCLUSÃO
A explosão no volume de dados vivenciada pelas empresas apresenta desafios importantes. As empresas precisam se adaptar rapidamente às mudanças no panorama dos negócios sem afetar os resultados finais.
Os gerentes de TI precisam gerenciar com eficiência sua infra-estrutura existente para controlar custos e ainda continuar oferecendo extraordinária performance nos aplicativos.
O opcional Advanced Compression do Banco de Dados Oracle 11g fornece um conjunto robusto de recursos de compactação que permitem aos gerentes de TI obter sucesso nesse complexo ambiente.
Utilizando o opcional Advanced Compression, as empresas podem gerenciar de maneira eficiente o aumento nos requisitos de dados em todos os componentes do data center, minimizando os custos e ao mesmo tempo continuando a alcançar os mais altos níveis de performance dos aplicativos.
Banco de Dados Oracle 11g Oracle Advanced Compression Abril de 2008
Autor: William Hodak
Colaboradores: Carol Palmer, Timothy Chien, Sushil Kumar, Ajeet Singh Oracle Corporation
Filial Brasil
Av. Alfredo Egídio de Souza Aranha, 100 – 5º andar Chácara Santo Antônio – São Paulo – SP – 04726-170 Brasil
Telefone para contato: 0800-891-4433 Internet: www.oracle.com/br
Copyright © 2007, Oracle. Todos os direitos reservados.
Este documento é fornecido com propósito meramente informativo, e as informações aqui contidas estão sujeitas a alterações sem prévio aviso.
Este documento pode não estar isento de erros, nem está sujeito a nenhuma outra garantia ou condição, seja expressa oralmente ou implícita pela lei, incluindo garantias implícitas e condições de comercialização ou adequação a um propósito específico. A Oracle especificamente se isenta de qualquer responsabilidade com respeito a este documento. Nenhuma obrigação contratual é estabelecida direta ou indiretamente por este documento. Este documento não pode ser reproduzido ou transmitido de forma ou meio algum, seja mecânico ou eletrônico, para nenhuma finalidade, sem autorização prévia expressa por escrito.
Oracle é uma marca registrada da Oracle Corporation e/ou de suas afiliadas. Outros nomes podem ser marcas comerciais de seus respectivos proprietários.
