Oracle Data Integration Integre seus dados na Nuvem SES16413

(1)

Oracle Data Integration

Integre seus dados na Nuvem

SES16413

Murilo Nascimento

Especialista em Soluções

Cezar Santos

CEO, infostrategy

Junho 25, 2015

(2)

Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for

information purposes only, and may not be incorporated into any contract. It is not a

commitment to deliver any material, code, or functionality, and should not be relied upon

in making purchasing decisions. The development, release, and timing of any features or

functionality described for Oracle’s products remains at the sole discretion of Oracle.

(3)

InfoStrategy

(4)

Agenda



Introdução



_{Oracle Data Integration – Visão Geral}



Integração com a Nuvem

(5)

Integração e Governança de Dados

Replicação de dados em tempo real

–

Captura de baixo impacto, replicação para

tecnologias heterogêneas

–

Disponibilidade de dados contínua

Transformações de Dados

–

Movimentação massiva de dados

Federação de Dados

–

Consultas em Hadoop com SQL via JDBC

Qualidade de Dados

–

Validação de consistência dos dados

–

Resolução de problemas de qualidade de

dados

Gestão de Metadados

–

Análises de Impacto e “linhagem” de dados

–

Glossário de Negócios

Data Governance

Foundation

Oracle Data Integrator

(Transformation)

Enterprise Data Quality

(Profile, Cleanse, Match and De-duplicate)

Fast

Load

Oracle GoldenGate

(Movement)

Enterprise Metadata Management & Business Glossary

(Business Glossary, Data Lineage, Impact Analysis and Data Provenance)

Data Service Integrator

(Federation)

GoldenGate Veridata

(Online Data Verification)

ELT Processing

on Hadoop or SQL

(6)

Integração de Dados Oracle

(7)

Oracle Data Integrator

Big Data

Cloud

Apps

Database

Oracle Data Integrator

E-LT de alto desempenho

Design Declarativo

Módulos de Conhecimento

(KM) customizáveis

Serviços de Dados

Dados estruturados e não

estruturados

• Certificado com as

principais tecnologias

de mercado

• Arquitetura E-LT

• Flexível, facilmente

customizável

(8)

Oracle Data Integrator

Arquitetura E-LT

• Melhor utilização dos recursos já

existentes (Hardware e Software)

• Sem necessidade de infraestrutura

dedicada para integração

–

Sem necessidade de movimentar os dados

diversas vezes pela rede

Arqtuitetura ETL

Extract

_Load

Transform

Arquitetura

“E-LT”

Load

Extract

Transform

(9)

Oracle GoldenGate

Big Data

Cloud

Apps

Database

Oracle GoldenGate

Replicação de dados baseada

em logs transacionais (CDC)

Suporte a arquiteturas

“ativo-ativo”

Heterogeneo

Integridade transacional

preservada

Suporte a Java, Detecção

de eventos em tempo real

• Integração através da

replicação de

transações com alto

desempenho e de

maneira não intrusiva

• Dados disponíveis no

tempo certo para o

negócio

(10)

Oracle GoldenGate

JMS

Data Integrator

New DB/

HW/OS/APP

Fully Active

Distributed

DB

Reporting

Database

Data

Warehouse

ODS

Zero Downtime Upgrade

& Migration

Query & Report Offloading

Data Synchronization within the

Enterprise

Real-time BI, Operational

Reporting, MDM

Event Driven Architecture, SOA

High Availability/ Disaster

Recovery

Message

Bus

Global

Data

Centers

Low Impact Log

Based Capture

(11)

Oracle Enterprise Data Quality

Cloud

Apps

Database

Oracle Enterprise Data

Quality

Perfil, exploração e auditoria

dos dados

Análise,padronização e

limpeza dos dados

Deduplicação e

Enriquecimento da informação

Governança

Gestão dos dados

voltada ao negócio

• Melhorar a qualidade

dos dados e

consequentemente da

Informação

• Interface única do

desenvolvimento ao

negócio, simplificando a

implementação

(12)

(13)

(14)

Oracle Enterprise Data Quality - Standardization

Name:

Dr Ellen Van Der Heijde

Title:

Dr

First:

Ellen

Last:

Van Der Heijde

Gender:

Female

Title:

Mr

First:

R

Middle:

J

Last:

MacDonald

Gender:

Male

Name:

Mr RJ & Mrs FB MacDonald

Title:

Mrs

First:

F

Middle:

B

Last:

MacDonald

Gender:

Female

Name:

Jalila Abdul-Alim (Do Not Call)

First:

Jalila

Last:

Abdul-Alim

Gender:

Female

(15)

Oracle Enterprise Data Quality - Matching

Title:

Mr

First:

Robert

Last:

Fulmar

Gender:

Male

DoB:

12/05/1978

Phone:

555-120-1329

Address:

9405 Main St

Fairfax

Virginia

22030

First:

Bob

Last:

Fulmar

Gender:

Male

Email:

[email protected]

Title:

Dr

First:

R

Last:

Fulmer

DoB:

01/01/1978

Email:

[email protected]

Address:

9407 Main Street

Fairfax

VA

22031-4001

Title:

Dr

First:

Robert

Last:

Fulmar

Gender:

Male

DoB:

12/05/1978

Email:

[email protected]

Phone:

555-120-1329

Address:

9407 Main St

Fairfax

VA

22031-4001

(16)

Oracle Enterprise Metadata Management

Cloud

Apps

Database

Oracle Enterprise

Metadata Management

Linhagem de dados fim a fim

Análises de impacto

Glossário de negócio

Aberto e heterogêneo

Versionamento

• Garantir que o usuário

de negócio confia na

informação

• Melhorar a integração

entre negócio e

tecnologia da

informação

• Redução de riscos

(17)

Oracle Enterprise Metadata Management

ETL

BI

Dashboards

App

ETL

Como estas

informações de vendas

foram calculadas?

O que acontecerá

se eu mudar esta

tabela?

Quais relatórios

utilizam os dados

deste Mainframe?

_{Administrador}

de Sistemas

Executivo

Desenvolvedor de BI

Qual a fonte

destes

dados?

Uusário da

Aplicação

Quais relatórios

utilizam estes

dados de cliente?

CDC

Hadoop

Data Lake

Data Steward

Posso confiar nestas

inforamções de

clientes?

Desenvolvedor

de ETL

Quero criar um experomento

para avaliar o sucesso de

uma campanha. Quais

dados eu tenho?

Cientista de Dados

GG

(18)

Oracle Enterprise Metadata Management

Linhagem de dados

Fácil navegação

Colaboração TI/Negócio

Interface simples

(19)

(20)

Integração com a Nuvem

Integração BI Cloud



Suporte a plataformas analíticas

Oracle e não Oracle

Integração SaaS/

on premises



Extração de dados de aplicações

na nuvem para Data Warehouse

on premises



Sincronismo de dados entre

aplicações on premises e na

nuvem (SaaS)

Integração Database Cloud



Consolidação de Bancos de Dados

na Nuvem



Replicação entre bancos de dados

on premises e Database as a

(21)

Caso #1 – Database Cloud

• Sincronismo

entre os bancos de dados

na nuvem e on premises com o

Oracle

GoldenGate

• Movimentações massiva de dados

podem ser realizadas com o auxílio do

(22)

Caso #2 – Integração entre SaaS e sistemas on premises

• Transferência de grandes volumes de dados

utilizando o

Oracle Data Integrator

• Sincronismo em tempo real entre bases de

dados com o

Oracle GoldenGate

• Melhor qualidade da informação com o

Oracle Enterprise Data Quality

• Gestão dos metadados de todas as etapas da

integração entre os sistemas na Nuvem e on

premises com o

Oracle Enterprise Metadata

Management

Aplicações na Nuvem para

On-Premises

Extração de dados da nuvem e transporte para

sistemas on premise (integração ou relatórios)

On-Premises para Aplicações na

Nuvem

Cargas de dados de sitemas locais para

aplicações na Nuvem

(23)

Caso #3 – Integração com serviços analíticos na Nuvem

• Extração, Carga e Transformação

de dados de sistemas on premises

para os serviços analíticos na

Nuvem com o

Oracle Data

Integrator

• Garantia de qualidade da

informação com o

Oracle

Enterprise Data Quality

e

Metadata Management

• Infomração disponível no tempo

certo com o auxílio do

Oracle

GoldenGate

Oracle Data Integrator

Oracle

GoldenGate

Big Data

Sistemas Legados

Oracle & Não-Oracle

Database(s)

_{Oracle Enterprise}

Data Quality

Oracle

Data Integrator

(24)

(25)

Foco de atuação

Produtos Oracle:

• OBIEE;

• ODI;

• Banco de Dados;

• WebLogic;

• GoldenGate

• Endeca...

Softwares e

Hardware

Consultoria

e Projetos

Especializados em:

• OBIEE;

• ODI;

• Database;

• WebLogic;

• Hyperion;

• Entre outros.

• Arquitetos;

• Analistas;

• Desenvolvedores;

• Especialistas;

• Gerentes;

• Entre outros.

• OBIEE;

• ODI

• OWB;

• BI Publisher;

• Crystal Ball;

• Entre outros.

Alocação

Mentoring

(26)

Recursos

(27)

Recursos

(28)

(29)