Medição de tamanho para Sistemas de Data Mart

(1)

Medição de tamanho para

Sistemas de Data Mart

Angélica Toffano Seidel Calazans

Orientadores: Prof ª Dra. Kathia de Oliveira Marçal Prof. Dr. Rildo Ribeiro dos Santos

Universidade Católica de Brasília

Programa de Pós-Graduação em Gestão do Conhecimento e Tecnologia da Informação

(2)

9Motivação

9Objetivos gerais e específicos

9Revisão de literatura

- Data Warehouse /Data Mart

- Medição e Métricas de tamanho

9Medição para Data Mart

9Aplicação e análise dos resultados

9Conclusões

Roteiro

(3)

Estimar o tamanho

software

9Expectativas mais realistas 9Avaliar e medir resultados

9Conhecer melhor o patrimônio 9Estimar prazo, custo e recursos 9Indicadores tomada de decisões 9Avaliar impacto novas tecnologias

9Indicadores de performance, qualidade, etc 9Allan Albrecht 9APF 9COSMIC FFP 9MK II

Data Mart

Motivação

(4)

Definição de uma proposta de mensuração de tamanho para Projetos de Data Mart

Objetivo geral

Objetivos específicos

9Identificar aspectos diferenciados sistemas transacionais x Data Mart

9Estudar algumas métricas analisando aplicabilidade a este contexto

9Propor adequação de uma das abordagens

9Utilizar e avaliar a nova adequação em projetos de Data Mart

(5)

Data

Warehouse/

Data Mart

Dar suporte aos processos de tomada de decisão

9 Modelagem multidimensional de dados 9 Desnormalização de banco de dados

9 Processo de ETL (Extração, transformação e carga dos dados)

9Tratamento de dados (sumarização,

9 Conjunto de dados orientado por assuntos integrados

9 Variante no tempo 9 Não volátil

(6)

Serviços Armazena-mento de dados Processa-mento Serviços Armazena-mento de dados Processa-mento Data Mart número 1: Dados baseados em um único processo de negócio Data Mart número 1: Dados baseados em um único processo de negócio Ferramentas de consultas específicas Criadores de relatórios Ferramentas de consultas específicas Criadores de relatórios Fatos e dimensões em conformidade Acessar Extrair Extrair Carregar Extrair Data Mart Sistemas Operacionais origem Data staging area Área de apresentação de dados Ferramentas de acesso a dados

(7)

Medição e Métricas de tamanho

Medição

Processo através do qual números ou símbolos

são atribuídos a entidades do mundo real de

forma a tornar possível caracterizar cada

entidade através de regras claramente definidas

Medida

Entidade

Métrica

(8)

Métricas de Tamanho

Algumas métricas de tamanho:

9LOC – Lines of Code (1950/1960)

9Halstead (1972)

9APF – Análise por pontos de função (1979)

9Mark II Functions Points (1991)

9COSMIC FFP – COSMIC Pontos de função cheio (2001)

9Permitem definir uma estimativa da quantidade de trabalho a ser

executada na construção de um software

9São utilizadas para estimativas de esforço e cronograma

9Possibilitam melhor planejamento e suporte a tomada de

decisões

.

(9)

Allan Albrecht/IBM 1974

Características:

9 Estimar o tamanho do software;

9 Medir o que foi requisitado e recebido do usuário;

9 Utilizável desde o início do sistema;

9 Apoiar a análise de produtividade e qualidade;

9 Unidade de medida padrão - PF.

9 Medir funções de dados e transações.

9 Independente da tecnologia;

Análise por pontos de Função - APF

Críticas:

9Não independência de tecnologia

(10)

Análise por pontos de Função - APF

Determinar o fator de ajuste Calcular pontos de funções não ajustados

Contar funções transacionais e suas complexidades

Contar as funções de dados e suas complexidades

Determinar a fronteira

Estabelecer objeto de contagem

APF Fases

Novo Desenvolvimento Manutenção

(11)

Análise por pontos de Função - APF

APF Fases

(12)

Análise por pontos de Função - APF

APF Fases

Arquivos Lógicos Internos (ALI) Arquivos de Interface Externa (AIE)

(13)

Análise por pontos de Função - APF

APF Fases

Entradas Externas (EE) Saídas Externas (SE) Consultas Externas (CE)

(14)

Análise por pontos de Função - APF

APF Fases

Soma ponderada das funções de dados e transações

(15)

Análise por pontos de Função - APF

APF Fases

14 características gerais Escala de 0-5

FA = 0,65 + (0,01 x ‡ graus de

(16)

Análise por pontos de Função - APF

(17)

Medição de Tamanho para Data Mart

9 Processo de construção de sistemas transacionais são diferentes dos sistemas de Data Mart

9Grande esforço em atividades de ETL 9Críticas as métricas existentes

Adequação para Medição de Data Mart

(18)

APF para Data Mart

Mantêm 4 características Adapta 2 características Eliminou 8 características Determinar o fator de ajuste

Idem Calcular pontos de funções não

ajustados

Adequação para a contagem de uma EE para cada ALI

SE e CE sem adequações Contar funções transacionais e suas

complexidades

Adequação para contagem data staging area Adequação para modelos Snow flake

Com necessidade de análise de como será elaborado o processo de extração dos dados Determinar a fronteira

Idem Estabelecer objeto de contagem

Adequação APF APF Fases

(19)

APF para Data Mart – Adequação das Características

9Considerar as diferenças observadas no processo de construção 9Analisar os aspectos que abrangem os fatores de ajuste de APF tradicional (LOKAN) 9Complexidade de desenvolvimento 9Suporte ao usuário 9Arquitetura 9Interação 9Fatores limitantes 9Operação 9Reusabilidade 9Qualidade

9Definir escala seguindo mesmo padrão da APF

9Total de 13 características Î adequação da fórmula de fator de ajuste: FA = 0,67 +(0,01 x ‡ graus de influência das características gerais)

(20)

Características gerais de sistema

Características APF Características aplicáveis contexto Data Mart Processamento distribuído Desempenho Reusabilidade de código Facilidade operacional Características

adaptadas Eficiência usuário final

Processamento complexo Características não aplicáveis contexto Data Mart Comunicação de dados Utilização de equipamento Volume de transações Entrada de dados on line Atualização on line

Facilidade de implantação

Características para Data Mart

Processamento distribuído Desempenho Reusabilidade de código Facilidade operacional Quantidade agregação Qualidade de dados

Utilização de ferramenta p/ ETL Qtd sistemas transacionais Documentação dos sist. trans. Frequência atualização fontes Estrutura dados origem

(21)

Características gerais de sistema

Características APF Características aplicáveis contexto Data Mart Processamento distribuído Desempenho Reusabilidade de código Facilidade operacional Características

adaptadas Eficiência usuário final

Processamento complexo Características não aplicáveis contexto Data Mart Comunicação de dados Utilização de equipamento Volume de transações Entrada de dados on line Atualização on line

Facilidade de implantação Múltiplos locais

Características para Data Mart

Processamento distribuído Desempenho Reusabilidade de código Facilidade operacional Quantidade agregação Qualidade de dados

Utilização de ferramenta p/ ETL Qtd sistemas transacionais Documentação dos sist. trans. Frequência atualização fontes Estrutura dados origem

(22)

Aplicação em projetos reais

Aplicação Planejamento

Instituições pesquisadas: 3 instituições federais Quantidade de sistemas de Data Mart : 10

Critérios utilizados:

9Quantidade de dias por mês 9Carga horária diária

9Quantidade de recursos alocados 9Fator de produtividade

910 projetos já concluídos

9Qtd recursos e prazo (obtidos através entrevistas);

(23)

Aplicação das duas abordagens em projetos de três

instituições

0 200 400 600 800 1000 1200 1400 Qtd PF

I1S1 I1S2 I1S3 I1S4 I1S5 I1S6 I2S1 I3S1 I3S2 I3S3

Qtd PF - APF X Proposta

APF

(24)

Aplicação das duas abordagens em projetos das três

instituições

0 5 10 15 20 25 30 Tem po em m eses

Comparação Tempo real x Estimado APF x Estimado proposta

Tempo real em meses Tempo estimado APF Tempo estimado proposta

(25)

Análise dos resultados

Tratamentos

9do tempo real utilizado para construção do Data Mart 9do tempo estimado após a aplicação da APF

9do tempo estimado após aplicação da proposta

Objetivo

9Verificar qual duas estimativas se aproximavam mais do tempo real

Testes realizados

1o_{) Verificar se as médias eram realmente diferentes Î ANOVA}

(26)

ANOVA

Teste de Tukey

Nivel de significância = 0,05

p-valor da ANOVA= 0,017 < nível de significância

Conclusão Î existe pelo menos uma média estatisticamente diferente.

Nivel de significância = 0,05 Valor de Tukey: 3,2325

Média Tempo proposta - 7,1051 Média Tempo Real - 7,6000

0,4949 3,8715 4,3664 Tempo proposta e tempo real Tempo proposta e tempo APF Tempo real e tempo APF

Diferenças absoluta entre médias

Análise dos resultados

(27)

Conclusões

Objetivos

9Identificar aspectos diferenciados sistemas transacionais x Data Mart 9Estudar algumas métricas analisando aplicabilidade a este contexto

9Utilizar e avaliar a nova adequação em projetos de Data Mart

(28)

Conclusões

Objetivos

9Estudadas as principais características da tecnologia Data Mart e identificadas as principais diferenças

(29)

Conclusões

Objetivos

9Comparar os resultados desta

9Estudadas as abordagens de métricas de tamanho existentes, seus pontos fortes e as críticas existentes.

(30)

Conclusões

Objetivos

9Foi definida a APF como mais indicada

9Foi definida uma proposta de adequação, os mesmos passos foram mantidos, mas, foram criadas novas formas de pontuar as funções de dados e transações. Foram criadas

Medição de tamanho para Sistemas de Data Mart