De SGBD a Gerência de Dados

(1)

De SGBD a Gerência de Dados

Carlos A. Heuser

ERBD 2012 Curi5ba

(2)

Pesquisa, ensino e trabalho na área de BD

-‐-‐

Passado, presente e futuro

Uma visão pessoal e limitada

(3)

Obje>vo

• _{Tentar
responder
a
perguntas:}

– 

Ainda há o que pesquisar em BD?

– 

Se sim, quais os temas?

– 

O que alguém que quer trabalhar na área deve aprender?

– 

O que devemos ensinar?

(4)

Roteiro

•  Evolução histórica de banco de dados •  Evolução da pesquisa na área de BD

–  Perﬁl do pesquisador (ontem) –  Evolução dos temas de pesquisa –  Perﬁl do pesquisador (hoje)

(5)

Roteiro

•  Evolução histórica de banco de dados

•  Evolução da pesquisa na área de BD –  Perﬁl do pesquisador (ontem) –  Evolução dos temas de pesquisa –  Perﬁl do pesquisador (hoje)

(6)

Linha de tempo de BD

6

(7)

(8)

Pré-‐história (antes de 1970)

• _{Limitações
de}

_hardware

_→

– 

Limitações de

so\ware

• _{Baixíssimo
nível
de
abstração}

• Sistemas de gerência de arquivos

(9)

(10)

Como era a área (70-‐85)

• _{Muitos
recursos
para
pesquisa
em
BD.}

(11)

Como era a área (70-‐85)

• _{Muitos
recursos
para
pesquisa
em
BD.}

• _{Muitos
grupos
de
BD
espalhados
pelo
mundo.}

(12)

Como era a área (70-‐85)

• _{Principal
resultado:}

–  Modelo de dados relacional de Codd (IBM) –  Técnicas para implementá-‐lo

(13)

Principais resultados da pesquisa

(70 a 85)

• Teoria de banco de dados

–  resultou na formalização do modelo relacional

• SQL

–  linguagem declara5va de programação

• O5mização de consultas

(14)

Principais resultados da pesquisa

(70 a 85)

• Gerência de transações

–  algoritmos eﬁcientes para concorrência e reconstrução suportando grandes bases e grande número de usuários

(15)

Primeiros protó>pos e produtos

• System R (IBM)

(16)

Primeiros protó>pos e produtos

• System R (IBM)

• INGRES (Berkeley)

(17)

Indústria de soTware de BD

• _{Pesquisas
na
área
de
BD
resultaram
em
uma
importante}

indústria de so\ware.

• _{2007
(IDC):}

–  US$ 19 bilhões Oracle 45% IBM Microso\ 15% Outros

(18)

(19)

Indústria de soTware de BD

• Mercado de SGBDs

parou de crescer

.

• Grandes usuários de SGBD já o adquiriram:

sistemas legados

.

• Novos usuários:

–  Grande crescimento de bases de dados baseadas em so\ware livre

(MySQL, PostgreSQL).

(20)

SGBD omnipresente

• _{Originalmente:}

–  SGBD era u5lizado em sistemas de informação gerenciais

• _Hoje:

–  SGBD tornou-‐se sistema de arquivos de alto-‐nível

–  Aparece em todo 5po de aplicações

(21)

SGBD omnipresente

• Originalmente:

–  SGBD era u5lizado em sistemas de informação gerenciais

• Hoje:

–  SGBD tornou-‐se sistema de arquivos de alto-‐nível

(22)

Roteiro

–  Perﬁl do pesquisador (ontem)

–  Evolução dos temas de pesquisa –  Perﬁl do pesquisador (hoje)

(23)

Perﬁl dos pesquisadores

• Theory guys

(24)

O que era necessário saber para

pesquisar na área

• Theory guys

–  Uma boa base de lógica matemá5ca

–  Muitos pesquisadores de teoria de BD oriundos da área de

teoria da computação

(25)

O que era necessário saber para

pesquisar na área

• System guys

–  Sistemas operacionais

–  Rudimentos de arquitetura de computadores (principalmente, disposi5vos de armazenamento)

–  Linguagens de programação e compiladores (?)

(26)

Áreas de pesquisa compar>mentadas

• Mesmo ocorria em outras áreas clássicas da Computação

(Redes, Linguagens de programação, Sistemas

distribuídos,. . . ).

26

• _{Áreas
de
pesquisa
eram
bem}

compar5mentadas

• Pouca cooperação entre

pesquisadores de áreas

diferentes

(27)

Roteiro

–  Perﬁl do pesquisador (ontem)

–  Evolução dos temas de pesquisa

–  Perﬁl do pesquisador (hoje)

(28)

Como era a pesquisa

• Temas

das sessões das conferências:

– 

1975-‐1984

– 

SIGMOD

– 

VLDB

(29)

Temas de sessões SIGMOD e VLDB pré-‐85

• nuvem de termos

que aparecem nos

otulos de sessões

• foram

excluídas

:

§ 

stop words

§ palavras muito comuns que não

caracterizam o tema de pesquisa:

(30)

Temas de sessões SIGMOD e VLDB pré-‐85

(31)

(32)

Temas de sessões SIGMOD e VLDB pré-‐85

(33)

(34)

1980 – perﬁl das publicações

• _{Ar5gos
analisados:}

–  SIGMOD'1980 (20 ar5gos)

–  VLDB'1980 (30 ar5gos)

(35)

1980 – perﬁl das publicações

• _{Ar5gos
analisados:}

–  SIGMOD'1980 (20 ar5gos)

(36)

1980 – perﬁl das publicações

• Ar5gos foram classiﬁcados em:

–

 

Formal

: validação da proposta através de algum

formalismo

–

 

Experimentos

: validação experimental

–

 

Es5ma5va/simulação

: validação através de um modelo

matemá5co ou de simulação

–

 

Comparação

: ar5go situa a proposta dentro do estado-‐da-‐

arte

• Um ar5go pode estar em mais de uma classe

• Ar5gos em nenhuma das acima:

Só descrição

(37)

1980 – perﬁl das publicações

Só descrição Formal Comparação Es5ma5va/simulação Experimentos

(38)

1980 – perﬁl das publicações

38 Só descrição Formal Comparação Es5ma5va/simulação Experimentos 0% 10% 20% 30% 40% 50% 60%

Ar5gos

descreviam

implementações,

linguagens,

modelos ou

sistemas

(39)

(40)

Temas de sessões SIGMOD e VLDB (86-‐95)

(41)

(42)

Temas de sessões SIGMOD e VLDB (86-‐95)

42

linguagens e modelos também

(43)

(44)

Temas de sessões SIGMOD e VLDB (86-‐95)

44

aparece OO ...

(45)

(46)

85-‐95 -‐ Aplicações

• _{So\ware
de
banco
de
dados
para
aplicações
“}

_não-‐

convencionais

”:

–  aplicações de projeto (engenharia), –  bases de dados espaciais,

–  aplicações de tempo real, –  . . .

(47)

1995 – perﬁl das publicações

• _{Ar5gos
analisados:}

–  SIGMOD 95 (20 ar5gos)

(48)

1995 – perﬁl das publicações

48 Só descrição Formal Comparação Es5ma5va/simulação Experimentos 0% 10% 20% 30% 40% 50% 60% 70% 80% 1995 1980

(49)

1995 – perﬁl das publicações

Só descrição Formal Comparação Es5ma5va/simulação Experimentos 1995 1980 Ar5gos: •  relacionam o

trabalho com o de outros;

•  baseados em

experimentos e/ou modelos analí5cos.

(50)

Fase adulta (1996 -‐ ...)

(51)

(52)

Temas de sessões SIGMOD (99-‐09)

52

(53)

(54)

Temas de sessões SIGMOD (99-‐09)

54

(55)

(56)

Temas de sessões SIGMOD (99-‐09)

56

quebrando paradigmas: ..., streams

(57)

(58)

99-‐.. -‐ Temas de pesquisa

• Mineração de dados

–  em conjunto com pesquisadores de outras áreas:

•  IA

•  aprendizagem de máquina

• Skyline queries,

approximate queries

,

en:ty-‐resolu:on

, ...

–  com um pé em:

•  recuperação de informações e

•  aprendizagem de máquina

(59)

2011 -‐ Temas de pesquisa

• Databases on new hardware

– 

Memórias

ﬂash

(disposi5vos com caracterís5cas diferentes

que os HDs)

• Cloud compu:ng, Web databases

(60)

2005 – perﬁl das publicações

60 Só descrição Formal Comparação Es5ma5va/simulação Experimentos 0% 20% 40% 60% 80% 100% 120% 2005 1995 1980

• 20 ar5gos do SIGMOD'2005 foram examinados.

(61)

2005 – perﬁl das publicações

Formal Comparação Es5ma5va/simulação Experimentos 2005 1995 1980

(62)

Roteiro

–  Perﬁl do pesquisador (ontem) –  Evolução dos temas de pesquisa

–  Perﬁl do pesquisador (hoje)

(63)

O que é necessário saber para

pesquisar na área

• Tudo que já era necessário

conhecer anteriormente:

–  Uma boa base de Lógica Matemá5ca –  Teoria de BD

–  Sistemas operacionais –  Compiladores

–  Base de matemá5ca discreta

–  Rudimentos de arquitetura de computadores (principalmente, disposi5vos de armazenamento)

(64)

O que é necessário saber para

pesquisar na área

• _{...,
e}

_{muito
mais}

_:

– 

_{Uma
base
mais
ampla
de
Matemá5ca
(volumes
de}

dados envolvidos =

métodos aproximados

):

• _{álgebra,
cálculo,}

_estaos5ca

_...

–

 

Algorítmica

(foco não é mais somente o número de

acessos a disco);

–

 

Parlelismo

;

–

 

Recuperação de informações

;

–

 

Aprendizagem de máquina

, . . .

(65)

O que é necessário saber para

pesquisar na área

• _Método

_experimental

_:

–  Reproduzibilidade dos experimentos –  Exemplo:

(66)

Roteiro

(67)

Papéis no mercado (extremos)

operário

engenheiro

(68)

Operário

• _Função:

_operário

_{da
fábrica
de
sistemas
de
informação}

–  Tarefas repe55vas

–  Uso de ferramentas existentes –  Pouca cria5vidade

(69)

Engenheiro

• Engenheiro

de so\ware

–  Projeta e constrói soluções para novas aplicações –  Boa base conceitual

(70)

Usuário avançado

• _{Atua
em
outras
áreas
(medicina,
engenharia,}

arquitetura,...)

–  Projeta e constrói soluções para novas aplicações

–  Pouco conhecimento de computação – grande conhecimento de seu domínio de problema

(71)

Tendências no mercado

• EUA prevê

declínio no seu mercado de trabalho

de TI

nesta área:

–  Migração para países em desenvolvimento

–  So\wares que automa5zam o desenvolvimento –  Até quanto vai?

(72)

Tendências no mercado (EUA)

(73)

(74)

Tendências no mercado (Canadá)

Jobs With a Less-‐Than-‐Stellar Future

Despite the rosy forecasts for technical workers men:oned earlier, some posi:ons, par:cularly in technical support (help desk) or

computer programming, are seen as vulnerable to outsourcing.

Ontario Job Futures points out that employment for computer

programmers is expected to grow more slowly than for other computer-‐related occupa:ons because the programs can be

transmiIed digitally, meaning that the work can be done anywhere in the world.

(Toronto’s Online Employment Center, 2011)

(75)

Roteiro

•  Mercado de trabalho na área de TI ( e na de BD )

(76)

Conclusões (temá>ca)

• _{A
área
de
banco
de
dados}

_{deixou
de
tratar
apenas
o}

armazenamento de grandes bases de dados.

• _{O
foco
da
pesquisa
na
área
é:}

–  tratamento de grandes massas de dados em geral (não necessariamente persistentes);

De SGBD a Gerência de Dados