BC-0506: Comunicação e Redes Internet e Web como redes complexas

1

BC-0506: Comunicação e Redes

Internet e Web como

redes complexas

Agenda

Internet e Web como redes complexas

Estrutura da Internet como uma Redes Complexa Ligação entre páginas Web como leis de potência Redes de compartilhamento peer-to-peer como redes de mundo pequeno

Parte 1:

Relembrando Leis de Potência

A lei de potência é um tipo especial de relação

matemática entre duas quantidades.

Uma quantidade é a frequência de um evento, e a

outra é o tamanho do evento

A frequência do evento diminui muito mais

rapida-mente do que o aumento do tamanho do evento.

A probabilidade P(x) de um evento é associada à sua

magnitude através de uma simples escala, do tipo:

5

Internet - Topologia

Topologias (entre-domínios)

Nov/97:

Abril/98:

Dez/98:

Rout/95

Topologia dos roteadores da Internet em 1995 3888 nós, 5012 arestas e 2.57 de outdegree

7

Leis de Potência e a Internet

Em meados de 1999, os irmãos Faloutsos [4],

Descrevem as relações existentes das Leis de Potência com a topologia da Internet;

Através de coletas de informações de nov/97 a

dez/98 (topologias entre-domínios), identificaram 3 leis de potência.

Usadas para estimar importantes parâmetros,

como: tamanho médio de vizinhança, facilidades no projeto e análise de protocolos, e

Identificar a Internet e se projetar topologias realísticas, para propósitos de simulação

Leis de Potência e a Internet

Ao se projetar um novo protocolo de Internet,

por exemplo de roteamento, desejamos analisar:

Vazão (Throughput) Tolerância a falhas

Tamanho das filas nos roteadores, etc.

Se modelarmos a Internet utilizando um grafo

aleatório, os resultados certamente não serão

realistas

Como vimos, o grafo que modela as conexões entre sistemas autônomos na Internet obedece a leis de potência

Parte 2:

A estrutura em Grafo

da Web

Rede de Alcance Mundial

É uma rede de informação, que funciona como um

serviço da Internet

Modelada como um grafo:

Com 203 milhões de nós Páginas contém links para outras páginas

Variável Aleatória: Número de links de cada Página Web para outras

11

Motivação

Estudar a estrutura da Web é de grande

importância, tendo uso em:

Desenvolvimento de algoritmos de busca de conteúdo Entender a sociologia da criação de conteúdo na Web Analisar o comportamento de algoritmos para a Web, como o PageRank, e sua evolução temporal

Prever a evolução e o aparecimento de Anéis da Web Entender o comportamento de usuários da Web

Modelagem da Web

Broder

et al.

fizeram a modelagem da distribuição

de nós de entrada e saída em cada página da Web

Usaram um Web Crawler

Grande conjunto de páginas iniciais

Buscas feitas com algoritmo de Busca em Largura

Os resultados não mudaram significativamente quando:

Utilizaram diferentes instâncias da caminhada Pesquisa realizada em 2 datas distintas:

13

Distribuição dos

nós de entrada

na Web

Distribuição dos

nós de saída

na Web

15

Algumas conclusões

Páginas contém links para outras páginas

Distribuições de nós de entrada e de saída seguem uma

lei de potência

Algumas páginas são extremamente mais referenciadas do que outras (grandes portais, por exemplo)

Algumas páginas referenciam uma quantidade enorme de outras páginas (mecanismos de busca, como Google)

Modelagem da Web como grafo

Se a considerarmos como um grafo não-direcionado

Temos um grafo como um único componente conectado Distância média entre os nós é de 6

Se considerarmos os links como direcionados

Os vértices são divididos em diversos componentes fortemente conectados

17

Alguns resultados

A maior parte dos resultados são obtidos a partir da Busca em Largura

Quando consideramos a Web como um grafo direcionado A porcentagem de pares com caminhos entre eles é 24%

Distância média, no caso em que existem caminho é 16

No caso do grafo não-direcionado a distância é 6.8

Quando consideramos apenas o SCC central temos: Seu diâmetro é pelo menos 28

Ao considerarmos todos os vértices, a maior distância entre os pares se situa entre 500 e 900

Parte 3:

A estrutura de

redes ponto-a-ponto

não-estruturadas

19

Download de Arquivos

Compartilhamento de arquivos (tradicional)

Computador servidor armazena os arquivos Computadores clientes baixam os arquivos

Vantagens

Organização simples: arquivos em uma única máquina Busca simples: basta enviar requisição à máquina

Desvantagem:

Sobrecarga do servidor

Redes Ponto-a-Ponto (Peer-to-Peer)

Cada computador assume o papel de servidor e cliente

baixam arquivos (cliente) de outros computadores

Exemplos: Napster, Gnutella, Kazaa, Torrent, etc.

Redes Centralizadas:

Um computador realiza a indexação dos arquivos armazenados

Redes Descentralizadas:

A lista de arquivos fica distribuída nos

compu-21

Redes Peer-to-Peer Sobrepostas

Computadores conectados por ligações lógicas

Cada computador possui um conjunto de vizinhos lógicos Não representam necessariamente as conexões físicas Computadores se comunicam através das ligações lógicas

Redes descentralizadas

estruturadas

Rígida estrutura sobre ligações e locais de armazenamento de arquivos

Busca eficiente por nome de arquivo

Mas busca por palavras-chave são difíceis

Redes descentralizadas não-estruturadas

Conexões sem estrutura rígida

23

Busca em Redes Não-estruturadas

Busca pode utilizar um mecanismo de

inundação (flooding)

Nó envia requisição a k vizinhos

Cada vizinho reenvia a outros k' nós Cada nó que recebe a requisição

devolve a lista de arquivos encontrados

No caso de uma rede em que cada nó repassa a mensagem a todos os seus vizinhos, temos uma busca em largura

Após m reenvios atingimos até km _nós Busca por inundação com escopo

A mensagem é repassada até uma profundida máxima m

Imagem Retirada de ``Hybrid Search Schemes for Unstructured Peer-to-Peer Networks'', INFOCOM 2005, M. Mihail, C. Gkantsidis and A. Saberi

Busca em Redes Não-estruturadas

Clientes irão baixar os arquivos a partir das máquinas encontradas na busca

Se a busca não levar em conta o custo da comunicação, o custo para baixar o arquivo será alto

Isto ocorre quando vizinhos são escolhidos aleatoriamente Chance de se conectar com um

computador próximo ou distante é a mesma

Uma melhor opção é tentar sempre baixar dados de computadores de um

25

Redes de Mundo Pequeno

Solução proposta por Merugu et al.

Cada nó terá um conjunto de conexões curtas e longas

Conexões curtas: realizadas com nós próximos, por

exemplo, no mesmo sistema autônomo (SA)

Conexões longas: realizadas com nós aleatórios, que com grande probabilidade serão nós distantes, de outro SA Definimos α como a taxa de

conexões curtas

α = 0 → grafo aleatório

Conclusões sobre o estudo de P2P

O uso de redes de mundo pequeno em redes P2P de

compartilhamento de arquivos trouxe as conclusões:

A chance de encontrar arquivos é alta

Nós encontrados são nós próximos

27

Bibliografia Recomendada

1. Broder, A.; Kumar, R.; Maghoul, F.; Raghavan, P;

Rajagopalan, S.; Stata, R.; Tomkins, A. and Wiener, J.

Graph struture in the Web. Computer Networks Magazine, Elsevier Vol. 33, pags 309-320, 2000.

2. Faloutsos, Michalis; Faloutsos, Petros; and Faloutsos, Christos. On Power-Law Relationship of the Internet Topology. SIGCOMM´99, Cambridge, MA, 1999.

3. Merugu, Shashidhar; Srinivasan, Sridhar and Zegura, Ellen. Adding structure to unstrustured peer-to-peer network: the use of small-world graphs. Journal of Parallel and Distributed Computing, vol 65, pgs. 142-153, 2005.