Top PDF Estudo comparativo de arcabouços para processamento paralelo de grafos

Estudo comparativo de arcabouços para processamento paralelo de grafos

Estudo comparativo de arcabouços para processamento paralelo de grafos

Diversas situac¸˜oes do mundo real podem ser modeladas em grafos, como mapas rodovi´arios, redes de abastecimento de energia el´etrica e ´agua, relac¸˜oes entre os usu´arios de redes sociais, entre outras. Com o alcance quase global da tecnologia, atualmente ´e gerada muito mais informac¸˜ao do que uma ou duas d´ecadas atr´as, o que faz com que o processamento e an´alise dessa se torne um problema computacional atual e bastante relevante. Diante desse fato, diversos arcabouc¸os foram criados com o objetivo de processar de forma paralela e eficiente grafos com muitos v´ertices e arestas, com at´e bilh˜oes e trilh˜oes, respectivamente. O presente trabalho apresenta uma an´alise comparativa entre alguns dos muitos arcabouc¸os de processamento paralelo de grafos existentes, utilizando os algoritmos do PageRank e do Caminho mais Curto. Ao final do mesmo tamb´em foram comentadas as qualidades, defeitos e poss´ıveis melhorias a serem implementadas em cada arcabouc¸o analisado.
Mostrar mais

59 Ler mais

Um estudo comparativo de modelos baseados em estatísticas textuais, grafos e aprendizado de máquina para sumarização automática de textos em português

Um estudo comparativo de modelos baseados em estatísticas textuais, grafos e aprendizado de máquina para sumarização automática de textos em português

A tarefa de Sumarização Automática de textos tem sido de grande importância dentro da área de Processamento de Linguagem Natural devido à necessidade de se processar gigantescos volumes de informação disponibilizados nos diversos meios de comunicação. Assim, mecanismos em larga escala para sintetizar e facilitar o acesso a essas informações são de extrema importância. Esses mecanismos visam à preservação do conteúdo mais relevante e com pouca ou nenhuma intervenção humana. Partindo do sumarizador extrativo SuPor e contemplando o Português, este trabalho de mestrado visou explorar variadas características de sumarização pela utilização de métodos computacionais baseados em estatísticas textuais, grafos e aprendizado de máquina. Esta exploração consistiu de uma extensão significativa do SuPor, pela definição de novos modelos baseados nessas três abordagens de forma individual ou híbrida. Por serem originários desse sistema, manteve-se a relação com seu nome, o que resultou na denominação genérica SuPor-2. Os diversos modelos propostos foram, então, comparados entre si em diversos experimentos, avaliando-se intrínseca e automaticamente a informatividade dos extratos produzidos. Foram realizadas também comparações com outros sistemas conhecidos para o Português. Os resultados obtidos evidenciam uma melhora expressiva de algumas variações do SuPor-2 em relação aos demais sumarizadores extrativos existentes para o Português. Os sistemas que se evidenciaram superiores podem ser disponibilizados no futuro para utilização geral por usuários comuns ou ainda para utilização como ferramentas em outras tarefas do Processamento de Língua Natural ou em áreas relacionadas. A portabilidade para outras línguas é possível com a substituição dos recursos dependentes de língua, como léxico, etiquetadores morfossintáticos e stoplist Os modelos supervisionados foram treinados com textos jornalísticos até o momento. O treino para outros gêneros pode ser feito pelos usuários interessados através dos próprios sistemas desenvolvidos.
Mostrar mais

231 Ler mais

Estudo comparativo entre os algoritmos de processamento de áudio phase vocoder e spectral modeling synthesis

Estudo comparativo entre os algoritmos de processamento de áudio phase vocoder e spectral modeling synthesis

O sinal é enviado para duas passagens em paralelo: em uma delas o sinal será multiplicado por uma senoide de amplitude 1.0 e frequência igual ao filtro daquela passagem, e na outra o sinal será multiplicado por uma cossenoide com as mesmas características da primeira. O resultado será dois sinais, cujas frequências serão as mesmas que a original, porém com a adição e a subtração da frequência da onda pela qual foi multiplicada. Por exemplo, um sinal de 300 Hz, que passe por este procedimento contra um filtro, cuja frequência está centrada em 50 Hz, resultará em quatro sinais, dois com frequência de 350 Hz, e com deslocamento de fase de 90°, e dois com frequência de 250 Hz, também deslocados em 90°.
Mostrar mais

50 Ler mais

Uma Aplicação De Processamento Paralelo Para Sistema Em Tempo Real

Uma Aplicação De Processamento Paralelo Para Sistema Em Tempo Real

Para obtenção dos pontos de referência da trajetória a ser simulada pelo manipulador, foi elaborado um software (já existe este software) para realizar a especificação dos pontos cartesianos. Para se realizar um estudo comparativo do algoritmo paralelo, foram realizadas a execução sequencial do cálculo de controle e a execução do algoritmo paralelo (algoritmo de pipeline). Os tempos obtidos podem ser observados na tabela e gráfico a seguir.

9 Ler mais

Estudo da porosidade de arcabouços de Ti-Nb2O5-Sn para aplicação biomédica

Estudo da porosidade de arcabouços de Ti-Nb2O5-Sn para aplicação biomédica

Uma técnica que tem mostrado resultados significantes para a produção desses arcabouços é a sinterização por plasma. Trabalhos realizados revelaram que amostras sinterizadas por plasma apresentam gradiente de porosidade entre a superfície em contato com o plasma e o núcleo das amostras [3]. Neste trabalho arcabouços de ligas de titânio (Ti-Sn-Nb 2 O 5 ) foram produzidos a partir da sinterização por plasma, com a finalidade de obter um material com uma superfície porosa e um núcleo denso, sem a necessidade de usar esparçantes para a formação dos poros, a fim de utiliza-los como biomaterial.
Mostrar mais

6 Ler mais

Publicações do PESC Estudo Comparativo Entre Sistemas de Bancos de Grafos e Relacionais para a Gerência de Dados de Proveniência em Workflows Científicos

Publicações do PESC Estudo Comparativo Entre Sistemas de Bancos de Grafos e Relacionais para a Gerência de Dados de Proveniência em Workflows Científicos

Recentemente, o termo “NoSQL” (que significa “não apenas SQL”) foi cunhado para descrever uma classe de bancos de dados que não têm propriedades de Bancos de Dados Relacionais (BDR) tradicionais (JATANA et al., 2012). Estes bancos se caracterizam por não utilizar um modelo Relacional; funcionar de forma eficiente em agregados de computadores; ter consistência de dados tardia; manipular grafos de forma eficiente; e/ou agregar dados, ou seja, tratar uma coleção de dados como uma unidade (SADALAGE, FOWLER, 2013). Cada ferramenta pode apresentar todas estas características ou apenas um subconjunto delas. Ao longo dos anos, várias soluções de bancos de dados NoSQL vêm sendo desenvolvidas, geralmente para atender a necessidades específicas, onde a solução tradicional, ou seja, o uso de um BDR, não atende aos requisitos de uma determinada aplicação. Os motivos podem ser os mais variados: crescimento exponencial do volume de dados, baixo desempenho na execução de consultas, necessidade de navegação entre sequências de objetos, baixa escalabilidade, entre outros (LAKSHMAN, MALIK, 2010, CHANG et al., 2008).
Mostrar mais

130 Ler mais

Greft: uma arquitetura para processamento distribuído de grafos de larga escala tolerante a faltas

Greft: uma arquitetura para processamento distribuído de grafos de larga escala tolerante a faltas

Para processar grafos de maneira eficiente, as abstra¸ c˜ oes do Spark foram adaptadas, dando origem ao GraphX. Mantendo a l´ ogica do Spark, as tarefas do GraphX podem ser encaradas como transforma¸ c˜ oes em um grafo, onde cada opera¸ c˜ ao recebe um grafo de entrada e produz um novo grafo como sa´ıda. Para isso, uma nova abstra¸ c˜ ao de armaze- namento foi constru´ıda, chamada Resilient Distributed Graph (RDG). O grafo ´ e armazenado no RDG como um conjunto de tabelas do RDD, utilizando um particionamento baseado em arestas. As arestas do grafo s˜ ao distribu´ıdas entre as m´ aquinas do sistema, de forma que cada aresta esteja em apenas uma m´ aquina, e os v´ ertices possam estar em mais de uma m´ aquina. Esse mecanismo ´ e semelhante ao do PowerGraph e fa- cilita o processamento de v´ ertices com grau muito alto, comuns em grafos ditos naturais. Para armazenar o grafo s˜ ao usadas trˆ es tabelas do RDD: uma tabela particionada que cont´ em as arestas do grafo (Edge Table), outra que cont´ em os valores dos v´ ertices (Vertex Data Table) e uma que mapeia os ID’s de cada v´ ertice ` as parti¸ c˜ oes na tabela de arestas onde est˜ ao suas arestas (Vertex Map). Essa estrutura pode ser vista na Figura 11.
Mostrar mais

87 Ler mais

Publicações do PESC Extração de Litofacies Utilizando Marching Cubes com Processamento Paralelo

Publicações do PESC Extração de Litofacies Utilizando Marching Cubes com Processamento Paralelo

sistema de mapeamento de litofácies serve de entrada para o sistema paralelo de segmentação e visualizaçáo de dados litológicos proposto na presente trabalho... Capítulo 3.[r]

71 Ler mais

Publicações do PESC Processamento Paralelo para Detecção de Homologia Remota com MAP/REDUCE

Publicações do PESC Processamento Paralelo para Detecção de Homologia Remota com MAP/REDUCE

No contexto do SciCumulus, cada atividade do workflow pode gerar várias atividades que serão executadas em paralelo. Um exemplo é a atividade de construção dos modelos do SciHmm. Esta atividade pode ser mapeada em até 250 atividades paralelas, onde cada uma irá processar cinco conjuntos diferentes produzidos pelas ferramentas de MSA, totalizando assim 1250 atividades (OCAÑA, et al., 2013). O SciCumulus é capaz de distribuir, monitorar e controlar cada uma dessas atividades, que são enviadas a partir da máquina do cientista para a nuvem (como, por exemplo, a Amazon EC2 2 ). O middleware é composto por quatro camadas. A primeira é a camada do cliente, que é responsável por enviar solicitações de execução do workflow para a nuvem. A segunda é a camada de distribuição. Ela é responsável pela gerência das execuções das atividades nos nós envolvidos. A terceira é a camada de execução. Ela é responsável por executar todas as ferramentas que estão encapsuladas nas atividades e armazenar os dados de proveniência. Por último, há a camada de dados, que é responsável por armazenar os dados de entrada e os dados de proveniência que são
Mostrar mais

104 Ler mais

Publicações do PESC Migração do Chiron para Ambiente de Processamento Paralelo com Memória Distribuída

Publicações do PESC Migração do Chiron para Ambiente de Processamento Paralelo com Memória Distribuída

Entretanto, esse experimento também evidenciou que criar muitas ativações, seja no Chiron ou no ChironSN, pode ser prejudicial quando o processamento a ser feito por cada uma delas é muito rápido. Na execução com 32MB, cada ativação de SplitMap processou apenas uma linha de texto e o tempo médio de execução das ativações foi de 0,78s, ao passo que o tempo de transmissão (ida+volta) dessas ativações foi de aproximadamente 1,52s. Esses intervalos de tempo mostram que um overhead acompanha as ativações, e por isso é importante planejar o volume de dados que cada ativação consumirá. Para efeito de comparação, a Figura 18 mostra que as ativações foram executadas em pouco mais de 4s com uma amostra 32 vezes maior (1GB/32 nós, diferente de 32MB/32 nós).
Mostrar mais

93 Ler mais

Algoritmos para geração de padrões de corte paralelo e radial no processamento de toras de madeira

Algoritmos para geração de padrões de corte paralelo e radial no processamento de toras de madeira

O processo de condução da madeira, desde sua forma bruta na natureza até o produto final que chega ao consumidor, passa por vários estágios e uma típica indústria de madeira serrada trabalha nos seguintes: plantio, condução, colheita e transporte de toras, classificação das toras, processamento, secagem, classificação e comercialização. Este trabalho estuda com maior detalhamento o estágio chamado aqui de “Processamento” que contempla os trabalhos realizados em serrarias, como o desdobro da madeira, criação de subprodutos ou a geração de peças de madeira como tábuas, caibros, vigas, pranchas, entre outros.
Mostrar mais

93 Ler mais

Processamento Paralelo de Grandes Quantidades de Dados sobre um Sistema de Arquivos Distribuído POSIX

Processamento Paralelo de Grandes Quantidades de Dados sobre um Sistema de Arquivos Distribuído POSIX

Aplicações que processam grandes quantidades de dados estão se tornando cada vez mais presentes nos mais diversos setores, que envolvem desde a academia até sites de compras e redes sociais. Em áreas de pesquisa como bioinformática, processamento de imagens, física de altas energias, simulação de modelos sísmicos entre outras, existem aplicações que trabalham com miríades de dados. Além disso, já discute-se um paradigma emergente em ciência [HTT09], segundo o qual descobertas científicas serão realizadas por recursos computacionais que ajudam os pesquisadores a manipular e explorar grandes conjuntos de dados. De forma analóga, as corporações com fins lucrativos estão coletando e analisando um volume cada vez maior de dados. A partir desses dados, estas empresas podem compreender melhor as preferências dos clientes para aperfeiçoar o plano de markerting, ou melhorar a eficiência do serviço através da redução de gastos, por exemplo. Desta forma, elas podem produzir melhores serviços para os clientes [DH07] e se tornarem mais competitivas.
Mostrar mais

63 Ler mais

Análise de desempenho de arcabouços em Big Data

Análise de desempenho de arcabouços em Big Data

Por fim, comparou­se o desempenho dos arcabouços entre as execuções dos dois algoritmos. Muitas diferenças podem ser destacadas. Nas execuções de PageRank o melhor desempenho foi apresentado pelo arcabouço Hama, nas duas bases de dados. Vale lembrar que o arcabouço Hadoop apresentou um desempenho que esteve bem próximo ao do Hama para estas execuções. Porém, nas análises das execuções no algoritmo ShortestPaths, os resultados dos desempenhos dos arcabouços se inverteram e o Giraph (que demonstrou desempenho ruim quando comparado ao Hadoop e ao Hama nas execuções de PageRank) foi muito superior aos outros arcabouços, tanto para execuções na base web­Stanford quanto para execuções na base web­NotreDame. Esta comparação finaliza a etapa de comparação e análise de resultados. O próximo tópico (5.8) lista as maiores contribuições que este trabalho traz, a partir dos resultados obtidos neste capítulo, para estudos e pesquisas que envolvem o processamento de grandes quantidades de dados modelados em grafos através de arcabouços.
Mostrar mais

91 Ler mais

Referenciais de segurança dos alimentos : estudo comparativo entre ISO 22000 e FSSC 22000 quando aplicado a uma unidade de processamento de carne

Referenciais de segurança dos alimentos : estudo comparativo entre ISO 22000 e FSSC 22000 quando aplicado a uma unidade de processamento de carne

atua então como auxiliar para identificação destes potenciais perigos em cada fase (Almeida 2014). Desta forma é fundamental manter todas as informações necessárias atualizadas. Algumas questões devem ser equacionadas numa análise de perigos como por exemplo a contaminação de natureza biológica, química, física das matérias-primas, produtos intermediários ou produtos finais, pontos onde podem ocorrer manuseamento incorreto, identificação de veículos de contaminação frequentes e os fatores que contribuem para a contaminação do alimento (Confap 2003). A esta análise de perigos está associada uma avaliação/matriz do risco, obtida em função da probabilidade de ocorrência e da severidade do perigo identificado, estando também associada a análise de eventuais medidas preventivas para o controlo dos perigos (Baptista et al. 2003). Para cada produto/processo novo ou previamente existente, esta análise de perigos deve ser conduzida sendo revista sempre que ocorram alterações na matéria-prima, no processamento, formulações, etc (Confap 2003).
Mostrar mais

104 Ler mais

Publicações do PESC Um Estudo das Estruturas de Grafos Sem Garras

Publicações do PESC Um Estudo das Estruturas de Grafos Sem Garras

Recentemente (a partir de 2006), Chudnovsky e Seymour formularam uma série de artigos, [15, 9, 10, 11, 12, 131, que buscam descrever de um maneira geral a estrutura de todos os [r]

172 Ler mais

Um estudo da eficiência da autocentralidade no problema de isomorfismo de grafos

Um estudo da eficiência da autocentralidade no problema de isomorfismo de grafos

Neste capítulo será apresentado o Algoritmo Espectral para a resolução do PIG (AEPIG) proposto em [ S ANTOS 2010 ]. Embora outros algoritmos que solucionam esse problema em seu caso geral já tenham sido propostos, o AEPIG resolve o PIG utilizando propriedades da teoria espectral de grafos descritas no Capítulo 2 , em especial a centralidade de autovetor. O algoritmo é composto por três fases principais: cálculo dos vetores de autocentralidade asso- ciados aos grafos, verificação da distinção das autocentralidades dos autovetores e a descida na árvore de solução.

73 Ler mais

Estudo e implementação de algoritmos de busca em grafos

Estudo e implementação de algoritmos de busca em grafos

A partir da defini¸c˜ao de M , podem aparecer ramos m´ ultiplos, ou seja, ramos diferentes associados aos mesmos n´os. G ´e um grafo simples se n˜ao houver ramos m´ ultiplos. Ser˜ao usados neste trabalho somente grafos simples. Defini¸ c˜ ao 2 O n´o n ´e adjacente ao ramo r se n ´e extremidade de r.

40 Ler mais

Show all 10000 documents...

temas relacionados