Modelos de programação paralela

Desenvolver algoritmos paralelos é uma tarefa mais complexa que desenvolver algoritmos seqüenciais. Além de todas as abstrações usadas no modelo seqüencial de programação usam outros conceitos como: comunicação entre tarefas, concorrência, escalabilidade e localidade.

A comunicação entre tarefas diz respeito à necessidade de troca de dados entre duas tarefas. Dependendo do modelo de programação considerado, as tarefas não possuem acesso direto a todos os dados relacionados ao problema e é necessário que dados sejam trocados entre elas. A localidade diz respeito a quais dados são locais a cada tarefa ou não. A escalabilidade é a capacidade de a aplicação ser eficiente a medida que ocorrem acréscimos na quantidade de processadores em que ela é executada. A concorrência é quando há o acesso simultâneo por duas ou mais tarefas a um recurso do sistema, como um endereço de memória por exemplo. Daremos a seguir uma introdução aos modelos de programação paralela mais usados (CULLER; SINGH; GUPTA, 1998).

Memória compartilhada (Shared memory)

No modelo de programação de memória compartilhada as tarefas compartilham um mesmo espaço de endereçamento, que podem ler e escrever de forma assíncrona. Nesses sistemas a programação pode ser simplificada pela ausência da necessidade de troca explícita de dados entre as tarefas, porém torna-se mais complicado controlar a localidade das ações da memória. Freqüentemente é necessário o uso de semáforos ou travas (locks) para controlar o acesso de escrita na memória. As tarefas podem, eventualmente, serem independentes umas das outras e trabalhar com diversos conjuntos de dados diferentes, apesar de compartilharem um mesmo espaço de endereçamento.

Alguns exemplos de interfaces de programação de aplicativos (API – Application Programming Interface1) para programação em ambientes de memória compartilhada são POSIX Threads (Pthreads), OpenMP e OpenCL, que serão apresentadas com mais detalhes a seguir. O CUDA também é considerado uma API para programação em memória compartilhada. A seguir serão apresentados mais detalhes destas APIs.

Threads

Neste modelo, as threads entende-se como “tarefas” têm uma memória local e podem executar de forma independente umas das outras. Em alguns casos duas ou mais tarefas podem compartilhar uma área de endereçamento de memória de forma similar ao modelo de memória compartilhada. Tarefas podem ser criadas ou destruídas dinamicamente a medida que o programa é executado.

Aplicações onde se possa realizar a decomposição funcional, ou seja, o particionamento da aplicação em grupos de tarefas distintas encaixa-se bem nesse modelo. A implementação de modelos utilizando threads não é nova em computação. Historicamente fabricantes de hardware aplicavam suas próprias versões proprietárias de threads. Essas implementações diferenciavam substancialmente entre si, tornando difícil para os programadores desenvolver suas aplicações. Para resolver isso foram desenvolvidas as especificações APIs para a programação baseada em threads POSIX Thread, normalizada pela IEEE e a OpenMP desenvolvida pelo The Open Group. Além dessas APIs existe também um framework2 para a escrita de programas que executam em plataformas heterogêneas como CPUs, GPUs e outros processadores que controla a utilização de threads, o OpenCL que será melhor explicado a seguir.

Troca de mensagens (Message Passing)

O modelo de troca ou passagem de mensagens é um dos mais populares para a programação paralela, baseada no envio e recebimento de mensagens através da rede seguindo as regras do protocolo de comunicação entre vários processadores que possuam memória própria. As informações são enviadas da memória local do processo para a memória local do processo remoto. A transferência dos dados entre os processos requer operações de

1 _{API pode ser resumido como um conjunto de rotinas e instruções de programação estabelecidos por}

um software para a utilização das suas funcionalidades por programas que não querem envolver-se em detalhes da implementação do software, mas apenas usar seus serviços.

2 _{Representam uma estrutura formada por blocos pré-fabricados de software que os programadores}

podem usar, estender ou adaptar para uma solução específica (FAYAD, M.E.; SCHMIDT, D.C. (1997). Object- oriented Application frameworks. Communications of the ACM, v.40, n.10, p.10.).

que nessa arquitetura cada processo pode ser executado por uma unidade de processamento diferente, permitindo uma execução mais rápida do programa paralelo. São exemplos de ambiente de passagem de mensagens o PVM e o MPI.

O PVM é um conjunto integrado de bibliotecas e de ferramentas de software, cuja finalidade é emular um sistema computacional concorrente heterogêneo, flexível e de propósito geral. O objetivo do PVM é permitir que um grupo de computadores interconectados, possivelmente com diferentes arquiteturas, possa trabalhar cooperativamente formando uma máquina paralela virtual. O sistema PVM permite que sejam escritas aplicações nas linguagens Fortran, C e C++.

O MPI é a especificação de uma interface para programação paralela com troca de mensagens, independente de linguagem ou protocolo de comunicação. Existem implementações dessa interface para as principais linguagens de programação como C, C++ ou Fortran. O objetivo do MPI é prover um amplo padrão para escrever programas com passagem de mensagens de forma prática, eficiente e flexível. MPI não é um padrão IEEE ou um ISO, mas chega a ser um padrão industrial para o desenvolvimento de programas com troca de mensagens. Todo paralelismo é explícito, ou seja, o programador é responsável por identificar o paralelismo e implementar o algoritmo utilizando chamadas aos comandos da biblioteca MPI.

Paralelismo de dados (Data Parallel)

Neste modelo, o trabalho a ser realizado em paralelo consiste principalmente em operações de leitura e escrita de memória. Os dados são geralmente organizados em uma estrutura como um vetor ou matriz. Todas as tarefas operam sobre esta estrutura, acessando conjuntos disjuntos de dados evitando concorrência pelo acesso à mesma área da memória. As tarefas possuem a restrição de realizarem sempre as mesmas ações, mas em conjuntos distintos de dados.

Aplicações onde se possa realizar a decomposição de domínio de dados, ou seja, o particionamento dos dados em grupos para que sejam realizadas operações sobre eles,

encaixam-se bem nesse modelo. Um exemplo é a multiplicação de matrizes. As matrizes são divididas de modo uniforme e cada tarefa opera sobre uma porção dos dados de forma paralela.