II.2.1. Partitionnement du maillage
Soit Ω le maillage discrétisant le corps étudié, on considère une partition du maillage en Nproc sous-domaines, Nproc étant aussi le nombre de processeurs.
U
Nproc
i i
=1
Ω
=
Ω ( II.1)
Cette partition est basée sur les éléments du maillage : chaque élément appartient à un et un seul processeur. En revanche, les nœuds du maillage peuvent être partagés par plusieurs sous-domaines. Ils sont donc représentés plusieurs fois des différents cotés de l’interface, comme montré sur la Figure II.4. D’une manière générale, l’interface Γij entre les sous-domaines Ωi et Ωj, est définie comme :
j i ji
ij =Γ =Ω ∩Ω
Γ ( II.2)
D’autre part, on définit l’interface Γi du sous-domaine Ωi comme :
U
Nproc
j ij i
=1
Γ
=
Γ ( II.3)
Et enfin, l’interface globale Γ d’une partition est définie comme l’ensemble des interfaces des sous-domaines :
U
Nproc
i i
=1
Γ
=
Γ ( II.4)
La Figure II.4 représente la partition d’un maillage initial constitué de 5 éléments et 6 nœuds, en deux sous-domaines. Chaque sous-domaine a sa propre numérotation locale des nœuds et des éléments. Les nœuds nIII, nVI et nV sont partagés par les deux sous-domaines et constituent l’interface. De cette manière, sur le sous-domaine Ω1 (à gauche et en rouge) le vecteur de l’interface
Γ12 est représenté dans la numérotation locale comme
(
2,3,4)
t, et sur le sous-domaine Ω2 (à droite et en bleu) par(
3,4,1)
t.nI
nII
nIII
nIV
nV
nVI
eI
eII
eIII
eIV
eV
1
4
3
2 5
1 3
2 4
Ω
1Ω
2Γ
(a) Maillage initial avec numérotation globale des nœuds et des éléments
(b) Chaque sous-domaine a sa propre numérotation locale
Figure II.4. Partition d’un maillage par éléments et en deux sous-domaines
La qualité du partitionnement influence les performances du solveur parallèle. Un bon partitionneur doit minimiser la taille des interfaces entre les sous-domaines. Par ailleurs, il doit équilibrer les tâches entres les processeurs, les sous-domaines devant avoir approximativement le même nombre d’éléments. Le partitionneur utilisé dans Forge3 se sert seulement de la topologie du maillage, c’est à dire de la connexion des éléments entre eux. Le partitionnement s’effectue en deux étapes.
Une première partition équilibrée est obtenue par un algorithme dit « glouton ». Pour un nombre donné de processeurs Nproc, par chaque sous-domaine le partitionneur détermine un élément aussi éloigné que possible des autres. Cet élément devient le centre du sous-domaine. On attribue une couleur différente à chacun de ces Nproc éléments, une couleur représentant un processeur. Ensuite, pour chaque élément colorié, on propage sa couleur à ses éléments voisins non coloriés. Une fois que tous les éléments sont coloriés, on obtient une première partition que l’on améliore ensuite.
La deuxième étape consiste à minimiser les interfaces, donc les communications. La couleur de chaque élément peut être modifiée afin de réduire le nombre de voisins. Un tétraèdre a au plus quatre éléments voisins, et donc de une à quatre couleurs possibles. Il y a donc cinq configurations de couleurs des voisins possibles (Figure II.5a et b) en fonction de la couleur de l’élément considéré. On modifie la couleur du tétraèdre visité afin de minimiser une fonction coût qui prend en compte le nombre d’éléments par couleur (charge des processeurs) et le nombre de communications, c’est à dire le nombre de faces partagées par des éléments de couleurs différentes. L’algorithme itératif se déroule de la manière suivante : on visite un élément du domaine, on optimise les communications locales en modifiant ou non sa couleur, on passe à l’élément suivant non encore visité et qui ne fait pas partie des éléments voisins du tétraèdre que l’on vient de visiter. On procède ainsi jusqu’à ce que tous les éléments aient été visités [Coupez et al 1996].
La procédure décrite est l’algorithme de base. Il en existe des améliorations, tout particulièrement pour rendre cette procédure de partitionnement parallèle [Digonnet 2001].
1 2 3 4 5
1 2 3 4 5
1 2 3 4 5 (a) Les cinq configurations de
couleurs des quatre voisins du tétraèdre
(b) Les couleurs possibles du tétraèdre correspondant à une
couleur des voisins
(c) Les couleurs possibles du tétraèdre qui minimisent les
communications locales Figure II.5. Minimisation des communications par changement local de couleurs et équilibrage des
charges.
II.2.2. Partitionnement des vecteurs et de la matrice
A chaque processeur i, on associe un sous-maillage Ωi. A la description de la topologie du maillage traditionnelle (numéros des nœuds, des éléments et leurs connectivités) on ajoute alors la structure des interfaces. Chaque sous-domaine dispose des informations suivantes :
• le numéro de ce sous-domaine
• le nombre de sous-domaines voisins
• la liste des sous-domaines voisins
• le nombre de nœuds qu’il partage avec ses voisins
• la liste des numéros locaux de ces nœuds de l’interface pour chaque sous-domaine voisin.
Chaque processeur lit sa partie du maillage initial tout à fait indépendamment des autres, assemble les contributions des éléments lui appartenant, et construit ainsi la matrice locale Ki. Tout ceci est effectué avec la numérotation locale, propre à chaque sous-domaine. Si on reprend l’exemple de la partition montrée sur la Figure II.4, les deux matrices locales construites sur chaque sous- domaine sont représentées sur la Figure II.6a. La matrice globale K (qui aurait été construite sur le domaine global dans la version séquentielle) peut s’écrire comme la somme des matrices locales, préalablement étendues à l’ensemble du maillage :
∑
==Nproc
i
Ki
K
1
ˆ ( II.5)
où Kˆ est l’extension de la matrice locale i Ki : sa taille est augmentée pour correspondre à la taille de la matrice globale, et d’une numérotation locale propre au Ωi on passe à la numérotation globale de Ω. L’application de cette stratégie à l’exemple de deux sous-domaines donne la matrice globale de la Figure II.6b.
1 2 3 4 5 1
2 3 4 5
1 2 3 4 1
2 3 4
I II III IV V VI I
II III IV V VI (a) Matrices locales des deux sous-domaines (numérotation
locale)
(b) Matrice globale (numérotation globale)
Figure II.6. Contributions de deux sous-domaines dans la matrice globale
Si on rénumérote les degrés de liberté du domaine initial Ω, de manière à distinguer les nœuds intérieurs aux deux sous-domaines Ω1 et Ω2 (en rouge et en bleu) de ceux de l’interface Γ (en vert), la matrice globale K a la structure par bloc suivante :
⎥⎥
⎥
⎦
⎤
⎢⎢
⎢
⎣
⎡
=
ff f f
f f
K K K
K K
K K
K
2 1
2 22
1 11
0 0
( II.6)
où l’indice f désigne les degrés de liberté appartenant à l’interface. La Figure II.7a montre cette sous-structuration de la matrice globale. Il est à noter que l’on a changé l’ordre des numéros des
nœuds par rapport à la Figure II.6 afin de garder les nœuds d’interface à la fin. De la même manière, en numérotant en premier les nœuds strictement intérieurs aux sous-domaines, on peut écrire les matrices locales comme cela est montré sur la Figure II.7b et :
⎥⎦
⎢ ⎤
⎣
=⎡ (1)
1 1 11
1 f ff
f
K K
K
K K et ⎥
⎦
⎢ ⎤
⎣
=⎡ (2)
2 2 22
2 f ff
f
K K
K
K K ( II.7)
I II IV III V VI I
II IV III V VI
I II IV III V VI I
II IV III V VI
1 5 2 3 4 1
5 2 3 4
1 5 2 3 4 1
5 2 3 4
2 1 3 4 2
1 3 4
2 1 3 4 2
1 3 4
(a) Matrice globale (b) Matrices locales de deux sous-domaines Figure II.7. Renumérotation des nœuds en intérieurs et ceux d’interface
Les coefficients des blocs K(ff1) et K(ff2) représentent respectivement la contribution des sous- domaines Ω1 et Ω2 au bloc Kff :
∑
==Nproc
i i
ff Kff
K
1 )
ˆ( ( II.8)
Réciproquement, on note xi la restriction
xΩi d’un vecteur global x au sous-domaine Ωi, tout en passant à la numérotation locale propre au sous-domaine :
x i
xi = Ω ( II.9)
Sa taille ainsi diminuée, correspond au nombre de nœuds du sous-domaine Ωi. x(i) étant le sous- vecteur contenant les degrés de liberté intérieurs et x(if) ceux de l’interface, la structure par bloc ( II.7) introduite pour les matrices est valide pour les vecteurs :
⎥⎥
⎦
⎤
⎢⎢
⎣
=⎡ ()
) (
i f
i
i x
x x ( II.10)
La construction d’un vecteur global sur le domaine Ω se fait de la même manière que pour les matrices ( II.5) en utilisant les extensions xˆ(i) des vecteurs locaux et :
∑
=
=Nproc
i fi
f x
x
1 )
ˆ . Sur deux sous-(
domaines, l’équivalent de ( II.6) pour le vecteur global x est :
⎥⎥
⎥
⎦
⎤
⎢⎢
⎢
⎣
⎡
= xf
x x x (2)
) 1 (
( II.11)