la négation de l’item.
La prise en compte systématique de la négation pour tous les items dépasse le cadre classique de l’extraction de règles d’association, mais a fait l’objet de différents travaux [SON98] [BBJ00] [WZZ04].
L’extraction de règles d’association est fondée sur deux mesures, le support et la confiance [AIS93]. Nous rappelons ci-dessous leurs définitions.
– Le support évalue la généralité d’une règle. Il s’agit de la proportion d’in- dividus qui vérifient la règle dans le jeu de données :
support(a→b) =nab
n
– La confiance évalue la validité d’une règle. Il s’agit de la proportion d’in- dividus qui vérifient la conclusion parmi ceux qui vérifient la prémisse :
conf iance(a→b) = nab
na
La mesure du support s’applique aussi aux itemsets. Pour un itemseta: support(a) =na
n
Etant donné un seuil de support minimal σsp, un itemset aest dit fréquent si support(a) ≥σsp. Etant donné un seuil de confiance minimaleσcf, une règle a→b est ditevalide siconf iance(a→b)≥σcf.
3.3 Algorithmes exhaustifs
Soient σsp etσcf les seuils de support et de confiance fixés par l’utilisateur.
Les algorithmes exhaustifs pour l’extraction de règles d’association se déroulent en deux étapes successives :
1. Trouver tous les itemsets fréquents au seuilσsp.
2. A partir des itemsets fréquents, générer toutes les règles d’association valides au seuil σcf.
Les différences de performances entre les algorithmes dépendent principale- ment de la première étape, qui domine les coûts en temps et en mémoire des algorithmes [NLHP98]. C’est donc sur l’étape 1 que se portent tous les efforts pour l’optimisation des algorithmes d’extraction de règles d’association. L’étape 2, quant à elle, est identique quel que soit l’algorithme considéré.
3.3.1 Algorithme Apriori
Extraction des itemsets fréquents
La taille de l’espace de recherche pour l’extraction des itemsets fréquents est exponentielle avec le nombre pd’items (il y a potentiellement2p−1 item-
sets fréquents). Pour réduire cet espace, l’algorithmeApriori [AS94a] tire profit d’une propriété d’anti-monotonie du support (voir figure 3.1) :
si un itemset n’est pas fréquent, aucun de ses sur-itemsets n’est fréquent.
L’extraction des itemsets fréquents est ainsi réalisée niveau par niveau (recherche en largeur d’abord) : pour déterminer l’ensemble Fk desk-itemsets fréquents, l’algorithme construit un ensembleCk dek-itemsets candidats (c’est-à-dire sus- ceptibles d’être fréquents) à partir de l’ensemble Fk−1 des (k-1)-itemsets fré- quents extraits au niveau précédent (voir algorithme 3.1). Plus précisément, à chaque niveauk, l’algorithme effectue deux opérations :
1. La génération deCk à partir deFk−1(lignes 5 et 6 dans l’algorithme 3.1) : Pour construire lesk-itemsets candidats, les (k-1)-itemsets fréquents sont combinés entre eux. A partir de deux (k-1)-itemsets qui possèdentk- 2 items en commun, on génère unk-itemset en regroupant tous les items (avec suppression desk-2 doublons). Par exemple, deux 3-itemsets(i1∧ i3∧i4)et(i1∧i3∧i7)permettent de générer le 4-itemset candidat(i1∧ i3∧i4∧i7).
2. L’élagage deCk pour déterminer Fk (lignes 7 à 13 dans l’algorithme 3.1) : Dans un premier temps, on élague Ck en réutilisant la propriété d’anti-monotonie. En effet, un k-itemset candidat ne peut être fréquent que si tous ses sous-itemsets de longueurk-1 sont eux-mêmes fréquents.
Tous les candidats qui ne respectent pas cette condition sont supprimés deCk (procédure élagagePréliminaire()dans l’algorithme 3.1). Dans un deuxième temps, les données sont lues (un passage sur la table en base de données) afin de déterminer le support des itemsets candidats, par le biais d’un comptage de leurs occurrences (ligne 12).Fk est formé de tous les itemsets candidats qui sont effectivement fréquents (ligne 13).
Au final, l’algorithme fournit l’ensemble des itemsets fréquents mais aussi leurs supports. Ceux-ci sont nécessaires pour calculer par la suite les indices de règle.
Pour les cas où l’utilisateur n’est intéressé que par l’ensemble des itemsets fré- quents et non par leurs supports, des algorithmes d’extraction des itemsets fréquents maximaux ont été développés [Bay98] [GZ01] [Bur01] [TNHB00]. Les itemsets fréquents maximaux sont les itemsets fréquents dont aucun sur-itemset n’est fréquent. Ils permettent de retrouver facilement les itemsets fréquents, puisque l’ensemble des itemsets fréquents est l’ensemble des itemsets fréquents maximaux et de leurs sous-itemsets.
Dans la pratique, l’efficacité de l’algorithmeApriori dépend du seuil de sup- port utilisé et des données étudiées. D’un point de vue qualitatif, on qualifie les données de "creuses" (respectivement "denses") quand la vérité des items est peu fréquente (respectivement très fréquente) en comparaison à la fausseté (proportion des 1 par rapport aux 0 dans la matrice booléenne). Pour un seuil de support donné :
– plus les données sont creuses, plus la propriété d’anti-monotonie est efficace pour réduire l’espace de recherche, et plus l’algorithme peut supporter un nombre élevé d’items décrivant les données ;
– plus les données sont denses, moins la propriété d’anti-monotonie est ef- ficace pour réduire l’espace de recherche, et moins l’algorithme supporte
3.3 - Algorithmes exhaustifs 75
i1 i2 i3 i4 i5
1 1 1 1 0
1 1 0 0 1
0 1 1 1 1
0 0 1 1 1
0 1 1 1 0
(A)
Seuil de support utilisé : 35 F1={i2 , i3, i4 , i5}
C2={i2∧i3, i2∧i4, i2∧i5, i3∧i4, i3∧i5, i4∧i5} F2={i2∧i3, i2∧i4, i3∧i4}
C3={i2∧i3∧i4 } F3={i2∧i3∧i4 } C4=∅
(B)
L(2) L(4) L(4) L(4) L(3)
L∧L L∧L L∧L L∧L L∧L(3) L∧L(3) L∧L(2) L∧L(4) L∧L(2) L∧L(2) L∧L∧L L∧L∧L L∧L∧L L∧L∧L L∧L∧L L∧L∧L L∧L∧L(3) L∧L∧L L∧L∧L L∧L∧L
L∧L∧L∧L L∧L∧L∧L L∧L∧L∧L L∧L∧L∧L L∧L∧L∧L L∧L∧L∧L∧L
(C)
Fig. 3.1 – Réduction de l’espace de recherche pour l’extraction des itemsets fréquents dans l’algorithmeApriori
L’algorithme traite les données (A) contenant 5 individus décrits par 5 items.
Les ensembles d’itemsets candidats et fréquents pour le seuil de support mini- mal 35 sont donnés en (B). L’espace de recherche complet pour l’extraction des itemsets fréquents est représenté en (C). Seuls les itemsets entourés en rouge sont effectivement explorés par l’algorithme (leurs occurrences sont comptées dans les données). Le support de ces itemsets (en nombre d’occurrences) est indiqué entre parenthèses.
un nombre élevé d’items dans les données.
Si l’explosion combinatoire du nombre d’itemsets fréquents rend l’algorithme inutilisable, la seule façon de pouvoir traiter les données est d’augmenter le seuil de support.
Entrées: – BD, base de données,
– σsp, seuil de support minimal Sorties: – L, ensemble de couples(i, sp(i))
oùiest un itemset etsp(i)son support
1 F1=extraireItemsFréquents(BD, σsp);
2 n=nombreIndividus(BD);
3 k= 2;
4 tant queFk−16=∅faire
5 //Génération de Ck à partir de Fk−1 :
6 Ck =générerItemsetsCandidats(Fk−1);
7 //Elagage de Ck pour déterminer Fk :
8 Ck =élagagePréliminaire(Ck, Fk−1);
9 pour chaqueindividu∈ BD faire
10 pour chaquei∈Ck faire
11 siindividu vérifie ialors
12 i.compteur++ ;
13 Fk =©
(i,i.compteurn ) |i∈Ck et i.compteurn ≥σsp
ª;
14 k+ +;
15 L=S
kFk;
16 retourneL;
Algorithme 3.1:Extraction des itemsets fréquents dansApriori
Génération des règles d’association
A partir d’un itemset fréquenti, l’algorithme construit toutes les règles de la formea→boùaetbsont deux sous-itemsets deiqui ne possèdent pas d’item en commun et qui redonnent i par conjonction :a∧b =i. La confiance d’une telle règle est calculée de la manière suivante : conf iance(a→b) = support(a)support(i). Le fait queisoit un itemset fréquent garantit que son sous-itemsetal’est aussi, et donc que son support est connu (déterminé à l’étape d’extraction des itemsets fréquents). Les règles retournées par l’algorithme sont celles dont la confiance est supérieure au seuil de confiance minimale σcf. Le support de b, qui a aussi été déterminé à l’étape d’extraction des itemsets fréquents, peut être utilisé pour calculer d’autres indices de règle que le support et la confiance (voir partie 1).
Par exemple, considérons l’itemset fréquenti2∧i3∧i4 de la figure 3.1. A partir de cet itemset, on peut générer les six règles suivantes :
– i2∧i3→i4 (conf iance= 100%) – i2∧i4→i3 (conf iance= 100%)
3.3 - Algorithmes exhaustifs 77 – i3∧i4→i2 (conf iance= 75%)
– i2→i3∧i4 (conf iance= 75%) – i3→i2∧i4 (conf iance= 75%) – i4→i2∧i3 (conf iance= 75%)
Avec un seuil de confiance minimaleσcf = 90%, seules les deux premières règles sont valides et retournées par l’algorithme.
3.3.2 Autres algorithmes
L’algorithme DIC [BMUT97] est une version assouplie deApriori dans la- quelle les passages sur les données ne sont pas affectés exclusivement à un seul niveauk dek-itemsets. Le principe de base est le suivant : au cours d’un passage sur les données, si le compteur des occurrences d’un itemset est déjà suffisam- ment élevé pour que l’on sache que celui-ci est fréquent, alors l’itemset peut d’ores et déjà être utilisé pour générer des candidats du niveau supérieur. Ainsi, le comptage des occurrences d’un k-itemset candidat est démarré dès que les compteurs de tous ses sous-itemsets de longueurk−1sont suffisamment élevés vis-à-vis du seuil de support. Si le comptage du nouveau candidat débute sur le x-ième individu, il s’arrêtera sur le (x-1)-ième individu lors du passage suivant sur les données. Au final, DIC effectue moins de passages sur les données que Apriori.
L’algorithme Partition [SON95] est fondé sur un partitionnement des don- nées en plusieurs corpus qui peuvent tenir en mémoire centrale. Pour qu’un itemset soit fréquent dans les données complètes, il doit l’être au moins sur un corpus. Partition analyse donc chaque corpus à la manière d’Apriori, mis à part que les supports des itemsets ne sont pas déterminés par comptage des occurrences. En effet, les corpus sont écrits dans un format mieux adapté au traitement en mémoire centrale, qui intervertit individus et variables : au lieu de décrire chaque individu par les items, on décrit chaque item par la liste des individus qui le vérifient, appelée id-liste (chaque individu est désigné par un identifiantid). Chaque itemset possède également son id-liste, et le nombre d’occurrences d’un itemset est donné par le nombre d’entrées dans son id-liste.
Ainsi, pour déterminer le support d’un itemset i dans un corpus, il suffit de calculer l’intersection entre les id-listes de deux de ses sous-itemsetsaet b tels quei=a∧b. Après avoir analysé tous les corpus,Partition vérifie pour chaque itemset qui a été trouvé fréquent sur un corpus s’il est bien fréquent dans les données complètes. En définitive, l’algorithme effectue deux passages sur les données complètes : un pour le partitionnement et un pour la vérification.
L’algorithme FP-growth [HPY00] a été développé pour traiter des données denses. Il travaille non pas directement sur les données mais sur une représen- tation condensée des données, appeléeFP-tree. La représentation est construite en parcourant l’ensemble des itemsets en profondeur d’abord (contrairement à Apriori qui recherche en largeur). Cette étape de construction nécessite deux passages sur les données. Ensuite, l’algorithme génère tous les itemsets fréquents en mémoire centrale à partir de la représentation, si celle-ci peut tenir en mé- moire.
Des comparaisons des principaux algorithmes d’extraction de règles d’asso- ciation sont réalisées dans [HGN00] et [GZ03] sur des jeux de données réels et
synthétiques variés. Elles montrent que si les performances relatives des algo- rithmes peuvent varier selon les données étudiées, il n’existe pas un algorithme qui soit globalement meilleur que les autres.