Caractérisation des propriétés testables

4.4 Testabilit´e dans la classiﬁcation Safety-Progress

4.4.2 Caractérisation des propriétés testables

Le cadre desr-propriétés permet de déterminer selon chaque relation la testabilité des différents types de propriétés. De plus, ce cadre permet de fournir un oracle calculable, qui est une condition suffisante pour le test. Aussi, nous serons capables de caractériser quelles séquences de test permettent d’établir les verdicts recherchés. Ensuite, nous établirons le verdict à donner pour chaque séquence d’exécution qu’un programme peut produire.

Nous caractérisons maintenant l’espace des propriétés testables selon la relation recherchée entre Exec(PΣ)etΠ.

Testabilit´e vis-`a-vis de la relationExec(PΣ)⊆Π

Nous étudions la testabilité desr-propriétés vis-à-vis de la relationExec(PΣ)⊆Π.

Verdicts obtenables et condition suﬃsante. Pour cette relation, les seuls verdicts qu’il est possible d’obtenir sont les verdictsfailet inconc. Ce que nous expliquons ci-dessous.

Un verdictpasssignifie que toutes les séquences d’exécution dePΣ appartiennent àΠ. L’unique cas où il est possible d’établir un verdictpassest dans le cas trivial oùΠ =(Σ^∗,Σ^ω),i.e., la propriétéΠest toujours vérifiée. Évidemment toutes les implantations satisfont cette relation. Dans les autres cas, il est impossible d’obtenir un tel verdict quelle que soit la classe de propriété considérée dès lors que le programme exhibe des comportements infinis.

Un verdictfailsignifie que les séquences produites par le programme ne sont pas toutes dansΠ, il y a donc une séquenceσ∈Exec(PΣ)qui n’appartient pas àΠ. Il nous faut donc observer une telle séquence σ, forcément finie, qui est le préfixe d’une séquence d’exécution du programme. De plus, pour pouvoir arrêter le test, il faut être sûr qu’il n’existe pas de continuation deσ qui appartienne àΠ. Autrement dit, il faut exhiber une séquence d’exécution dePΣ telle queΠsoitnégativement déterminée par cette séquence. Ce qui peut s’exprimer assez simplement par le théorème suivant :

Théorème ϑ (Condition suffisante pour établir un verdict pourExec(P_Σ)⊆Π) : Il est pos- sible d’établir que la relationExec(PΣ)⊆Πn’est pas vérifiée, s’il existe une exécution du programme telle que lar-propriétéΠsoit négativement déterminée. Ce que nous écrivons comme suit :

∃σ∈Σ^∗∩Exec(PΣ),∀σ^′∈Σ^∞,¬Π(σ·σ^′)

⇒ verdict(σ,Exec(PΣ)⊆Π)=fail (4.3)

Preuve : La preuve de ce théorème est évidente. En effet, si le programme produit une séquence d’exécutionσqui ne peut être continuée en une séquence d’exécution finie ou infinie appartenant à la r-propriétéΠ, alors la relationExec(PΣ)⊆Πest forcément non vérifiée.

Testabilité de cette relation dans la classificationSafety-Progress. Pour chacune des classes suivantes, nous montrons à quelles conditions les propriétés de cette classe sont testables. De plus, nous exhibons les séquences de tests qu’il est possible d’essayer de jouer sur l’implantation pour déterminer un verdictfailpour la relationExec(PΣ)⊆Π.

– Pour lesr-propriétés de safety. SoitΠuner-propriété de safety, alors il existeψ⊆Σ^∗telle queΠ puisse s’exprimer(Af(ψ),A(ψ)). Cetter-propriété est testable si l’ensembleψ est non vide. En effet, prenonsσ∈Σ^∗∩ψ. Alors nous savons d’après la Propriété1(p.41) sur la fermeture desr-propriétés de safety que :

4.4 : Testabilité dans la classification Safety-Progress – toutes les continuations finies deσn’appartiennent pas à Af(ψ); et

– toutes les continuations inﬁnies de σn’appartiennent pas `aA(ψ).

Ainsi toutes les continuations finies et infinies deσn’appartiennent pas à(Af(ψ),A(ψ)). La seule r-propriété de safety qui n’est donc pas testable, sous ces conditions, est lar-propriété toujours vraie : (Σ^∗,Σ^ω). Comme dit précédemment, il est bien évident que tout programme dont le vocabulaire observable estΣsatisfait cette spécification.

– Pour lesr-propriétés de guarantee. SoitΠuner-propriété de guarantee, alors il existeψ⊆Σ^∗ telle que Πpuisse s’exprimer(Ef(ψ),E(ψ)). Cetter-propriété est testable si l’ensemble{σ∈ψ|pref(σ)⊆ ψ∧cont^∗(σ)⊆ψ}est non vide. En effet, soit σ une séquence appartenant à cet ensemble. Alors tous les préfixes de σ et toutes ses continuations n’appartiennent pas à ψ. Par conséquent, ces continuations ne peuvent également pas appartenir àEf(ψ)ni àE(ψ)ni àΠ.

– Pour lesr-propriétés d’obligation. Soit Πuner-propriété d’obligation, alorsΠpeut s’exprimer en forme normale conjonctive et en forme normale disjonctive (cf. Lemmeα, p.44).

– Lorsque Πest exprim´ee en forme normale conjonctive, alors il existe k ∈ N, t.q. Π s’exprime Tk

i=1(Si(ψi)∪G_i(ψ^′_i)) où S_i(ψi) (resp. G_i(ψ^′_i)) est une r-propriété de safety (resp. de guarantee) construite à partir deψ_i (resp. deψ^′_i). Cette r-propriété est testable si l’ensembleSk

i=1 ψ_i∩ {σ∈ ψ^′_i|cont^∗(σ)⊆ψ^′_i}est non vide.

– Lorsque Π est exprim´ee en forme normale disjonctive, alors il existe k ∈ N, t.q. Π s’exprime Sk

i=1(Si(ψi)∩Gi(ψ^′_i))où Si (resp.Gi) est uner-propriété de safety (resp. de guarantee) construite

a partir deψi (resp. deψ^′_i). Cetter-propri´et´e est testable si l’ensembleTk

i=1ψi est non vide.

Pour montrer qu’une séquence appartenant à l’un des ensembles définis a toutes ses continuations finies et infinies qui ne satisfont pas lar-propriété, il suffit de réaliser une induction surket d’utiliser les raisonnements utilisés pour lesr-propriétés de safety et guarantee.

– Pour les r-propriétés de response et persistence. Le raisonnement est similaire à celui pour les r-propriétés de guarantee. SoitΠ uner-propriété de response (resp. persistence), alors il existe ψ⊆Σ^∗telle queΠpuisse s’exprimer(Rf(ψ),R(ψ))(resp.(Pf(ψ),P(ψ))). Cetter-propriété est testable si l’ensemble{σ∈ψ|cont^∗(σ)⊆ψ}est non vide. La différence est ici pour que lar-propriété soit négativement déterminée, elle peut avoir des séquences qui ont certains préfixes dansψ.

Verdicts à délivrer. Chacune des conditions de testabilité exprimée ci-dessus est de la forme f(ψ1, . . . , ψn),∅

où les ψi sont les propriétés finitaires utilisées pour construire la r-propriété et f une composition d’opérations ensemblistes sur les ψi. Par exemple, pour les r-propriétés exprimées en forme normale conjonctive, la condition de testabilité s’exprimeSk

i=1 ψi∩ {σ∈ψ^′_i|cont^∗(σ)⊆ψ^′_i},∅

L’appartenance d’une séquence à f(ψ₁, . . . , ψn) est évidemment décidable (lesψi sont des langages réguliers). En conséquence à partir des propriétés finitairesψiutilisées pour définir une r-propriété il est possible de définir un oracle de test permettant de délivrer un verdict pour les séquences d’exécution du programme :

Lorsqu’une séquence d’exécution σ ∈ Σ^∗∩Exec(PΣ) appartient à f(ψ₁, . . . , ψn), l’oracle de test peut délivrer un verdict failpour cette relation. En effet, pour chaque classe der-propriétés, lorsqu’une séquence finie appartient à l’ensemble f(ψ1, . . . , ψn), alors lar-propriété construite à partir desψi

est déterminée négativement.

Inversement, lorsqu’une séquence d’exécutionσ∈Σ^∗∩Exec(PΣ)n’appartient pas à f(ψ₁, . . . , ψn), l’oracle de test peut délivrer un verdictinconcpour cette relation.

Quand arrêter le test ? Le programme testé produisant une séquence d’exécution σ∈Σ^∗, la question qui peut se poser est celle du moment de l’arrêt du test. Bien sur, une première réponse évidente est

“lorsque l’on a trouvé un verdictfail”. Mais dans les autres cas, lorsque l’interaction avec le programme produit une suite d’événements qui jusque là donnent une évaluation inconclusive pour la relation, la question est entière. Alors le test peut être arrêté dans les deux cas suivants. Le premier est lorsque la r-propriété est négativement déterminée par une séquence d’exécution produite par le programme ou qu’il n’existe pas de continuation de cette séquence telle que lar-propriété soit positivement déterminée.

Dans les autres cas, cela reste à l’expertise du testeur de décider lorsque le test doit être arrêté.

Exec(PΣ)⊆Π Verdicts possibles Condition de testabilit´e Safety fail,inconc

(Af(ψ),A(ψ)) ψ,∅

Guarantee fail,inconc

(Ef(ψ),E(ψ)) {σ∈ψ|pref(σ)⊆ψ∧cont^∗(σ)⊆ψ},∅ Obligation fail,inconc

i=1(Si(ψi)∪Gi(ψ^′_i)) Sk

i=1 ψi∩ {σ∈ψ^′_i|cont^∗(σ)⊆ψ^′_i},∅ Sk

i=1(Si(ψi)∩Gi(ψ^′_i)) Tk

i=1ψi,∅ Response fail,inconc

(Rf(ψ),R(ψ)) {σ∈ψ|cont^∗(σ)⊆ψ},∅ Persistence fail,inconc

(Pf(ψ),P(ψ)) {σ∈ψ|cont^∗(σ)⊆ψ},∅ Table4.1 – Résumé des résultats de testabilité pour la relationExec(PΣ)⊆Π

Exemple 14 (Testabilité de certaines r-propriétés vis-à-vis de Exec(P_Σ)⊆Π) Nous présentons la testabilité de troisr-propriétés.

Considérons un vocabulaire Σ = {a,b,c}. Le DFA représenté sur la Fig. 3.11 (p.53) reconnaˆıt la propriété finitaireψ₁=a^∗· b^∗+c·(c+a)^∗·b⁺(introduite dans l’Exemple7). Lar-propriété de safety construite à partir de ψ₁, reconnue par l’automate de Streett représenté sur la Fig. 3.12 (p.53), est testable vis-à-vis de la relationExec(PΣ)⊆Π. En effet, elle satisfait la condition de testabilité : l’automate reconnaissantψ₁possède un état non accepteur atteignable depuis l’état initial. Les séquences intéressantes

à jouer pour obtenir un verdictfailsont celles menant à l’étatsinksur l’automate de Streett ou aux états 3et 4sur le DFA.

Considérons le vocabulaire Σ ={a,b}, et la propriété finitaireψ=(a·b)⁺définie surΣ. La propriétéψ est reconnue par le DFA représenté sur la Fig.3.13(p.54).

– La r-propriété de guarantee construite à partir deψ, et représentée par l’automate de Streett de la Fig.3.14(p.54), est testable. En effet elle satisfait la condition de testabilité pour les propriétés de guarantee : il y a des séquences appartenant àψtelles que tous les préfixes de ces séquences et toutes leur continuations sont dans ψégalement. Les séquences intéressantes à jouer pour obtenir un verdict failsont celles menant à l’état 5.

– Lar-propriété de response construite à partir deψ, et représentée par l’automate de Streett de la Fig.3.15(p.54), est testable. En effet, elle satisfait la condition de testabilité pour les propriétés de response : il y a des séquences appartenant àψ telles que tous les continuations de ces séquences appartiennent àψégalement. Les séquences intéressantes à jouer pour obtenir un verdictfailsont celles menant à l’état 5.

Les résultats de testabilité pour la relationExec(PΣ)⊆Πsont résumés sur la Table4.1. Ainsi, nous avons étendu et précisé certains résultats exposés dans [NGH93]. Notamment, nous avons montré qu’il existait une r-propriété de safety qui n’était pas testable. De plus, nous avons montré que certaines r-propriétés des autres classes pouvaient être testables également.

Testabilit´e vis-`a-vis de la relationExec(PΣ)= Π

Les raisonnements appliqués pour la testabilité vis-à-vis de la relationExec(PΣ)⊆Πs’appliquent de la même manière. La caractérisation desr-propriétés testables est donc la même. En effet, lorsque l’on trouve une séquenceσ∈Σ^∗ telle qu’il soit possible de trouver un verdictfailpourExec(PΣ)⊆Π, alors ce même verdict s’applique pourExec(PΣ)= Π,i.e.,Exec(PΣ)*Π⇒Exec(PΣ),Π.

Testabilit´e vis-`a-vis de la relationExec(PΣ)∩Π,∅

Nous étudions la testabilité desr-propriétés vis-à-vis de la relationExec(PΣ)∩Π,∅.

Verdicts obtenables et condition suﬃsante. Les seuls verdicts qu’il est possible d’obtenir pour cette relation sont les verdictspasset inconc. Ce que nous expliquons ci-dessous.

4.4 : Testabilité dans la classification Safety-Progress Un verdict fail signifie queΠ∩Exec(PΣ)=∅. Il est impossible d’obtenir un tel verdict dans le cas général⁹. Même si l’on trouve un ensemble de séquences d’exécution de PΣ qui n’appartiennent pas àΠ, on ne pourra jamais être sûr qu’il n’existe pas une autre exécution du programme sous test exhibant une séquence d’exécution qui appartiendra àΠ.

Un verdictpasssignifie queΠ∩Exec(PΣ),∅. Pour pouvoir produire un tel verdict, il faut pouvoir trouver une séquence d’exécutionσ∈Σ^∗ qui appartient àΠ, et dont toutes les extensions appartiennent

également àΠ. Autrement dit, il faut exhiber une séquence d’exécution dePΣ telle queΠsoit déterminée positivement par cette séquence. Ce qui peut s’exprimer assez simplement par le théorème suivant :

Théorème ι(Condition suffisante pour la relation Exec(P_Σ)∩Π,∅ et un verdict pass) : La relationExec(PΣ)∩Π,∅est vérifiée, s’il existe une exécution du programme telle que lar-propriété Πsoit positivement déterminée. Ce que nous écrivons comme suit :

∃σ∈Σ^∗,∀σ^′∈Σ^∞,Π(σ·σ^′) ⇒ verdict(σ,Exec(PΣ)∩Π,∅)=pass (4.4) Preuve : La preuve de ce théorème est aussi simple que celle du théorèmeϑ. En effet, si nous pouvons trouver une séquence d’exécution du programme qui a toutes ses continuations qui satisfont lar-propriété Π, alors cette séquence montre que le programme et la propriété ont au moins une séquence en commun.

Testabilité de cette relation dans la classificationSafety-Progress. Nous établissons maintenant pour chaque classe de propriétés les conditions sous lesquelles la partie gauche de l’implication est vérifiée.

Ce qui, grâce au théorème précédemment exprimé, permet d’établir qu’il existe une séquence d’exécution du programme nous donnant un verdictpasspour la relationExec(PΣ)∩Π,∅.

– Pour lesr-propriétés de safety. SoitΠuner-propriété de safety, alors il existeψ⊆Σ^∗telle queΠ puisse s’exprimer(Af(ψ),A(ψ)). Cetter-propriété est testable si l’ensemble{σ∈ψ|cont^∗(σ)⊆ψ}est non vide. Les séquences appartenant à cet ensemble sont dansψet toutes leurs extensions le sont

également. D’après la définition desr-propriétés de safety, ces séquences et toutes leur extensions appartiennent à Π.

a ψa toutes ses extensions finies (resp. infinies) appartenant àEf(ψ)(resp.E(ψ)).

– Pour lesr-propriétés d’obligation. Soit Πuner-propriété d’obligation, alorsΠpeut s’exprimer en forme normale conjonctive ou en forme normale disjonctive (cf. Lemme αp.44).

– SiΠest exprim´ee en forme normale conjonctive, alors il existek∈N,t.q.Πs’exprimeTk

i=1(Si(ψi)∪ Gi(ψ^′_i)) où Si(ψi) (resp. Gi(ψ^′_i)) est une r-propriété de safety (resp. de guarantee) construite à partir de ψi(resp. deψ^′_i). Cetter-propriété est testable si l’ensembleTk

i=1ψ^′_i est non vide.

– SiΠest exprim´ee en forme normale disjonctive, alors il existek∈N,t.q.Πs’exprimeSk

i=1(Si(ψi)∩ Gi(ψ^′_i))oùSi(ψi)(resp.Gi(ψ^′_i)) est uner-propriété de safety (resp. de guarantee) construite à partir deψ_i(resp. deψ^′_i). Cetter-propriété est testable si l’ensembleSk

i=1({σ∈ψ_i|cont^∗(σ)⊆ψ_i} ∩ψ^′_i) est non vide.

Pour montrer qu’une séquence appartenant à l’un des ensembles définis a toutes ses continuations finies et infinies qui satisfont uner-propriété dek−Obligation, il suffit de réaliser une induction sur ket d’utiliser les raisonnements utilisés pour lesr-propriétés de safety et guarantee.

– Pour lesr-propriétés de response et persistence. Le raisonnement est similaire à celui desr-propriétés de safety. Soit Π uner-propriété de response (resp. persistence), alors il existe ψ⊆Σ^∗ telle que Πpuisse s’exprimer(Rf(ψ),R(ψ))(resp. (Pf(ψ),P(ψ))). Cetter-propriété est testable si l’ensemble {σ ∈ ψ | cont^∗(σ) ⊆ψ} est non vide. La différence est la suivante : pour que lar-propriété soit positivement déterminée, elle peut avoir des séquences qui ont certains préfixes qui ne sont pas dans ψ.

Pour chaque classe de propriétés, sous les conditions exprimées, si l’on arrive à jouer une séquence de l’ensemble mis en évidence, il est possible d’établir le verdictpasspour la relationExec(PΣ)∩Π,∅. Verdicts à délivrer. De manière similaire à la relation précédente, les conditions de testabilité exprimées ci-dessus sont de la forme

f(ψ1, . . . , ψ_n),∅

9. Rappelons que nous pla¸cons dans le cas où ne possédons pas le code source du système testé ni de spécification.

Exec(PΣ)∩Π,∅ Verdicts obtenables Condition de testabilit´e Safety pass,inconc

(Af(ψ),A(ψ)) {σ∈ψ|pref(σ)⊆ψ∧cont^∗(σ)⊆ψ}

Guarantee pass,inconc

(Ef(ψ),E(ψ)) ψ,∅

Obligation pass,inconc Tk

i=1(Si(ψi)∪Gi(ψ^′_i)) Tk

i=1ψ^′_i ,∅ Sk

i=1(Si(ψi)∩Gi(ψ^′_i)) Sk

i=1({σ∈ψi| ∀σ^′∈Σ^∗, ψi(σ·σ^′)} ∩ψ^′_i),∅ Response pass,inconc

(Rf(ψ),R(ψ)) {σ∈ψ|cont^∗(σ)⊆ψ},∅ Persistence pass,inconc

(Pf(ψ),P(ψ)) {σ∈ψ|cont^∗(σ)⊆ψ},∅ Table4.2 – Résumé des résultats de testabilité pour la relationExec(PΣ)∩Π,∅

où les ψi sont les propriétés finitaires utilisées pour construire la r-propriété. L’appartenance d’une séquence à f(ψ₁, . . . , ψn)est évidemment décidable. En conséquence, à partir des propriétés finitairesψi

utilisées pour définir uner-propriété, il est possible de définir un oracle de test permettant de délivrer un verdict pour les séquences d’exécution du programme :

Lorsqu’une séquence d’exécution σ ∈ Σ^∗∩Exec(PΣ) appartient à f(ψ₁, . . . , ψn), l’oracle de test peut délivrer un verdictpasspour cette relation.

Inversement, lorsqu’une séquence d’exécutionσ∈Σ^∗∩Exec(PΣ)n’appartient pas à f(ψ₁, . . . , ψn), l’oracle de test peut délivrer un verdictinconcpour cette relation.

Quand arrêter le test ? De manière similaire à la relation précédente, il est possible d’arrêter le test dans les cas suivants. D’abord lorsqu’un verdictpassest établi. Et deuxièmement, lorsque la r-propriété est négativement déterminée par la séquence d’exécution produite par le programme ou lorsqu’il n’existe pas de continuation de cette séquence d’exécution telle que lar-propriété soit négativement déterminée.

Exemple 15 (Testabilité de certaines propriétés vis-à-vis de Exec(P_Σ)∩Π,∅) Considérons le vocabulaireΣ ={a,b}, et la propriété finitaireψ=(a·b)⁺définie surΣ. La propriétéψest reconnue par le DFA représenté sur la Fig.3.13(p. 54).

La r-propriété de guarantee construite à partir de ψ, et représentée par l’automate de Streett de la Fig.3.14(p.54), est testable. En effet elle satisfait la condition de testabilité pour les propriétés de guarantee :ψ,∅. Les séquences intéressantes à jouer pour obtenir un verdictpasssont celles menant à l’état 3.

Les résultats de testabilité pour la relationExec(PΣ)∩Π,∅ sont résumés sur la Table4.2. Ainsi, nous avons étendu et précisé certains résultats exposés dans [NGH93]. Notamment, nous avons montré qu’il existait uner-propriété de guarantee qui n’était pas testable. De plus, nous avons montré que certaines r-propriétés des autres classes pouvaient être testables également.

Testabilit´e vis-`a-vis de la relationΠ⊆Exec(PΣ)

Il n’est pas possible d’´etablir de verdict pour cette relation, ce que nous explicitons ci-dessous.

Pour établir un verdictpasspour cette relation, il faudrait montrer que toutes les séquences d’exécution décrites par la propriété sont des séquences du programme. Ce qui est impossible dès que l’ensemble des séquences décrites par lar-propriété est infini.

Pour établir un verdictfail, il faudrait établir qu’au moins une séquence décrite par la propriété ne peut pas être jouée sur l’implantation. Même en trouvant une séquence du programme qui ne satisfait pas la r-propriété, cela ne permet pas d’affirmer que la relation n’est pas vérifiée. En effet, une autre exécution de l’implantation pourrait exhiber une telle séquence.

No documento Yliès Falcone (páginas 93-97)