Conclusion

Conformément à nos attentes, le nouveau modèle proposé par Brockhoff permet de réduire le terme d’interaction et ainsi de détecter plus fréquemment un effet produit significatif qui pouvait être masqué. L’approximation des moyennes des produits, obtenues à l’aide de l’Assessor Model

(

υ

ˆ_i), par les moyennes simples (x_i) conduit à des résultats intermédiaires entre l’approche classique et la nouvelle méthode. Cette dernière possibilité pourrait donc constituer une alternative intéressante au modèle classique et à l’Assessor Model puisqu’elle allie la prise en compte (non optimale, cependant) de l’hétérogénéité des dispersions entre panélistes et la simplicité d’utilisation (elle ne nécessite pas l’utilisation de l’Assessor Model). Cependant, à l’instar du modèle classique, ce modèle suppose également l’hypothèse d’homoscédasticité des variances. Celle-ci n’est pourtant généralement pas vérifiée d’après les résultats donnés par l’Assessor Model. Il serait donc préférable de spécifier des variances hétérogènes en pondérant les notes de chaque sujet par l’inverse de l’écart-type de ses notes moyennes (dans le modèle d’analyse de la variance).

4 Discussion-conclusion

L’utilisation de l’Assessor Model sur un grand nombre d’études sensorielles a permis de montrer l’existence d’une hétérogénéité des dispersions des notes entre les panélistes dans une proportion importante des situations (76,4% des descripteurs). Ce modèle a également permis de montrer que les variances résiduelles individuelles sont souvent hétérogènes. Théoriquement, le modèle classique ne devrait donc pas être utilisé dans ce cas. Enfin, les tests proposés permettent aussi de caractériser l’hétérogénéité de la sensibilité des panélistes (i.e. leur pouvoir discriminant) et de conclure sur la présence de désaccord "pur". L’Assessor Model apporte donc beaucoup d’informations nouvelles sur les niveaux de performance des panélistes par rapport au modèle classique. Son utilisation par les praticiens de l’analyse sensorielle leur permettrait d’obtenir, à notre avis, un gain d’information non négligeable.

Au niveau de la conclusion sur la significativité de l’effet produit, la standardisation des données ne génère pas de meilleurs résultats. En revanche, la transformation proposée par Brockhoff améliore sensiblement la significativité de l’effet produit. Celle-ci repose sur le calcul des moyennes des produits au niveau du groupe en tenant compte de l’hétérogénéité des dispersions des notes selon les panélistes. Elle consiste ensuite à supprimer l’hétérogénéité des pentes, issues de la régression des notes individuelles sur les notes moyennes, calculées au préalable.

L’approximation de ces moyennes, tenant compte de la variabilité de la dispersion des notes, par la moyenne simple, constitue une alternative intéressante. Elle ne permet pas de capturer aussi bien l’hétérogénéité des dispersions mais permet néanmoins de tenir compte en partie de cette source de variabilité. En outre, cette seconde transformation n’utilise pas l’Assessor Model. La dernière solution proposée peut donc être mise en place avec n’importe quel logiciel de statistique permettant de spécifier des modèles d’analyse de la variance avec covariable.

Figure 6-7 : Relation entre le coefficient

β

et la dispersion des notes

Cependant, l’interprétation du paramètre

β

de l’Assessor Model comme un coefficient qui représente la dispersion individuelle des notes est discutable. En effet, la figure 6-7 illustre le fait que deux panélistes avec le même coefficient

β

peuvent avoir des dispersions des notes très différentes selon leur accord avec le groupe. En effet, les observations d’un sujet parfaitement en accord avec le groupe seront alignées sur la droite de régression. Au contraire, les observations d’un sujet en désaccord, avec le même coefficient

β

, seront plus écartées de la droite. La

dispersion de ses notes sera donc obligatoirement plus élevée. Le coefficient

β

ne s’interprète donc pas seulement comme un coefficient individuel de dispersion des notes. Sa valeur dépend également de l’accord du panéliste avec le groupe. De plus, la transformation proposée entraîne une modification du classement des produits pour le descripteur en question. Dans l’exemple proposé, le sujet A avait donné le score le plus faible au produit P5. Cependant, après transformation des données, ce produit occupe le rang médian. Par conséquent, dans les situations où les panélistes ne sont pas parfaitement en accord avec le groupe, le traitement effectué a pour conséquence d’aligner les notes des produits sur le classement du groupe. Ceci peut être considéré comme une transformation un peu excessive par rapport à l’objectif de réduction de l’hétérogénéité de la dispersion des notes uniquement.

La discussion sur la pertinence de ce nouveau modèle est donc ouverte. Celui-ci semble légitime lorsque le paramètre (

β

ˆ_j −

β

)

υ

ˆ_i est considéré comme l’expression de l’hétérogénéité des dispersions des notes selon les panélistes. Cependant, ce modèle a pour conséquence d’aligner les notes de chaque sujet sur la moyenne du groupe, et non de réduire uniquement la dispersion des notes entre les panélistes.

Discussion générale - Conclusion

Le travail présenté dans ce manuscrit s’articule autour de la conception de la SensoBase et de son utilisation dans différentes applications. Ce système repose sur un échange entre des données de profils sensoriels et leur analyse. Le site de la Sensobase, fonctionnel depuis avril 2005, permet aux fournisseurs d’envoyer leurs études sensorielles dans une base de données, puis de recevoir des analyses, effectuées à l’aide d’un programme SAS^®. L’outil de traitement statistique des données rassemble plusieurs méthodes sélectionnées en fonction des connaissances que nous avions à un instant donné. Cependant, chaque type de traitement pourrait être modifié ou amélioré, en fonction des attentes des fournisseurs et des nouveaux développements dans le domaine de la sensométrie. La critique de l’outil d’analyse des données et les évolutions envisageables seront donc abordées dans le premier point de cette discussion.

La création d’une base de données, qui rassemblera bientôt plus de 500 études de profil descriptif, a permis de traiter des questions d’analyse sensorielle sous un angle nouveau. Ainsi, en s’intéressant aux études successives réalisées avec un même panel, nous avons pu suivre l’évolution de la performance de plusieurs panels au cours du temps. La démarche statistique proposée pour l’analyse de ce type de données sera discutée dans un second point. La réflexion sera en particulier menée sur la possibilité d’intégrer de nouveaux temps de mesures à l’analyse.

Le troisième point sera consacré à la critique des résultats obtenus grâce à la méta-analyse de l’ensemble de la base et sur les conséquences que pourraient avoir ces résultats sur les choix quotidiens des utilisateurs de l’analyse sensorielle. Enfin, le quatrième point récapitulera les connaissances apportées par l’étude d’une méthode statistique permettant de tenir compte de l’hétérogénéité de la dispersion des notes selon les panélistes (Assessor Model). La pertinence d’une approche "base de données" sur ce type de travail sera ensuite discutée.

1 Evolution de l’outil statistique de traitement des données de profil sensoriel

Le premier challenge de ce travail de thèse était de proposer un outil de traitement qui convienne à l’analyse de tout profil sensoriel contenant des répétitions des mesures. L’enjeu était de couvrir les différents aspects de la performance sans pour autant proposer des analyses redondantes.

L’outil utilisé actuellement correspond à une sélection de méthodes complémentaires, proposant des analyses unidimensionnelles et multidimensionnelles, abordant un ou plusieurs aspects de la performance (répétabilité, discrimination, accord). La difficulté majeure, liée à la réalisation d’un tel outil de traitement, résidait dans l’arbitrage qu’il a fallu effectuer entre la finesse des résultats proposés et la nécessité de délivrer une information synthétique. Dans notre cas, la sélection a été guidée par les habitudes d’analyses du laboratoire. Certaines méthodes additionnelles ont cependant été développées pour compléter certaines approches. La CAPMAP a été conçue pendant ce travail de thèse afin de proposer une cartographie des sujets et de visualiser les corrélations entre descripteurs en fonction du niveau de discrimination. La table de l’accord multidimensionnel fait également partie des outils développés récemment par le laboratoire. Elle permet d’appréhender l’accord entre les panélistes de manière plus complète. Notons toutefois que la sélection proposée ne reflète qu’une vision de la question du traitement des données de profil sensoriel. D’autres techniques auraient évidemment pu être utilisées pour remplacer ou compléter nos choix. Les méthodes statistiques utilisées dans l’outil actuel peuvent donc être appelées à évoluer en fonction de l’expérience de leur utilisation et des commentaires des utilisateurs. Le retour d’information de leur part a déjà permis de modifier certaines analyses. Par exemple, le tableau appelé "analyse multidimensionnelle" a été simplifié afin de ne garder que les indices principaux. L’information sur le niveau de performance multidimensionnel est devenue moins complète mais la compréhension des indices proposés semble s’être améliorée.

L’attention s’est également portée sur la présentation des résultats. Cet aspect ne relève pas d’une question de recherche, mais il est indispensable de prendre cet élément en considération afin de faciliter la lecture des résultats et ainsi inciter les fournisseurs à participer au projet SensoBase. D’après les échanges avec les utilisateurs, la présentation synthétique des résultats est un point particulièrement apprécié. De plus, la présence d’une notice explicative rédigée dans un langage non statistique (cf. annexe 2) a souvent été remarquée et s’est avérée très utile auprès d’un nombre important d’utilisateurs. La vulgarisation des techniques statistiques semble donc être un élément indispensable à la diffusion et à l’utilisation effective des méthodes statistiques.

Afin de proposer un outil toujours plus en adéquation avec les attentes des utilisateurs, tout en proposant des méthodes satisfaisantes d’un point de vue technique, il est indispensable d’entretenir la communication entre les praticiens de l’analyse sensorielle et les sensométriciens.

Une première enquête informelle auprès des utilisateurs réguliers a permis de montrer qu’aucun fournisseur n’utilisait toutes les informations disponibles, mais que chacun se focalisait sur une ou deux analyses en particulier. Ce phénomène est probablement lié au fait que la compréhension et l’intégration de chaque méthode par les fournisseurs demande un temps relativement long. En outre, certains aspects ressortent régulièrement dans les commentaires. Le plan bidimensionnel proposé par la CAPMAP est très riche mais il est difficile à interpréter pour une large majorité des utilisateurs. En revanche, les diagnostics individuels, accessibles depuis cette analyse (en cliquant sur les descripteurs ou les sujets), semblent très appréciés, en particulier lors de la

restitution des résultats aux panélistes. Une évolution de l’outil pourrait consister à rendre ces tableaux accessibles directement depuis la table CAP, dont la lecture des résultats est plus aisée.

Afin de poursuivre les recherches dans cette direction, la réalisation d’une enquête systématique auprès de tous les fournisseurs pourrait être un point de départ à l’évolution de l’outil proposé. Ce type de démarche est néanmoins relativement lourde et la modification des analyses peut générer des mécontentements de la part des personnes habituées à un type de résultat. De plus, l’outil ne doit pas tenter de satisfaire les désirs de chaque fournisseur mais proposer une structure générale qui permette à chacun d’évaluer la performance de son jury. La multiplication des méthodes disponibles dans l’outil ne serait donc pas nécessairement un bon choix car la variété des résultats risquerait de perturber les utilisateurs.

2 Evolution de la performance

L’étude de l’évolution de la performance a conduit à mettre en place une méthodologie basée sur l’utilisation du modèle mixte. Cette approche permet d’étudier à la fois l’évolution du panel dans son ensemble et l’évolution de chaque panéliste par rapport au groupe. L’analyse est complétée par une représentation graphique basée sur l’utilisation des cartes de contrôle afin de détecter les évènements atypiques. Cette méthodologie nous semble bien adaptée au suivi de la performance au cours du temps, mais les caractéristiques de l’indice étudié peuvent avoir un impact sur la pertinence des résultats. En effet, la composition du panel et l’ensemble des produits étudiés peuvent varier au fil des évaluations. Ces modifications sont susceptibles d’influencer plus ou moins le niveau de performance du panel selon l’indice considéré. Par exemple, la discrimination d’un panel peut évoluer au cours du temps seulement à cause de la variabilité de l’espace produit à chaque temps de mesure, et non en fonction d’une réelle évolution de la performance de chaque panéliste. Il est donc important de choisir un indice peu sensible aux variations des conditions de l’expérimentation, ou de tenir compte de ces variations dans l’analyse. Dans ce dernier cas, le problème est généralement d’identifier et d’isoler les sources de variation parasites afin d’étudier uniquement l’évolution du niveau de performance du panel à proprement parler. Il est par exemple difficile de mesurer l’effet de la variabilité des produits à chaque temps de mesure sur l’évolution de la performance. En revanche, certaines covariables, comme le nombre d’échantillons présentés ou le niveau d’expérience de chaque panéliste à chaque temps de mesure peuvent être introduites dans le modèle.

L’indice sélectionné doit enfin satisfaire des contraintes de normalités des résidus. Cette condition n’était pas toujours remplie dans les analyses proposées dans ce manuscrit. Différentes transformations ont alors été envisagées afin de mieux satisfaire cette condition. Les conclusions au niveau du profil d’évolution de la performance étaient cependant peu modifiées. De plus, l’utilisation d’une transformation des données rend la lecture des résultats moins directe.

En marge de ces considérations techniques, les premiers résultats obtenus posent des interrogations relatives à la prise en compte de nouveaux points de mesures. En effet, lorsqu’un

nouveau profil sensoriel est réalisé par un panel, une possibilité consiste à ajuster un nouveau modèle qui tienne compte des données supplémentaires. L’analyse porte alors sur la modification éventuelle de la structure du modèle mixte. Une autre possibilité consiste à considérer le modèle établi à l’aide des premiers temps de mesure comme un outil de contrôle de l’évolution des futures études sensorielles. L’analyse se porte alors sur la position des nouveaux points de mesure par rapport à l’évolution prévue. De notre point de vue, les premières analyses obtenues sur quelques séries d’études avaient principalement pour objectif de caractériser et de décrire l’évolution d’un panel au cours du temps. L’adjonction de nouveaux temps de mesures seraient donc plutôt utile à la validation de la modélisation initiale. Dans ce cas, le modèle serait ajusté à nouveau en tenant compte des données supplémentaires, puis les nouveaux résultats seraient comparés aux anciens afin de détecter d’éventuelles modifications. En revanche, lorsque les résultats de plusieurs séries d’études auront été analysés et que les principaux mécanismes d’évolution de la performance auront été appréhendés, il pourrait être envisageable d’utiliser cette méthodologie dans une démarche de contrôle de la performance.

L’objectif initial était de créer un outil de décision permettant de détecter à quel moment un panel doit être ré-entraîné, ou à quel moment un panéliste doit être exclu du groupe, si nécessaire.

Nous disposons aujourd’hui d’une méthodologie qui permet de décrire l’évolution de la performance et de détecter les évènements atypiques. La décision finale, concernant l’éviction d’un panéliste ou son réentraînement, reste cependant de la responsabilité de l’animateur de panel.

Notons enfin qu’au commencement de ce travail, la caractérisation de l’évolution de la performance était la question essentielle posée par les centres ACTIA. Une méthodologie ad hoc a été développée parallèlement à la mise en place de la sensobase. Il serait maintenant envisageable d’intéger cette méthodologie du modèle mixte longitudinal aux traitements de la SensoBase. L’ajout de chaque nouvelle étude pourrait entraîner une mise à jour automatique des résultats. Cette opération demanderait toutefois quelques modifications de la structure de la SensoBase afin de définir explicitement les liens chronologiques entre les études.

3 Méta-analyse des niveaux de performance

L’analyse simultanée d’un grand nombre d’études descriptives a permis de faire progresser la connaissance sur les niveaux de performance généralement atteints en analyse sensorielle et sur quelques facteurs d’explication de la variation de ces niveaux.

Les résultats montrent que la répétabilité est relativement homogène au sein de chaque étude. En revanche, le niveau de répétabilité varie de manière significative entre les études sensorielles.

Les causes des différences observées pourraient être liées aux conditions de réalisation de chaque profil. Par exemple, les différences entre produits peuvent être plus évidentes dans certaines études. Les panélistes sont alors plus catégoriques sur leurs jugements, donc plus répétables. Concernant l’analyse du niveau de discrimination des panélistes, les résultats montrent qu’en moyenne, chaque juge ne discrimine les produits que pour un tiers des

descripteurs. Cette valeur relativement faible amène à se demander s’il est nécessaire d’utiliser autant de descripteurs (26 en moyenne) dans chaque étude alors que les panélistes ne sont capables de faire des différences entre les produits que pour un nombre réduit d’entre eux. Cette conclusion remet également en cause la capacité des panélistes à discriminer des produits sur un grand nombre d’attributs sensoriels différents. Le niveau de discrimination semble en revanche relativement homogène entre les études. Le constat est très similaire concernant le niveau d’accord entre les panélistes. En effet, bien que la tendance soit positive dans la majorité des cas, l’accord de chaque juge avec le groupe est significatif dans un tiers des situations seulement.

Les résultats de l’analyse des variables intra-étude montrent un fort effet du type de descripteur.

Les performances sont globalement meilleures pour les descripteurs visuels et plus mitigés pour les descripteurs de texture. En outre, le niveau de discrimination est sensiblement plus élevé pour les personnes âgées de 30 à 45 ans, ayant un niveau scolaire supérieur au baccalauréat et/ou une expérience en analyse sensorielle relativement longue. De plus, le niveau d’accord est significativement meilleur pour les panélistes les plus expérimentés. Le sexe n’influence pas la performance. Notons cependant que les conclusions concernant l’effet de la durée de l’entraînement et du niveau d’études reposent sur un nombre de données relativement faible. Il est donc important d’encourager les utilisateurs de la SensoBase à donner un maximum d’information pour permettre d’étudier l’effet de différents facteurs avec un niveau de confiance satisfaisant. Il serait également intéressant de mesurer les interactions entres les différentes variables, mais la nature des données de la SensoBase ne le permet pas. En effet, nous disposons rarement des informations sur toutes les variables dans une étude. Les interactions sont donc très déséquilibrées, voire incomplètes. La qualité et l’exhaustivité des informations données par les fournisseurs est donc primordiale pour réaliser des analyses robustes et puissantes. Afin d’obtenir, de manière plus systématique, des données plus complètes de la part des fournisseurs, la liste des informations optionnelles a été réduite dans le fichier Excel^® SensoBase. En contrepartie, les fournisseurs sont sensibilisés aux types d’études que nous souhaitons réaliser et encouragés à fournir les données correspondant à une courte liste d’items (dont les variables étudiées dans ce manuscrit).

Concernant les facteurs inter-études, la principale source de variation du niveau de la performance est le fournisseur. Cela indique que la mise en place et la réalisation d’un profil sensoriel peuvent être très différentes d’un établissement à l’autre. Ce résultat peut traduire le fait que les objectifs de chaque profil sont différents. Il est par exemple normal que les panélistes ne soient pas discriminants ou en accord sur certains descripteurs lors d’une démarche exploratoire, visant à conserver les descripteurs les plus discriminants. En revanche, une analyse menée sur des descripteurs éprouvés, avec un panel habitué à réaliser ce type d’analyse, devrait en général donner de meilleurs résultats. De plus, l’animateur de panel joue probablement un rôle déterminant sur la qualité de l’analyse, tant par la façon dont il organise les épreuves d’entraînement (nombre de séances, tâches effectuées…) que par la nature des consignes qu’il donne aux panélistes. Ce type d’information n’est cependant pas disponible dans les données recueillies par la SensoBase. Les analyses montrent que l’effet fournisseur peut en partie

No documento L’ECOLE NATIONALE DE BIOLOGIE APPLIQUEE A LA NUTRITION ET A L’ALIMENTATION (páginas 178-200)