Objectifs de la recherche
De la problématique au problème
Le nouvel élargissement de l'Europe rend encore plus urgente la lutte contre cette disparité dans les procédures et techniques d'évaluation. 5 Ces préoccupations sont également celles, en matière d'enseignement supérieur, des cosignataires de la Convention de Lisbonne (Convention sur la reconnaissance des diplômes de l'enseignement supérieur dans la région européenne, 1997), de la Déclaration de Bologne (Déclaration de Bologne du 19 juin 1999). ) et les acteurs du processus de Bologne (cf. site Internet du Secrétariat de Bologne, 2005).
De l'hypothèse à la thèse
Il s’agit des domaines (a) de la docimologie, (b) de la sociolinguistique et (c) de la politique éducative. Dans cette figure, on peut facilement intégrer la définition de l’approche actionnelle9 de l’usage du langage préconisée par le Conseil de l’Europe.
Étapes de la recherche
Plan de l'exposé des résultats de la recherche
Un modèle d'évaluation est proposé23 résultant de la synthèse des résultats présentés dans la section précédente. 23 Ce modèle de « méta-évaluation », dont l'objet est l'évaluation de la compétence de communication en langue étrangère, doit être clairement distingué du modèle d'évaluation présenté dans la première partie, dont l'objet était la seule compétence de communication en langue étrangère.
Évaluations et évaluation
Détermination et référentialisation des réalités à comparer
Observabilité et significativité des écarts
Mesure des écarts
Interprétation des écarts
Motivation de la mesure et de son interprétation
Modélisation retenue
Cas de l’évaluation en langues-cultures étrangères
Particularités de l’objet de l’évaluation
Par « activités langagières », nous entendons la mise en œuvre de la compétence de communication linguistique, particulièrement nécessaire à l’accomplissement d’une tâche. Ces questions pourraient trouver une réponse lors de la définition de l'objectif précis de la mesure à mettre en œuvre.
Particularités de la mesure opérée
Ainsi, l'évaluation des compétences en communication consiste à observer, vérifier l'existence et mesurer la qualité d'un produit - recherché dans et par. Déduire la capacité à partir de la capacité peut amener à se demander s’il s’agit d’évaluer la personne ou le produit. 105 La participation de l’évaluation à un processus d’adaptation de la formation lui conférerait en effet la qualité d’une évaluation formative.
Ces échelles sont centrées, en termes de formulation et d'organisation, sur l'utilisateur et non sur le concept. Cette conclusion conclut la section sur les aspects particuliers de la mesure liés aux fonctions sommatives et attestantes de l'évaluation.
Conclusions de la première partie
L’analyse des détails de l’objet évalué et de la mesure à effectuer permet de compléter le modèle de représentation d’une évaluation sommative et certifiante proposé ci-dessus121 et peut conduire à une modélisation des systèmes de certification des compétences communicatives (fig. 12). . Par rapports, nous entendons les différentes présentations, généralement adressées à chacune des personnes impliquées dans le processus d'évaluation, des résultats résultant de la prise de mesures ; ces rapports doivent démontrer le degré de réalisation des objectifs de l'évaluation. Les propriétés métrologiques sont les caractéristiques de la mesure indépendantes de la finalité et de l'objet de l'évaluation qui assurent sa scientificité, comme notamment la validité (garantir la mesure exclusive de ce qui doit être mesuré), la fiabilité (garantir l'exactitude de la mesure). ) et la cohérence (assurance que les tests considérés comme identiques sont effectivement comparables à tous égards).
Au terme de cette première partie, qui a conduit à la construction d'un modèle de représentation d'une évaluation sommative et certifiante adaptée au cas spécifique de l'évaluation en culture de langue étrangère, certaines questions restent pour l'heure sans réponse. Dans cette deuxième partie de l'étude, une enquête sur les traits permettant de caractériser le fonctionnement des systèmes d'évaluation certifiante en langues étrangères est établie et les résultats d'une analyse des traits caractéristiques de ces systèmes124 sont présentés.
Intentions de l’évaluation
Identités et rôles des acteurs
131 Par exemple, le réseau de centres de langues affiliés à PALSO (Fédération panhellénique des propriétaires d'écoles de langues étrangères), Grèce, http://www.palso.gr/. 132 CINOP, le Centre national néerlandais pour l'innovation dans l'éducation et la formation professionnelle, http://www.euroguidance.org.uk/french/nrcvgcentres/netherlands/index.htm, a par ex. La Commission en tant que client de l'agence nationale néerlandaise pour l'emploi. 133 Ces organisations peuvent être l'ALTE (Association of Language Testers in Europe) ou l'ICC (International Certificate Conference).
Regrouper ces participants selon leur rôle dans le processus d'évaluation permet d'identifier les besoins qui les animent et de relier chaque type de besoin ainsi identifié aux principales significations pouvant être attribuées à l'acte d'évaluation. dans la mesure où cela implique une participation active au processus, ce que, par exemple, les observateurs extérieurs n'ont pas.
Attentes des acteurs
Les responsables directement de l'évaluation, que sont les concepteurs, rédacteurs, administrateurs, examinateurs, correcteurs, peuvent à leur tour, à l'issue d'un processus d'évaluation, rechercher la validation d'hypothèses scientifiques et un relevé de dysfonctionnements qui amélioreraient la qualité de l'évaluation. l'évaluation à des niveaux aussi divers que celui de l'administration du système, la conception des tests, leur rédaction et l'interprétation des résultats - l'indiquent. Les enseignants et formateurs de ceux qui ont été évalués peuvent, dans le rapport d'évaluation final, outre la sanction de l'achèvement de la formation, la mesure du degré d'efficacité de cette formation et donc du matériel permettant d'améliorer l'efficacité de la formation, leur mission, peu importe. l’origine des éventuelles faiblesses constatées. 145 Il a été précisé dans les prolégomènes que ce type d'évaluation, dont la fonction est la régulation de la formation, n'entre pas dans le cadre de cette étude.
Cette mesure de l'efficacité de la formation peut également permettre aux responsables directs de la formation de prouver leur savoir-faire professionnel à eux-mêmes, aux étudiants, à leurs parents, à leurs collègues et à la direction de l'entreprise. De la même manière, un rapport sur les résultats de tous les étudiants d'un même établissement renseigne sur la qualité de l'enseignement proposé, sur la validité des choix politiques et méthodologiques de la direction et donc sur la valeur globale de l'établissement par rapport à l'école de langues. marché, par rapport par ex. institutions concurrentes.
Objectifs d’évaluation
Mesure et interprétation de la mesure
Niveau de la conception
L'innovation résiderait donc dans la gestion de la politique éducative « avec des résultats » appliquée notamment dans le domaine de l'évaluation située. Les profils des concepteurs de la partie scientifique des systèmes d’évaluation certification étudiés sont diversifiés. Les méthodes et techniques de mesure appliquées peuvent également conduire à des différences entre les systèmes d'évaluation de certification en fonction de l'objectif de la mesure et du critère utilisé.
Les problèmes de validité de ce type d’évaluation et d’élaboration de cette échelle ont été évoqués ci-dessus217. En termes d'indépendance de conception, il a été prouvé que les critères de qualité le sont.
Niveau de la mise en œuvre
Cependant, l'organisation des descripteurs se retrouve dans la structure de l'examen, qui consiste généralement en des tests correspondant chacun à une compétence de communication. De même, il est difficile de trouver une confirmation de l’efficacité de l’organisation de l’éducation et de la formation des juges. Les personnes chargées de collecter et d’analyser les scores sont souvent les concepteurs ou les administrateurs du système.
Les modalités de collecte des données ne sont généralement pas non plus stipulées. Les caractéristiques observées en termes de mise en œuvre des produits de conception des systèmes d'évaluation des certifications linguistiques, et dont l'existence,.
Produits et impacts de l'action évaluative
Dans ce dernier cas, ils doivent garantir une analyse objective réalisée avec une certaine transparence de la procédure d'évaluation. Les questions de dépôt des attestations, de durée de vie de leur archivage, de droits des candidats sur les résultats archivés et d'accès à ces archives ne sont pratiquement jamais abordées dans les documents décrivant les systèmes d'évaluation des certifications étudiés. L'impact principal du processus d'évaluation est dans tous les cas la sanction officielle de la fourniture de compétences - plus souvent appelée « communication » - et l'assurance d'un contrôle de qualité dans le processus de dévaluation.
Les produits attendus de la mesure d'évaluation sont donc des rapports intermédiaires simultanés (documentaires ou procéduraux, internes et externes), des rapports finaux (certificat de langue, rapports administratifs) et des rapports externes sur l'évaluation du système et la mise en œuvre des procédures qu'il a initiées. Les effets attendus du processus d'évaluation sont la sanction officielle de la mise à disposition de compétences en communication et l'assurance de la maîtrise de la qualité du processus d'évaluation et de sa pertinence par rapport aux attentes de chacun des acteurs du dispositif.
Conclusions de la seconde partie
Leur organisation en cahier des charges doit permettre une évaluation critériée pertinente des systèmes d'évaluation des certifications linguistiques. Au niveau du système, c'est l'étude de la planification conceptuelle et administrative des différentes actions qui peut être l'occasion d'apprécier la qualité de l'évaluation. Au niveau de la mise en œuvre elle-même, seule l'observation directe des progrès et de certains produits des différentes étapes du processus d'évaluation peut permettre une évaluation scientifiquement rigoureuse.
Avant de procéder à la modélisation des dispositifs et des techniques d'évaluation en langues étrangères, il est nécessaire de rappeler les hypothèses à partir desquelles sont parties ces recherches. Les résultats attendus de la recherche devraient être la création d'un modèle d'évaluation des systèmes et techniques d'évaluation des langues étrangères, sur lequel pourrait éventuellement être basé un instrument d'évaluation des systèmes de certification linguistique.
Organisation des critères de qualité retenus
- Pertinence du dispositif de certification
- Qualité conceptuelle
- Qualités de mise en œuvre
- Adéquation aux attentes
Ces hypothèses de départ étaient qu'il était possible de réduire un système d'évaluation linguistique à un ensemble de traits distinctifs permettant de déterminer sa qualité et son degré de conformité aux recommandations du Conseil de l'Europe. Nous avons vu plus haut307 que les premiers critères de qualité d'un système d'évaluation linguistique sont l'existence et la qualité des processus. Si une explication de l'identité et de la qualité sociale des personnes impliquées dans le processus d'évaluation doit être menée par les concepteurs du système d'évaluation, si une explication du rôle de chacune de ces personnes dans le processus et de leurs attentes s'avère indispensable, L'existence de ces énoncés ne fournira des informations significatives en termes de qualité de l'évaluation du système que si chacune de ces attentes se traduit effectivement en objectifs d'évaluation.
De même, la simple lecture des objectifs d’évaluation présentés dans une publication ne garantit pas que ces objectifs correspondent aux attentes réelles de chacun des acteurs de l’évaluation. Identifier l'identité, les qualités et les rôles des acteurs du système d'évaluation est en effet un préalable à l'établissement des attentes respectives.
Établissement du modèle d’évaluation
Évaluation différée
Après avoir établi l'existence de chacun de ces indicateurs textuels, trois jugements peuvent être portés sur leur qualité : Le(s) public(s) auquel(s) s'adressent ces textes. Ces trois jugements permettent donc de déterminer les qualités d'accessibilité, de lisibilité et de diffusion de chaque fragment de texte identifié (Questionnaire 20). Ainsi, au-delà d’établir l’existence, l’accessibilité, la lisibilité et la diffusion de ces textes, il est important de vérifier s’ils s’adressent correctement à tous les publics intéressés, si les médias sont plus adaptés à cet effet et enfin s’ils sont disponibles gratuitement. .
Par souci d'ergonomie, le questionnaire 21 permet uniquement d'identifier des qualités de transparence (accessibilité, lisibilité et diffusion) au profit des évalués ; on peut étendre ce recensement à chacun des publics potentiels (agents, évaluateurs, formateurs, etc.) des documents identifiés. Il a déjà été montré que le constat de l'adéquation des recommandations du Conseil de l'Europe, des choix méthodologiques régissant le fonctionnement du système de certification, peut être établi par le recensement, dans les textes officiels, de termes dont la présence sera élevée probabilité d’application confirmée.
Évaluation sécante
Possibilité d’allègement des outils d’évaluation
Applications expérimentales du modèle d'évaluation à des dispositifs de certification
Modélisation finale
Ouvrages édités
Publications électroniques
Index des notions
Index des noms d’auteurs
Index des institutions
Table des figures
Table des questionnaires