DIRECTRICES DE EALTA PARA UNHA BOA PRÁCTICA NO DESENVOLVEMENTO
DE PROBAS E NAS TAREFAS DE AVALIACIÓN DE LINGUAS
O Comité Executivo de EALTA (Asociación Europea para a Avaliación de Linguas) designou un grupo de traballo para que revisase o borrador do Código de práctica elaborado polo proxecto ENLTA (European Network for Language Testing and Assessment). A tarefa do grupo de traballo consistiu en desenvolver un código deontolóxico ou un conxunto de directrices para a boa práctica no desenvolvemento de probas e nas tarefas de avaliación de linguas, adecuada a EALTA e aos seus obxectivos.
O principio fundacional de EALTA é o seguinte.
EALTA ten como finalidade fomentar a comprensión dos principios teóricos que rexen o
desenvolvemento de probas e das tarefas de avaliación de linguas, así como mellorar e compartir as prácticas avaliativas en toda Europa.
Para establecer estas directrices, o grupo de traballo baseouse nas seguintes consideracións: Europa é un continente multilingüe no que a diversidade de linguas, culturas e tradicións é moi
valorada. Parte desta diversidade maniféstase tamén nos sistemas educativos, así como nos principios e tradicións presentes na avaliación.
Por este motivo, os membros de EALTA deberán rexerse polos principios de transparencia,
responsabilidade e calidade máis adecuados aos seus contextos particulares e ámbitos profesionais específicos nos que desenvolvan as súas tarefas de avaliación.
Como consecuencia do desexo de EALTA de ser unha asociación aberta que acolla profesionais de diversas procedencias, as súas directrices elaboráronse tendo en consideración tres tipos de posibles membros que estean implicados en: (a) a formación de profesores en avaliación, (b) a avaliación na aula, (c) o desenvolvemento de probas en organismos ou centros avaliadores públicos ou privados. Hai unha serie de principios xerais aplicables a estes tres grupos: o respecto polos
estudantes/examinandos, a responsabilidade, a equidade, a fiabilidade, a validez e a colaboración coas partes implicadas. Estes principios xerais están recollidos nos distintos códigos de práctica existente. Anímanse os membros de EALTA a consultalos, co fin de dispor de máis información para un bo exercicio profesional e unha mellora na calidade do seu traballo. Poden consultarse os seguintes enlaces: http://www.iltaonline.com http://www.alte.org http://www.qca.org.uk http://www.apa.org/science/standards.html http://www.apa.org/science/FinalCode.pdf
As directrices de EALTA para un apropiado exercicio profesional son as seguintes:
Os membros de EALTA implicados na formación do profesorado no ámbito do desenvolvemento de probas e da avaliación de linguas teñen que reflexionar e explicarlles aos interesados nesta formación (profesorado en formación, profesorado en activo, elaboradores de currículos/plans de estudos) as súas conclusións sobre as cuestións listadas:
1. En que medida a formación en avaliación é, en cada caso, a pertinente para o contexto no que o profesorado desenvolve a súa praxe?
2. Ata que punto coñecen os profesores en formación os distintos procedementos de avaliación dispoñibles e adecuados ás súas necesidades presentes ou futuras?
3. En que medida os principios que rexen o desenvolvemento de probas e a avaliación (p. ex.: validez, fiabilidade, equidade, repercusión na docencia) son suficientemente claros e apropiados para o contexto do profesorado en formación?
4. Cal é o equilibrio entre a teoría e a práctica nun programa de formación?
5. Ata que punto se involucra o profesorado en formación no desenvolvemento, pilotaxe e valoración dos procedementos de avaliación?
6. Ata que punto se involucran os profesores en formación na corrección e na avaliación das actuacións dos estudantes?
7. Que atención se lle presta á adecuada análise dos resultados da avaliación?
8. En que medida se ten en conta o punto de vista do profesorado en formación no que se refire á adecuación e á precisión dos procedementos de avaliación?
9. En que medida os procedementos empregados para a avaliación do profesorado en formación seguen os principios que se lles ensinaron?
B. Consideracións sobre a avaliación na aula
Os membros de EALTA que teñan responsabilidades na avaliación na aula terán que reflexionar e explicarlles aos interesados nesta actividade (especialmente aos alumnos/estudantes e, na medida do posible, ás familias) as súas conclusións sobre as cuestións listadas:
1. OBXECTIVOS E ESPECIFICACIÓNS DA AVALIACIÓN
1. Con que fin se leva a cabo a avaliación?
2. Que relación hai entre os obxectivos da avaliación e o currículo?
3. Existe un documento no que se describan as especificacións para a elaboración das probas? 4. En que medida se abrangue o plan de estudos?
5. De que modo se dan a coñecer e se discuten os obxectivos e especificacións da avaliación e cales son as canles establecidas para poder debater estes puntos?
2. PROCEDEMENTOS DE AVALIACIÓN
1. Quen deseña os procedementos de avaliación?
2. En que medida se adecúan os procedementos de avaliación aos aprendices? 3. Como se recolle a información relativa á aprendizaxe dos estudantes?
4. Como se avalía e arquiva a información relativa á aprendizaxe dos estudantes? 5. De que modo se garante que os resultados da avaliación son precisos e xustos?
6. De que modo se promove o consenso nos criterios de corrección entre profesores e entre centros?
7. En que medida se ten en conta o punto de vista dos estudantes sobre os procedementos de avaliación?
3. CONSECUENCIAS
1. Que uso se fai dos resultados?
2. Que plans de actuación se promoverán para mellorar a aprendizaxe?
3. Que tipo de información (retroalimentación) reciben os estudantes sobre os seus resultados? 4. Que procedementos existen para que os estudantes ou os seus titores formulen reclamacións ou soliciten a revisión da súa avaliación?
5. Que efectos teñen na docencia os procedementos de avaliación utilizados? 6. Que efectos teñen nos aprendices os resultados da avaliación?
C. Consideracións para o desenvolvemento de probas por parte de organismos ou centros avaliadores públicos ou privados
Os membros de EALTA involucrados no desenvolvemento de probas terán que reflexionar e explicarlles ás partes implicadas (profesorado, estudantes, público en xeral) as respostas ás preguntas da listaxe detalladas máis adiante. Ademais, anímase ás persoas encargadas do desenvolvemento de probas a establecer un diálogo, nas institucións e organismos correspondentes, cos responsables da toma de decisións, para garantir que estes son conscientes do que se considera unha correcta ou incorrecta praxe profesional, coa finalidade de mellorar a calidade dos sistemas e as prácticas de avaliación.
1. OS OBXECTIVOS E AS ESPECIFICACIÓNS DAS PROBAS
1. Con que claridade se especifican os obxectivos das probas?
2. Que actuacións se contemplan no caso dunha utilización espuria da proba? 3. Están especificamente identificadas todas as partes implicadas no tema? 4. Existe un documento que describa con precisión as especificacións da proba? 5. Existen especificacións diferenciadas para os diferentes destinatarios?
6. Existe unha descrición do candidato que realizará a proba?
7. Especifícanse os construtos que se pretenden avaliar coa proba ou con cada parte desta? 8. Descríbese e exemplifícase a metodoloxía e as tarefas que conforman as probas?
9. Descríbese e exemplifícase a gama de posibles actuacións dos estudantes? 10.Existen uns modelos de corrección e uns criterios de puntuación establecidos?
11.Exprésase o nivel da proba utilizando escalas do Marco europeo común de referencia? De que forma se demostra a correspondencia entre o nivel da proba e as escalas?
2. ELABORACIÓN DE PROBAS E REDACCIÓN DE ÍTEMS
1. As persoas responsables do desenvolvemento das probas e da redacción de ítems teñen a suficiente e adecuada experiencia docente no nivel educativo que se quere avaliar?
2. Que formación teñen os elaboradores de probas e os redactores de ítems? 3. Existen directrices para a elaboración de probas e a redacción de ítems?
4. Existe un procedemento sistemático para revisar e modificar os ítems e as tarefas, de forma que se garanta que os elaboradores e os redactores se adecúan ás especificacións do exame e se axustan ás directrices sobre a redacción de ítems?
5. Que información relativa á súa tarefa (retroalimentación) reciben os redactores de ítems?
3. CONTROL DE CALIDADE E ANÁLISE DAS PROBAS
1. Que procedementos de control de calidade se aplican? 2. Pilótanse as probas?
3. Cales son as dimensións da mostra da pilotaxe? É representativa a mostra con respecto á poboación á que se lle administrará a proba?
4. Que tipo de información se recolle durante a pilotaxe? (opinións do profesorado, opinións dos estudantes, resultados,…).
5. Como se analizan os datos obtidos na pilotaxe?
6. Cal é o procedemento que se utiliza para acordar os cambios que se introducen nunha proba á vista dos datos recollidos na pilotaxe?
7. Se hai distintas versións dunha proba (p. ex.: anuais), como se verifica a equivalencia entre elas?
8. Fórmanse os correctores das probas antes de cada administración destas?
9. Na formación utilízanse mostras estandarizadas das actuacións (producións orais e escritas) reais?
10.As probas de corrección subxectiva sométense de forma sistemática a unha dobre corrección? Calcúlase a fiabilidade de cada corrector (intrafiabilidade) e entre correctores (interfiabilidade)? 11.Hai un control sistemático da corrección?
12.Que análises estatísticas se realizan?
13.Que resultados se difunden? Como se fai a difusión? A quen se dirixe?
14.Que proceso se segue para que os candidatos poidan formular reclamacións ou solicitar unha revisión da avaliación
4. A ADMINISTRACIÓN DA PROBA
1. Que normas de seguridade existen?
2. Reciben formación os encargados de administrar a proba? 3. Supervísase a administración da proba?
4. Os examinadores realizan un informe anual ou despois de cada administración da proba?
5. REVISIÓN
1. Con que frecuencia se revisan e modifican as probas? 2. Realízanse estudos de validación?
3. Que mecanismos existen para garantir que a proba incorpore os cambios que se vaian producindo no currículo?
6. REPERCUSIÓN SOBRE A DOCENCIA
1. Faise a proba coa intención de iniciar cambios na práctica docente habitual?
2. Que repercusión ten a proba sobre o ensino? Que estudos se fixeron para determinalo? 3. Existen materiais específicos para prepararse para a proba?
4. Os profesores reciben formación para preparar os seus estudantes para a proba?
7. VINCULACIÓN AO MARCO EUROPEO COMÚN DE REFERENCIA
1. Que evidencia existe da calidade do proceso seguido para vincular as probas e exames cos niveis do Marco europeo común de referencia?
2. O procedemento recomendado no manual e no suplemento de referencia aplicouse adecuadamente?
3. Existe un informe público no que se relate todo o proceso de vinculación?
D. VINCULACIÓN AO MARCO EUROPEO COMÚN DE REFERENCIA (MECR)
A vinculación ao MECR é un labor complexo que pode a miúdo adoptar a forma dun proxecto que se desenvolverá ao longo dun certo número de anos. Vincular as probas cun estándar como o MECR esixe un enfoque científico, e as conclusións deben estar baseadas nos resultados da investigación, preferiblemente sometida a unha revisión por homólogos.
As institucións/entidades avaliadoras que desexen atribuírse a súa vinculación ao MECR faranse responsables de proporcionar evidencias suficientemente convincentes de tal vinculación. As seguintes consideracións poden ser útiles para reunir tales evidencias.
Os membros de EALTA que participen no proceso de vinculación dun exame ao MECR reflexionarán e darán a coñecer aos axentes implicados (profesores, estudantes, persoas responsables da toma de decisións, ou público en xeral) as súas conclusións sobre as cuestións que a continuación se citan:
1. Abordáronse en profundidade os aspectos relacionados coa calidade da proba e o seu impacto? (véxase a Sección C das Directrices de EALTA). Atópase información sobre a calidade da proba a disposición do público en xeral?
2. Están suficientemente familiarizadas co MECR as persoas que interveñen no desenvolvemento das probas? Seguíronse procedementos de familiarización co MECR? Que evidencia existe dos procedementos seguidos e os seus correspondentes resultados?
3. Foron analizados o contido da proba e as súas especificacións relacionándoos cos descritores do MECR? Que evidencia existe dos procedementos seguidos e os seus correspondentes resultados?
4. Seguíronse os procedementos de estandarización no que respecta ás actuacións escritas e orais? Cales? Por quen? Que evidencia existe dos procedementos seguidos e os correspondentes resultados?
5. Atópanse as mostras de exemplo a disposición do público en xeral?
6. Aplicáronse os procedementos de estandarización no que respecta aos ítems destinados ás probas das destrezas receptivas?
7. Atópanse a disposición do público en xeral, os ítems e as tarefas do seu contexto vinculadas ao MECR?
8. Que procedementos de fixación de estándares foron utilizados para establecer a puntuación mínima que hai que acadar no nivel ou niveis do MECR pertinentes? Cantos árbitros estiveron implicados? Existe un informe sobre a fixación dos estándares a disposición do público en xeral? 9. Recolléronse datos durante os procesos de vinculación que evidencien a súa validez? Atópanse a disposición do público en xeral?
10. Existe un plan de traballo para a fixación de niveis que garante estándares de calidade e a vinculación co MECR? Atópase a disposición do público en xeral?
