1151
Una aproximación, mediante juicio, a la validación del modelo de evaluación
para el desarrollo de la cohesión social (CS) a partir de la educación
Jesús M. Jorenet1, Margarita Bakieva1 y Purificación Sanchéz-Delgado1
1Universidad de Valencia, jornet@uv.es; margarita.bakieva@uv.es;
purificacion.sanchez@uv.es
Resumen. A partir de estudios anteriores sobre el diseño y desarrollo de un modelo sistémico de evaluación (De la Orden, 2007), que atienda de forma coherente los tres planos posibles de análisis (evaluación de sistemas, instituciones escolares no universitarias y profesorado) se incorporan aspectos tomando como referencia el concepto de Cohesión Social (Consejo de Europa, 2005) para orientar un modelo de evaluación global (Jornet, 2012). A partir de este concepto, se pretende definir un modelo de evaluación acerca de lo que la educación aporta para promover la Cohesión Social (CS). Para ello, se ha obtenido una primera evidencia de validación del modelo en base a sus dimensiones (y constructos) mediante jueces (N=305) de nivel nacional e internacional, recabando las opiniones relacionadas con el ámbito educativo mediante encuesta. Los primeros resultados apoyan el diseño de planes de evaluación basados en el constructo CS, como referencia de calidad, que permitan responder la siguiente pregunta: ¿la educación promueve el desarrollo personal y la transformación social desde este concepto y tomando como finalidad la CS?
Palabras clave: cohesión social, evaluación sistémica, sistemas educativos, titulaciones universitarias.
Approaching, by judgmental review, to the validation of the evaluation model focused in development of the social cohesion (SC) in education
Abstract. Based on previous studies on the design and development of a systemic evaluation model (De la Orden, 2007), which consistently addresses the three possible levels of analysis (evaluation of systems, non-university educational institutions and teaching staff) aspects are incorporated taking as reference the concept of Social Cohesion (Council of Europe, 2005) to guide a global evaluation model (Jornet, 2012). From this concept, it is intended to define an evaluation model about what education contributes to promote Social Cohesion. For this, we have obtained a first evidence of validation of the model based on its dimensions (and constructs) by judges (N = 305) nationally and internationally, gathering opinions related to the educational
field through a survey.
The first results support the design of evaluation plans based on the CS construct, as a reference of quality, that allow answering the following question: does education promote personal development and social transformation from this concept and taking the CS as its purpose?
Keywords: social cohesion, systemic evaluation, educational systems, university degrees.
1. Introducción
La evaluación de instituciones y sistemas educativos tiene un gran interés educativo y socio-político. No obstante, aunque este tipo de evaluaciones concita un gran impacto social, puede que nos encontremos ante uno de los ámbitos en el que los profesionales de la educación tengan mayor desconocimiento (Jornet, López-González y Tourón, 2012). Los enfoques teóricos subyacentes en estas evaluaciones y su metodología son muy complejos y normalmente no están claramente expuestos en los informes evaluativos. En los últimos años, institutos o agencias de evaluación, han fomentado la mejora del diseño y de la construcción de los instrumentos de evaluación de los sistemas educativos. Pero en general, estos esfuerzos se han ido dirigiendo únicamente hacia los factores que explican el desempeño como producto o resultado educativo (Backhoff, Bouza, González-Montesinos, Andrade, Hernández y Contreras 2008; Murillo, 2009; Willms, 2006).
1152
La consecuencia es que se ha ido produciendo una corriente de innovación educativa y de los planes escolares en general, pero sin llegar a aportar utilidad real a las informaciones que se derivan de los informes sobre las evaluaciones de los sistemas educativos (Jornet, González-Such y Perales, 2012). Por ello, estamos realizando diversos estudios acerca del modo en que pueden mejorarse las evaluaciones que se realizan acerca de los Sistemas Educativos. Estas investigaciones se están
desarrollando coordinadas por el Grupo de Medición y Evaluación1 de la Universitat de València, si
bien participan en él diversos investigadores/as de universidades españolas y extranjeras. En esta investigación utilizamos el concepto de Cohesión Social (CS), definida por “capacidad de la sociedad para garantizar la sostenibilidad del bienestar de todos sus miembros, incluido el acceso equitativo a los recursos disponibles, la dignidad en la diversidad y la autonomía personal y colectiva y a la participación responsable” (Consejo de Europa, 2005, p 23) como la finalidad a la que deberían aspirar las sociedades en su desarrollo. Desde este concepto, pusimos en marcha diversas investigaciones para definir un modelo de evaluación que tomara como concepto de calidad lo que la educación aporta para promover la CS. Para ello, partimos de un modelo global, de carácter sistémico, el modelo de evaluación de De la Orden et al. (1997). Una característica del modelo es que debía atender de forma coherente los tres planos posibles de análisis: Macro (evaluación de sistemas), Meso (instituciones) y Micro (Aula/aprendizaje/docencia). Las dimensiones del modelo se derivan de la definición realizada por el Consejo de Europa (2005), anteriormente presentada, acerca de la CS. La validación del constructo se basa en procesos de juicio de expertos. En este trabajo presentamos la “Validación Genérica del Constructo”, así como un avance de validación realizada para titulaciones universitarias, como muestra de la flexibilidad del modelo para su adaptación a diferentes contextos educativos y socio-culturales.
2. Objetivos
El objetivo principal es aportar evidencias acerca de la validación genérica del constructo al que se dirige el modelo. Para ello partimos de la definición de CS del Consejo de Europa (2005). Como objetivos específicos se trata de analizar la representatividad de los indicadores de las dimensiones aisladas en el concepto –ver tabla 1- como elementos que coadyuven a la valoración de la aportación de la educación para promover la CS. Las dimensiones aisladas del concepto son: Bienestar Social (para
todos), Sostenibilidad a lo Largo de la Vida, Equidad e Integración de la Diversidad y Participación (social).
Tabla 1. Aproximación de dimensiones y constructos implicados en la propuesta del modelo de evaluación para el desarrollo de la Cohesión Social (CS) a partir de la educación.
Dimensiones Constructos implicados
Bienestar social (para todos) 1. Clima social y de aprendizaje en el aula
2. Gestión social del aula 3. Gestión de conflictos en el aula Sostenibilidad (a lo largo de la
vida)
4. Competencias básicas (señaladas en el diseño curricular) 5. Competencia y desarrollo emocional
6. Valor social de la educación 7. Resiliencia
Equidad (en el acceso a recursos y oportunidades) e integración de la diversidad (personal y social)
8. Metodología didáctica (participativa, equipos, el estudiante como protagonista de su aprendizaje…)
9. Metodología de evaluación (diversificada en métodos, situaciones, tareas e instrumentos)
10. Colegialidad docente
1153
11. Respeto, dignidad y reconocimiento
12. Inclusividad: Atención a la diversidad física, cultural y/o social
Participación (social) 13. Colaboración Familia-Profesorado-Escuela
14. Estilos educativos familiares 15. Estilos educativos docentes 16. Sentido de pertenencia discente
17. Responsabilidad social: Autoimagen del rol social respecto a los entornos comunitarios (Escuela, Familia y Sociedad)
3. Metodología
La metodología de estudio se ha basado en la validación por expertos en educación. Se trata de un estudio de complementariedad metodológica cualitativa/cuantitativa (Jornet, González-Such y Perales, 2013). El proceso que aquí se presenta representa la etapa final de un estudio más amplio dirigido a la Validación de Constructo a partir de opiniones de expertos y cuya base metodológica está descrita en Jornet et al. (2017). El trabajo colaborativo, que se desarrolló en sucesivas investigaciones sobre el mismo constructo aplicado, a través de análisis con grupos focales, a diversos objetos (instituciones y sistemas educativos, conservatorios de música, etc…) es la base para identificar el consenso intersubjetivo. El proceso de definición del constructo general (la CS), sub-dimensiones y constructos específicos que las representan, proviene de estudios realizados con grupos focales. El análisis que aquí se presenta para apreciar el consenso inter-subjetivo es de tipo cuantitativo.
Estos procesos permitieron diseñar una encuesta que incluye dos componentes: a) Datos Personales de clasificación de especialistas (sin identificación nominal) -necesario para determinar la adecuación del grupo de estudio para los fines de la investigación, y por otro lado realizar estudios diferenciales acerca de las opiniones que al respecto pueda aportar cada colectivo-, y b) valoraciones de los expertos –con una escala Likert 1/10- sobre las sub-dimensiones y constructos que las representan y que habían sido identificadas a partir de grupos focales en estudios previos –ver tabla 3- en la definición del modelo de CS; se solicita la valoración en función a dos aspectos:
• Si el constructo que se pretende evaluar (por ejemplo, clima social del aula), sería un buen elemento para informar acerca la sub-dimensión de “bienestar social” al que hace referencia la definición de CS.
• A quién le deberíamos solicitar información para evaluar cada sub-dimensión; es decir, quién puede ser el mejor informante o fuente de información: ¿quién nos puede facilitar la mejor información, el profesorado, el alumnado, etc…?
3.1. Participantes: Grupos de expertos
Los participantes que actuaron como grupo de jueces fueron un total 305 personas. Sobre ellas, se recabaron diversas variables de clasificación con el fin de estudiar su valor diferencial en el momento de aportar sus valoraciones acerca del modelo. No obstante, y teniendo en cuenta que las opiniones o categorías interpretativas generalmente fueron muy homogéneas, en este trabajo presentamos tan sólo algunas de las características más importantes: Origen del informante (país), Sexo, Edad, Nivel en que desarrollan su trabajo (Universitario/No-Universitario) y Antigüedad profesional. El reclutamiento de jueces expertos se realizó a partir de la Red Iberoamericana de Investigadores en Evaluación de la Docencia (RIIED), de la que el grupo de investigación que representamos “Grupo de Evaluación y Medición: Educación para la Cohesión Social” (GemEduCo, www.uv.es/gem) forma parte. Asimismo, se contactó con docentes en activo y otros especialistas de centros nacionales en los que se hubiera realizado alguna experiencia de ensayo con el modelo. De este modo, pudimos incluir especialistas en
1154
evaluación y especialistas de instituciones escolares conocedores del sistema que se probaba como modelo de referencia. De acuerdo con los datos, prácticamente el 82% (n=250) de los informantes provenían de España. De ellos, el 50% aproximadamente era de la Comunidad Valenciana y los restantes, un 25% de la Comunidad de Madrid y un 12,5% de Castilla-La Mancha y otro 12,5% de Castilla-León. La aportación de informantes de Iberoamérica se gestionó gracias al apoyo de la Red Iberoamericana de Investigadores en Evaluación de la Docencia (RIIED). Dado que no se han observado valoraciones diferenciales en cuanto al modelo no nos detendremos en esta presentación respecto al origen de los informantes. En la tabla 2 se presentan las distribuciones de los informantes según su ocupación.
Tabla 2. Ocupaciones de los Informantes.
Informantes Frecuencia % Informantes Frecuencia %
Profesorado universitario 123 40,4 Docentes Universitarios
123 40,3
Profesorado Ed.Infantil, Ed.Primaria, Ed. Secundaria Obligatoria
69 22,6 Docentes
No-Universitarios
182 59,7
Profesorado Bachillerato, Formación Profesional. 76 24,9
Otros profesionales de instituciones o del sistema educativo (Orientadores, Inspectores,…)
37 12,1
Total 305 100 Total 305 100
En la fig. 1 se presenta la distribución de los participantes en función de si realizan su trabajo en el ámbito universitario o no-universitario, así como expresando sus niveles medios de edad y antigüedad profesional, según el sexo.
Fig. 1. Distribución de informantes por actividad profesional, sexo y antigüedad.
3.2. Análisis de Información
Presentamos tres aportaciones de análisis que se ajustan a las características de datos que provienen de la emisión de juicios de expertos: a) Análisis descriptivo acerca de la adecuación de las dimensiones y sub-dimensiones, así como el análisis porcentual de las nominaciones de audiencias o colectivos como informantes en evaluaciones a realizar con este modelo; b) Análisis de la consistencia (mediante
Pa rticip an tes (ju ece s) N = 305 Docentes Universitarios 40,3% Edad Media: 45,5 Antigüedad Prof.: 19,1 Mujeres 53,7% Edad Media: 43,9 Antigüedad Prof.: 17,1 Hombres 46,3% Edad Media: 47,2 Antigüedad Prof.: 21,4 Docentes No Universitarios 59,7% Edad Media: 44,6 Antigüedad Prof.: 19,5 Mujeres 57,7% Edad Media: 43,4 Antigüedad Prof.: 17,7 Hombres 42,3% Edad Media: 46,2 Antigüedad Prof.: 21,9
1155
correlación intraclase) y congruencia de juicio (mediante la prueba W de Kendall) como base de estimación de la fiabilidad inter-jueces y, por tanto, expresión de la fiabilidad del consenso intersubjetivo; y, c) Análisis de conglomerados de k-medias para el estudio de perfiles de valoración de jueces.
Para el estudio de conglomerados de k-medias se han realizado análisis para soluciones de 2 a 5 grupos. Los criterios de selección de la solución más adecuada son: a) existencia de diferencias estadísticamente significativas (mediante ANOVA) entre los centroides de todas las sub-dimensiones de los grupos identificados, b) escalabilidad de perfiles, y c) la configuración de grupos consistentes, no residuales2. Se seleccionó este análisis porque permite el análisis de las distancias de juicio en términos absolutos, no condicionados por distancias estandarizadas, como por ejemplo una distancia correlacional. La distancia utilizada es la euclideana, que no distorsiona lo que podríamos identificar como la distancia psicológica que cada experto expresa al valorar cuantitativamente una categoría interpretativa en un criterio determinado.
El análisis de los datos se ha realizado con el programa SPSS versión 223 y se ha basado en una descripción de los datos obtenidos mediante la encuesta.
4. Resultados
La presentación de resultados la organizamos en tres apartados: la adecuación de las sub-dimensiones y dimensiones y la identificación de los mejores informantes para cada caso, b) la congruencia y consistencia de los jueces consultados y, c) los perfiles de juicio que se identifican y su asociación a variables diferenciales. Se presenta en este trabajo una primera evidencia de validación del Modelo de CS sobre sus dimensiones (y constructos) mediante la valoración por jueces, recabando las opiniones de profesorado, orientadores/as, personas implicadas en equipos directivos, e inspección. En cuanto a los resultados concretos de la validación de la definición de la CS, podemos ver tabla 3.
Tabla 3. Valoraciones de jueces. Modelo de CS aplicado al Sistema Educativo obligatorio.
Dimensión Constructo M e di a* DT CV
% de acuerdo sobre las audiencias
A lu mn o s Pro fe so re s Or ie n ta d -s D ire ct o re s In sp ect o re s Fa mi lia
Bienestar social para todos 1. Clima social y … 8,22 1,68 20,44 90,5 95,1 52,5 38,0 16,4 46,9
2. Gestión social … 7,99 1,78 22,28 68,2 92,5 60,7 46,6 21,3 36,7
3. Gestión de conflictos… 7,98 2,04 25,56 80,7 91,8 67,9 54,1 24,3 51,5 TOTAL Bienestar Social 8,10 1,80 22,80 79,8 93,1 60,4 46,2 20,7 45,0
Sostenibilidad a lo largo de la vida 4. Competencias básicas… 7,67 1,81 23,60 50,5 94,1 52,5 55,7 43,6 24,3
5. Competencia y… 8,00 1,93 24,13 69,8 91,8 73,1 34,4 19,3 60,3
6. Valor social … 8,27 1,88 22,73 64,3 84,3 65,6 64,6 53,1 74,1
7. Resiliencia 7,66 2,05 26,75 69,2 81,0 67,9 44,9 31,8 60,0 TOTAL Sostenibilidad 7,90 1,90 24,3 63,5 87,8 64,8 49,9 37,0 54,7
Equidad en el acceso a recursos y oportunidades e integración de la diversidad.
8. Metodología didáctica… 8,22 1,87 22,75 64,9 96,4 59,7 45,2 28,2 20,3
9. Metodología evaluación… 8,02 1,91 23,82 51,5 97,0 58,4 54,1 38,4 17,4
10. Colegialidad docente 7,41 2,11 28,48 23,9 87,9 46,6 71,5 47,2 9,20
2 Tomamos como grupo residual aquel que está compuesto por menos de un 10% de los casos analizados.
1156
11. Respeto, dignidad y … 8,4 1,85 22,02 85,9 89,2 66,9 68,5 55,1 74,1
12. Inclusividad: Atención … 8,55 1,74 20,35 73,4 92,1 76,1 68,9 50,2 62,6 TOTAL Equidad e Int. Div. 8,10 1,9 23,5 59,9 92,5 61,5 61,6 43,8 36,7
Participación social 13. Colaboración Familia… 7,9 2,47 31,27 59,3 92,1 60,7 64,3 24,9 89,8
14. Estilos Educ. Familiares… 7,05 2,49 35,32 59,7 61,6 52,5 27,5 16,4 86,9 15. Estilos Docentes… 8,03 1,8 22,42 48,9 96,4 60,0 60,7 35,7 25,9
16. Sentido de pertenencia … 7,63 2,04 26,74 66,6 73,8 45,2 39,7 23,3 43,9 17. Responsabilidad social: … 7,97 1,94 24,34 72,5 84,9 64,9 67,5 48,9 80,7 TOTAL Participación 7,70 2,1 28,00 61,4 81,8 56,7 51,9 29,8 65,4 *N=305, mín.=1, máx.=10
En la tabla 3 podemos observar la síntesis descriptiva de las valoraciones de los jueces para cada dimensión y sub-dimensión del Modelo de evaluación. También se incluye el porcentaje en que los jueces señalan a cada audiencia como posible informante para cada sub-dimensión y dimensión. Los puntajes de las dimensiones son promedios. Se resaltan en negrita los valores más altos y más bajos en cada indicador estadístico. En cuanto a los porcentajes de jueces que señalan a cada audiencia, hemos sombreado aquéllos colectivos que han sido identificados al menos por el 60% de los jueces. La finalidad es identificar a los mejores informantes, así como a aquellos otros que deben ser tenidos en cuenta en procesos de triangulación de informaciones. De acuerdo a los datos (tabla 2) las cuatro dimensiones están adecuadamente representadas a partir de las sub-dimensiones propuestas. Las mejor representadas son las de Equidad e integración de la diversidad y la de Bienestar social. Como puede observarse respecto a la selección de informantes, se producen nominaciones bastante claras y coherentes:
a) El profesorado es el colectivo que se considera como mejor informante en todas las dimensiones y en la mayoría de sub-dimensiones. En este sentido señalar que se identifica como referencia para informar tanto acerca de cuestiones relativas al alumnado como a la gestión y organización del aula y centro.
b) El alumnado es el segundo colectivo nominado.
c) La familia es el tercer colectivo en cuanto a importancia como informante. En este caso, se le identifica en relación a la participación y relación familia-centro educativo.
d) Algunos colectivos han reunido menos del 50% de nominaciones en diversas sub-dimensiones: equipos directivos, orientadores psicopedagógicos escolares e inspectores educativos Los resultados obtenidos acerca de la consistencia inter-jueces o congruencia de juicio se pueden observar en la tabla 4. En todos los grupos (total y segregados en función de si son docentes universitarios o no-universitarios) se obtienen niveles muy elevados de consistencia inter-jueces. Del mismo modo, al analizar las mismas bases de datos a través de la W de Kendall, se obtienen niveles medio-altos, teniendo en cuenta que el número de jueces es muy elevado y ello, en todo caso, podía afectar al estadístico de forma que se observaran niveles menores.
1157
Estadísticos Grupo Total Grupos Docentes
Universitarios No-Universitarios Correlación Intraclase 0,956 0,925 0,905 W de Kendall 0,584 0,537 0,613 Ji Cuadrado 3017,450 1114,150 1887,061 gl 304 122 181 Sig. asintót. 0,000 0,000 0,000
Las apreciaciones acerca de la adecuación del modelo y de la nominación de informantes tienen valor en tanto en cuanto se apoyen en posiciones consistentes por parte de los expertos que han valorado estos aspectos respecto al modelo de evaluación. Por ello, los resultados mencionados en cuanto a consistencia y congruencia constituyen un aval para asumir las valoraciones emitidas como evidencia de validación del constructo tal como se ha operativizado en dimensiones y sub-dimensiones. Finalmente, presentamos los perfiles de valoración identificados a partir de Análisis de Conglomerados de k-medias. Se ha analizado las valoraciones emitidas por el grupo total para las 17 sub-dimensiones. De acuerdo con el razonamiento metodológico, se ha asumido como solución más representativa la de 2 grupos que pasamos a comentar brevemente. A esta solución se llega con 12 iteraciones. Se componen 2 grupos en el que el primero incluye a 209 expertos y el segundo 96. Los perfiles que corresponden a ambos grupos presentan diferencias estadísticamente significativas en todos sus centroides y se escalan, de forma que el grupo uno presenta mayor valoración de la adecuación de todas las subdimensiones y el grupo dos, menor –ver figura 2-.
Fig. 2. Perfiles de valoración en la solución de 2 grupos del análisis de conglomerados de k-medias.
Adicionalmente, con la finalidad de caracterizar la composición de los grupos mediante algunas características de los jueces, hemos salvado la pertenencia a grupo y analizado si se da asociación entre ella y la tipología de docente (universitario/no-universitario y sexo) mediante análisis Ji-Cuadrado. En ambos casos, no se observan asociaciones estadísticamente significativas, lo que apoya el hecho de que se trata de valoraciones no dependientes del tipo de centro en que el experto ejerza su docencia, ni del sexo. 8,9 8,7 8,6 8,1 8,8 9,0 8,4 9,0 8,8 8,1 9,1 9,2 9,1 8,2 8,8 8,5 8,9 6,7 6,5 6,6 6,6 6,2 6,6 6,1 6,5 6,3 6,0 6,8 7,1 5,3 4,5 6,4 5,7 6,1 0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0 1 . C lim a s o ci a l y de apr endi zaj e en el aul a 2 . G es ti ó n s o ci a l de l au la 3 . G es ti ó n de c o n fl ict o s en el au la 4 . C o mp et en ci a s bá si cas (s eñ a la d a s en e l di se ñ o … 5 . C o mp et en ci a y de sarro llo emo ci on al 6 . Va lo r s o ci a l de la ed u caci ó n 7 . R es ili en ci a 8 . M et o d o lo g ía di d á ct ic a 9 . M et o d o lo g ía de eval uac ión 1 0 . C o le g ia lid a d do ce n te 1 1 . R es p et o , di g n id a d y re con o ci mi en to 1 2 . In cl u si vi d a d : A te n ci ó n a l a d ive rs id a d 1 3 . C o la b o ra ci ó n F a mi lia -Prof es or ado -E sc ue la 1 4 . E st ilo s ed u cat ivo s fa mi lia re s 1 5 . E st ilo s ed u cat ivo s d o cen te s 1 6 . S en ti d o de pe rt en en ci a d is cen te 1 7 . R es p o n sa b ili d a d s o ci a l: A ut oi mage n en tor no s… Conglomerado 1 Conglomerado 2
1158
5. Discusión y conclusiones
Tal como se ha podido apreciar a partir de los resultados, la discusión específica acerca de las valoraciones de juicio puede ser muy variada. De hecho, en estudios adicionales, estamos identificando características que mejoran la orientación específica del modelo, aportando, junto a la generalidad que aquí se presenta, una mayor flexibilidad. El detalle de estas apreciaciones será comunicado posteriormente en un texto en el que se exponen de manera pormenorizada el modelo propuesto y sus adaptaciones a diferentes tipos de instituciones.
En este caso, tan sólo señalar algunos elementos que pueden sintetizar los resultados presentados: a) La operativización del modelo puede entenderse como adecuada según las valoraciones de los
expertos consultados; no se identifican, a nivel global, diferencias estadísticamente significativas que se vinculen a características colectivas de los jueces.
b) La identificación de informantes es coherente, señalando al profesorado como el centro sobre el que debe sustentarse la recogida de información evaluativa, así como al alumnado y, en tercer lugar, las familias; es decir, siguen siendo las más cercanas a los procesos de enseñanza-aprendizaje en el aula y en el centro educativo las más valiosas.
c) Se dispone de información específica acerca de qué otros colectivos pueden ser fuentes de información o informantes, cumpliendo con el criterio de triangulación.
d) Se advierte poco valor a las informaciones de otros colectivos que, a priori, deberían tener mayor importancia (inspectores). Sin embargo, como señalaremos posteriormente respecto a la estrategia evaluativa, la Inspección Educativa debería ser un elemento clave del modelo, al organizar y componer los Comités Externos de Evaluación. Posiblemente, la realidad actual ha configurado el rol evaluador y asesor de la Inspección, dejándolo relegado por la carga de sus actividades burocráticas, por lo que se perciben como poco conocedores de la realidad interna institucional.
e) Del mismo modo, equipos directivos y orientadores psicopedagógicos se consideran poco importantes como informantes, lo que define un panorama de funcionamiento de los centros escolares, al menos en Educación Primaria y Secundaria, poco alentador y que coincide en gran medida con conclusiones que al respecto pudieron derivarse del Informe TALIS (OCDE, 2013). f) En cualquier caso, como modelo, entendemos que, a partir de los resultados aportados, se puede constatar que el modelo puede actuar como un marco general de referencia en el que se identifica un concepto de calidad, la cohesión social, como medio y meta del desarrollo de la educación como política pública.
g) Pese a la dificultad de operativizar un modelo de evaluación basado en un constructo de estas características, los resultados vienen avalando que se trata de un enfoque útil y que posibilita integrar los enfoques más deseables para la educación en el s. XXI: inclusividad, bienestar para todos, sostenibilidad, participación social, etc. Hechos que no atienden modelos usuales que se centran en la evaluación de instituciones con enfoques meramente organizacionales (tales como el ISO-9000 o el Modelo Europeo de Gestión de Calidad, entre otros-AENOR, 2019-) y, en relación a sistemas educativos, evaluaciones a gran escala que tan sólo aportan visiones parciales basadas en productos educativos medidos a partir de pruebas estandarizadas diseñadas según modelos propios de los enfoques que los amparan y que resultan alejados a los métodos habituales de evaluación en el aula y no encuentran apoyo tampoco en estudios
1159
de validación cultural, pese a ser trasnacionales: Proyectos PISA, TIMMS, PIRLS (OCDE, 2019; NCES, 2019), etc.
Más allá de estas apreciaciones tenemos que señalar que es la referencia para diversos tipos de aplicaciones que estamos llevando a cabo y que pretenden aportar un sistema de evaluación que permita valorar si en el sistema y las instituciones educativas se trabaja promoviendo la CS, como base para el desarrollo personal y la transformación social. Las aplicaciones realizadas hasta la actualidad han dado origen a la adaptación del modelo para la evaluación de instituciones de educación obligatoria y post-obligatoria, así como para la evaluación de Conservatorios Profesionales de Música y Danza (Cabedo, Juncos y Valero, 2015). Por otra parte, se ha realizado su adaptación teórica para la evaluación de instituciones universitarias (Jornet, Sánchez-Delgado y González-Such, 2014) y en la actualidad se está realizando la adaptación del modelo para la evaluación de titulaciones universitarias. En los estudios desarrollados, el modelo ha mostrado ser aplicable en instituciones y sistemas, prácticamente sin cambios sustanciales. En el caso de sistemas debería evolucionar hacia un enfoque de Mapa de Indicadores (Jornet y Bakieva, 2019). Únicamente al intentarse aplicar a la evaluación de titulaciones universitarias, se ha puesto en evidencia la necesidad de un mayor esfuerzo de adaptación. En la tabla 5, se sintetiza la adaptación de la definición de CS para la evaluación de titulaciones universitarias, así como una primera valoración acerca de la relevancia y claridad de la adaptación UNIVECS. Esta propuesta ha nacido a partir del trabajo de un grupo de expertos en docencia universitaria que ha estado analizando desde la definición anterior, hasta su operativización en dimensiones y sub-dimensiones. El cambio se debe a la especificación de una unidad de análisis diferente: no se trata ya de una institución, sino básicamente de un programa.
Tabla 5. Adaptación de la definición del modelo y de sus dimensiones para la evaluación de titulaciones universitarias.
Constructos Relevancia Claridad Susceptibilidad de cambio
Sostenibilidad 3,91 ,29 3,68 ,65 2,90 1,21 Bienestar social 3,91 ,29 3,77 ,43 2,95 1,32 Inclusión 4,00 ,00 3,82 ,50 3,05 1,23 Autonomía personal 3,82 ,39 3,45 ,91 3,1 ,97 Sentido de pertenencia 3,91 ,29 3,77 ,61 3,05 1,23 Confianza 3,82 ,39 3,36 ,73 3,05 1,09 Movilidad social 3,82 ,39 3,68 ,65 3 1,18 Participación 3,77 ,53 3,32 ,89 3,1 1,09
Los pasos de trabajo incluyen los pasos de acuerdo con las líneas metodológicas indicadas en Jornet et al. (2017). En este momento se ha llevado a cabo un primer análisis a partir de jueces en el que se ha valorado la relevancia de las definiciones, su claridad para orientar la identificación de indicadores y si evalúan elementos que pueden ser susceptibles de cambio a partir de planes de mejora/innovación. Los primeros resultados son un aval para el uso del modelo en diferentes contextos. La presentación que aquí se realiza, al aportar una visión macro-analítica, no refleja la cualidad específica que aporta este modelo como guía de conceptualización de la calidad. Esta especificidad es una riqueza de su uso aplicado. En sucesivas aplicaciones, el modelo, a partir de grupos focales vuelve a ser contrastado, de manera que disponemos en esta aproximación de un elemento de triangulación básica para todas las aplicaciones: el criterio de referencia que permite la comparabilidad de los planes de evaluación que se deriven del modelo. Así, completa un análisis circular que parte de aproximaciones inductivas acerca de la aplicabilidad del modelo en contextos concretos, se construye teóricamente una referencia de constructo que, a su vez, se somete a juicio nuevamente, pero sin referirlo a un ámbito concreto. La
1160
continuidad del estudio vuelve a los ámbitos concretos y tomará como referencia el trabajo de grupos focales de especialistas de instituciones específicas.
Agradecimientos. Este trabajo se ha llevado a cabo en el marco del proyecto de Investigación UNIVECS Validación de un sistema de evaluación de titulaciones universitarias basado en un modelo de cohesión social con referencia EDU2016-78065-R, financiado por el Ministerio de Economía, Industria y Competitividad de España cofinanciado con fondos FEDER. Asimismo, ha sido realizado con la colaboración de la Red Iberoamericana de Investigadores sobre Evaluación de la Docencia (RIIED).
Referencias
AENOR (2019). Organizaciones educativas. Sistemas de gestión para organizaciones educativas. Disponible en: https://www.aenor.com.
Backhoff, E., Bouza, A., González-Montesinos, M., Andrade, E., Hernández, E., y Contreras, C. (2008).
Factores asociados al aprendizaje de estudiantes de 3º de Primaria de México. México D. F: INEE.
Cabedo, C., Juncos, R., y Valero, J.P. (Eds.) (2015). Las enseñanzas de música y danza en la Comunidad
Valenciana. Marco teórico para su evaluación desde un modelo de cohesión social. Mare Nostrum
SG, Generalitat Valenciana: Valencia, España.
Consejo de Europa. (2005). Elaboration concertée des indicateurs de la cohésion sociale - Guide
méthodologique. Estrasburgo: Consejo de Europa.
De la Orden, A., Asensio, I., Carballo, R., Fernández Díaz, J., Fuentes, A., García Ramos, J.M., y Guardia, S. (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. RELIEVE, 3(1). Disponible en http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm. Jornet, J. M. (2012). Dimensiones Docentes y Cohesión Social: Reflexiones desde la Evaluación. Revista
Iberoamericana de Evaluación Educativa, 5(1), 349-362. Disponible en: http://www.rinace.net/riee/numeros/vol5-num1_e/art27.pdf.
Jornet, J. M., López-González, E., y Tourón, J. (2012). Evaluación de sistemas educativos: teoría y experiencia. Bordón, 64(2), 9-11.
Jornet, J.M. y Bakieva, M. (2019, junio). Hacia un Mapa de Indicadores del Modelo Educación Superior
y Cohesión Social (UNIVECS). Ponencia presentada en las II Jornadas internacionales sobre
evaluación de titulaciones universitarias desde el modelo de evaluación educación superior y cohesión social. Universitat de València, España.
Jornet, J.M., González-Such, J., Perales, M.J., Sánchez-Delgado, P., Bisquert, M., Bakieva, M., …, Ortega-Gaite, S. (2017). Aproximaciones cualitativas para la definición y validación de constructos de instrumentos estandarizados de medida. En A. Pedro Costa, M.C. Sánchez-Gómez y M.V. Martín Cilleros (Eds.), La Práctica de la investigación cualitativa: ejemplificación de estudios (pp. 151-188). Ludomedia: Portugal.
1161
Jornet, J.M., González-Such, J., y Perales, M.J. (2012). Diseño de cuestionarios de contexto para la evaluación de sistemas educativos: optimización de la medida de constructos complejos. Bordón,
64(2), 89-110.
Jornet, J.M., González-Such, J., y Perales, M.J. (Eds.) (2013). Investigación evaluativa: Una perspectiva
basada en la complementariedad metodológica (cuantitativa-cualitativa). Perú: CREA.
Jornet, J.M., Sánchez-Delgado, P., y González-Such, J. (2014). Reflexiones en torno al contexto de la docencia universitaria desde un concepto de Cohesión Social: intervención educativa y evaluación. Revista Argentina de Educación Superior, 6(9), 110-145.
Murillo, J. (2009). Hacia un modelo de eficacia escolar. Estudio multinivel sobre los factores de eficacia en las escuelas españolas. Revista electrónica latinoamericana sobre calidad, eficacia y cambio
en educación, 6(1), 4-28.
NCES (2019). International Activities Program IAP. Disponible en: https://nces.ed.gov.
Nussbaum, M.C. (2006). Education and democratic citizenship: capabilities and quality education.
Journal of human development, 7, 385-395. Doi: 10.1080/14649880600815974.
OCDE (2013). TALIS 2013 Resultados. Disponible en: http://www.mecd.gob.es.
OCDE (2019). What is PISA? Disponible en: http:// http://www.oecd.org/pisa/aboutpisa/. Phillips, C., Estey, S., y Ennis, M. (2010). La convención. Migraciones forzadas, 35, 23-24.
Sancho, C., Jornet, J. M., y Perales, M. J. (2014). Valor social subjetivo de la educación: docencia y resultados escolares. Revista Iberoamericana de Evaluación Educativa 7(2), 197-207. Disponible en: http://www.rinace.net/riee/numeros/vol7-num2e/art15.pdf.
Walker, M.C. (2003) Framing social justice in education: what does the “capabilities” approach offer?
British Journal of Educational Studies, 51, 168-187.
Willms, J. D. (2006). Learning Divides: Ten Policy Questions About the Performance and Equity of
