Como avaliar a qualidade

Harms e Clifford (1993) referem várias formas de estudar os contextos de educação e cuidados: (1) consulta de documentos e registos, (2) entrevistas e questionários à equipa técnica ou aos pais e (3) observação. A consulta de documentos e de registos pode facilitar a recolha de informação sobre as políticas de funcionamento, as regras e as questões administrativas. As entrevistas e os questionários permitem perceber em que medida o programa vai ao encontro das

Capítulo II

66

necessidades das diversas pessoas envolvidas. Através da observação é possível verificar em que medida o currículo está a ser implementado e perceber o tipo de interacções e a adequação do espaço físico (Harms & Clifford, 1993). Em Portugal, como é conhecido, não há um currículo para a educação de infância (creche ou jardim-de-infância), apenas foram publicadas pelo Ministério da Educação (1997) orientações curriculares para a educação pré-escolar. De qualquer modo, se tal for pretendido, é possível verificar, através da complementaridade da observação, dos questionários e entrevistas e da consulta de documentos, em que medida os projectos pedagógicos e/ou curriculares de cada instituição ou de cada sala são definidos e implementados.

Diversos países utilizam instrumentos estandardizados para avaliar a qualidade dos serviços de educação e cuidados para a infância, sendo que alguns deles visam avaliar a qualidade para todas as crianças do grupo e outros focam-se na experiência de uma criança, individualmente. As escalas desenvolvidas nos EUA pela equipa do Frank Porter Child Development Institute (FPG), da Universidade da Carolina do Norte em Chapel Hill, que serão apresentadas de seguida, são provavelmente os mais conhecidos e utilizados instrumentos de avaliação da qualidade global das salas.

Outra abordagem ao nível da avaliação da qualidade da educação e cuidados, muito utilizada nos EUA, consiste em avaliar o desempenho das crianças em áreas específicas. Estes resultados são utilizados para avaliar a eficácia dos programas e para determinar que políticas e programas devem receber financiamento (OCDE, 2001). Este tipo de avaliação privilegia os resultados cognitivos e académicos, o que pode levar os educadores a investir apenas nestes objectivos.

Em alguns países, como Dinamarca, Finlândia, Noruega, Suécia e algumas partes de Itália, verifica-se uma co-construção dos objectivos da instituição, na qual participam pais, educadores e outros parceiros sociais orientados por conselheiros pedagógicos. Nestes casos a monitorização é um processo contínuo e participado, sendo as discussões no grupo pedagógico constantes e sendo mantido um registo escrito do progresso das crianças, do grupo de crianças e do trabalho do centro (OCDE, 2001).

Instrumentos de avaliação da qualidade dos contextos

As escalas de avaliação da qualidade do ambiente, da equipa de investigadores do FPG, permitem avaliar a qualidade experienciada por todas as crianças num grupo específico (Cryer, 1999). Estas escalas são consideradas medidas da qualidade de processo (Vandell & Wolfe, 2000), a dimensão da qualidade mais directamente vivida ou sentida pelas crianças (Cryer & Burchinal, 1997). Como foi já referido, as principais características dos indicadores ou descritores da qualidade podem,

Educação e cuidados de elevada qualidade

segundo vários autores (e.g., Bairrão, 1995), conceptualizar-se em duas grandes dimensões: a estrutural e a de processo. A dimensão estrutural tem a ver com os aspectos físicos, humanos e organizativos; e a dimensão de processo relaciona-se com as interacções ou trocas (transacções) adulto/criança e criança/criança que ocorrem nesses programas. Apesar de se distinguirem características de processo e características de estrutura, como refere Lamb (1998), na prática as medidas mais populares da qualidade de processo incluem simultaneamente indicadores das características ambientais, como a segurança, e indicadores das características de interacção.

Harms e Clifford (1993), dois dos autores destas escalas, consideram que as características mais importantes dos contextos de educação e cuidados são: a salubridade e a segurança (existência de critérios de licenciamento, obediência a critérios de higiene e de saúde, etc.), as interacções (frequência de interacções adulto-criança que revelam afecto e respeito, etc.), o currículo (planificação de actividades desenvolvimentalmente adequadas, equilíbrio entre a actividade de iniciativa do adulto e de iniciativa da criança, etc.) e o pessoal (grupos com número limitado de crianças, rácio adulto-criança adequado e qualificação e formação dos técnicos). As escalas de avaliação da qualidade do ambiente têm, portanto, em consideração estes aspectos.

A primeira escala desenvolvida por esta equipa foi a Early Childhood Environment Rating Scale (ECERS; Harms & Clifford, 1980), destinada a avaliar contextos de educação extrafamiliares para crianças entre os 2 e os 6 anos de idade. Esta escala tem 37 itens, organizados em sete subescalas: Rotinas e cuidados pessoais, Materiais e mobiliário para as crianças, Experiências de linguagem e raciocínio, Actividades de motricidade global e fina, Actividades criativas, Desenvolvimento social e Necessidades dos adultos. Cada um dos itens é cotado numa escala de 7 pontos, com descritores ou indicadores para 1 (inadequado), 3 (mínimo), 5 (bom) e 7 (excelente).

Em 1989 foi publicada a Family Day Care Rating Scale (FDCRS; Harms & Clifford, 1989), destinada a avaliar a qualidade de estruturas de educação e cuidados de tipo familiar. Esta escala é constituída por 32 itens, organizados em sete subescalas: Espaço e mobília para cuidados infantis, Cuidados básicos, Linguagem e raciocínio, Actividades de aprendizagem, Desenvolvimento social, Necessidades do adulto (ama) e Itens suplementares: disposições para crianças excepcionais. Cada item é cotado na mesma escala de 7 pontos.

Depois da ECERS e da FDCRS foi publicada a ITERS – Infant/Toddler Environment Rating Scale (Harms, Cryer, & Clifford, 1990), uma escala de avaliação global da qualidade de estruturas formais de educação destinadas a grupos de crianças com menos de 30 meses de idade. A ITERS é constituída por 35 itens, agrupados em 7 categorias: Mobiliário e sua disposição para as crianças, Cuidados pessoais de rotina, Escuta e conversação, Actividades de aprendizagem, Interacção,

Capítulo II

68

Estrutura do programa e Necessidades do adulto. No processo de desenvolvimento da ITERS, foram considerados resultados da investigação, valores profissionais e conhecimentos práticos (Harms, Cryer, & Clifford, 1999). Os seus autores consideram-na consistente com os Critérios para Programas de Educação para a Infância de Qualidade (Criteria for Quality Early Childhood Programs) definidos pela NAEYC (1984, como citado em Harms et al., 1999) e com as exigências ou objectivos do Programa Nacional de Acreditação da Child Development Associate – CDA (CDA National Credentialing Program, 1984, como citado em Harms et al., 1999). O Quadro 1 apresenta a correspondência entre os itens da ITERS e as competências propostas pela CDA.

A edição revista da ITERS (Infant Toddler Environment Rating Scale- Revised Edition – ITERS- R) foi publicada em 2003 (Harms et al., 2003) e traduzida para português em 2004, no âmbito do presente estudo, adoptando a designação Escala de Avaliação do Ambiente de Creche – Edição Revista. Uma descrição aprofundada deste instrumento é apresentada no Capítulo IV (Métodos).

Quadro 1. ITERS e competências da CDA

Competências CDA Itens da ITERS

1. Estabelecer e manter um ambiente seguro, saudável e de aprendizagem

Segurança 13, 14, 29

Saúde 7, 8, 9, 10, 11, 12

Aprendizagem 1, 2, 3, 4, 5, 28, 29

2. Promover a competência motora e intelectual

Motricidade 17, 18, 19, 20, 21

Cognição 17, 19, 21, 23

Comunicação 15, 16

Criatividade 19, 20, 21, 22

3. Apoiar o desenvolvimento social e emocional e fornecer orientação positiva

“Self” 6, 26, 31

Social 24, 25

Orientação 25, 27

4. Estabelecer relações positivas e produtivas com famílias 6, 31, 35

5. Assegurar um programa bem conduzido, intencional, que responda às necessidades dos

participantes. 28, 29, 30

6. Assumir um compromisso com o profissionalismo 30, 32, 33, 34

Fonte: Harms et al. (1999, como citados em Aguiar et al., 2002)

Antes da revisão da ITERS foi publicada a edição revista da ECERS (ECERS-R; Harms, Clifford, & Cryer, 1998), constituída por 43 itens agrupados em 7 categorias: Espaço e mobiliário, Rotinas/cuidados pessoais, Linguagem – raciocínio, Actividades, Interacção, Estrutura do programa e

Educação e cuidados de elevada qualidade

Pais e pessoal. Sakai, Whitebook, Wishard e Howes (2003) efectuaram um estudo no sentido de verificar (1) em que medida a ECERS e a ECERS-R eram medidas equivalentes da qualidade e (2) em que medida a ECERS-R colmatava algumas das limitações da ECERS, nomeadamente relacionadas com a sensibilidade cultural e a estabilidade do pessoal. Os resultados obtidos permitiram concluir que a ECERS e a ECERS-R podem ser consideradas medidas equivalentes da qualidade: os resultados médios apresentaram uma correlação forte e tinham distribuições semelhantes. Contudo, de acordo com estas autoras, tal como a ECERS, a ECERS-R falha na consideração da estabilidade do pessoal e de aspectos-chave das práticas culturalmente sensíveis, como a comunicação com as famílias na sua língua materna (Sakai et al., 2003).

A edição revista da FDCRS foi publicada recentemente, tendo sido alterada ligeiramente a sua designação para Family Child Care Environment Rating Scale – Revised Edition (FCCERS-R; Harms, Cryer, & Clifford, 2007). A FCCERS-R contém 38 itens, organizados em 7 categorias: Espaço e mobiliário, Rotinas de cuidados pessoais, Escuta e conversação, Actividades, Interacção, Estrutura do programa e Pais e prestador de cuidados.

Sylva, Siraj-Blatchford e Taggart (2003) desenvolveram uma escala que constitui uma extensão da ECERS, designada Early Childhood Environment Rating Scale – Extension (ECERS-E), para avaliar especificamente aspectos curriculares da qualidade em centros de educação pré-escolar ingleses, sujeitos ao cumprimento do currículo nacional. A ECERS-E é constituída por 15 itens agrupados em 4 categorias: (1) Literacia, (2) Matemática, (3) Ciência e ambiente e (4) Diversidade. A estrutura da escala e o sistema de cotação são os mesmos que nas escalas de avaliação do ambiente desenvolvidas no FPG.

Apesar de algumas escalas serem utilizadas em diversos países, independentemente do país onde foram desenvolvidas (o exemplo mais significativo será, provavelmente, a ECERS), vários autores aconselham prudência na sua utilização, nomeadamente devido às diferenças culturais (e.g., Brophy & Statham, 1994). Brophy e Statham (1994) identificaram quatro áreas que a ECERS considerava menos prioritárias ou nas quais representava valores diferentes dos contextos de educação do Reino Unido que as autoras observaram: (1) jogo livre, (2) envolvimento dos pais, (3) diversidades étnica, de género ou outras e (4) relações interpessoais. Estas autoras sugerem que se tenha em consideração as características particulares de cada centro quando se utiliza a ECERS e se interpretam os seus resultados. Outro aspecto salientado é o facto de a ECERS constituir uma medida do ambiente, não permitindo avaliar a qualidade da experiência de cada criança. Pode considerar-se que o ambiente cria um potencial importante para que haja experiências individuais de boa qualidade. Contudo, não as garante necessariamente. Uma vez que a ECERS é preenchida com base numa única visita, não

Capítulo II

70

permite avaliar a natureza dinâmica do ambiente pré-escolar e em que medida ele oferece variedade e novos desafios para as crianças. De acordo com Lamb (1998), em alguns países do norte da Europa, nomeadamente na Suécia, os serviços estudados com as escalas desenvolvidas na Carolina do Norte atingiram valores de qualidade quase perfeitos o que, associado com a baixa variabilidade encontrada, conduziu a que se questionasse a utilidade da ITERS e da ECERS na avaliação da qualidade das salas. Os peritos receiam também que sejam utilizados para avaliar e classificar as crianças ou o pessoal de uma forma normativa e não-motivadora, que não veja o desenvolvimento das crianças como dependente do seu contexto temporal e espacial (OCDE, 2001). Apesar das críticas efectuadas, a investigação permitiu identificar vários aspectos positivos destas escalas, particularmente nos casos em que foram adaptadas de modo a reflectir as necessidades nacionais e os contextos específicos e quando o pessoal foi suficientemente treinado para compreender não apenas a sua forma de aplicação, mas a teoria subjacente (OCDE, 2001).

No Brasil, Souza e Campos-de-Carvalho (2005) realizaram um estudo com o objectivo de perceber a pertinência dos itens da ITERS para avaliar a qualidade de contextos educativos brasileiros, recorrendo aos pareceres de duas psicólogas especialistas em educação de infância. Souza e Campos-de-Carvalho concluíram que a ITERS é pertinente para avaliar a qualidade dos serviços para crianças até aos 30 meses de idade no Brasil, uma vez que houve acordo das duas juízas relativamente à permanência de 97% dos itens na escala, apesar de sugerirem algumas alterações no conteúdo de alguns itens. Os itens da subescala Interacção foram considerados pertinentes e adequados aos contextos brasileiros e as subescalas Rotina/Cuidados pessoais, Linguagem Oral e Compreensão e Actividades de Aprendizagem destacaram-se pelo número de alterações sugeridas por ambas as especialistas. Umas das psicólogas sugeriu que o item Blocos não fosse avaliado nas creches brasileiras.

Além destas escalas de avaliação da qualidade, amplamente divulgadas, têm sido desenvolvidos outros instrumentos que permitem avaliar a qualidade em contexto de creche e/ou jardim-de-infância. O Ministério da Educação dos EUA publicou um guia que visa fornecer informação acerca das características dos programas de elevada qualidade e que possibilita a sua avaliação (Dwyer, Chait, & Mckee, 2000). São apresentadas as características dos programas que promovem o desenvolvimento cognitivo e da linguagem, organizadas em seis áreas: (1) qualidade do envolvimento dos pais, que inclui o desenvolvimento da relação escola-família, do ambiente de literacia familiar e das interacções pais-crianças e a competência no trabalho com populações parentais diversas; (2) qualidade dos ambientes de aprendizagem, que inclui o tamanho do grupo e o rácio adulto-criança, a

Educação e cuidados de elevada qualidade

segurança, a riqueza do ambiente de literacia, a inclusão de crianças com necessidades especiais; (3) qualidade da pedagogia para a infância, que inclui variedade de domínios e estruturas (promoção do desenvolvimento em todas as áreas e variação entre actividades individuais, em grande grupo e pequeno grupo), individualização, aprender a pensar; (4) qualidade dos currículos para a infância, que inclui a planificação, os fundamentos da linguagem, os fundamentos da literacia emergente, os fundamentos de matemática e ciência para a resolução de problemas; (5) qualidade do pessoal, que inclui a formação do pessoal, as condições de trabalho para o pessoal, o desenvolvimento profissional; e (6) a qualidade da avaliação e da melhoria contínua, incluindo orientação para a instrução (efectuar uma avaliação contínua e efectuar registos), identificação de necessidades de serviços e intervenções especiais e avaliação do programa. Em cada uma destas áreas são apresentados resultados da investigação, desafios que se colocam aos programas e os indicadores da qualidade, que podem ser avaliados de 1 (de maneira alguma descritivo do programa) a 5 (muito descritivo do programa) (Dwyer et al., 2000). O Guia apresenta também grelhas que permitem avaliar os resultados ao nível do desenvolvimento da linguagem das crianças, uma listagem de recursos que podem ser úteis e uma grelha com os referidos indicadores da qualidade dos programas.

A NAEYC, no âmbito do seu sistema de acreditação, desenvolveu um instrumento, o Childhood Classroom Observation, com 68 itens que correspondem aos critérios desta Academia, e que se organizam em cinco categorias: interacção entre o pessoal e as crianças, currículo, ambiente físico, saúde, segurança e alimentação (Harms & Clifford, 1993). Os critérios de qualidade para acreditação da NAEYC foram entretanto revistos e organizam-se actualmente em 10 áreas: relações, currículo, ensino, avaliação do progresso da criança, saúde, pessoal, famílias, relações com a comunidade, ambiente físico, liderança e administração (NAEYC, s.d.).

A associação norte-americana Association for Childhood Education International (ACEI) desenvolveu igualmente um instrumento de avaliação da qualidade – ACEI Global Guidelines Assessment (GGA), com 88 itens organizados em cinco áreas: (1) Ambiente e espaço físico, (2) Conteúdo do currículo e pedagogia, (3) Educadores de infância e prestadores de cuidados, (4) Parcerias com as famílias e as comunidades e (5) Crianças com necessidades especiais (ACEI, 2006). Cada um dos 88 itens pode ser classificado de inadequado a excelente, havendo a possibilidade de se cotar também não disponível.

No âmbito do estudo desenvolvido pela National Institute of Child Health and Human Development (NICHD) Early Child Care Research Network, conhecido por NICHD Study of Early Child Care, foi desenvolvido um instrumento de avaliação da qualidade, designado Observational Record of the Caregiving Environment – ORCE. Este instrumento, ao contrário de outros já descritos, foca-se nos

Capítulo II

72

comportamentos do prestador de cuidados em relação a uma criança e não naquilo que acontece na sala, na sua globalidade, podendo ser utilizado para avaliar as experiências da criança em diferentes tipos de contextos de educação e cuidados (NICHD Early Child Care Research Network, 1996). O ORCE fornece contagens de frequências (nas chamadas escalas de comportamento) e classificações (designadas classificações qualitativas) dos comportamentos do prestador de cuidados. As escalas de comportamento fornecem um registo da ocorrência (quantidade) de aspectos específicos e as escalas qualitativas têm em conta a qualidade dos comportamentos, em relação aos comportamentos da criança. Durante os períodos de observação, que são alternados com períodos para registo, os observadores devem focar-se no comportamento e actividades da criança e nas suas interacções com o prestador de cuidados (NICHD Early Child Care Research Network, 1996). Resultados mais elevados obtidos nesta escala significam que os profissionais observados são sensíveis, responsivos às necessidades da criança, calorosos, positivos, cognitivamente estimulantes e não são distantes ou hostis (Vandell & Wolfe, 2000).

Os instrumentos descritos implicam a observação, ou seja, requerem que haja observadores que os apliquem nas salas das estruturas de educação e cuidados. Holloway, Kagan, Fuller, Tsou e Caroll (2001), por considerarem a observação uma forma intrusiva e dispendiosa de obter informação pormenorizada sobre os serviços, elaboraram um guião de entrevista que pudesse ser utilizado para recolher informação através de uma conversa via telefone – Berkeley-Yale Telephone Interview for the Family Child-Care Providers (BYTI-F), para serviços familiares, e Berkeley-Yale Telephone Interview for Child-Care Centers (BYTI-C), para centros de educação pré-escolar. Os protocolos de entrevista incluem itens das mesmas áreas que os correspondentes instrumentos para observação – a FDCRS e a ECERS-R. Porém, nem todos os itens são incluídos, tendo em conta as limitações inerentes a uma conversa por telefone. Holloway et al. (2001) utilizaram num estudo as entrevistas e as escalas de observação, tendo verificado que as entrevistas permitiam obter uma avaliação razoável da qualidade. Para os serviços de tipo familiar, a entrevista, com 25 itens, permitia explicar 49% da variância das pontuações da FDCRS e permitia predizer as classificações de 95% dos serviços nas três categorias de qualidade derivadas da FDCRS (qualidade pobre, média e desenvolvimentalmente adequada). Para os centros de educação pré-escolar, a entrevista, com 22 itens, permitia explicar 51% da variância da ECERS-R e predizer adequadamente a classificação de 89% dos centros em termos das categorias de qualidade derivadas da ECERS-R (Holloway et al., 2001). Estes autores verificaram, igualmente, que era possível obter resultados semelhantes com versões reduzidas do guião de entrevista (12 itens para os cuidados de tipo familiar e 13 itens para os cuidados em centros), em termos da capacidade de

Educação e cuidados de elevada qualidade

predizer o nível de qualidade. A opção pela versão curta ou longa deve basear-se nos objectivos da sua utilização, bem como a opção pela entrevista por telefone ou pela observação (Holloway et al., 2001). Há, sem dúvida, muitos aspectos que não podem ser avaliados por telefone, competindo ao investigador a ponderação dos custos e dos benefícios inerentes a cada procedimento.

Abbott-Shim, Neel e Sibley (1993) apresentaram um instrumento que permite avaliar quer as características de processo, quer as características de estrutura dos serviços de educação e cuidados extrafamiliares: o Assessment Profile for Early Childhood Programs: Research Version. Este instrumento tem 87 itens, que reflectem as práticas desenvolvimentalmente adequadas, organizados em 5 escalas: Ambiente de aprendizagem, Horário, Métodos curriculares, Interacção e Individualização. Os autores elaboraram já a segunda versão deste instrumento – Assessment Profile for Early Childhood Programs: Research Edition II, que contém 60 itens organizados nas mesmas categorias (Abbott-Shim & Sibley, 1998, como citado em Gallagher & Lambert, 2006).

Além dos instrumentos que permitem avaliar a qualidade global dos contextos, considerando quer a estrutura quer os processos, há também instrumentos que se centram nos profissionais desses contextos, como a Caregiver Interaction Scale (CIS; Arnett, 1989), a Escala de Observação do Empenhamento do Adulto (Bertram, Laevers, & Pascal, 1996, citados em Oliveira-Formosinho, 2000) e a Teaching Styles Rating Scale (TSRS; McWilliam, Scarborough, Bagby, & Sweeney, 1998).

Muitos dos instrumentos apresentados constituem medidas da qualidade global da creche e/ou jardim-de-infância. Contudo, Dickinson (2003) questiona se haverá realmente qualidade global, dado que o estudo de diversos instrumentos tem revelado a existência de vários factores ou componentes da qualidade. Assim, este autor refere que, tal como Lambert (2003) sugeriu, na avaliação dos serviços deveria ser utilizado um kit que incluísse instrumentos habitualmente considerados de “qualidade global” e instrumentos que permitissem avaliar áreas específicas. Em 2006, o mesmo autor prosseguia com esta ideia, salientando que os instrumentos frequentemente utilizados para avaliar a qualidade dos contextos pré-escolares não avaliam a medida em que promovem a aquisição de competências pré- académicas. Assim, Dickinson considera que é necessário utilizar um conjunto de instrumentos (1) que examinem as salas em termos do suporte que fornecem para distintos domínios do conhecimento e de competência, (2) que, além de captarem a qualidade das relações, descrevam o conteúdo das interacções (e.g., sobre o que conversam os educadores e as crianças), (3) que descrevam o que os educadores ensinam, isto é, descrevam o seu esforço para ensinar explicitamente competências e conhecimentos, reconhecendo que podem ser competências sociais e de auto-regulação e (4) que

Capítulo II

74

forneçam informação descritiva acerca do impacto das várias experiências, em vez de presumirem que já se conhece o impacto das características da sala no desenvolvimento da criança.

A avaliação da qualidade de contextos de educação e cuidados não tem reunido consenso de educadores, investigadores, políticos, etc., devido, em certa medida, à falta de acordo na definição de critérios de qualidade. Dahlberg e Årsén (1994) consideram que há um grande risco de a avaliação da qualidade ser vista como uma actividade livre de valores e como uma questão estritamente técnica, cujo principal objectivo é encontrar métodos para estudar efeitos. Além disso, há também o risco de os objectivos de um serviço serem substituídos pelos objectivos constantes dos instrumentos de