Sumário
Agradecimentos ... 6
Introdução à escala ECERS-3 ... 7
Confiabilidade e validade da ECERS-3 ... 9
Referências ... 12
Aplicação da escala ... 15
Sistema de pontuação ... 18
Uso da folha de pontuação e do perfil ... 18
Explicação dos Termos Usados na Escala ... 19
Visão global das Subescalas e Itens da ECERS-3 ... 23
Itens da escala de classificação e notas de esclarecimento ... 25
Espaço e mobiliário ... 25
Rotinas de cuidado pessoal ... 39
Linguagem ... 47
Atividades de aprendizagem ... 57
Interação ... 79
Organização dos momentos do dia ... 89
Folha de pontuação ... a partir da p. 93 Perfil ECERS-3
Agradecimentos
Agradecemos aos muitos colegas que contribuíram para esta Terceira Edição da ECERS. Desde o início do nosso trabalho com as escalas, buscamos contribuições dos profissionais da área, bem como de especialistas em desen-volvimento infantil e em ambientes de aprendizagem para crianças pequenas. Recebemos em nosso site milhares de perguntas e comentários desafiadores sobre os instrumentos da família ERS. Além disso, trabalhamos com vários colegas em pesquisas e em ações de treinamento. Cada uma dessas experiências contribuiu para a nossa visão sobre como os ambientes na primeira infância afetam o desenvolvimento das crianças pequenas em toda a gama de necessi-dades de desenvolvimento. Embora seja impossível mencionar todos que con-tribuíram com ideias durante os vários anos em que a ECERS esteve em uso, gostaríamos de expressar a nossa gratidão, em primeiro lugar, a cada uma das várias pessoas que nos deram feedback, tanto informal quanto formalmente. Isto inclui colegas nos Estados Unidos, assim como de outros países ao redor do mundo, cujo trabalho em pesquisa e em melhoria de programas à partir da ECERS muito acrescentou à nossa compreensão sobre qualidade.
Gostaríamos de agradecer em particular:
•
Aos nossos colegas do Environment Rating Scales Institute, que compar-tilharam generosamente conosco suas ideias, resultantes de vários anos de treinamento e coleta de dados. Especificamente, agradecemos à Cathy Riley, Tracy Link, Lakeisha Neal, Lisa Waller e aos muitos consultores que trabalharam com eles.•
Aos pesquisadores do Frank Porter Graham Child Development Institute da Universidade da Carolina do Norte em Chapel Hill, que reuniram grandes conjuntos de dados e conduziram pesquisas sobre a ECERS-R, ajudando a orientar a nossa reavaliação detalhada de cada indicador e Item durante o processo de revisão. Nossos agradecimentos especiais vão para John Sideris, Jen Neitzel e Stephanie Reszka, por liderarem esse trabalho.•
Aos pesquisadores do Frank Porter Graham Child Development Institutee ainda de outros institutos de pesquisa que tão generosamente compar-tilharam dados conosco enquanto preparávamos esta revisão, incluindo Donna Bryant, Noreen Yazejian, Ellen Peisner-Feinberg, todos do FPG; Steve Barnett e Ellen Frede, do National Institute for Early Education Re-search em Rutgers; e Deborah Cassidy e Linda Hestenes, da Universidade da Carolina do Norte em Greensboro.
•
Aos nossos colegas no Branagh Information Group por sua ajuda e apoio crucial durante os testes de campo, com a preparação do software para tablet e PC, para permitir a coleta de dados no seu sistema, bem como pelo apoio constante enquanto desenvolvíamos o conjunto de análise de dados para uso em nossos testes de campo. Mark Branagh e Mary Frances Lynch merecem agradecimentos especiais.•
A Bud Harrelson e Dari Jigjidsuren, por terem trabalhado com tanta competência como coordenador de estudo e analista de dados, respecti-vamente, para o teste de campo da ECERS-3. Sem a ajuda deles o estudo não teria sido possível.•
Às agências e aos indivíduos que ofereceram o seu tempo e esforços como voluntários para coletar dados confiáveis durante os dois testes de campo da ECERS-3: Georgia Department of Early Care and Learning (Melissa Davis, Denise Jenson, Nakilia McCray e Margrett Stephens), Tulane University (Angela Keyes e Faith Boudreaux), o Pennsylvania Keys to Quality (Jill Kortright, Angela Mamrack e Bobbi Philson), os colegas do ERSI acima lis-tados e indivíduos (Rogers Hewitt, Janine Joseph, Gail Lindsey e Judy Scott).•
À Professora Kathy Sylva (Oxford University) e aos membros da Inter-national ECERS Network por sua inspiração e ideias sobre o uso dos instrumentos ERS em cenários internacionais amplamente distintos e suas implicações para as revisões desta terceira edição da ECERS.•
Aos colegas e tradutores com quem trabalhamos muito proximamente para tornar a ECERS disponível em vários idiomas. O trabalho deles nos inspirou a examinar com regularidade elementos críticos dos ambientes de aprendizagem, na medida em que estes conceitos variam em diferentes ambientes e contextos culturais e étnicos.•
Aos nossos colegas da Teachers College Press, incluindo os editores e a equipe com quem trabalhamos lado a lado rumo a esta nova edição. O seu apoio e estímulo nos ajudaram a prosseguir.•
Aos muitos professores e administradores que nos acolheram em suas escolas e salas, particularmente aqueles que nos ajudaram nos testes-piloto e de campo em 2013 e 2014.Thelma Harms, Richard M. Clifford e Debby Cryer agosto de 2014
Introdução à escala ECERS-3
A terceira edição da ECERS é uma revisão importante que introduz inovações tanto no conteúdo quanto na aplicação da escala, ao mesmo tempo em que mantém a continuidade das duas principais características da ECERS: a definição ampla/global de qualidade e a observação como fonte principal de informação na qual a avaliação de qualidade da sala deve se basear. Continuamos a ter uma visão abrangente do desenvolvimento na primeira infância, que inclui os domínios físico, socioemocional e cognitivo, assim como a saúde e a segurança das crianças. Consideramos que o ambiente físico, os relacionamentos entre as crianças e com os adultos significativos e a construção de conhecimento estão interligados. Muito do ensino é feito durante o decorrer do dia, enquanto as(os) professora(es) interagem com as crianças em brincadeiras e rotinas.
A ECERS original (Harms & Clifford, 1980) continha 37 Itens organi-zados em 7 subescalas. Cada item foi apresentado como uma Escala Likert de 7 pontos com quatro níveis de qualidade, sendo cada nível definido por um parágrafo descritivo. A edição revisada da ECERS (Harms, Clifford, & Cryer, 1998) consistia de 43 Itens organizados em 7 subescalas. Na edição revisada (ECERS-R), cada nível de cada Item era definido por Indicadores numerados, tornando assim possível atribuir pontos mais claramente e utilizar a avaliação para orientar a melhoria do programa de modo mais preciso. A versão atua-lizada da ECERS-R (Harms, Clifford, & Cryer, 2005) continha os mesmos 43 Itens e Subescalas, mas com notas mais ampliadas para esclarecimento e uma planilha de pontuação estendida. É esta versão atualizada da ECERS-R que utilizamos como base para uma terceira edição completamente revisada. Mantivemos o uso de Indicadores avaliados com base na observação em sala, porém revisamos significativamente os Indicadores e os Itens que estes compreendiam, de modo a refletir conhecimento e práticas atuais na área.
Em termos de pontuação da ECERS-3, mantivemos a abordagem básica de pontuar os Indicadores de qualidade em Sim/Não e os Itens na pontua-ção de 1-7. Além disso, mantivemos seis das sete subescalas da ECERS-R, eliminando a subescala de Pais e Equipe devido à variação limitada nas pontuações e à total dependência das respostas das(os) professora(es) às
perguntas em vez da observação. Uma pontuação total é também calculada da mesma maneira que na ECERS-R. Além disso, agora recomendamos que todos os Indicadores sejam pontuados, independentemente da pontuação do Item, para oferecer uma visão mais completa de qualidade. Em um futuro próximo, forneceremos acesso online a um novo sistema de pontuação, similar ao recém-lançado programa de pontuação para a ECERS-R.
Com esta combinação de continuidade e inovação, a ECERS tornou-se o instrumento de avaliação de qualidade de ambientes na primeira infância mais amplamente utilizado nos Estados Unidos e em todo o mundo — é utilizado em mais de 20 países e já foi publicado em 16 deles, com traduções adicionais atualmente em andamento.
O nosso processo de revisão incluiu a consideração de literatura atual sobre desenvolvimento infantil, currículo da educação infantil e desafios emergentes em sala, tais como o uso apropriado de tecnologia, recomenda-ções referentes a saúde, segurança e instalarecomenda-ções. Embora a ampla lista de recursos utilizada nesse processo seja muito longa para incluirmos nesta introdução, alguns deles merecem menção especial. Com maior ênfase em desenvolvimento cognitivo, incluindo linguagem, matemática e ciências, as publicações que se seguem foram todas muito importantes para guiar nossas revisões: a revisão feita pela National Association for the Educations for Young Children (NAEYC) dos documentos Developmentally Appropriate Practice (Copple & Bredekamp, 2009) e Developmentally Appropriate Practi-ce: Focus on Preschoolers (Copple et al., 2013); a posição do National Council of Teachers of Mathematics, colocada no documento What Is Important in Early Childhood Mathematics? (2007; n.d.); Mathematics Learning in Early Childhood (National Research Council,2009); e o posicionamento conjunto sobre as ferramentas tecnológicas e de mídia interativa da NAEYC e do Fred Rogers Center for Early Learning and Children’s Media, no Saint Vincent College (2012); Preventing Reading Difficulties in Young Children (National Research Council, 1998); ASTM International’s Standard Consumer Safety Performance Specification for Playground Equipment for Public Use (2014); Caring for Our Children: National Health and Safety Performance Standards
(American Academy of Pedriatrics, American Public Health Association & National Resource Center For Health and Safety in Children Care and Early Education, 2011); e o documento Public Playground Safety Handbook, da Consumer Product Safety Commission (2008).
Uma segunda fonte importante de informações que orientou nosso processo de revisão foi o estudo de uma grande amostra de salas avaliadas com a ECERS-R. Trabalhando com os colegas do Frank Porter Graham Child Development Institute, pudemos examinar em detalhes o funcio-namento dos Indicadores e Itens da ECERS-R. Gordon e colegas (2013) notaram que havia alguma desordem no posicionamento dos Indicadores ao longo do contínuo 1-7 de qualidade, e que alguns Indicadores estavam de fato medindo mais do que um domínio de qualidade e, no entanto, eram apenas contados em um domínio, resultando em perda de informação. No grande conjunto de dados que acumulamos, pudemos identificar os Indicadores específicos que causavam esta preocupação e eventualmente chegar a um conjunto alternativo de subescalas e a um novo sistema de pontuação para a ECERS-R. Com base neste trabalho, ajustamos a lo-calização de Indicadores-chave na ECERS-3, modificamos os próprios Indicadores e acrescentamos novos Indicadores para melhorar a escala. Também passamos a recomendar que todos os Indicadores na ECERS-3 sejam pontuados, mesmo quando isto não é necessário para determinar a pontuação de um dado Item.
Uma fonte final e crítica de informações para a revisão da escala foi o contato próximo e a comunicação aberta que mantivemos com os profissionais atuantes na área, incluindo as(os) professoras(es), diretoras(es) de escolas, órgãos de licenciamento, prestadores de assistência técnica, faculdades e outras instituições de formação e, em particular, com nossos colegas no ERSI, que oferecem treinamento para os usuários dos materiais de ERS em todos os Estados Unidos e ajudam a determinar a confiabilidade dos resul-tados. (Ver a seção de Agradecimentos para mais detalhes sobre o grande apoio que recebemos do campo.) Também tiveram impacto nesta edição a experiência direta dos autores na observação de escolas, no treinamento de observadores, na condução de pesquisas e no trabalho com os funcionários locais, estaduais e nacionais nos Quality Rating and Improvement Systems.
O que é substancialmente diferente nesta edição da ECERS-3 (2015) em relação à edição atualizada da ECERS -R (2005)?
•
A ECERS-R considera o que é constatado durante a observação, assim como as informações dadas pelas(os) professoras(es) sobre o resto do dia para determinar a pontuação para alguns dos Itens.•
A ECERS-3 considera apenas o que é observado durante um período amostral de 3 horas para determinar a pontuação para todos os Itens que se referem ao atendimento em andamento, tais como as atividades, interações e linguagem. Pode ser acrescentado um tempo adicional apenas para a revisão de materiais ou de características de segurança da área externa.•
A ECERS-R tem 43 Itens organizados em 7 Subescalas: Espaço e Mobiliário, Rotinas de Cuidado Pessoal, Linguagem-Raciocínio, Ati-vidades, Interação, Estrutura do Programa e Pais e Equipe.•
A ECERS-3 tem 35 Itens organizados em 6 Subescalas: Espaço e Mo- biliário, Rotinas de Cuidado Pessoal, Linguagem, Atividades de Apren-dizagem, Interação e Organização dos Momentos do Dia. A Subescala de Pais e Equipe foi retirada, porque ela se baseia principalmente nas respostas das(os) professoras(es) ou da equipe, e não em observações. Vários outros Itens que frequentemente não são observados, tais como Chegada/partida e Sono/descanso, foram retirados ou modificados.•
A ECERS-R exige uma atenção cuidadosa para examinar o número ea qualidade dos materiais acessíveis.
•
A ECERS-3 exige menos atenção aos materiais acessíveis e mais atenção em como as(os) professoras(es) utilizam os materiais para estimular a aprendizagem das crianças.•
A ECERS-R contém 4 Itens sobre “Linguagem-Raciocínio”.•
A ECERS-3 contém 5 novos Itens sobre “Linguagem”, com Indicado-res mais específicos introduzidos de modo a avaliar as estratégias que as(os) professoras(es) usam para estimular a consciência da linguagem e do letramento.•
A ECERS-R contém 10 Itens para avaliar “Atividades” de diferentes tipos.•
A ECERS-3 contém 3 novos Itens de Matemática (23, 24 e 25), que focam em ajudar as crianças a se familiarizarem com a Matemática. O Item 23, Materiais e atividades de matemática, considera os materiais com os quais as crianças brincam e aprendem, e as atividades rela-cionadas à Matemática oferecidas na sala com a intenção de mostrarconceitos matemáticos. O Item 24, Matemática nos eventos diários, concentra-se no fato de que a Matemática é parte de nossa vida diária e as crianças devem perceber que a Matemática está presente mesmo quando não estamos brincando com materiais de Matemática, e que é usada em circunstâncias significativas da vida diária. O Item 25, Compreendendo números escritos, concentra-se na familiarização com símbolos matemáticos e na compreensão do seu significado.
Modificações finais de menores proporções foram feitas com base nos resultados do teste de campo. Eliminamos 7 Indicadores que apresentavam baixa confiabilidade e revisamos as Notas de Esclarecimento para vários outros Indicadores a fim de melhorar a sua confiabilidade.
Confiabilidade e validade da ECERS-3
Como previamente observado neste documento, a ECERS-3 é uma revisão ampla da Early Childhood Environment Rating Scale (ECERS), e um dos instrumentos concebidos para avaliar a qualidade global de escolas de educação infantil. Em conjunto, estas escalas foram utilizadas em impor-tantes projetos de pesquisa nos Estados Unidos, bem como em vários outros países. Com apenas algumas exceções (Sabol & Pianta, 2014, por exemplo), extensa pesquisa documentou como as escalas podem ser utilizadas com confiabilidade, a validade delas quando comparadas com outras medidas de qualidade, e a relação com resultados relativos ao desenvolvimento de crianças em salas com variadas pontuações do ambiente (Aboud & Hossain, 2011; Burchinal, Kainz & Cai, 2011; Burchinal, Peisner-Feinberg, Pianta & Howes, 2002; Cryer et al., 1999; Gordon et al., 2013; Harms, Clifford & Cryer, 2005; Helburn, 1995; Henry et al., 2004; Pinto, Pessanha & Aguiar, 2013; Love et al., 2004; Sabol & Pianta, 2013; Sylva et al., 2004; Whitebook, Howes & Phillips, 1989).
Alguns dos estudos mostram que o efeito da alta qualidade medida por instrumentos de ERS persiste no Ensino Fundamental ( Peisner-Feinberg et al., 1999), e no Ensino Médio (Sammons et al., 2011). Entretanto, a re-lação entre a pontuação global de qualidade da ECERS-R e os resultados
específicos das crianças, assim como de outras medidas de qualidade na Educação Infantil (Burchinal et al., 2011), é relativamente pequena. Esta nova edição, ECERS-3, foi feita para melhorar a previsão de aprendizagem da criança, em todas as áreas de desenvolvimento.
Como a validade e a capacidade de previsão da ECERS-R está bem estabelecida e como a atual revisão mantém as propriedades básicas do instrumento original, o foco dos primeiros estudos de campo da terceira edição foi verificar até que ponto ela mantém a habilidade dos observadores treinados para utilizar a escala de maneira consistente. Estudos adicionais serão necessários para documentar as relações contínuas com outras medi-das de qualidade, bem como para documentar a sua capacidade de prever a aprendizagem das crianças. À medida que os próximos estudos forem concluídos, eles serão postados no site do ERSI (www.ersi.info).
Após uma ampla revisão, os autores realizaram pequenos testes-piloto da ECERS-3 em meados de 2013, além de um “trabalho de campo mais extenso” com a escala no segundo semestre daquele ano. Os resultados deste trabalho de campo indicaram que eram necessários refinamentos nos itens da ECERS-3. Subsequentemente, os autores concluíram outra rodada de revisões na primeira metade de 2014 e iniciaram o segundo trabalho de campo por volta de maio. Neste segundo trabalho de campo, um grupo de observadores voluntários experientes na utilização da ECERS-R recebeu treinamento na nova ECERS-3, incluindo a prática em campo, na qual demonstraram níveis adequados de confiabilidade. Todos os 14 observa-dores atingiram 85% de concordância, com um ponto acima ou abaixo nos 35 Itens da escala. Treze destes observadores foram capazes de atingir o mesmo nível de confiabilidade com um formador extremamente qualificado nas suas duas primeiras observações conjuntas feitas em salas durante sua rotina normal. O 14º observador realizou dois testes adicionais antes que alcançasse confiabilidade. Após alcançar esta confiabilidade de base, os observadores treinados foram pareados entre si para realizar o estudo de confiabilidade. Deve-se notar que esses observadores tinham todos muita experiência no uso dos instrumentos de ERS. Deve-se contar com um período de treinamento mais extenso para capacitar observadores que não conheçam os instrumentos.
A amostra no estudo consistiu de 50 salas em 4 estados — Geór-gia (12), Louisiana (4), Carolina do Norte (24) e Pensilvânia (10). As salas
foram selecionadas com o objetivo de termos aproximadamente 1/3 do total de programas de baixa qualidade, 1/3 de qualidade média e 1/3 de alta qualidade, com base nos dados disponíveis do licenciamento estadual e das informações do Quality Rating and Improvement System. No final, a amostra pareceu ser um tanto tendenciosa, constituída por relativamente poucas salas com alta pontuação e mais salas na faixa de pontuação entre média a baixa. No entanto, foi obtida uma distribuição adequada que permitiu o exame do uso da escala em uma ampla amostra de programas disponí-veis nestes estados. Os resultados do estudo são apresentados a seguir. Os observadores foram alternados na medida do possível para garantir que a confiabilidade fosse medida por diferentes pares de observadores. Em cada sala, dois observadores avaliaram o ambiente de forma independente um do outro, porém ao mesmo tempo. A avaliação principal foi realizada durante um período importante do dia por exatamente 3 horas, com algum tempo adicional permitido para examinar a área para motricidade ampla quando esta não tinha sido utilizada durante a observação, e ainda para examinar os materiais em sala, os quais não tinha sido possível avaliar durante o período formal de aplicação da escala. Em ambos os tempos adicionais, a atribuição de pontuação foi permitida apenas para Itens muito específicos, em Espaço e Equipamentos para a Motricidade Ampla e nos Indicadores relacionados aos materiais. Todas as medições das interações entre criança e professoras(es) foram baseadas no período amostral de 3 horas.
Confiabilidade do Indicador. A confiabilidade do Indicador é a proporção ou porcentagem de pontuações exatamente iguais para cada Indicador, atribuídas por dois observadores que preencheram a ECERS-3 de maneira independente. Em todos os 35 Itens da ECERS-3, há um total de 468 Indi-cadores. Os Indicadores foram classificados como Sim ou Não, com vários Indicadores que poderiam receber um atributo NA (Não se Aplica) em certas circunstâncias. Os observadores foram instruídos a pontuar todos os Indi-cadores para cada sala. A confiabilidade média em todos os IndiIndi-cadores e pares de observadores foi de 88,71%. Alguns Indicadores pontuaram menos de 75%. Após o trabalho de campo, os autores examinaram os Indicadores em questão, com o objetivo de eliminá-los ou de fazer pequenos ajustes que melhorariam sua confiabilidade.
Confiabilidade do Item. Devido à natureza do sistema de pontuação, é teoricamente possível existir uma alta concordância no Indicador e uma baixa concordância ao nível do Item. Foram calculadas duas medidas de concordância do Item. Primeiro, calculamos entre os pares de observa-dores, a concordância dentro do limite de 1 ponto na escala de 7 pontos. Para todos os 35 Itens, a concordância exata ocorreu em 67% dos casos, e a concordância com diferença de 1 ponto foi observada em 91% dos casos. A concordância do Item em 1 ponto variou entre o ponto mais baixo de 82% para o Item 3 — Organização da sala para brincadeiras e aprendizagem — até 98% para o Item 25 — Compreendendo números escritos. As pontuações divergentes em 1 ponto na subescala variaram de 88% para Organização dos Momentos do Dia a 100% para Atividades de Aprendizagem.
Uma segunda medida mais conservadora de confiabilidade é o Kappa de Cohen. Esta medida leva em consideração a diferença entre pontuações. A média de Kappa para os 35 Itens foi 0,54. O Kappa variou de um valor baixo de 0,18 para o Item 3 — Organização da sala para brincadeiras e aprendizagem — a um valor alto de 0,84 para o Item 27 — Uso apro-priado de tecnologia. Apenas dois Itens tiveram um Kappa inferior a 0,40 (Item 3 — Organização da sala para brincadeiras e aprendizagem — e o Item 6 — Espaço para a motricidade ampla — com um Kappa de 0,35). Em ambos os casos, a pontuação média do Item foi extremamente baixa. Uma característica da estatística de Kappa é que, para os Itens com peque-na variabilidade, a confiabilidade é particularmente sensível, até mesmo por pequenas diferenças entre os observadores. Os autores e observadores concordaram que baixas pontuações nestes Itens refletiram de modo pre-ciso as situações nos grupos observados e que quaisquer mudanças feitas para aumentar substancialmente sua variabilidade revelariam uma situação distorcida dos aspectos de qualidade contidos nesses dois Itens. As revi-sões feitas para os Indicadores acima mencionados deveriam resultar em um Kappa maior para Itens com baixa pontuação sem, no entanto, mudar o seu conteúdo básico. Essas mudanças estão incluídas nesta versão da es-cala. Mesmo utilizando esta medida mais conservadora de confiabilidade, os resultados globais indicam um nível aceitável de confiabilidade para o instrumento como um todo.
Correlação Intraclasse. Uma terceira maneira de conferir a confiabilidade é a correlação intraclasse que verifica o nível de concordância entre os observadores quando eles avaliam a qualidade de forma independente. Ela considera a correlação entre dois observadores e também as diferenças na magnitude absoluta das pontuações dos dois observadores. Avaliamos o coeficiente da correlação intraclasse com concordância absoluta em um modelo misto com dois modos, estimativas médias, onde 0 representa ne-nhuma correlação entre as avaliações e 1 representa perfeita correlação. No nível do Item, o coeficiente médio foi 0,90; com uma variação de 0,664 para o Item 3 —Organização da sala para brincadeiras e aprendizagem — até 0,965 para o Item 30 — Interação equipe-criança. Os coeficientes para as Subescalas são apresentados na tabela a seguir. Em geral, as correlações de 0,85 ou mais são consideradas aceitáveis. Como pode ser observado na tabela, as pontuações médias dos Itens, da subescala e as pontuações totais da escala excederam essa expectativa.
Correlação Intraclasse: Subescalas e Escala Completa
Subescala Correlação
Espaço e mobiliário 0,93
Rotinas de cuidado pessoal 0,94
Linguagem 0,96
Atividades de aprendizagem 0,97
Interação 0,98
Organização dos momentos do dia 0,96
Escala total (Itens 1-35) 0,90
Consistência Interna. Por fim, examinamos a escala em relação à consis-tência interna. Esta avalia em que medida a escala total e as subescalas parecem estar medindo os conceitos comuns. De maneira geral, a escala tem um alto nível de consistência interna, com um alfa de Cronbach de 0,93. Este número indica com um alto grau de confiabilidade que o conceito unificado que chamamos de qualidade do ambiente está sendo medido. Uma segunda questão é o grau em que as subescalas também mostram
consistência, isto é, elas estão medindo determinado construto de manei-ra consistente? Abaixo é apresentada uma tabela que mostra os alfas de Cronbach para cada subescala:
Consistência Interna
Subescala Alfa de Cronbach
Espaço e mobiliário 0,93
Rotinas de cuidado pessoal 0,91
Linguagem 0,91
Atividades de aprendizagem 0,93
Interação 0,96
Organização dos momentos do dia 0,87
Escala total (Itens 1-35) 0,93
Os alfas de Cronbach de 0,6 ou mais são geralmente considerados aceitáveis de consistência interna. De modo geral, o teste de campo de-monstrou um alto nível de concordância entre os avaliadores em todos os Itens e em relação à pontuação da escala total. Estes resultados são razoavelmente comparáveis àqueles encontrados em estudos similares da ITERS-R e da ECERS-R, exceto pelo fato de que as subescalas parecem ter se tornado medidas mais estáveis dos seus respectivos conceitos do que nas edições anteriores da ECERS e da ITERS. Todos os estudos anteriores foram confirmados pelo trabalho de outros pesquisadores não relacionados aos autores, conforme descrito no começo desta seção. As escalas provaram ser bastante úteis em vários estudos envolvendo a qualidade dos ambientes para as crianças pequenas. Além disso, as escalas se mostraram fáceis de serem utilizadas, na medida em que é possível para os observadores che-garem a níveis aceitáveis de confiabilidade, depois de serem treinados para a utilização correta do instrumento. Embora a medida de confiabilidade mostrada pelo Kappa de Cohen tenha sido menor do que seria desejável, este conjunto de análises confirma claramente que a escala pode ser usada com confiabilidade em ambientes para educação infantil.
Não apresentamos dados normativos aqui devido ao pequeno tamanho da amostra e à restrita cobertura geográfica. Estes dados serão publicados no site do ERSI (www.ersi.info), quando estiverem disponíveis. Embora os autores sejam totalmente responsáveis pelo conteúdo desta seção, reconhecemos as importantes contribuições de Bud Harrelson, que trabalhou como coordenador do estudo e do Dr. Dari Jigjidsuren, que con-duziu as análises estatísticas.
Referências
Aboud, F. E. & Hossain, K. (2011). The impact of preprimary school on primary school achievement in Bangladesh. Early Childhood Research Quarterly, 26, 237-246. doi: 10.1016/j.ecresq.2010.07.001American Academy of Pediatrics, American Public Health Association & National Re source Center for Health and Safety in Child Care and Early Education. (2011). Caring for our children: National health and safety performance standards; Guidelines for early care and education programs (3rd ed.). Elk Grove Village, IL: American Academy of Pediatrics; Washington, DC: American Public Health Association. ASTM International. (2014). ASTM 1487-11 standard consumer safety performance specification for playground equipment for public use. Available at www.astm.org/ DATA BASECART/STD_REFERENCE/F1487.htm. Burchinal, M., Kainz, K. & Cai, Y. (2011). How well do our measures of quality predict child outcomes? A meta-analysis of data from large-scale studies of early childhood set tings. In M. Zaslow, I. Martinez-Beck, K. Tout & T. Halle (Eds.), Quality measurement in early childhood settings (pp. 11-32). Baltimore, MD: Brookes Publishing Company. Burchinal, M. R., Peisner-Feinberg, E., Pianta, R. & Howes, C. (2002). Development of academic skills from preschool to second grade: Family and classroom predictors of developmental trajectories. Journal of School Psychology, 40(5), 415-436. doi: 10.1016/ S0022-4405(02)00107-3.
Copple, C. & Bredekamp, S. (Eds.). (2009). Developmentally appropriate practice in early childhood programs serving children from birth through age 8 (3rd ed.). Washin-gton, DC: National Association for the Education of Young Children.
Copple, C., Bredekamp, S., Koralek, D. & Charner, K. (Eds.). (2013). Developmentally Appropriate Practice: Focus on Preschoolers. Washington, DC: National Association for the Education of Young Children.
Cryer, D., Tietze, W., Burchinal, M., Leal, T. & Palacios, J. (1999). Predicting process quality from structural quality in preschool programs: A cross-country comparison. Early Childhood Research Quarterly, 14(3).
Gordon, R. A., Fujimoto, K., Kaestner, R., Korenman, S. & Abner, K. (2013). An assessment of the validity of the ECERS-R with implications for assessments of child care quality and its relation to child development. Developmental Psychology, 49(1), 146-160. doi: 10.1037/a0027899.
Harms, T. & Clifford, R. M. (1980). Early Childhood Environment Rating Scale. New York, NY: Teachers College Press.
Harms, T., Clifford, R. & Cryer, O. (1998). Early Childhood Environment Rating Scale, Revised Edition. New York, NY: Teachers College Press.
Harms, T., Clifford, R. & Cryer, O. (2005). Early Childhood Environment Rating Scale, Revised Edition, Updated. New York, NY: Teachers College Press.
Helburn, S. (Ed.). (1995). Cost, quality and child outcomes in child care centers: Tech-nical report. Denver, CO: University of Colorado, Departrnent of Economics, Center for Research in Economic Social Policy.
Henry, G., Ponder, B., Rickman, D., Mashburn, A., Henderson, L. & Gordon, C. (2004, December). An evaluation of the implementation of Georgia’s pre-k program: Report of the findings from the Georgia early childhood study (2002-03). Atlanta, GA: Georgia State University, School of Policy Studies, Applied Research Center.
Love, J. M., Constantine, J., Paulsell, D., Boller, K., Ross, C., Raikes, H.,... & Brooks Gunn, J. (2004). The role of Early Head Start programs in addressing the child care needs of low-income families with infants and toddlers: Influences on child care use and quality. Washington, DC: U.S. Department of Health and Human Services. National Association for the Education of Young Children. (2009). Developmentally appropriate practice in early childhood programs serving children from birth through age 8: A position statement of the National Association for the Education of Young Children. Washington, DC: Author. Available at www.naeyc.org/positionstatements/dap National Association for the Education of Young Children & the Fred Rogers Center for Early Learning and Children’s Media at Saint Vincent College. (2012). Technology and interactive media as tools in early childhood programs serving children from birth through age 8. Available at www.naeyc.org/files/naeyc/PS_technology_WEB.pdf National Council of Teachers of Mathematics. (2007). What is important early childhood mathematics? Available at www.nctm.org/standards/content.aspx?id=7564
National Council of Teachers of Mathematics. (n.d.). Executive summary: Principles and standards for school mathematics. Available at www.nctrn.org/uploadedFiles/Math_ Standards/12752_exec_pssm.pdf
National Research Council. (1998). Preventing reading difficulties in young children. Wa-shington, OC: The National Academies Press.
National Research Council. (2009). Mathematics learning in early childhood: Paths toward excellence and equity. Committee on Early Childhood Mathematics, C. T. Cross, T. A. Woods & H. Schweingruber (Eds.). Center for Education, Division of Behavioral and Social Sciences and Education. Washington, DC: The National Academies Press. Peisner-Feinberg, E. S., Burchinal, M. R., Clifford, R. M., Culkin, M. L., Howes, C., Ka-gan, S. L., Yazejian, N., Byler, P., Rustici, J. & Zelazo, J. (1999). The children of the cost, quality and child outcomes in child care centers study go to school: Technical report. Chapel Hill, NC: University of North Carolina at Chapel Hill, Frank Porter Graham Child Development Center.
Pinto, A. I., Pessanha, M. & Aguair, C. (2013). Effects of home environment and center based child care quality on children’s language, communication and literacy outcomes. Early Childhood Research Quarterly, 28, 94-101.
Sabol, T. J., & Pianta, R. C. (2013). Can rating pre-K programs predict children’s lear-ning? Science, 341(6148), 845-846.
Sabol, T. J. & Pianta, R. C. (2014). Do standard measures of preschool quality used in statewide policy predict school readiness? Education Finance and Policy, 9(2), 116-164. Sammons, P., Sylva, K., Melhuish, E., Siraj-Blatchford, I., Taggart, B., Draghici, D., Toth, K. & Smees, R. (2011). Effective Pre-School Primary and Secondary Education Project (EPPSE 3-14) influences on students’ development in key stage 3: Social-behavioural outcomes in year 9 full report. London, England: EPPSE Project, Institute of Education. Sylva, K., Melhuish, E., Sammons, P., Siraj-Blatchford, I., & Taggart, B. (2004). The Effective Provision of Pre-School Education (EPPE) project: Final report: A longitu-dinal study funded by the DJES 1997-2004. London, England: Institute of Education, University of London/Department for Education and Skills/Sure Start.
U.S. Consumer Product Safety Commission. (2008). Public Playground Safety Handbook. Available at www.cpsc.gov/PageFiles/122l49/325.pdf
Whitebook, M., Howes, C. & Phillips, O. (1989). Who cares? Childcare teachers and the quality of care in America. National child care staffing study. Oakland, CA: Child Care Employee Project.
Aplicação da Escala
1. Esta escala é elaborada para uso em uma sala ou uma turma por vez, de crianças com idades entre 3 e 5 anos. Se pelo menos 75% das crianças na sala têm pelo menos 3 anos de idade, utilize esta escala. Para grupos de crianças menores, utilize a ITERS. Todos os Indicadores são aplicados a todas as crianças, a menos que seja indicado o contrário. O observador deve indicar o que acontece em sala e se é provável que as experiências sejam acessíveis para todas as crianças do grupo. No entanto, não é necessário que durante a observação todas as crianças passem por todas as experiências que aquele ambiente pode prover.
2. Um período de tempo de pelo menos 3 horas deve ser reservado para a observação, com o acréscimo de tempo adicional, se necessário, para examinar com mais atenção os materiais e a(s) área(s) para a motricidade ampla. A observação deve ser realizada durante um horário no qual seja provável que a maior parte das crianças esteja presente, e não na hora da entrada ou da saída, a não ser que o programa tenha 3 horas ou menos de duração. Nesse caso, observe durante todo o tempo.
As 3 horas são uma “amostra de tempo”, durante a qual tudo o que é observado determinará a pontuação para todos os Itens e Indicadores. Por exemplo, se não houver brincadeiras livres durante a amostra de tempo de 3 horas, marque com uma pontuação negativa quaisquer Indicadores que requeiram brincadeiras livres (seja um Sim para nível inadequado de qua-lidade (1) ou um Não para níveis maiores de quaqua-lidade (3-7). Do mesmo modo, se não for observada motricidade ampla durante a amostra de tempo de 3 horas, não pontue quaisquer Indicadores relacionados à motricidade ampla. Os seguintes procedimentos de observação em sala de aula devem ser seguidos:
•
A observação deve ser realizada durante a parte mais movimentada do dia, quando se espera que a maioria das crianças esteja presente.•
Se você chegar antes de a maioria das crianças estarem em sala comas(os) suas(seus) professoras(es), não comece a observação até que metade do grupo de crianças esteja presente. Durante a espera da
chegada das crianças, use o tempo para examinar os materiais ou o(s) espaço(s) para motricidade ampla.
•
É permitido ficar por um período maior, por exemplo, para observar e pontuar rotinas específicas que não ocorreram durante o tempo de observação ou para ver com mais atenção os materiais/equipa-mentos que as crianças puderam acessar durante a observação, mas que não foram vistos devido à falta de tempo. Além disso, o espaço para motricidade ampla e os equipamentos deste espaço devem ser observados mesmo que não tenham sido utilizados durante a obser-vação. Entretanto, ao pontuar as rotinas ou checar os materiais, as evidências observadas (tais como interações e atividades) que ocorrem após a observação não devem ser contadas para atender às exigências da escala.•
Não é realizada entrevista com a equipe para pontuar esta escala. Todas as pontuações são baseadas na observação. No entanto, antes do início da observação, faça perguntas à equipe para reunir as in-formações na primeira página da folha de pontuação. Você precisará dessas informações preliminares para pontuar e para identificar as características da escola.•
Siga a turma que está sendo observada, onde quer que ela vá. Se a turma for dividida em dois ou mais grupos para ir a áreas diferentes, siga apenas um grupo e baseie a pontuação na experiência daquelas crianças. Por exemplo, se metade das crianças sair para o pátio para brincar e outra metade permanecer dentro da sala para atividades in-ternas, siga apenas um desses dois grupos. Lembre-se de que os dois grupos provavelmente terão experiências diferentes, mas a pontuação será baseada no grupo que você seguiu.•
Uma observação típica normalmente ocorre de manhã, como por exemplo, entre 8h30 e 11h30 ou entre 9h00 e 12h00. Entretanto, é útil contatar a escola antes da visita para obter informações que ajudarão a determinar o melhor horário para marcar a observação. Para atendimen-tos de meio período, a observação deve ser realizada durante o horárioem que haja maior probabilidade de as crianças estarem presentes e não na hora da entrada ou da saída, a menos que o atendimento tenha 3 horas ou menos de duração. Se o atendimento funcionar por menos do que 3 horas, observe durante todo o tempo de funcionamento e reduza o tempo exigido para “acessibilidade” para 20 minutos.
•
Não observe aulas complementares especiais que não são oferecidaspara todo o grupo. Por exemplo, não siga crianças cujas famílias con-tratam aulas extras de dança, ginástica ou informática que não são parte das atividades regulares.
3. Quando você chegar ao programa e antes de iniciar a observação, complete o máximo possível das informações de identificação no alto da primeira página da folha de pontuação. Você terá que pedir essas informa-ções à equipe. Assegure-se de que todas as informaprimeira página da folha de pontuação. Você terá que pedir essas informa-ções de identificação foram obtidas.
4. Uma anotação da sequência da rotina é necessária para calcular o tempo em que as crianças se engajam com a variedade de atividades existentes na sala, por exemplo:
•
Quando e por quanto tempo materiais específicos estão acessíveis para o uso das crianças.•
Duração dos períodos de espera, se existentes.•
Duração dos tempos em grupo.•
Quando as rotinas ocorrem, por exemplo, uso do banheiro ou refeições/ lanches.•
Horários de motricidade ampla.Comece a anotar a sequência da rotina imediatamente após sua che-gada na sala. Continue esta anotação durante todo o tempo de observação, registrando o que as crianças estão fazendo. Por exemplo, se você entrou na sala às 8h36 e as crianças estavam esperando para iniciar a roda, comendo um lanche ou envolvidas em atividades livres com todos os materiais ou parte deles, você deve escrever isso nesta observação da sequência da rotina, anotando ao que as crianças podem ter acesso. Lembre-se de que alguns materiais podem estar acessíveis por mais tempo que outros.
Finalize as marcações dos indicadores que requererem alguns exemplos, (em indicadores dos itens como os da subescala Interação, conversas dos membros da equipe e seus comportamentos) após completar as 3 horas de observação. Caso a/o observadora/r já tenha conseguido registrar exemplos suficientes para a marcação, antes de completar as 3 horas de observação, então, os indicadores podem ser pontuados com SIM (para marcar Não, é necessário observar durante todo o período das 3 horas para garantir que o necessário não foi observado). Pontue outros aspectos das interações — aqueles que não exigem exemplos específicos — determinando uma pontuação dentro do tempo de observação. Em suma, faça anotações sobre as interações observadas durante todo o período da observação e pontue os Itens da subescala de Interação no final da observação.
Para calcular se as crianças puderam dispor da quantidade de tempo exigida, é melhor usar um relógio digital. Embora os tempos exigidos sejam os mínimos, permitimos uma margem de erro de 2 minutos, uma vez que é difícil rastrear o tempo em segundos e pode haver erros de cronometragem. No entanto, não devem faltar mais do que 2 minutos para o atendimento das exigências referentes ao tempo.
5. Durante a observação, você precisará mover-se pelo(s) espaço(s) utilizado(s) pelas crianças. Isto serve para garantir uma pontuação precisa para materiais e interações. Assegure-se de que você possa ouvir o que as(os) professora(es) e as crianças dizem enquanto conversam ou em ou-tras falas que observar. Preste especial atenção ao coletar informações que apenas podem ser observadas em um período limitado de tempo, tais como as exigências em relação aos Itens Refeições/lanches, Troca de fraldas/Uso do banheiro e na “rodinha”.
Siga as Orientações para os observadores sobre comportamentos adequados durante a observação, no que diz respeito a interferir o mínimo possível no ambiente:
•
Professoras(es)/funcionários estarão envolvidos com as crianças du-rante a sua observação, e não se deve pedir que conversem com você ou respondam perguntas. Você deve obter as informações necessárias sobre a identificação da escola antes de entrar na sala, ou conversar com a(o) professora(or) assim que entrar na sala. Entretanto, se a(o)professora(or) já estiver envolvida(o) em alguma ação, ela(ele) não deve ser interrompida(o). Espere até que haja uma possibilidade de obter as informações necessárias.
•
Como um observador, você pode se mostrar receptivo às crianças que se aproximam de você. Se elas perguntarem, pode dizer que está observando a brincadeira naquele dia ou que você precisa concluir o seu trabalho. Não participe de suas atividades nem interaja com elas de nenhuma outra maneira.•
Não interfira nas atividades em andamento de modo algum. Posicione--se ao redor do perímetro das salas, atrapalhando o mínimo possível, porém mova-se frequentemente para coletar as evidências necessárias para uma pontuação justa.•
Se isso não interferir nas atividades em andamento, você pode se sentar em uma cadeira ou no chão. Não sente em outros móveis, tais como estantes, mesas e cadeiras de crianças que estejam próximas a uma mesa de atividades ou em um equipamento de brincar.•
Se você estiver no caminho de adultos ou crianças, mude de local/ posição. Permaneça sensível ao que está acontecendo ao seu redor.•
Você pode olhar os materiais que estão em estantes abertas, se puderfazê-lo sem atrapalhar o grupo. Não olhe em gavetas, armários ou em outros espaços fechados que não são acessíveis ou utilizados pelas crianças.
•
Não deixe sacolas ou bolsas ao alcance das crianças. É melhor não as levar para dentro da sala.•
Desligue o celular, a menos que haja uma situação de emergência.•
Se estiver trabalhando com outro observador na sala, evite falar comele durante a observação.
•
Tente manter uma expressão facial neutra para que as crianças e/ou a equipe não prestem atenção em você, nem fiquem preocupados com a sua reação a eles.•
Os observadores ERS devem lavar as mãos ou utilizar um desinfetante/ gel de limpeza de mãos ao entrar na escola.1 Consultar os documentos oficiais brasileiros sobre as regulamentações de saúde e segurança. (N.T.)
6. Nos Estados Unidos, há informações disponíveis de órgãos nacionais ou locais sobre saúde e segurança. Na versão americana desta escala, há indicações de documentos a serem consultados e há recomendações para o uso destes durante as observações. Caso seja de interesse, estão listados a seguir o que os autores sugerem como recursos para a observação1.
•
Para tomar como parâmetro informações atuais na avaliação do espaço e do equipamento para motricidade ampla, use a apostila PlaygroundInformation to Use with the Environment Rating Scales. O conteúdo
desta é baseado nas informações do Public Playground Safety Han-dbook, Pub. 325, elaborado pela Consumer Product Safety Comission (CPSP), Pub. nº 325 e a American Society for Testing and Materials Standards (ASTM). A apostila está disponível no site do Environment Rating Scales Institute (ERSI), www.ersi.info. Ela está listada na aba “Supplementary Materials” para cada escala.
•
O conteúdo nutricional do Item Refeições/lanches depende das orien-tações fornecidas pela USDA, Meal Guidelines ages 1-12, disponível no site do ERSI.•
Informações sobre saúde da publicação Caring for Our Children estão disponíveis nas Notas de Esclarecimento adicionais dos Itens e tam-bém na próxima seção, intitulada “Explicação dos Termos Usados ao Longo da Escala”. Caring for Our Children está disponível online em www.cfoc.nrckids.org.•
A interpretação das exigências das escalas está atualizada nas Notas de Esclarecimento Adicionais. As notas estão disponíveis em www. ersi.info. Este site deve ser verificado regularmente, e as novas notas devem ser impressas e anexadas às páginas relevantes na escala. 7. Use o tempo eficazmente ao preencher a escala. Todos os Indicadores e Itens devem ser pontuados antes que você saia da unidade. Os observadores devem utilizar a maior parte do tempo buscando evidências e checando todos os Indicadores à medida que as evidências são encontradas, em vez de tomar notas muito longas e decidir a pontuação após deixar a unidade. Durante aobservação, tome notas na Folha de Pontuação para apoiar as suas decisões de pontuação. Por exemplo, se você precisa observar a equipe fazendo pelo menos um tipo de comentário, anote o exemplo concreto que foi observado, de modo a garantir que suposições não estão sendo utilizadas para determinar uma pontuação. Se nenhum exemplo for observado, não atribua pontuação positiva.
Sistema de pontuação
1. Leia toda a escala cuidadosamente, incluindo os Itens e as Notas de Esclarecimento. Para que sejam justas, todas as pontuações devem ser baseadas o mais precisamente possível nos Indicadores fornecidos nos Itens da escala.
2. Você deve seguir as instruções da escala durante todo o período de observação, para garantir que a pontuação seja atribuída com precisão. 3. Exemplos que diferem daqueles fornecidos nos Indicadores, mas que
parecem comparáveis, podem ser utilizados como base para atribuição de pontuação para um Indicador. Anote esses exemplos.
4. A pontuação deve ser baseada na situação atual que está sendo observada. 5. Ao pontuar um Item, sempre comece lendo de 1 (inadequado) e avance
em direção à descrição da pontuação 7, pontuando para cada Indicador Sim ou Não (ou NA quando permitido).
6. As pontuações devem ser atribuídas da seguinte maneira:
•
A pontuação 1 deve ser dada quando qualquer Indicador desta pontuação obtiver um Sim.•
A pontuação 2 é atribuída quando todos os Indicadores da pon-tuação 1 obtiverem Não e pelo menos metade dos Indicadores da pontuação 3 receber Sim.•
A pontuação 3 é atribuída quando todos os Indicadores da pontuação 1 obtiverem Não e todos os Indicadores da pontuação 3 recebem Sim.•
A pontuação 4 é atribuída quando todos os Indicadores da pon-tuação 3 obtiverem Sim e pelo menos metade dos Indicadores da pontuação 5 receberem Sim.•
A pontuação 5 é atribuída quando todos os Indicadores da pontua-ção 5 recebem Sim.•
A pontuação 6 é atribuída quando todos os Indicadores da pon-tuação 5 obtiverem Sim e pelo menos metade dos Indicadores da pontuação 7 receberem Sim.•
A pontuação 7 é atribuída quando todos os Indicadores da pontua-ção 7 receberem Sim.A pontuação de NA (Não se Aplica) pode ser atribuída apenas a In-dicadores ou para Itens inteiros quando aparece “NA permitido” na escala e na Folha de Pontuação. Indicadores que são pontuados com NA não são contados ao determinar a pontuação para um Item e Itens pontuados como NA não são contados para calcular a pontuação da subescala e da escala total. 7. Para calcular a pontuação média de uma subescala, some os pontos de
cada Item na subescala e divida o total pelo número de Itens pontuados. A pontuação média total é a soma das pontuações de todos os Itens da escala dividida pelo número de Itens pontuados.
Embora algumas vezes seja possível determinar a pontuação de um Item sem completar todas as marcações dos Indicadores referentes ao Item, os autores recomendam fortemente a marcação de todos os Indicadores de todos os Itens ao utilizar a escala. Esta prática oferece informações valiosas para a melhoria do atendimento e da supervisão. Além disso, ter as infor-mações completas facilita a análise de dados e as atividades de pesquisa. Isso também reduz os problemas com a falta de dados. Recentemente, um método alternativo de pontuação ao ECERS-R foi desenvolvido e exige que todos os Indicadores sejam pontuados. Em um futuro próximo, prevê-se a oferta de uma opção similar de pontuação alternativa para o ECERS-3.
Uso da Folha de Pontuação e do perfil
A Folha de Pontuação serve para a pontuação dos Indicadores e do Item. As pontuações do Indicador são S (Sim), N (Não) e NA (Não se Aplica), o qual é permitido apenas em Indicadores selecionados. O Item tem pontuação
