A escala e seus conteúdos

No que tange à escala do Enem e seu conteúdo, são cinco as competências comuns a todas as provas do exame: I. Dominar linguagens (DL), II. Compreender fenômenos (CF), III. Enfrentar

42

situações-problema (SP), IV. Construir argumentação (CA) e V. Elaborar propostas (EP). Cada uma das competências será descrita no quadro a seguir:

Quadro 1 - Definição das competências comuns a todas as áreas do conhecimento

I. Dominar linguagens (DL): dominar a norma culta da Língua Portuguesa e fazer uso das linguagens matemática, artística e científica e das línguas espanhola e inglesa.

II. Compreender fenômenos (CF): construir e aplicar conceitos das várias áreas do conhecimento para a compreensão de fenômenos naturais, de processos histórico-geográficos, da produção tecnológica e das manifestações artísticas.

III. Enfrentar situações-problema (SP): selecionar, organizar, relacionar, interpretar dados e informações representados de diferentes formas, para tomar decisões e enfrentar situações-problema.

IV. Construir argumentação (CA): relacionar informações, representadas em diferentes formas, e conhecimentos disponíveis em situações concretas, para construir argumentação consistente.

V. Elaborar propostas (EP): recorrer aos conhecimentos desenvolvidos na escola para elaboração de propostas de intervenção solidária na realidade, respeitando os valores humanos e considerando a diversidade sociocultural.

Fonte: Inep (2009)

Ressalta-se que há um corpo legislativo a amparar os saberes que compõem as áreas e suas competências. Em primeiro lugar, a principal referência é a Lei de Diretrizes e Bases para a Educação Nacional – LDBEN (BRASIL, 1996b), que trata da organização do sistema de ensino, prevendo a obrigatoriedade do ensino público comum e regular em território nacional. Em seguida, os “Parâmetros Curriculares Nacionais – PCNs” (BRASIL, 1999) e as “Orientações Curriculares para o Ensino Médio” (BRASIL, 1998b), que tecem uma vasta rede de conteúdos curriculares que devem ser apreendidos por parte do educando ao longo da educação básica.

Figura 1 - Competências que permeiam os eixos cognitivos comuns a todas as áreas do conhecimento

Fonte: Elaborado pela autora com base em documentos publicados pelo Inep (INEP, 2002).

Legenda: Dominar linguagens (DL); Compreender fenômenos (CF); Enfrentar situações-problema (SP); Construir argumentação (CA); Elaborar propostas (EP)

43

Assim, as matrizes de referência vigentes no Enem foram estruturadas com base na Matriz de Habilidades e Competências do Exame Nacional de Certificação de Competências de Jovens e Adultos para o Ensino Médio (ENCCEJA) e refletem os debates políticos do período, tais como a reforma do ensino médio e as matrizes curriculares de referência para o Sistema de Avaliação da Educação Básica, o SAEB. Ainda assim, cada área avaliada nas provas do Enem possui objetos de conhecimento associados às suas respectivas matrizes de referência10_{. A área “Linguagem, códigos e} suas tecnologias” (LC) possui nove competências e contempla o estudo do texto, das práticas corporais, a produção e recepção de textos artísticos, o estudo do texto literário e argumentativo, os aspectos linguísticos em diferentes textos da língua portuguesa e o estudo de gêneros digitais.

Quadro 2 - Descrição das competências da área 1

Fonte: INEP (2009)

Na área “Matemáticas e suas tecnologias” (M) cabem os conhecimentos numéricos, geométricos, estatísticos, probabilísticos, algébricos e geométricos, contemplados em sete competências.

44

Quadro 3 - Descrição das competências da área 2

Fonte: INEP (2009)

Na área “Ciências da natureza e suas tecnologias” (CN) são oito competências contemplando conhecimentos básicos e fundamentais da física, envolvendo o movimento, o equilíbrio e as descobertas das leis da física; energia, trabalho, potência, mecânica, funcionamento do universo, fenômenos elétricos e magnéticos, oscilações, ondas, óptica e radiação, calor e fenômenos térmicos. Em química, as transformações e suas representações, materiais, suas propriedades e usos, água, transformações químicas e energia, dinâmica das transformações químicas, equilíbrio, compostos de carbono, relação da química com as tecnologias, a sociedade e o meio ambiente e energias químicas no cotidiano.

Em biologia, moléculas, células e tecidos, hereditariedade e diversidade da vida, identidade dos seres vivos, ecologia e ciências ambientais, origem e evolução da vida e qualidade de vida das populações humanas.

45

Quadro 4 - Descrição das competências da área 3

Fonte: INEP (2009)

Em “Ciências humanas e suas tecnologias” (CH) cabem seis competências que contemplam a diversidade cultural, conflitos e vida em sociedade, formas de organização social, movimentos sociais, pensamento político e ação do Estado, características e transformações das estruturas produtivas, os domínios naturais, a relação do ser humano com o ambiente e a representação espacial.

Quadro 5 - Descrição das competências da área 4

46

Cada área abarca componentes da base curricular comum: História, Geografia, Filosofia e Sociologia (CH), Química, Física e Biologia (CN), Matemática (M) e Língua Portuguesa, Literatura, Língua Estrangeira (inglês ou espanhol), Artes, Educação Física e Tecnologias da Informação (LC). Com relação à produção do texto escrito, a redação é avaliada com base em 5 competências que serão descritas a seguir.

Quadro 6 - Descrição das competências para Redação

Fonte: INEP (2009)

A definição de competências leva em consideração o modo como o Enem foi elaborado, antes da reformulação da prova ocorrida em 2009, portanto, tem-se como referência o documento orientador que define:

Competências são as modalidades estruturais da inteligência, ou melhor, ações e operações que utilizamos para estabelecer relações com e entre objetos, situações, fenômenos e pessoas que desejamos conhecer. As habilidades decorrem das competências adquiridas e referem-se ao plano imediato do “saber fazer”. Por meio das ações e operações, as habilidades aperfeiçoam-se e articulam-se, possibilitando nova reorganização das competências. (INEP, 2002)

Desse modo, a construção das matrizes de referência tem como perspectiva a operação cognitiva realizada pelo participante e as modalidades estruturais de inteligência. Por conseguinte, as habilidades são ramificações das competências, como se pode observar na figura a seguir:

47

Figura 2 - Representação das áreas, competências e habilidades que constituem o Enem

Fonte: Elaborado pela autora com base em dados publicados pelo Inep (INEP, 2015a). Legenda: H – Habilidade

A ilustração acima permite identificar que cada área do Enem abarca competências e estas, as habilidades avaliadas pelos itens da prova. Nesse sentido, a “competência é uma habilidade de ordem geral, enquanto a habilidade é uma competência de ordem particular, específica” (INEP, 2002, p. 10). Desse modo, o item é a materialização das habilidades e, por isso, requer uma ação mais peculiar do que a habilidade.

2.2.2. Os itens que compõem o construto do Enem

Os itens objetivos utilizados no Enem são confeccionados tendo em vista o Banco Nacional de Itens redigido por professores qualificados nas áreas contempladas nos objetivos da prova. Estes formulam itens de múltipla escolha (com cinco alternativas ou descritores), em formato pré- estabelecido, qual seja, há um texto base que deve apresentar o problema da questão, um enunciado que é a instrução fornecida ao ledor e, por último, as alternativas: uma correta e quatro incorretas. A base para a elaboração de cada item é a habilidade que compõe a competência de uma determinada área.

Pasquali (2003) adverte quanto à necessidade de serem os itens inteligíveis para a população meta, evitando deselegância na escrita do texto base e de seu enunciado. Para o autor, o ideal seria submeter os itens à apreciação de pequenos grupos, apresentando cada um deles e solicitando aos sujeitos que os reproduzam com suas próprias palavras, para assim verificar possíveis erros de compreensão. Daí, segundo o INEP, se destacariam os erros e problemas que fariam com que alguns

48

itens fossem revistos ou descartados. Os itens devem ser submetidos a um corpo de juízes para apreciação e para que sejam aprovados, devem ser aceitos por pelo menos 80% dessa bancada.

Além desses elementos, deve-se considerar o desempenho do sujeito numa tarefa (item do teste) em relação às habilidades e aptidões, sendo o seu desempenho um efeito e o traço latente a causa (relação causa-efeito). Essa relação é descrita pela equação monotônica crescente de CCI (Curva Característica do Item ou Função Característica do Item), na qual se observa que sujeitos com aptidão maior terão maior probabilidade de responder corretamente ao item e vice-versa.

Em outras palavras, por meio da TRI, com o auxílio de funções matemáticas, é possível medir o conhecimento de uma pessoa com relação a um conteúdo de referência. Partindo da resposta indicada pelo participante do teste, o avaliador verificará sua posição na escala de conhecimento utilizada para a elaboração do construto.

Com a TRI é possível ainda flexionar o cálculo ou análise estatística aos aspectos peculiares da amostra. Isso significa que a função matemática não torna inflexível uma análise qualitativa, ao contrário disso, relaciona a resposta do sujeito a uma questão, e ao seu desempenho nas demais questões de um construto. Isso permite ainda a adequação de um construto para um grupo, pois se este obtiver um desempenho negativo certamente o construto deverá ser revisto e adequado.

Portanto, a medida empregada pela TRI, embora incorpore a abordagem teórica prevista por seu idealizador, permite mensurar uma expressão comportamental ou um processo psíquico. Para ilustrar esse então desempenho, com uso da linguagem matemática, o gráfico gera uma curva que representa a distribuição desses processos psíquicos, como sendo baixo, alto ou médio, ou seja, dependendo da população em estudo.

De posse de uma escala criada pela distribuição de processos ou de habilidades de uma matriz de referência é que os itens são elaborados e parametrizados para atender aos pré-requisitos estabelecidos por esse conjunto. A cada edição do Enem, novos itens são introduzidos (esse é o pré- teste realizado na medida em que, a cada edição do Enem, novos itens são aprimorados, e misturados a itens já revisados) e assim as questões passam a compor o BNI.

2.2.3 A atribuição de valores aos itens e à escala de medição

Para que cada item possa compor a unidade de medida de um determinado exame, será preciso atribuir-lhe um valor que corresponderá a uma habilidade, sendo assim identificado na escala de medição usada para a elaboração do construto. Andrade (2001) considera que qualquer valor real entre

49

-∞ e +∞11 _{pode ser atribuído à habilidade desde que se estabeleça sua origem e os intervalos,} considerando o valor médio e o desvio padrão da população analisada. Além disso, os pontos da escala devem estabelecer uma relação significativa, de modo a garantir que os valores de ordem estejam associados aos intervalos e unidades crescentes da escala.

No caso do Enem, a população de referência foi o conjunto de participantes do ano 1998 e, para estimação de parâmetros estatísticos, foi utilizado o software BilogMG, que é um programa computacional específico para análise de itens dicotômicos ou dicotomizados via TRI (FERREIRA, 2009). O teste usado no período de calibragem do instrumento era constituído por 63 itens de múltipla escolha e uma proposta de redação, todos destinados à avaliação das competências e habilidades semelhantes às anteriormente descritas, desenvolvidas pelos participantes ao longo da educação básica.

No princípio, quanto à organização da prova impressa, os cadernos de questões possuíam cores diferentes e as questões se apresentavam em diferentes ordens no sentido de diferenciar os cadernos. Além disso, se usavam os mesmos itens, mas com a criação do BNI passou-se ao uso de itens diferentes que possuíam o mesmo valor na escala de proficiência.

No que cerne à estimação dos parâmetros dos itens, o vetor de proficiência cabe no intervalo θ = (θ1,·...· ,θn) que representa os participantes da prova e o conjunto de parâmetro dos itens ζ = (ζ1,·... ,ζI), uma vez que as respostas dos participantes são independentes12_{. Nesse contexto, foram} aplicadas equações para o estabelecimento de medidas iniciais, por exemplo, “se o item i tem mi alternativas possíveis, um chute razoável para o parâmetro de acerto ao acaso é ci = 1/mi” (FERREIRA, 2009, p. 27).

Já para a estimação das proficiências, um outro cálculo é utilizado tendo em vista que a “independência entre as respostas de diferentes indivíduos (S1) e a independência local (S2), podemos escrever a log-verossimilhança como em (4.1), agora como função de θ e não de ζ” (FERREIRA, 2009). A partir daí, segue-se o cálculo tendo em vista os procedimentos padrões para estabelecimento de verossimilhança13_.

Ressalta-se que, embora, para a elaboração deste capítulo, tenham sido consultados documentos publicados pelo INEP, podem ser evidenciados os efeitos da interpretação da autora da tese acerca das informações. Sobretudo, devido ao fato de que a elaboração do construto do Enem

11 _{Menos infinito e mais infinito.}

12 _{Se mantidas constantes as aptidões que afetam o teste (com exceção do teta dominante), as respostas dos sujeitos}

a quaisquer dois itens são estatisticamente independentes.

13 _{Devido ao objetivo do presente texto, não serão apresentadas as fórmulas utilizadas para estimação dos valores.}

Para o leitor que deseja obter maiores informações, sugere-se buscar nas referências as obras consultadas e, por meio delas, obter maior detalhamento sobre o procedimento descrito por Ferreira (2009).

50

sofreu modificações ao longo dos anos para atender demandas impostas por organismos multilaterais ao nosso país.

Desse modo, não se trata de somente apresentar o exame, mas situá-lo em um contexto histórico e social. O Enem foi criado em 1998 e até hoje avalia o desempenho de concluintes do ensino médio, porém, após sua reformulação em 2009, adquiriu novas funções – sendo sua nota utilizada para ingresso em IES – e sofreu adequações, a exemplo de ser constituído por um maior número de itens. Para tal, foi criado, conforme mencionado no início deste capítulo, um BNI com um maior número de profissionais elaboradores. O emprego da TRI foi implantado, houve a redefinição de critérios para seleção e capacitação dos avaliadores e aplicadores, enfim, uma série de modificações foram realizadas que, de maneiras diferentes, interferem no andamento do exame.

Outro elemento que merece destaque é a valoração dos conteúdos. Nota-se certa contradição na perspectiva de interdisciplinaridade defendida nos PCNs. Cabe aqui a retomada do discurso governamental, visualizado na mídia e nos documentos informativos sobre o processo de mudança instaurado na educação básica. Ao invés de humanizar o processo avaliativo e caminhar em direção ao ensino qualitativo (preconizado pelo governo), a avaliação nacional tem sido empregada com o uso de uma escala que estabelece estatisticamente a posição do conteúdo diretamente associada à noção de evolução. Na medida em que se demonstra dominar um determinado conceito, o participante se posiciona acima ou abaixo, entre os “saberes mais e saberes menos”, apontando para a direção de um modelo curricular que hierarquiza o conhecimento.

A interpretação pedagógica das escalas de proficiência ocorre por meio desse mapa de itens, onde cada item é posicionado na escala a partir de um gradiente de complexidade ao longo dessa mesma escala e dos itens que compõem a prova. De acordo com a quantidade de acertos e erros, a complexidade dos itens em questão e as habilidades envolvidas é que se calcula a pontuação total do participante (INEP, 2010c).

Sobre as respostas indicadas pelo sujeito é que será aplicada a análise estatística que levará em conta a amostra (população submetida ao exame) e suas indicações (respostas) aos descritores disponíveis. Desse modo, o item se enquadra em categorias: área de conhecimento, posição do item na prova e habilidade que avalia. Com o uso de recursos tecnológicos é possível efetuar a leitura no caderno de respostas e gerar estatísticas.