Programa de ações afirmativas na UFRJ: avaliação da qualidade do formulário adotado para a concessão de bolsa auxílio/ UFRJ affirmative action program: evaluation of the quality of the form adopted for the grant aid

(1)

Braz. J. of Develop.,Curitiba, v. 6, n. 10, p. 77307-77322 ,oct. 2020. ISSN 2525-8761

Programa de ações afirmativas na UFRJ: avaliação da qualidade do

formulário adotado para a concessão de bolsa auxílio

UFRJ affirmative action program: evaluation of the quality of the form

adopted for the grant aid

DOI:10.34117/bjdv6n10-235

Recebimento dos originais:08/09/2020 Aceitação para publicação:13/10/2020

Carlos Eduardo de Marins

Universidade Federal do Rio de Janeiro E-mail:eduardo@pr2.ufrj.br Lucí Hildenbrand Profª. Drª. Fundação Cesgranrio E-mail:lucihildenbrand@yahoo.com.br RESUMO

Este artigo resulta da avaliação do formulário para concessão de bolsas assistenciais, modalidade Bolsa Auxílio, na Universidade Federal do Rio de Janeiro, em 2014. Padrões de utilidade, adequação e precisão foram selecionados e adaptados ante o objeto do estudo. A abordagem avaliativa, centrada em especialistas, contou com oito juízes da Divisão de Apoio ao Estudante. Uma lista de verificação com 15 itens relacionados aos padrões foi construída e validada quanto à técnica e ao conteúdo. Os resultados evidenciaram que o formulário atendeu a dois padrões: respeito aos direitos dos candidatos e informação válida. As recomendações apontaram a necessidade de aprimoramento do formulário quanto aos aspectos apreciados.

Palavras-chave: Bolsas assistenciais, Assistência estudantil,PNAES. ABSTRACT

This article is the result of the evaluation of the form for granting assistance scholarships, modality Bolsa Auxílio, at the Federal University of Rio de Janeiro, in 2014. Standards of usefulness, adequacy and precision were selected and adapted to the object of the study. The evaluation approach, focused on specialists, had eight judges from the Student Support Division. A checklist with 15 items related to the standards was built and validated in terms of technique and content. The results showed that the form met two standards: respect for the rights of candidates and valid information. The recommendations pointed out the need for improvement of the form regarding the aspects appreciated.

(2)

1 INTRODUÇÃO

O processo seletivo de concessão de bolsas assistenciais nas Instituições Federais de Ensino Superior (IFES) é parte do Plano Nacional de Assistência Estudantil (PNAES). Executado no âmbito da Secretaria de Educação Superior (SESu), do Ministério da Educação, o PNAES se propõe a apoiar a permanência de estudantes de menor poder aquisitivo, matriculados em cursos de graduação presencial das IFES, viabilizando a igualdade de oportunidades e contribuindo para a melhoria do desempenho acadêmico, a partir de medidas que buscam combater a repetência e a evasão.

O PNAES modificou o panorama da assistência estudantil no Brasil, quando estabeleceu as diretrizes norteadoras para a definição de ações em áreas como as da moradia estudantil, alimentação, transporte, saúde, inclusão digital, apoio pedagógico. Os critérios de seleção dos estudantes para participar do Programa consideram tanto o perfil socioeconômico, quanto critérios particulares a cada instituição. A história da assistência estudantil nas IFES não teve início com o PNAES, muito embora o Programa tenha concorrido significativamente na reestruturação das ações na área. No intervalo 2008-2013, o investimento público destinado ao Programa, com expressiva evolução de orçamento, indica a credibilidade que lhe é atribuída pelo poder público.

No âmbito da Universidade Federal do Rio de Janeiro (UFRJ), o documento “Subsídios para uma proposta de política de assistência ao estudante: documento para discussão” (UNIVERSIDADE FEDERAL DO RIO DE JANEIRO, 2007) defende que cabe a IES garantir o apoio necessário à plena realização do aluno de baixa renda, nas esferas sociocultural e acadêmico-política, bem como desenvolver mecanismos promotores de condições socioeconômicas favoráveis a sua permanência e êxito acadêmico. Para tal, sugere a adoção de estratégias, a exemplo da criação de um conjunto articulado de programas e projetos capaz de otimizar o emprego dos recursos disponíveis, potencializando espaços físicos, serviços existentes e articulação das instâncias institucionais. Situando o empenho da UFRJ, neste sentido, destaca-se que, do montante dos 97 milhões de reais investidos em favor de diversos tipos de assistência a graduandos, 42 milhões foram repassados pelo MEC, via PNAES, e 55 milhões, pela própria Universidade. Devido ao fato deste montante representar 23% do orçamento global despendido pela IES, fica grifado o alto grau de importância atribuído à política de assistência estudantil por parte da Instituição.

Na IES, a demanda por bolsas assistenciais tem aumentado a cada semestre e sua insuficiência, em números, tem ocasionado aumento da demanda reprimida: no primeiro semestre de 2014, dos 2024 requerentes, 264 foram atendidos, e, no segundo semestre, dos 2526, apenas 333. O processo de seleção dos candidatos é mediado por um formulário que pode ser determinante na continuidade, ou não, da formação acadêmica dos estudantes de baixa renda. Diante de tal realidade,

(3)

o estudo se propôs a avaliar a qualidade técnica do formulário, utilizado no processo seletivo, para concessão da Bolsa Auxílio, na UFRJ, em 2014. A falta de uma avaliação formal, associada às constantes adaptações processadas, determinou a demanda real de aprimoramento do formulário, por parte da Divisão de Apoio ao Estudante (DAE). Considerando que um dos avaliadores deste estudo: (a) integra a equipe de desenvolvedores do sistema; (b) reconhece a propriedade de a avaliação ser conduzida por um avaliador interno, dadas as maiores oportunidades de obtenção das informações necessárias (WORTHEN; SANDERS; FITZPATRICK, 2004); (c) entende que o produto da avaliação possa subsidiar a tomada de decisão quanto aos rumos do Programa, na Instituição, decidiu-se investir neste estudo vez que o formulário não serve somente ao processo seletivo de bolsas assistenciais, modalidade Bolsa Auxílio, mas também à concessão do benefício moradia.

Voltada ao planejamento, coordenação, acompanhamento e avaliação dos programas e ações, direcionados à comunidade discente, a Superintendência Geral de Políticas Estudantis (SUPEREST) é, na UFRJ, a estrutura pedagógico-administrativa ocupada da consolidação da implantação de ampla política de atendimento e assistência estudantil. A Divisão responsável pelo cumprimento dos objetivos estabelecidos pela SUPEREST é a DAE, gerenciadora do programa de bolsas de assistência a estudantes, cujas dificuldades socioeconômicas põem em risco a sua permanência na IFES. No período de 2007 a 2014, o quantitativo de bolsas assistenciais, concedidas pela IES, na modalidade Bolsa Auxílio, alargou-se grandemente (Gráfico 1).

Gráfico 1 - Quantitativo de Bolsa de Auxílio no período de 2007 a 2014.

Fonte: Marins (2014).

Para a concessão e/ou renovação da Bolsa Auxílio, os critérios adotados pela SUPEREST constam da Resolução CEG nº 01/2008 (UNIVERSIDADE FEDERAL DO RIO DE JANEIRO,

(4)

2008): (a) estar regularmente matriculado em curso de graduação da UFRJ; (b) demonstrar dificuldades socioeconômicas; (c) não ter concluído qualquer curso de graduação; (d) não ter sofrido sanção disciplinar; (e) estar inscrito, em disciplinas de graduação, com carga horária mínima de 20 horas semanais ou ter parecer da Comissão de Orientação e Acompanhamento Acadêmico justificando carga horária inferior; (f) não se enquadrar nas situações previstas para o cancelamento de matrícula; (g) apresentar coeficiente de rendimento acadêmico superior a 3,0 e (h) não apresentar três reprovações, ou mais, em uma mesma disciplina do curso em que está regularmente matriculado.

Este processo seletivo tem início com a divulgação de Edital no site da SUPEREST e consta de duas etapas: preenchimento e envio do formulário de inscrição seguido de análise preliminar, e avaliação documental. “[...] Para Bolsa Auxílio no_{01/2014, o benefício consiste na concessão de}

bolsa de assistência financeira cujo valor atual corresponde a R$400,00, acrescido de R$150,00 para transporte.” (UNIVERSIDADE FEDERAL DO RIO DE JANEIRO, 2013). A primeira etapa da inscrição consta do preenchimento dos três primeiros blocos do formulário. O primeiro, aborda dados pessoais e, por meio de 17 campos, solicita informações como CPF, nome completo, registro acadêmico, e-mail, transporte(s) utilizado(s) no deslocamento a IES, etnia/raça e tipo de escola em que cursou o ensino médio (Figura 1).

Figura 1 – Dados pessoais

Fonte: Universidade Federal do Rio de Janeiro (2014).

Tais informações permitem não apenas identificar o candidato, mas também facilitar o contato com ele, se necessário. O segundo bloco, dados acadêmicos, inclui, por exemplo: campus, curso, forma de acesso (vestibular, transferência externa ou isenção de vestibular), solicitação anterior de bolsa de assistência estudantil, e existência na Instituição de outro bolsista da família (Figura 2).

(5)

Figura 2 – Informações escolares

O terceiro bloco, de campo aberto, requer informações relativas à composição familiar, como nome, grau de parentesco, idade, escolaridade, ocupação atual, rendimento bruto; a partir dele, a IES calcula a renda per capita do candidato.

A segunda etapa do processo seletivo consta da avaliação documental dos candidatos pré-selecionados: “prioritariamente, estudantes oriundos da rede pública de educação básica ou com renda familiar per capita de até um salário mínimo e meio, sem prejuízo de demais requisitos fixados pelas instituições federais de ensino superior.” (BRASIL, 2010, p. 1). Após a divulgação do resultado, as documentações requeridas são anexadas ao formulário pelo candidato que, entregues a DAE, “serão analisadas [...], no quantitativo correspondente a até 2 vezes o número de vagas disponibilizadas [...].” (UNIVERSIDADE FEDERAL DO RIO DE JANEIRO, 2013, p.2). Nesta instância do processo, cujos campos constam da Figura 3, há o (in)deferimento das solicitações, considerando os 15 itens preenchidos por assistentes sociais e quatro, calculados pelo próprio sistema, com base em informações coletadas anteriormente.

Figura 3 – Campos do formulário de avaliação documental

Do total destes campos, apenas oito são pontuáveis; cujos valores variam de -10 a 40. Na sequência, relacionam-se os primeiros campos, seguidos, entre parênteses, das respectivas opções

(6)

de entrada e pontuações: bens (muito significativos, 40; significativos, 20; pouco significativos, 8; nenhum, 0); despesas com habitação (sim, 0; não, 20); local de moradia (zona oeste, baixada, zona sul, centro ou zona norte, 30; próximo - o candidato reside nas imediações do local de estudo, 18; reside em outros municípios, 10; inviabiliza - distante do local de estudo, 0); documentação (completa, 0; incompleta, 10); pai ou mãe com nível superior (sim, 0; não, -10); principal provedor (mercado formal, 0; mercado informal, -5; não exerce atividade remunerada, -10); aluno mora só - rendimento próprio (sim, -10; não, 0); problema de saúde do aluno ou familiar que impeça sua inserção no mercado ou tenha impacto sobre a renda familiar (sim, -10; não, 0). Os campos não pontuáveis não interferem na avaliação do candidato; são em número de dez (pendências, relato social, renda per capita , renda bruta, renda per capita declarada, renda bruta declarada, assistente social, parecer, total de pontos e motivo do indeferimento) e têm finalidade especificada.

Em síntese, o formulário descrito é a base do julgamento que leva ao (in)deferimento do pedido, cabendo recurso, em caso negativo.

2 PROCEDIMENTOS METODOLÓGICOS

A abordagem que norteou a avaliação foi a centrada em especialistas que, segundo Worthen, Sanders e Fitzpatrick (2004), é a mais antiga e a de uso frequente nas avaliações de projetos sociais. Nela, há dependência exclusiva da prontidão dos profissionais convidados para julgar o objeto avaliado, à luz dos critérios pré-definidos. Tem a propriedade de revelar qualidades dos objetos, possibilitando o reconhecimento de características e traços que, de outro modo, poderiam passar despercebidas. (EISNER, 1991 apud ASSUMPÇÃO; CAMPOS, 2009). Por basear-se em juízos emanados dos conhecimentos e experiências dos juízes, a abordagem favorece a construção de padrões consensuais, que balizam a avaliação. Ante o exposto, espera-se que os benefícios da abordagem concorram para a avaliação da qualidade técnica do formulário frente a questão avaliativa: Em que medida o formulário utilizado para a concessão da Bolsa Auxílio, na UFRJ, atende a padrões de utilidade, adequação e precisão?

À semelhança de Junqueira (2013), a avaliação fez uso de três das cinco categorias de padrões estabelecidas pelo Joint Committee on Standards for Educational Evaluation (JOINT..., 2011): utilidade, adequação e precisão. Sendo de excelência reconhecida, os padrões têm aplicabilidade em avaliações de todas as áreas e, por decorrência, aos mais distintos objetos avaliativos. A escolha das categorias deveu-se ao fato de: a de utilidade ser essencial à avaliação de qualquer objeto; a de adequação buscar assegurar que a avaliação transcorra observando aspetos morais, éticos e legais concernentes a sua qualidade (ELLIOT, 2011); a de precisão, por buscar

(7)

descrever o objeto com clareza e considerar sua evolução e contexto, permitir a identificação de virtudes e defeitos do planejamento, dos procedimentos e/ou das conclusões estabelecidas. Para Sanders (1994 apud BRANDÃO; SILVA; PALOS, 2009, p. 11), a categoria gera informações tecnicamente adequadas quanto aspectos que determinam o mérito e a relevância do programa apreciado.

Na etapa seguinte, passou-se à leitura e ao estudo particularizado dos padrões das categorias, visando identificar a propriedade de seu emprego na avaliação do formulário. Da categoria utilidade, acataram-se os padrões atenção a interessados (stakeholders), informação relevante, produtos e processos significativos; da categoria adequação, orientação responsiva e inclusiva, respeito e direitos humanos, clareza e equidade; da categoria precisão, informação válida e informação fidedigna. O título e a descrição de cada padrão foram observados, se, tal como apresentados, atendiam ao estudo. Os casos negativos passaram por adaptações, feitas com base na interpretação textual. (SEVERINO, 2000). Todos os padrões tiveram as descrições alteradas e cinco deles, seus títulos. No Quadro 1, exemplificam-se adaptações de padrões de utilidade.

Quadro 1 – Padrões de Utilidade

Padrão original Padrão adaptado

Título Descrição Título Descrição

Atenção a Interessados (stakeholders)

As avaliações devem dedicar atenção a todos os indivíduos e grupos

envolvidos no programa e por elas afetados.

Atenção aos Candidatos

O processo seletivo deve dedicar atenção aos candidatos,envolvidos no processo.

Informação Relevante

A informação obtida por meio da avaliação deve servir às necessidades identificadas e emergentes dos

stakeholders. Informações Necessárias As informações solicitadas pelo formulário devem atender às necessidades do processo seletivo. Fonte: Marins (2014).

As características técnicas da lista de verificação implicaram em identificá-la como instrumento próprio ao estudo: “[...] são usadas para checar se o processo ou atividade está sendo desenvolvido da maneira prevista, de modo que se garanta sua qualidade [...].” (LEITE, 2012 apud ELLIOT, 2012, p. 103). A lista foi estruturada conforme orientações de Colton e Covert (2007): título, introdução, instruções de preenchimento, dados do respondente e itens. Aos últimos, foram agregados três níveis de julgamento - atende (A), atende parcialmente (AP) e não atende (NA) - capazes de expressar o grau de atendimento do formulário aos padrões. Espaços livres

(8)

destinaram-Braz. J. of Develop.,Curitiba, v. 6, n. 10, p. 77307-77322 ,oct. 2020. ISSN 2525-8761

se ao registro dos comentários dos especialistas. Os 15 itens foram construídos de declarações; a derivação itens - padrões é mostrada pelo Quadro 2.

Quadro 2 – Correspondência entre os padrões adaptados e os itens da lista de verificação

Padrão Título Item da Lista de

Verificação

Utilidade Atenção aos Candidatos 1

Informações Necessárias 2 e 3

Processos Significativos 4,5 e 6

Adequação Orientação Responsiva e Inclusiva 7

Respeito aos Direitos dos Candidatos 8

Clareza e Equidade 9,10, 11 e 12

Precisão Informação Válida 13

Informação Fidedigna 14 e 15

A lista passou por validações técnica e de conteúdo, feitas por especialistas em Avaliação e Educação, selecionados com base em três critérios: “ter experiência [...] sobre o tema; ser perito na estrutura conceitual envolvida e ter conhecimento metodológico sobre a construção [...] [do tipo de instrumento em apreciação].” (ALEXANDRE; COLUCI, 2009, p.4). Na primeira validação, checaram-se as suas qualidades técnicas; na segunda, se os itens cobriam facetas importantes do conceito em pauta. (CONTANDRIOPOULOS ET AL, 1999, apud ALEXANDRE; COLUCI, 2009, p. 3.063). Os atributos redacionais apreciados nas duas etapas foram clareza redacional, pertinência e suficiência dos itens frente ao objetivo e à questão avaliativa. Incorporadas recomendações dos especialistas, obteve-se a versão final da lista de verificação.

Entre 19 a 21 de novembro de 2014, a lista foi preenchida pela totalidade das oito assistentes sociais, funcionárias da DAE, ocupadas do processo seletivo de concessão de Bolsa Auxílio, na UFRJ. O tempo de experiência na atividade variou de dois a 15 anos. A apresentação do instrumento lhes foi feita por meio de carta-convite, informando o objetivo da avaliação, o resguardo das identidades pessoais e a preservação do anonimato dos dados.

A análise e interpretação dos dados quantitativos foram construídas a partir dos dados constantes de gráficos e tabelas. Definiu-se que o atendimento ao padrão ocorreria quando, ao menos, seis juízes concordassem em relação a ele. O alto valor do ponto de corte (seis) decorreu da importância e do impacto que o (in)deferimento à solicitação podem ter sobre a vida dos candidatos. Os comentários escritos foram estudados à luz da análise de conteúdo sintetizadora. (MAYRING,

(9)

1983 apud FLICK, 2013), implicando no parafraseamento e agrupamento de comentários afins e, posteriormente, condensados em resumos.

3 RESULTADOS, CONSIDERAÇÕES E RECOMENDAÇÕES

O desempenho do formulário face aos itens relativos aos padrões de utilidade consta da Tabela 1.

Tabela 1 – Julgamento do formulário frente aos padrões de utilidade

Padrão adaptado Descrição do item Padrão de

Julgamento A AP NA Atenção

aos candidatos

1. O conjunto de itens do formulário permite à avaliação dedicar

igual atenção a todos os candidatos. 4 3 1

Informações necessárias

2. As informações solicitadas pelo formulário de inscrição (online) atendem às necessidades de identificação do candidato.

5 2 1

3. O conteúdo dos itens, que subsidiam a avaliação documental, está em conformidade com as necessidades do processo seletivo.

4 4 -

Processos significativos

4. As informações fornecidas pelo candidato são significativas

para o processo seletivo. 6 2 -

5. Os valores gerados pelo sistema, a partir de informações fornecidas pelo candidato, são significativos para o processo seletivo.

5 3 -

6. As informações registradas pelo parecerista são significativas

para o processo seletivo. 7 1 -

Legenda: A – Atende; AP - Atende Parcialmente; NA - Não Atende. Fonte: Marins (2014)

Os dados da Tabela 1 evidenciam que apenas dois itens atenderam ao padrão processos significativos, atingindo o ponto de corte. O resultado mostra que “as informações fornecidas pelo candidato são significativas para o processo seletivo” (item 4) e que “as informações registradas pelo parecerista são [também] significativas para o processo[...]” (item 6). Destaca-se, entretanto, que o padrão não foi plenamente atendido porque o item 5, também relativo ao padrão, ficou abaixo do ponto de corte.O atendimento parcial aos padrões atenção aos candidatos, informações necessárias e processos significativos revela fragilidades do formulário, pois: “o conjunto de itens [...] permite à avaliação dedicar [em parte] igual atenção a todos os candidatos” (item 1); “as informações solicitadas pelo formulário [...] atendem [em parte] às necessidades de identificação do

(10)

candidato” (item 2); “o conteúdo dos itens, que subsidiam a avaliação documental, está [em parte] em conformidade com as necessidades do processo seletivo” (item 3); “os valores gerados pelo sistema, a partir de informações fornecidas pelo candidato, são [em parte] significativos para o processo seletivo” (item 5).

A análise de conteúdo sintetizadora evidenciou preocupações dos especialistas quanto a aspectos relacionados aos campos do formulário e à pontuação atribuída. Em relação ao primeiro, destacaram haver erros frequentes de preenchimento; necessidade de maior detalhamento dos campos, a fim de acolher informes particulares da vida dos candidatos; ausência de campos próprios à plena coleta de informações intervenientes e/ou reveladores das reais condições de existência dos solicitantes. Quanto ao segundo aspecto, as opiniões oscilaram desde a discordância à atribuição de pontos, “devido a condicionantes sociais importantes para a avaliação”, à total concordância. No caso, as sugestões apresentadas foram: julgar a adequação da pontuação conferida aos campos e incluir métodos aptos a aferir pesos justos aos campos considerados. Também foi sugerida a realização de cálculo(s) realizado(s) pelo sistema já que, às vezes, percebem identificam-se inconsistências entre os dados. Um único especialista, sem justificar sua opinião, declarou que o formulário não atende aos padrões atenção aos candidatos (item 1) e informações necessárias (item 2). Da Tabela 2, constam julgamentos relativos aos itens de adequação.

Tabela 2 – Julgamento do formulário frente aos padrões de adequação

Julgamento A AP NA Orientação

Responsiva e Inclusiva

7. As informações referentes às condições de existência do

candidato são suficientes ao julgamento do(a) parecerista. 1 5 2 Respeito aos Direitos

dos Candidatos

8. As informações solicitadas pelo formulário respeitam os

direitos dos candidatos de forma igualitária. 8 - -

Clareza e Equidade

9. Os elementos do formulário incluindo, tamanho e tipo de fonte, cor da fonte e plano de fundo, disposição dos itens favorecem a leitura.

3 5 -

10. O tipo de informação, necessário ao processo seletivo, é

solicitado, com clareza pelo formulário. 4 4 - 11. O formulário permite ao avaliador julgar o candidato

mantendo a imparcialidade. 8 - -

12. As informações fornecidas pelo formulário são inteligíveis e

justas para subsidiar a análises dos(as) pareceristas. 3 5 - Fonte: Marins (2014).

(11)

A leitura da Tabela 2 permite observar que, unanimemente, os especialistas consideraram que o formulário atendeu a dois dos três padrões: respeito aos direitos dos candidatos, e clareza e equidade, significando que, em suas opiniões, “as informações solicitadas [...] respeitam os direitos dos candidatos de forma igualitária” (item 8) e “[...] permite(m) ao avaliador julgar o candidato, mantendo a imparcialidade” (item 11). Observa-se também que o formulário atendeu parcialmente aos padrões relacionados aos itens 7, 9, 10 e 12; assim, “as informações referentes às condições objetivas de existência do candidato são [em parte] suficientes ao julgamento do(a) parecerista”; “os elementos do formulário, incluindo, tamanho e tipo de fonte, cor da fonte e plano de fundo, disposição dos itens favorecem [em parte] a [sua] leitura”; “o tipo de informação, necessário [para fundamentar o [...] processo seletivo, é [em parte] solicitado com clareza, pelo formulário”; “as informações fornecidas pelo formulário são [em parte] inteligíveis e justas para subsidiar as análises dos(as) pareceristas.

A análise de conteúdo sintetizadora favoreceu reconhecer as ideias centrais das paráfrases enfatizaram três aspectos: campos do formulário, fonte de informação e design. Em relação ao primeiro, os comentários apontaram que os candidatos têm dúvidas quanto ao preenchimento do formulário, o que se evidencia na ocorrência de erros correntes. Além disto, os campos desconsiderados pelos candidatos trazem dificuldades à avaliação. Entre as críticas e sugestões, abordaram a necessidade de os campos precisarem de revisão quanto à estruturação e suficiência. Quanto ao segundo aspecto, enfatizaram a importância de o formulário conjugar-se a outras fontes de informações, capazes de complementarem-se mutuamente quanto às informações coletadas para fins da avaliação. Documentos e entrevistas foram citados como possíveis modalidades auxiliares de fontes adicionais. O terceiro aspecto, design, foi percebido como inadequado, pois os elementos visuais não favorecem a comunicação. Por meio das respostas ao item 7, duas especialistas afirmaram que o formulário não atende ao padrão orientação responsiva e inclusiva, assim justificando: “alguns condicionantes sociais importantes para a avaliação não estão contemplados [no formulário]”; “a avaliação [...] [deve ser percebida como] um conjunto: formulário, documentação e relato da situação de vida do aluno”. A Tabela 3 mostra os resultados da avaliação do formulário quanto aos itens de precisão.

(12)

Tabela 3 – Julgamento do formulário junto aos padrões de precisão

Julgamento A AP NA Informação

Válida

13. As informações fornecidas pelo formulário sustentam

interpretações válidas. 7 1 -

Informação Fidedigna

14. As informações solicitadas pelo formulário estão em

conformidade com os critérios estabelecidos pelo Edital. 8 - - 15. As informações fornecidas pelo formulário são confiáveis

e consistentes. - 7 1

Legenda: A – Atende; AP - Atende Parcialmente; NA - Não Atende. Fonte: Marins (2014).

A leitura da Tabela 3, à luz do desempenho dos itens 13 e 14, mostra que “as informações fornecidas pelo formulário sustentam interpretações válidas” e que “as informações solicitadas [...] estão em conformidade com os critérios estabelecidos pelo Edital”. O primeiro dos itens diz respeito ao padrão informações válidas e o segundo, a informações fidedignas. No tocante ao item 15, o julgamento das especialistas mostrou que “as informações fornecidas pelo formulário são [em parte] confiáveis e consistentes”, expressando atendimento parcial ao padrão informação fidedigna.

A análise de conteúdo sintetizadora possibilitou identificar três focos de atenção: campos do formulário, fontes de informação e sistema. Em relação ao primeiro, constatou-se referência ao preenchimento incorreto e à ausência de campos próprios ao julgamento das condições de vida dos candidatos. Quanto às fontes de informação, foi reiterada a necessidade de a avaliação também considerar informações obtidas a partir de fontes complementares. No tocante ao sistema, declararam que problemas na exportação de dados afetam a finalização do processo seletivo. Apenas uma especialista considerou que o formulário não atende ao padrão informação fidedigna porque “as [suas] informações [...] [não] são [nem] confiáveis nem consistentes: “já foram observados erros de cálculo [do sistema] que comprometeram a avaliação; [...] [além disto,] [...], muitas vezes, o candidato preenche o formulário de forma incorreta [...]”. As considerações do estudo, constantes do Quadro 3, foram elaboradas a partir do cotejo entre os resultados apresentados anteriormente e a questão avaliativa.

(13)

Quadro 3 – Padrões atendidos pelo formulário

Padrões Título Itens

Relacionados Desempenho do item No/Acima do Ponto Abaix o do Ponto

Utilidade Atenção aos candidatos 1 - 1

Informações necessárias

2 e 3 - 2 e 3

Processos significativos 4, 5 e 6 4 e 6 5 Adequação Orientação responsiva e

inclusiva 7 -

7

Respeito aos Direitos dos

Candidatos 8 8

-

Clareza e Equidade 9, 10, 11 e 12 11 9, 10 e 12

Precisão Informação Válida 13 13 -

Informação Fidedigna 14 e 15 14 15

Conforme revela o Quadro 3, o formulário somente atendeu a dois padrões, o de adequação - respeito aos direitos dos candidatos (item 8) e o de precisão - informação válida (item 13). Quanto aos padrões processos significativos (utilidade), clareza e equidade (adequação) e informação fidedigna (precisão), o atendimento foi parcial, pois, do conjunto de seus itens, apenas alguns os atenderam: 4 e 6; 11 e 14. A fragilidade do formulário ficou evidenciada ante o não atendimento de nove padrões: dois de utilidade - atenção aos candidatos (item 1) e informações necessárias (itens 2 e 3); dois de adequação - orientação responsiva e inclusiva (item 7), e clareza e equidade(itens 9, 10 e 12); um de precisão - informação fidedigna (item15). Em decorrência dos resultados e das considerações do estudo, recomenda-se que:

➢ Os campos do formulário sejam analisados quanto aos elementos significativos, a exemplo, de número, ordenação, suficiência, diversidade, clareza, precisão, relevância, pertinência. Com isto, que parte dos problemas detectados, pela avaliação, são superados.

➢ O formulário atente à estrutura básica dos instrumentos de medida e avaliação: título, instruções gerais, instruções específicas, se necessário, itens e itens complementares. Também que contenha breve apresentação, mencionando sua finalidade e a importância do correto preenchimento. Deve também ter sua utilização padronizada, garantindo uniformidade no preenchimento e na apreciação dos casos. Com isto, estabelece-se que o treinamento da equipe de assistentes sociais é condição a ser respondida.

(14)

➢ O design do formulário seja repensado, revisado e decorrente do trabalho de profissionais qualificados, favorecendo a fluidez comunicativa.

➢ As fontes complementares de informação sejam selecionadas quanto à sua efetiva possibilidade de contribuir com o processo de concessão de Bolsa Auxílio, permeado de subjetividades.

➢ A pontuação atribuída aos campos seja objeto de reflexão crítica quanto assuas procedência, precisão e utilidade, e que, neste sentido, cabe contar com a participação de representantes de todos os interessados.

➢ As falhas do sistema sejam identificadas e reparadas, sanando os problemas correntes. ➢ A avaliação seja tomada para a orientação de estudos similares junto a instrumentos usados

em processos seletivos de concessão de benefícios a graduandos, na UFRJ.

➢ Os resultados e sugestões do estudo sirvam à implementação de melhorias no formulário, considerando o impacto da avaliação da concessão de Bolsa Auxílio na vida pessoal e acadêmica dos candidatos.

(15)

REFERÊNCIAS

ALEXANDRE, Neusa Maria Costa; COLUCI, Marina Zambon Orpinelli. Validade de conteúdo

nos processos de construção e adaptação de instrumentos de medidas. Ciênc. saúde coletiva, Rio

de Janeiro, v. 16, n. 7, jul. 2011. Disponível em:

<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-81232011000800006&lng=en&nrm=iso>. Acesso em: 31 out. 2014.

ASSUMPÇÃO, Jairo José; CAMPOS, Lucila Maria de Souza. Avaliação de Projetos Sociais: a

rede, os nós e a teia. São Paulo: En ANPAD, 2009. Disponível em:

<http://www.anpad.org.br/admin/pdf/APS582.pdf>. Acesso em: 06 out. 2014.

BRANDÃO, Daniel Braga; SILVA, Rogério Renato; PALOS, Cássia Maria Carraco. Da

construção de capacidade avaliatória em iniciativas sociais: algumas reflexões. Ensaio: aval. pol.

públ. educ., Rio de Janeiro, v. 13, n. 48, set. 2005. Disponível em:

<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40362005000300006&lng=en&nrm=iso>. Acesso em: 08 out. 2014.

BRASIL. Decreto n º 7.234, de 19 de julho de 2010. Dispõe sobre o Programa Nacional de

Assistência Estudantil - PNAES. Diário Oficial da União, Brasília, DF, 20 jul. 2010. Disponível em:

<http://www.planalto.gov.br/ccivil_03/_Ato20072010/2010/Decreto/D7234.htm>. Acesso em: 24jul. 2014.

COLTON, David; COVERT, Robert W. Designing and constructing instruments for social

research and evaluation.São Francisco, CA: John Wiley& Sons, 2007. Disponível em:

<http://samples.sainsburysebooks.co.uk/9780787998080_sample_382755.pdf.>. Acesso em: 02 nov. 2014.

ELLIOT, Ligia Gomes. Meta-avaliação: das abordagens às possibilidades de aplicação. Ensaio: aval.pol.públ.educ., Rio de Janeiro , v. 19, n. 73, dez. 2011. Disponível em:

<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40362011000500011&lng=en&nrm=iso>. Acesso em: 08 out.2014.

FLICK, Uwe. Métodos qualitativos na investigação científica. 1 ed. Lisboa: Monitor, 2013.

JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION. The program

evaluation standards: how to assess evaluations of educational programs. Thousands Oaks, CA:

Sage, 1994. (Tradução exclusivamente para fins didáticos. 2011).

JUNQUEIRA, Ana Cristina Pereira. Informação e prevenção à doença renal: uma avaliação de

mérito de campanha de saúde. 2013. 66 f. Dissertação (Mestrado Profissional em Avaliação) –

Fundação Cesgranrio, Rio de Janeiro, 2013.

LEITE, Lígia Silva. Lista de Verificação. In: ELLIOT, Ligia Gomes (Org). Instrumento de

Avaliação e Pesquisa: caminhos para construção e validação. Rio de Janeiro: Wak, 2012.

MARINS, Carlos Eduardo de. Processo seletivo para bolsa auxílio do Programa de Ações

Afirmativas na UFRJ: avaliação do formulário. Dissertação (Mestrado Profissional em Avaliação)

(16)

SEVERINO, Antônio Joaquim. Metodologia do trabalho científico. 21 ed. São Paulo: Cortez, 2000. UNIVERSIDADE FEDERAL DO RIO DE JANEIRO. Conselho Universitário. Resolução nº 13,

de 25 de outubro de 2007. Institui o programa de Reestruturação e Expansão da UFRJ. Rio de

Janeiro, 2007. Disponível em: <http://www.consuni.ufrj.br/images/Resolucoes/res09-07.pdf >. Acesso em: 23 jul. 2014.

______. Pró-Reitoria de Graduação. Resolução CEG nº 04, de 20 de outubro de 2004. Dispõe sobre o cancelamento de matrícula por insuficiência de rendimento acadêmico. Rio de Janeiro, 2004. Disponível em: <http://pr1.ufrj.br/images/stories/_pr1/dmdocuments/ceg10_04.pdf>. Acesso em: 23 jul. 2014.

______. Pró-Reitoria de Graduação. Resolução CEG nº 01, de 27 de fevereiro de 2008. Normas de concessão e renovação de auxílio ao estudante. Rio de Janeiro, 2008. Disponível em: <http://www.poli.ufrj.br/arquivos/auxilio%20ao%20estudante/Resolucao%20CEG%200108.pdf>. Acesso em: 23 jul. 2014.

UNIVERSIDADE FEDERAL DO RIO DE JANEIRO. Superintendência Geral de Políticas Estudantis. Divisão de Apoio ao Estudante. Edital de seleção para a bolsa auxílio. Rio de Janeiro, 2013.

WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L. Avaliação de programas: concepções e práticas. São Paulo: Ed. Gente, 2004.