MARCELO GOMES GADELHA
ELICITAÇÃO DE REQUISITOS BASEADA EM
META-AVALIAÇÃO: O CASO DOS CENTROS DE
REFERÊNCIA DE ASSISTÊNCIA SOCIAL
Dissertação apresentada ao programa de Pós Graduação Stricto Sensu em Gestão do Conhecimento e Tecnologia da Informação da Universidade Católica de Brasília.
Orientador:
Prof. Dr. Edilson Ferneda Co-orientador:
Prof. Dr. Hércules Antônio do Prado
G124e Gadelha, Marcelo Gomes
Elicitação de requisitos baseada em meta-avaliação: o caso dos centros de referência de assistência social / Marcelo Gomes Gadelha. – 2010.
99 f. ; il.: 30 cm
Dissertação (mestrado) – Universidade Católica de Brasília, 2010. Orientação: Edilson Ferneda
Co-Orientação: Hércules Antônio do Prado
1. Engenharia de software. 2. Avaliação. I. Ferneda, Edilson, orient. I-I.Prado, Hércules Antônio do, co-orient. III. Título.
Dissertação de autoria de Marcelo Gomes Gadelha, intitulada “Elicitação de Requisitos Baseada em Meta-avaliação: o Caso dos Centros de Referências de As-sistência Social”, apresentada como requisito parcial para obtenção do grau de Mes-tre em Gestão do Conhecimento e da Tecnologia da Informação da Universidade Católica de Brasília em 06/04/2010, defendida e aprovada pela banca examinadora abaixo assinada.
____________________________
Prof. Dr.Edilson Ferneda Orientador
____________________________
Prof. Dr. Hércules Antônio do Prado Co-orientador
____________________________
Prof. Dr.ª Elaine Rabelo Neiva Examinadora Externa –UnB
____________________________
Prof. Dr. Roberto Wagner da Silva Rodrigues Examinador Externo – UnB
AGRADECIMENTO
Ao Ministério do Desenvolvimento Social e Combate à Fome e aos profissionais que permitiram que este estudo acontecesse, entre eles: Caio Nakashima, Carlos Brasi-leiro, Tiago Hackbarth, Luis Otavio, Francisca Lucena, Maria Cristina e Lidia Barbo-sa.
A equipe da Universidade Católica de Brasília que incentivou este estudo: Edilson Ferneda, Hércules Prado, Elaine Neiva e Luiza Alonso.
É sabido que a avaliação do trabalho social sempre foi uma questão bastante debatida e uma atividade pouco praticada em nosso país. Isso porque, muitas vezes, ela acaba sendo utilizada para controlar apoios e financiamentos ou, até mesmo, como mero suporte de
preciosismo, não tendo a eficiência
RESUMO
A elicitação de requisitos (ER) é a parte do processo de Engenharia de Software responsável pela interação com clientes para o detalhamento do escopo e dos limi-tes de um software a ser construído, usualmente realizada por meio de entrevistas. Este trabalho aborda esse tema sob uma nova perspectiva: a utilização de meta-avaliação, segundo os padrões propostos pelo Joint Committee, como fonte de in-formações para a ER. Para a validação deste método, foi feita a elicitação de requi-sitos para o aprimoramento dos sistemas de avaliação dos Centros de Referência de Assistência Social (CRAS) de 2008, conduzida pelo Ministério do Desenvolvimento Social e Combate à Fome (MDS). Esse caso foi escolhido por ter uma expressiva demanda de processos informatizados. Os resultados alcançados, explicitados na forma de uma lista de requisitos, apontam um caminho promissor para métodos ba-seados na análise crítica dos processos do domínio de aplicação. Em estudos poste-riores, e após sua aplicação em um novo conjunto de sistemas, o método formulado nesta pesquisa poderá ter aferida sua perspectiva positiva.
ABSTRACT
Requirements elicitation (RE), in the Software Engineering context, is the process in which an analyst interacts with customers for detailing the scope and limits of the software being developed. Usually, it is carried out by means of interviews. This work addresses RE from a new perspective: the use of meta-evaluation, according to the standards proposed by the Joint Committee, as a source of information. In order to validate this method, the elicitation of requirements for improving the evaluation sys-tems of Reference Centers for Social Assistance (CRAS), in 2008, was performed. These Centers are held by the Brazilian Ministry of Social Development and Fight Against Hunger (MDS). This case was chosen due to its significant demand for com-puterized procedures. The results are detailed as a list of requirements that suggests a promising way for methods based in the critical analysis of the domain application processes. In further studies, after its application in a new set of systems, the method formulated in this research may have their positive perspective measured.
LISTA DE FIGURAS
Figura 1: Ciclo de aprimoramento do sistema CRAS ... 16
Figura 2: Organograma da SAGI ... 19
Figura 3: Relação entre Política, Programas e Projetos Sociais ... 31
Figura 4: PNAS, SUAS, CRAS e CREAS ... 32
Figura 5: Método eXtreme Requirements ... 55
Figura 6: Dispersão dos CRAS no Brasil ... 62
Figura 7: Comparativo Indicadores dos CRAS 2007x2008 ... 63
Figura 8: Gerente CRAS 2007 ... 64
Figura 9: Pontos Fracos e Fortes dos CRAS ... 68
Figura 10: Fluxo atual da Informação ... 75
LISTA DE QUADROS
Quadro 1: SNAS na Constituição Federal ... 33
Quadro 2: Recomendações e principais erros dos padrões do Joint Committee analisados ... 60
Quadro 3: Indicador de atividades realizadas ... 65
Quadro 4: Análise do padrão “Avaliação completa e justa” ... 67
Quadro 5: Análise do padrão “Informações sistemáticas” ... 69
Quadro 6: Análise do padrão“Conclusões justificadas” ... 71
Quadro 7: Recomendação da Meta-avaliação dos CRAS ... 73
Quadro 8: Requisitos e regras de negócio propostas ... 77
LISTA DE ABREVIATURAS
AEA – American Evaluation Association CIT – Comissão Intergestores Tripartite
CRAS – Centro de Referência de Assistência Social
CREAS – Centro de Referência Especializado de Assistência Social CEPAL – Comissão Econômica para a América Latina
CIA – Central Intelligence Agency
CMMI – Capability Maturity Model Integration
CONGEMAS – Colegiado Nacional de Gestores Municipais da Assistência Social DDR – Documento de Definição de Requisitos
DGSUAS – Departamento de Gestão do Sistema Único de Assistência Social ER – Elicitação de Requisitos
GOF – Government Accountability Office HTTPS – HyperText Transfer Protocol Secure
IBGE – Instituto Brasileiro de Geografia e Estatística IDH – Índice de Desenvolvimento Humano
LOAS – Lei Orgânica de Assistência Social
MDS – Ministério do Desenvolvimento Social e Combate à Fome OECD – Organization for Economic Co-operation and Development
ONU – Organizações das Nações Unidas PIB – Produto Interno Bruto
PAIF – Programa de Atenção Integral às Famílias PBF – Programa Bolsa Família
PETI – Programa de Erradicação do Trabalho Infantil PNAS – Política Nacional de Assistência Social
RAD – Rapid Application Development REF – Requisito Funcional
RC – Requisito Complementar
RNF – Requisito Não-Funcional de Qualidade RNG – Requisito de Negócio
SAGI – Secretaria de Avaliação e Gestão da Informação SAIP – Secretaria de Articulação Institucional e Parcerias
SENARC – Secretaria Nacional de Renda e Cidadania
SENTINELA – Programa de Enfrentamento ao Abuso e Exploração Sexual de Crianças e Adolescentes
SESAN – Secretaria Nacional de Segurança Alimentar e Nutricional SIAFI – Sistema Integrado de Administração Financeira do Governo
Federal
SI – Sistema de Informação
SIG – Sistema de Informação Gerencial
SNAS – Secretaria Nacional de Assistência Social SUAS – Sistema Único de Assistência Social
TI – Tecnologia da Informação
TIC – Tecnologias da Informação e Comunicação UNDP – United Nations Development Program
USGA – United States Gorvernment Accontability Office XP – Extreme Programming
SUMÁRIO
1 INTRODUÇÃO ... 15
1.1 Tema ... 15
1.2 Contextualização ... 16
1.3 Formulação do problema ... 20
1.4 Objetivos ... 21
1.5 Revisão da literatura ... 21
1.6 Organização da dissertação ... 21
2 REFERENCIAL TEÓRICO ... 23
2.1 CRAS - histórico, definições e legislação concernente ... 23
2.1.1 Contextualização histórica de políticas públicas ... 25
2.1.2 Declaração dos direitos humanos e a primeira crise do pós-guerra ... 25
2.1.3 Constituição de 1988 e a Política Nacional de Assistência Social ... 27
2.1.4 Centro de Referência de Assistência Social - CRAS ... 29
2.1.5 Definições de Projeto, Programa e Política Social ... 31
2.1.6 O papel do CRAS e do CREAS na Constituição ... 33
2.2 Definições e padrões de avaliação e meta-avaliação ... 34
2.2.1 Avaliação ... 34
2.2.2 Orientações práticas da avaliação ... 36
2.2.3 Avaliando a avaliação ... 42
2.2.4 Joint Committee on Standards for Educational Evaluation ... 43
2.2.5 Guiding Principles for Evaluators ... 46
2.2.6 Government Auditing Standards ... 46
2.2.7 Monitoramento e Auditoria ... 47
2.3 Engenharia de software e métodos de especificação de requisitos de software ... 47
2.3.1 Processos de engenharia de software ... 49
2.3.2 Modelos de engenharia de requisitos ... 51
2.3.3 eXtreme Requirements (XR) ... 54
3 METODOLOGIA ... 58
3.1 Classificação da pesquisa ... 58
3.2 Definição dos métodos ... 58
3.3 Materiais e métodos para meta-avaliação dos CRAS ... 59
3.4 Materiais e métodos para documentação de requisitos ... 61
4 META-AVALIAÇÃO CRAS 2008 ... 62
4.1 Introdução a avaliação CRAS 2008 ... 62
4.2 Meta-avaliação dos cras 2008 ... 66
4.2.1 Análise do padrão “Avaliação Completa e Justa” ... 69
4.2.2 Análise do padrão “Informações Sistemáticas” ... 69
4.2.3 Análise do padrão “Conclusões Justificadas”... 71
4.3 Recomendações da meta-avaliaçâo dos CRAS 2008 ... 73
5 A DEFINIÇÃO DOS REQUISITOS DE SOFTWARE ... 74
5.2 Requisitos ... 76
5.3 Perfis e permissões ... 76
5.4 Análise de Risco ... 76
6 CONCLUSÃO ... 80
7 REFERÊNCIAS ... 81
ANEXOS Anexo 1 - Envolvidos e seus interesses ... 87
Anexo 2 - Definições dos padrões do Joint Committee ... 88
Anexo 3 - Etapas chave de avaliação Vs. padrões do Joint Committee ... 90
Anexo 4 - Questionário para meta-avaliação ... 91
Anexo 5 - Indicadores CRAS ... 97
1 INTRODUÇÃO
1.1 TEMA
As Tecnologias da Informação e Comunicação (TIC) vêm mudando o modo como as organizações trabalham. Elas viabilizam a automação de tarefas antes cus-tosas ou mesmo inviáveis. Um dos setores que mais evolui com a aplicação das TIC está relacionado ao acompanhamento e controle das ações de governo, viabilizado pela disponibilização da informação do setor público e a conseqüente democratiza-ção do seu acesso.
No contexto das avaliações realizadas pela Secretaria de Avaliação e Gestão da Informação (SAGI), do Ministério do Desenvolvimento Social e Combate à Fome (MDS), esforços de informatização foram feitos, particularmente no biênio 2007-2008, no sentido de dar transparência ao processo de melhoria dos serviços públi-cos prestados por esse Ministério à sociedade.
Neste trabalho, interessa-se particularmente pelas avaliações dos Centros de Referência de Assistência Social (CRAS), entidades implantadas em nível municipal com recursos do MDS voltadas para a implantação de políticas sociais do governo. Em 2008, foi realizada uma dessas avaliações por meio de processos informatiza-dos de coleta e disseminação de resultainformatiza-dos, permitindo a geração de informações relevantes para a tomada de decisão.
Apesar deste esforço, ainda não foi explorado, no contexto descrito, o poten-cial oferecido pelas diversas ferramentas metodológicas propostas pela literatura disponível na área de Avaliação, como os padrões propostos pelo Joint Committee
(1994), Government Auditing Standard (USGA, 2007) e Guide Principles for Evalua-tion (AEA, 2005). Existe, assim, um espaço de investigação sobre como essas me-todologias poderiam melhorar a qualidade das avaliações de iniciativas de governo, buscando assim aprimorar seus programas, projetos e ações sociais.
Na Figura 1, é ilustrado o ciclo contínuo de aprimoramento do sistema de in-formação dos CRAS no qual requisitos de software são gerados a partir da identifi-cação de pontos da avaliação, precários ou que possam ser melhorados. Estes pon-tos são identificados por meio de meta-avaliação.
Figura 1: Ciclo de aprimoramento do sistema CRAS
1.2 CONTEXTUALIZAÇÃO
Uma população brasileira superior a 190 milhões de habitantes (IBGE, 2009) e um Produto Interno Bruto (PIB) de 1,6 trilhões de dólares em 2008 (World Bank,
2009) faz do Brasil a oitava economia mundial. Alguns dados, no entanto, são preo-cupantes. Apesar do índice GINI, utilizado para medir a desigualdade social, ter evo-luído de 0,567 em 1995 para 0,532 em 2005, ele ainda aponta o Brasil como o dé-cimo país mais socialmente desigual (CIA, 2009). Em relação ao Índice de Desen-volvimento Humano (IDH), que busca medir o desenDesen-volvimento social e econômico utilizando como variáveis dados sobre educação, longevidade e renda, o Brasil tam-bém apresentou uma melhora significativa nos últimos anos. De acordo com United
Nations Development Program (UNDP, 2009), o Brasil é tido como um país de alto
desenvolvimento humano. Todavia, estes índices podem camuflar a realidade. Por exemplo, Fonte-Boa (2008 p. 40) alerta para os problemas relativos à variável
edu-cação:
[Os] componentes de renda e longevidade tiveram um impacto mais próxi-mo do real, que o da educação, pois as taxas de alfabetização e de escola-rização não levam em consideração a qualidade desta alfabetização, nem do sistema de ensino do país.
Quando se verifica os dados relativos ao índice PISA (OECD, 2009), baseado em uma avaliação mais rigorosa da qualidade do ensino médio, o Brasil ficou na 52ª colocação entre os 57 países acompanhados, constatando a baixa qualidade da e-ducação brasileira.
Apesar do Brasil possuir indicadores econômicos e sociais positivos como PIB
Avaliação
do CRAS Meta-avaliação do CRAS Novos requisitos do SI do CRAS Aperfeiçoamento da
e o IDH, sua situação é ainda questionável quanto a distribuição de renda e qualida-de dos serviços sociais. Barros, Henriques e Mendonça (2000) qualida-descrevem essa si-tuação de desigualdade, analisando as últimas décadas do século XX:
[...] desigualdade que surpreende tanto por sua intensidade como, sobretu-do, por sua estabilidade. Desigualdade extrema que se mantém inerte, re-sistindo às mudanças estruturais e conjunturais das últimas décadas. Desi-gualdade que atravessou impassível o regime militar, governos democrati-camente eleitos e incontáveis laboratórios de política econômica, além de diversas crises políticas, econômicas e internacionais.
Em 2004, com o intuito de melhorar os elevados níveis de desigualdade e promover o desenvolvimento social da grande parcela da população pobre do país, o governo brasileiro criou o Ministério do Desenvolvimento Social e Combate à Fo-me (MDS) com a missão de:
Promover o desenvolvimento social e combater a fome visando a inclusão e a promoção da cidadania, garantindo a segurança alimentar e nutricional, uma renda mínima de cidadania e assistência integral às famílias. (BRASIL, 2009a).
Ademais, o MDS atua em conjunto com vários parceiros na implantação de programas sociais pautados pelo conjunto de políticas governamentais denominada Fome Zero1.
Atualmente, existem no MDS quatro secretarias que executam programas so-ciais: Secretaria Nacional de Renda e Cidadania (SENARC), Secretaria Nacional de Assistência Social (SNAS), Secretaria de Segurança Alimentar e Nutricional (SE-SAN) e Secretaria de Articulação Institucional e Parcerias (SAIP). Entre os progra-mas sociais implementados pelo MDS estão o Programa Bolsa Família (PBF), o Be-nefício de Prestação Continuada (BPC) e o Programa de Construção de Cisternas.
Para manter esses programas, o MDS contou com um orçamento executado superior a 24 bilhões de reais no ano de 2007 e de 28,4 bilhões de reais no ano de 2008, de acordo com Sistema Integrado de Administração Financeira do Gover-no Federal (SIAFI)2. Em 2007, este foi o sexto maior orçamento ministerial (CONTAS, 2008),representando 1,8% do PIB brasileiro naquele ano3.
Diversos setores da sociedade criticam a quantidade de investimentos em-pregados em programas e políticas sociais. Estes questionamentos, normais em uma democracia, colocam em questão a credibilidade das políticas e programas em
1 http://www.fomezero.gov.br
2 http://www.tesouro.fazenda.gov.br/SIAFI/index.asp
execução pelo MDS. Pode-se citar, por exemplo, críticas ao programa ProJovem4 e
ao Bolsa Família5 realizadas no início da implantação do MDS:
[...] também mediante a concessão de bolsas, o PROJOVEM busca integrar ensino fundamental, qualificação profissional e ação comunitária. O que ca-racteriza ambos os programas é a falta de integração com outras políticas, tais como a inserção profissional e a melhoria de renda das famílias. O que somente poderia ocorrer por meio de um projeto de desenvolvimento eco-nômico e social e de distribuição de renda. (FRIGOTTO; CIAVATTA e RA-MOS, 2005)
O problema é que o governo não pode ter certeza de que o Bolsa Família está chegando às famílias que realmente precisam dele. [...] A falta de in-formações precisas podem indicar que os índices de pobreza usados no Brasil não são confiáveis. O governo quer incluir cerca de 11 milhões de famílias no cadastro único e assim habilitá-las a receber o Bolsa Família. Is-so significa que, para o governo, cerca de 54 milhões de brasileiros passam fome. Não seria esse número alto demais? (REDE GLOBO DE COMUNI-CAÇÕES, 2004)
Para responder a essas críticas, são necessários mecanismos efetivos de controle, de avaliação e de acompanhamento dos programas governamentais. O presente trabalho focará sobre o processo de avaliação realizado dentro do MDS.
Cabe à SAGI as seguintes competências (BRASIL, 2009d):
(i) desenvolver e implementar instrumentos de avaliação e monitoramento das políticas e programas referentes ao desenvolvimento social e combate à fome, e (ii) elaborar, propor, coordenar e apoiar a implementação de pla-nos, programas, projetos e ações de desenvolvimento social e combate à fome, voltados à promoção de transparência, controle social, prestação de contas e conduta ética na gestão pública;
Para a realização destas atividades, a SAGI contou, em 2008, com um orça-mento de 12,7 milhões de reais, onde 5,4 milhões foram para a "avaliação de políti-cas de desenvolvimento social e combate à fome" e 7,3 milhões para a "capacitação de agentes públicos e sociais em políticas de desenvolvimento social e combate à fome", de acordo com o SIAFI. A Figura 2 representa o organograma da SAGI.
Vaitsman, Rodrigues e Paes-Sousa (2006) descrevem o atual sistema de ava-liação e monitoramento de programas sociais do MDS:
O sistema de avaliação e monitoramento (SAM) desenvolvido pela SAGI é composto por dois subsistemas: o de monitoramento e o de avaliação. Es-ses dois subsistemas, embora relacionados, são independentes entre si e organizados com base em distintos procedimentos, metodologias e instru-mentos. Um sistema de avaliação e monitoramento não é a mesma coisa que um sistema de informação gerencial, ainda que os dados aí existentes constituam uma fonte para sua estruturação.
4
http://www.mds.gov.br/servicos/fale-conosco/assistencia-social/beneficiario-nao-beneficiario/psb-2013-protecao-social-basica/o-que-e-o-projovem-adolescente/
Figura 2: Organograma da SAGI (BRASIL, 2009e)
Em contraposição, Fonseca (2005) chega a afirmar que não existe um siste-ma de avaliação e monitoramento de políticas sociais. A autora também aponta a resistência do governo em avaliar políticas públicas, temendo subsidiar críticas aos projetos governamentais.
[...] o Brasil não é um país com vasta tradição na discussão sistemática de políticas públicas. Os centros de reflexão que tratam do assunto são pou-cos. Os governos costumam ter uma atitude de desconfiança em relação a este tipo de estudos em função do temor de críticas. A burocracia tende a definir uma política pública como uma combinação de uma legislação seto-rial e uma alocação de recursos. E, infelizmente, até recentemente avalia-ção de políticas públicas era apenas um componente compulsório nos em-préstimos internacionais, uma exigência dos órgãos financiadores interna-cionais.
Curiosamente a preocupação que ganha a mídia é com avaliação das políti-cas e com seus resultados. Não há uma equivalente atenção para com os processos de formulação de políticas. E aqui cabe uma diferenciação impor-tante, formulação (ou desenho) de políticas públicas não é uma área onde estejamos tão bem assim. A administração pública federal ainda enfrenta severos déficits de capacidades, em especial nas áreas relacionadas com quadros técnicos capazes de proporem políticas consistentes que traduzam as prioridades políticas do governo. Portanto, quando falarmos de avaliação de políticas públicas é importante termos em mente os contextos de sua formulação.
Aretche (2007) também questiona a utilização de avaliações internas do go-verno:
Porque destinadas a exercer controle as ações públicas, seja dos cidadãos sobre o governo, seja do governo sobre si mesmo, as avaliações precisam ser realizadas por órgãos independentes.
consolida-ção de mecanismos que ajudem a apontar acertos e equívocos cometidos, o que pode ser aperfeiçoado e quais as lacunas a serem exploradas para a melhoria das políticas públicas. A meta-avaliação aparece nesse cenário como um instrumento para auxiliar a construção desses mecanismos.
Uma das funções da meta-avaliação é destacar pontos fortes e fracos em uma avaliação e assim explicitar onde aperfeiçoamentos são necessários. As fragili-dades encontradas no processo de avaliação constituem oportunifragili-dades para que as TIC ofereçam novos produtos, processos ou sistemas de informação capazes de mitigarem tais fragilidades. Assim, as possíveis melhorias dos sistemas de informa-ção envolvidas no processo de avaliainforma-ção apontadas pela meta-avaliainforma-ção poderiam ser explicitadas por meio de técnicas de engenharia de requisitos (SOMMERVILLE, 2003).
Os CRAS são considerados “as portas de entrada da população para acessar os serviços da Assistência Social no Brasil”:
CRAS é uma unidade pública estatal de base territorial, localizado em áreas de vulnerabilidade social, que abrange um total de até mil famílias/ano. E-xecuta serviços de proteção social básica, organiza e coordena a rede de serviços sócio-assistenciais locais da política de assistência social. (POLÍ-TICA, 2004)
A SAGI avaliou os CRAS em mais de quatro mil municípios em todos os Es-tados da Federação. Para isso, contou com a colaboração das gerências operacio-nais, coordenações estaduais e da média e alta gerência do MDS. Nesse contexto, as TIC são aplicadas principalmente na coleta de dados e disseminação de informa-ções.
1.3 FORMULAÇÃO DO PROBLEMA
1.4 OBJETIVOS
Este trabalho tem como objetivo propor uma metodologia para a elicitação de requisitos de sistemas de informação de apoio à avaliação de políticas públicas to-mando como principal fonte de informações os resultados de meta-avaliações.
Como objetivos específicos, têm-se:
• Descrever o processo da avaliação dos CRAS 2008;
• Selecionar um dentre os modelos de meta-avaliação existentes;
• Selecionar, dentre os padrões de avaliação que compõem o modelo escolhido, aqueles com maior afinidade com soluções baseadas em TIC;
• Realizar uma meta-avaliação dos CRAS 2008 de acordo com esses padrões; • Propor requisitos para sistemas de informação a partir das fragilidades
aponta-das pela meta-avaliação.
1.5 REVISÃO DA LITERATURA
Abstraindo o problema focalizado nesta pesquisa e situando-o no contexto da Engenharia de Software, é possível reescrevê-lo como a elicitação de requisitos pa-ra sistemas de informação a partir da avaliação do contexto da aplicação. Consta-tou-se a ausência de publicações em que fossem abordadas ou propostas soluções a este problema.
1.6 ORGANIZAÇÃO DA DISSERTAÇÃO
Os próximos capítulos estão organizados da seguinte forma. No Capítulo 2, são expostos os principais conceitos relacionados com os objetivos deste trabalho, que embasam a abordagem proposta. As fontes utilizadas foram livros, dissertações e artigos sobre os temas programas/políticas sociais, avaliação, meta-avaliação e especificação de requisitos de software.
Uma descrição da avaliação dos CRAS realizada em 2008, material de estudo desta dissertação, é feita no Capítulo 4. A seguir, focaliza-se no funcionamento das avaliações conduzidas pela SAGI e na aplicação dos critérios do Joint Committee
(1994) de modo a expor os pontos fortes e fracos da avaliação.
Uma especificação dos requisitos de software a partir das informações obti-das da meta-avaliação é apresentada no Capítulo 5.
2 REFERENCIAL TEÓRICO
Neste referencial teórico serão abordados os principais conceitos que dão sustentação à proposta desenvolvida nesta pesquisa. São focalizados os temas: (i)
Programas Sociais, (ii) Avaliação de Programas Sociais, (iii) Meta-avaliação e (iv)
Elicitação de Requisitos de Software. Os dois primeiros temas referem-se ao domí-nio de aplicação em foco. Os outros dois referem-se às bases conceituais utilizada para a formulação do método proposto.
2.1 CRAS - HISTÓRICO, DEFINIÇÕES E LEGISLAÇÃO CONCERNENTE
2.1.1 Contextualização histórica de políticas públicas
O entendimento da política de assistência social brasileira é importante para fundamentar a compreensão dos CRAS 2008. A Lei Orgânica de Assistência Social (LOAS) rege e detalha os princípios da política de assistência social previstos na Constituição Federal, sendo fonte norteadora para os desenhos das ações desen-volvidas no âmbito da assistência social (BRASIL, 1993). De acordo com Sposati (2005, p. 8) a LOAS tem sua origem nas políticas Bem-Estar iniciadas na Europa pós-guerra adaptadas na formulação da Constituição Federal de 1988.
O Welfare State, ou o Estado de Bem-estar Social, coloca o Estado como o
principal executor e regulador de políticas públicas e programas sociais. O Welfare
State tem como precursora a criação do The Ordinance of Labourers na
Grã-Bretanha no século XIV, após a morte de quase um terço da população pela peste negra e o surgimento de uma grande demanda por trabalho no campo. Esta lei esta-belecia deveres e direitos de trabalhadores e empregadores como, por exemplo:
• Qualquer pessoa com menos de 60 anos deve trabalhar. • Os empregadores não podem contratar em excesso.
• Os empregadores não podem pagar e os trabalhadores não podem receber um valor superior aos aplicados antes da peste negra.
muito mais punitiva do que de proteção ao trabalhador, mas foi uma das primeiras iniciativas de intervenção do Estado em problemas sociais (PEREIRA, 2008, p 62).
No século XVI, sob Henrique VIII, iniciaram as primeiras diferenciações entre “vagabundos”. Ou seja, existia um tratamento diferenciado para pessoas não aptas ao trabalho, em relação àquelas que poderiam ter uma profissão. O grupo dos não aptos era formado por deficientes físicos, deficientes mentais, órfãos e idosos, trata-dos em asilos ou sustentatrata-dos minimamente pelo estado. Quanto aos aptos ao traba-lho que insistiam em não trabalhar restavam somente castigos, torturas e escravidão nas chamadas poor-houses (Pereira, 2008, p. 63).
As leis dos pobres não atingiram os resultados esperados. A “vagabundagem” e os problemas gerados por ela ainda continuavam. No governo de Elisabeth I no século XVI, as leis dos pobres ganharam uma nova roupagem. O tratamento dife-renciado para as pessoas foi mantido, mas a principal mudança ocorreu na descen-tralização político-administrativa do sistema. Deste modo, a administração local era responsável pela cobrança e aplicação de impostos para a “assistência social”. De acordo com Pereira (2008, p. 65), “dois princípios se fazem valer até hoje, o da resi-dência e o da naturalidade, como condição para o pobre ter direito à assistência so-cial”. Por fim, apesar das leis formadas, na realidade, qualquer pessoa que não tra-balhava era encaminhada para as casas de trabalhos forçados.
Somente no século XVIII, com a Lei de Gilbert, a assistência interna nas ca-sas de trabalho foi substituída pela assistência externa por meio de pensões, auxílio desemprego e atendimento social domiciliar. Além disso, cada localidade poderia aplicar os investimentos de modo autônomo criando vários tipos programas sociais.
No final do século XVIII, com a chegada da industrialização, os trabalhadores conquistaram direitos que garantiam subsídios aos salários com base no tamanho da família e no preço do pão. A autora sugere que os avanços na legislação decor-rem do fato de o Estado temer rebeliões vindo das massas de trabalhadores.
receptor de alguma assistência pelo estado de possuir um padrão de vida superior a dos trabalhadores com menor salário.
No final do século XIX as idéias Bismarquianas sobre seguro social foram de-senvolvidas e ganharam força (VIANNA, 2002). Foi institucionalizado o Workmen’s
Compensation Act que buscava garantir ao trabalhador um seguro contra acidentes.
Já no início do século XX, foi aprovada a Lei Old Age Pension Act que garantia uma pensão para as pessoas idosas mesmo não existindo contribuição prévia. Após es-tes fatos também foram criados mecanismos de atenção à saúde, de amparo ao de-sempregado e oficinas profissionalizantes.
Após a segunda guerra mundial inicia-se a consolidação do Welfare State, na
Inglaterra, com base nos três pilares Pleno Emprego, seguridade econômica e de
emprego e direitos de cidadania.
No Pleno Emprego o estado intervem na economia, quando necessário, atra-vés de medidas macroeconômicas para evitar demissões. Entre elas estaria o au-mento da quantidade de moeda e a realização de investiau-mentos públicos suplemen-tares.
A seguridade econômica e do emprego foi garantida pela Lei Nacional do Se-guro e pela Lei Nacional de Assistência. Estas leis asseguraram os seguintes direi-tos: auxílio doença e desemprego, pensão aos aposentados, auxílio maternidade, auxílio viuvez, auxílio funeral e sistema nacional de saúde não contributivo/universal. Com estas ações a população garantiu direitos civis, políticos e sociais. Os di-reitos civis consistiam na liberdade individual e no direito à propriedade e à justiça. Os direitos políticos se referiam ao direito de votar e ser votado em eleições. E os direitos sociais referiam-se a uma vida com um mínimo de bem-estar econômico e social.
2.1.2 Declaração dos direitos humanos e a primeira crise do pós-guerra
Artigo I - Todos os seres humanos nascem livres e iguais em dignidade e di-reitos. São dotados de razão e consciência e devem agir em relação uns aos outros com espírito de fraternidade.
...
Artigo XXII - Todo ser humano, como membro da sociedade, tem direito à segurança social, à realização pelo esforço nacional, pela cooperação inter-nacional e de acordo com a organização e recursos de cada Estado, dos di-reitos econômicos, sociais e culturais indispensáveis à sua dignidade e ao livre desenvolvimento da sua personalidade.
...
Artigo XXIII.
1. Todo ser humano tem direito ao trabalho, à livre escolha de emprego, a condições justas e favoráveis de trabalho e à proteção contra o desem-prego.
2. Todo ser humano, sem qualquer distinção, tem direito a igual remunera-ção por igual trabalho.
3. Todo ser humano que trabalha tem direito a uma remuneração justa e satisfatória, que lhe assegure, assim como à sua família, uma existência compatível com a dignidade humana e a que se acrescentarão, se ne-cessário, outros meios de proteção social.
4. Todo ser humano tem direito a organizar sindicatos e a neles ingressar para proteção de seus interesses.
...
Alves (2009), afirma que “Nem mesmo os Estados redatores da declaração se dispuseram seriamente a cumpri-la desde o primeiro momento, conforme evidencia-do nas resistências à outorga de natureza obrigatória aos direitos nela definievidencia-dos”. A declaração também nunca teve sua universalidade garantida por abstenção de mui-tos países.
A primeira crise do capitalismo depois da Segunda Guerra Mundial, derivada da crise do petróleo, aconteceu nos anos 70 e teve como um de seus impactos mo-dificações nas políticas sociais. A volta de idéias liberais influenciou países que ado-tavam uma postura favorável ao Welfare State. Este novo posicionamento liberal foi chamado de neoliberalismo. Morais (2002) descreveu o neoliberalismo como:
O neoliberalismo econômico acentua a supremacia do mercado como me-canismo de alocação de recursos, distribuição de bens, serviços e rendas, remunerador dos empenhos e engenhos, inclusive. Nesse imaginário, o mercado é matriz da riqueza, da eficiência e da justiça. A intervenção da au-toridade pública sobre as iniciativas privadas é vista, primordialmente, como intrusão indevida, no máximo tolerada.
Assim como no século XIX, muitas políticas públicas conquistadas pela popu-lação foram extintas pelo Estado. Baruco e Carcanholo (2009) descreveram este cenário:
pe-la dimensão que os Estados de bem-estar social haviam alcançado, o que exigiria uma instituição forte o suficiente para desregulamentá-los e reformá-los. Em segundo lugar, como toda a sociedade deverá ser submetida à lógi-ca do merlógi-cado, o Estado forte também deverá cumprir a função de dissemi-nar essa lógica por toda a sociedade.
2.1.3 Constituição de 1988 e a Política Nacional de Assistência Social
No ano de 1988 o Brasil discutiu e implantou uma nova constituição, após um longo período não democrático. A nova constituição garantia ao cidadão brasileiro moradia, educação, saúde, lazer, vestuário, higiene, transporte e previdência social. Este fato demonstra muitos traços da política do Welfare State, assim como, uma forte ligação com a Declaração Universal dos Direitos Humanos. A seguir os pará-grafos 6°, 7° e 23° artigos da Constituição (BRASIL, 2009f).
Art. 6. São direitos sociais a educação, a saúde, o trabalho, a moradia, o la-zer, a segurança, a previdência social, a proteção à maternidade e à infân-cia, a assistência aos desamparados, na forma desta Constituição.
Art. 7. São direitos dos trabalhadores urbanos e rurais, além de outros que visem à melhoria de sua condição social:
...
IV - salário mínimo, fixado em lei, nacionalmente unificado, capaz de aten-der a suas necessidades vitais básicas e às de sua família com moradia, alimentação, educação, saúde, lazer, vestuário, higiene, transporte e previdência social, com reajustes periódicos que lhe preservem o poder aquisitivo, sendo vedada sua vinculação para qualquer fim;
...
XXV - assistência gratuita aos filhos e dependentes desde o nascimento até 5 (cinco) anos de idade em creches e pré-escolas
...
Art. 23. É competência comum da União, dos Estados, do Distrito Federal e dos Municípios:
...
II - cuidar da saúde e assistência pública, da proteção e garantia das pessoas portadoras de deficiência.
A Constituição, no seu Artigo 194, dividiu a seguridade social em direitos à saúde, à previdência e à assistência social.
Art. 194. A seguridade social compreende um conjunto integrado de ações de iniciativa dos Poderes Públicos e da sociedade, destinadas a assegurar os direitos relativos à saúde, à previdência e à assistência social.
Os Artigos 203 e 204, da seção IV da Constituição, regem a assistência social no Brasil (BRASIL, 2009f):
Art. 203. A assistência social será prestada a quem dela necessitar, inde-pendentemente de contribuição à seguridade social, e tem por objetivos: I - a proteção à família, à maternidade, à infância, à adolescência e à
velhi-ce;
IV - a habilitação e reabilitação das pessoas portadoras de deficiência e a promoção de sua integração à vida comunitária;
V - a garantia de um salário mínimo de benefício mensal à pessoa portadora de deficiência e ao idoso que comprovem não possuir meios de prover à própria manutenção ou de tê-la provida por sua família, conforme dispu-ser a lei.
Art. 204. As ações governamentais na área da assistência social serão rea-lizadas com recursos do orçamento da seguridade social, previstos no art. 195, além de outras fontes, e organizadas com base nas seguintes diretri-zes:
I - descentralização político-administrativa, cabendo a coordenação e as normas gerais à esfera federal e a coordenação e a execução dos res-pectivos programas às esferas estadual e municipal, bem como a enti-dades beneficentes e de assistência social;
II - participação da população, por meio de organizações representativas, na formulação das políticas e no controle das ações em todos os níveis. A Política Nacional de Assistência Social (PNAS), regida pela LOAS, visa a-tender à necessidade de construção de princípios, diretrizes e modelos de gestão para os artigos 203 e 204 da Constituição Federal.
A LOAS tem como diretriz a descentralização político-administrativa dos Es-tados, Distrito Federal e Municípios. Responsabilizando todas as esferas (Federal, Estadual e Municipal) pela condução da política de assistência social desde a elabo-ração de normas gerais até execução da política. Ela também apóia a participação da população por meio de organizações representativas (BRASIL, 1993).
Dentre os princípios estabelecidos na LOAS estão: (i) universalização de di-reitos sociais, (ii) respeito à dignidade do cidadão, (iii) serviços de qualidade, (iv) ga-rantia de convivência familiar e comunitária, (v) igualdade de direito no acesso ao atendimento e (vi) divulgação dos benefícios, serviços e programas oferecidos pelo poder público (BRASIL, 1993).
O público alvo da PNAS são cidadãos ou grupos que se encontram em situa-ções de vulnerabilidade e risco, entre eles: (i) famílias e indivíduos com perda ou fragilidade do vínculo familiar; (ii) identidades estigmatizadas em termos étnico, cul-tural e sexual; (iii) desvantagem pessoal resultante de deficiência; (iv) exclusão pela pobreza; (v) uso de substâncias psicoativas; (vi) violências de núcleo familiar e
(vii)inserção precária ou não inserção no mercado de trabalho (POLÍTICA, 2004).
A Proteção Social Básica tem como objetivos prevenir situações de risco por meio do desenvolvimento de potencialidade e aquisição, e o fortaleci-mento de vínculos familiares e comunitários. Destina-se à população que vi-ve em situação de vulnerabilidade social decorrente de pobreza, privação (ausência de renda, precário ou nulo acesso aos serviços públicos, dentre outros) e, ou, fragilização de vínculos afetivos – relacionais e de pertenci-mento social (discriminação etárias, étnicas, de gênero ou por deficiências, dentre outras) (POLÍTICA, 2004 p. 34)
A Proteção Social Especial é a modalidade de atendimento assistencial des-tinada a famílias e indivíduos que se encontram em situação de risco pes-soal e social, por ocorrência de abandono maus-tratos físicos e, ou, psíqui-cos, abuso sexual, uso de substâncias psicoativas, cumprimento de medi-das sócio-educativas, situação de rua, situação de trabalho infantil, entre outras. (POLÍTICA, 2004 p. 39)
O modelo de gestão utilizado tanto pela Proteção Social Básica como pela Proteção Social Especial são regidas pelo Sistema Único de Assistência Social (SUAS). O SUAS define e organiza os elementos essenciais para a execução da PNAS. Ele normatiza qualidade do atendimento, indicadores de avaliação e resulta-do e nomenclatura de serviços. O SUAS,
[...] cujo modelo de gestão é descentralizado e participativo, constitui-se na regulação e organização em todo território nacional dos serviços, progra-mas, projetos e benefícios socioassitenciais, de caráter continuado ou even-tual, executados e providos por pessoas jurídicas de direito público sob cri-tério universal e lógica de ação em rede hierarquizada e em articulação com iniciativas da sociedade civil. Além disso, o SUAS define e organiza os ele-mentos essenciais e imprescindíveis à execução da política pública de as-sistência social, possibilitando a normatização dos padrões nos serviços, qualidade no atendimento aos usuários, indicadores de avaliação e resulta-do, nomenclatura dos serviços e da rede prestadora de serviços socioassis-tenciais. (BRASIL, 2009c)
2.1.4 Centro de Referência de Assistência Social - CRAS
Os CRAS são unidades públicas da política de assistência social, integrante do SUAS, de base municipal, estabelecidos em locais com baixos índices sociais de desenvolvimento. Eles têm a função de organizar e ofertar os serviços de Proteção Social Básica às famílias e indivíduos. São também responsáveis pela articulação e encaminhamento das pessoas para outras políticas e programas públicos.
O CRAS configura-se como o local de primeiro acesso das famílias ao sis-tema de proteção social, desempenhando papel estratégico para identificar as necessidades sociais apresentadas no seu território de abrangência, a-tender as demandas em relação às quais deve apresentar resolutividade, articular e organizar a rede socioassistencial em direção da provisão de ser-viços adequados às necessidades sociais identificadas, bem como direcio-nar e acompanhar situações que demandem proteção social especial. (A-RAUJO, 2009, p. 68)
Contribuir para a prevenção e o enfrentamento de situações de vulnerabili-dade e risco social; fortalecer os vínculos familiares e comunitários; promo-ver aquisições sociais e materiais às famílias, com o objetivo de fortalecer o protagonismo e a autonomia das famílias e comunidades (BRASIL, 2009b). Executado nos CRAS, o ProJovem Adolescente é um programa que visa ga-rantir a convivência familiar e comunitária e criar condições para a inserção, reinser-ção e permanência do Jovem no sistema educacional. O público deste programa são adolescentes entre 15 a 17 anos que participem do Programa Bolsa Família ou do Programa de Erradicação do Trabalho Infantil (PETI), egressos de medidas só-cio-educativas, em cumprimento de medida de proteção, egressos ou vinculados de programas de abuso e exploração sexual.
Além destes programas, os CRAS são responsáveis pelo Serviço de Convi-vência para Crianças, Adolescente e Idoso. De acordo com CONGEMAS (2009), os serviços se organizam:
[...] de modo a garantir a segurança de acolhida e de convívio aos seus u-suários para ampliar trocas culturais e de vivências, desenvolver o senti-mento de pertença e de identidade, fortalecer vínculos familiares e incenti-var a socialização e a convivência comunitária. Possui caráter preventivo e proativo, pautado na defesa e afirmação dos direitos e no desenvolvimento de capacidades e potencialidades, com vistas ao alcance de alternativas emancipatórias para o enfrentamento da vulnerabilidade social.
Os serviços de convívio para crianças de 6 a 15 anos visa desenvolver, em horário alternado ao da escola, a formação para a participação à cidadania, desen-volvimento do protagonismo e autonomia. O processo de convívio deve ser prestado de forma lúdica, cultural ou esportiva para crianças e adolescentes com deficiência, retirados do trabalho infantil ou submetidos a outras violações de seus direitos (CONGEMAS, 2009).
Os serviços de convívio para jovens de 15 a 17 anos têm como função a con-vivência familiar e comunitária para o retorno e permanência do jovem na escola. Este serviço é realizado por atividades que estimulem a convivência social, a partici-pação cidadã e uma formação geral para o mundo do trabalho. As atividades tam-bém devem desenvolver habilidades gerais, tais como a capacidade comunicativa e a inclusão digital, de modo a orientar o jovem para a escolha profissional consciente e a busca do trabalho decente, bem como realizar ações com foco na convivência social por meio da arte-cultura e esporte-lazer (CONGEMAS, 2009).
comunitário e na prevenção de situações de risco social. As atividades devem con-siderar a faixa etária e a vivência em grupo. Devem ser ofertadas atividades artísti-cas, culturais, esportivas e de lazer (CONGEMAS, 2009).
Além dos CRAS, o MDS também financia os Centros de Referência Especia-lizada de Assistência Social (CREAS) que são unidades públicas e estatais que ofer-tam serviços especializados e continuados a famílias e indivíduos nas diversas situ-ações de violação de direitos. Vale ressaltar que os CRAS e CREAS prestam servi-ços diferenciados para públicos em risco social diferentes.
2.1.5 Definições de Projeto, Programa e Política Social
A CEPAL (1995, p. 4) faz uma distinção entre projetos, programas e políticas sociais. Um projeto social é uma unidade mínima de alocação de recursos que pre-tende mudar o estado de vida de um grupo que possui problemas e que de modo autônomo não conseguiria solucioná-los. Um programa social é um conjunto de pro-jetos, com os mesmos objetivos. Uma política é um conjunto de programas com os mesmos objetivos. A Figura 3 ilustra esta estrutura.
Figura 3: Relação entre Política, Programas e Projetos Sociais (CEPAL, 1995 p. 6)
Figura 4: PNAS, SUAS, CRAS e CREAS
Hedler (2007, p. 18) explica a importância do termo serviço continuado que pode ser comparado com os serviços executados dentro nos CRAS e CREAS.
[...] Programas, às vezes, perpassam governos e podem se transformar em serviços de ação continuada, isto é, tornam-se independente da política de governo, transformando em direito assegurado pela lei e Política do Estado. Por exemplo, no CREAS, o Serviço de Enfrentamento ao abuso e à explora-ção sexual contra crianças e adolescentes era o antigo Programa de Enfrentamento ao Abuso e Exploração Sexual de Crianças e Adolescentes (SENTINELA). Isso de-monstra como um programa se tornou importante e foi consolidado em um serviço respaldado pela política.
Para Höfling (2001),
Segundo Cano (2006, p. 9),
[...] um programa social é uma intervenção sistemática planejada com o ob-jetivo de atingir uma mudança na realidade social. [...]. Num programa social sempre existe um antes e um depois que devem ser comparados para comprovar se o programa obteve ou não o efeito pretendido
Rossi, Lipsey e Freeman (2004, p. 434) definem programas sociais como: [...] um esforço organizado, planejado, e geralmente, destinados a amenizar um problema social ou melhorar as condições sociais.
2.1.6 O papel do SNAS na Constituição
No Quadro 1, são apresentadas algumas ações da SNAS no cumprimento dos Artigos 203° e 204° da Constituição.
Artigo Inciso Solução do Ministério do Desenvolvimento Social e Combate à Fome
203 I - a proteção à família, à maternidade, à infância, à
adolescência e à velhice; − Programa de Atenção à Família
II - o amparo às crianças e adolescentes carentes; − Serviços de convivência de fortalecimento de vinculo
para crianças de até 6 anos
− PETI Bolsa
− PETI Serviço Sócio Educativo
− Serviço de convivência para crianças e adolescente de
6 a 15 anos
− Serviço de convivência para jovens de 15 a 17 anos − ProJovem Adolescente
III - a promoção da integração ao mercado de trabalho;
IV - a habilitação e reabilitação das pessoas portadoras de deficiência e a promoção de sua integração à vida comunitária;
− Serviços de convivência de fortalecimento de vinculo
para crianças de até 6 anos
− PETI Bolsa
− PETI Serviço Sócio Educativo
− Serviço de convivência para crianças e adolescente de
6 a 15 anos
− Serviço de convivência para jovens de 15 a 17 anos − ProJovem Adolescente
V - a garantia de um salário mínimo de benefício mensal à pessoa portadora de deficiência e ao idoso que comprovem não possuir meios de prover à própria manutenção ou de tê-la provida por sua família, conforme dispuser a lei.
− Beneficio de Prestação Continuada – IDOSO − Beneficio de Prestação Continuada – DEFICIENTE
204 I - descentralização político-administrativa, cabendo a coordenação e as normas gerais à esfera federal e a coordenação e a execução dos respectivos programas às esferas estadual e municipal, bem como a
entidades beneficentes e de assistência social;
− CRAS − CREAS
II - Participação da população, por meio de organizações representativas, na formulação das políticas e no controle das ações em todos os níveis.
Quadro 1: SNAS na Constituição Federal
Brasil. Os incisos III do artigo 203° e II do artigo 204° não são implementados em serviços ou programas disponibilizados pela SNAS.
2.2 DEFINIÇÕES E PADRÕES DE AVALIAÇÃO E META-AVALIAÇÃO
2.2.1 Avaliação
A importância da avaliação para o setor público tem sua importância reconhe-cida a milênios. De acordo com Worthen, Sanders e Fitzpatrick (2007, p. 61):
No setor público, a avaliação formal já era evidente desde 2000 a.C., quan-do as autoridades chinesas faziam provas para os serviquan-dores públicos a fim de ter uma estimativa de seu desempenho. E, na educação, Sócrates usou diversas avaliações verbais como parte do processo de aprendizagem. Mas passaram séculos antes de as avaliações formais começarem a competir com as crenças religiosas e idéias políticas como a força propulsora por trás das decisões sociais e educacionais
Stufflebeam e Shinkfield (2007, p. 16) definem avaliação como:
[...] o processo sistemático de delimitar, obter, reportar, descrever e julgar a informação sobre o mérito, o valor, a integridade, a viabilidade, a segurança, significância e/ou equidade de algum objeto.
Weiss (1972, p. 4) por sua vez, define avaliação como:
[...] o modo de atestar de forma sistemática a operação e os resultados da política ou programa comparados com um conjunto de padrões explícitos e implícitos como meio de contribuir para melhoria do programa ou política. Para Worthen, Sanders e Fitzpatrick (2007, p. 35) avaliação significa:
[...] a identificação, esclarecimento e aplicação de critérios defensáveis para determinar o valor (valor ou mérito), a utilidade, a eficácia ou a importância do objeto avaliado em relação a esses critérios.
Rossi, Lipsey e Freeman (2004, p. 29) definem avaliação de programas soci-ais como:
[...] o uso da pesquisa social para investigar sistematicamente a eficácia de programas de intervenção social de forma a adaptar a novos ambientes po-líticos e organizacional e se destinam a informar melhorias em ações soci-ais.
Observa-se, por essas definições, que avaliações devem julgar ou esclarecer alguma questão com base em padrões ou critérios de forma a qualificar um progra-ma social, uprogra-ma pessoa, um hospital, um sisteprogra-ma de inforprogra-mação ou mesmo um CRAS. Assim, a definição mais adequada para este trabalho é a de Worthen, San-ders e Fitzpatrick (2007), por sua generalidade.
Avaliação formativa é qualquer avaliação feita para dar à equipe do progra-ma inforprogra-mações avaliatórias para melhorar este prograprogra-ma. É feita progra-mais fre-qüentemente quando o programa está sendo desenvolvido.
Avaliação somativa é qualquer avaliação realizada para fornecer julgamen-tos de valor ou mérito do programa em relação a critérios importantes para as pessoas que tomam decisões para determinar a adoção, continuidade, ampliação ou o encerramento do programa.
Worthen, Sanders e Fitzpatrick (2007, p. 51-52) categorizam as avaliações em internas ou externas. As internas correspondem àquelas feitas pela organização à qual pertence o objeto da avaliação. As demais avaliações são consideradas ex-ternas. O grande diferencial entre elas é o fato de avaliadores internos possuírem um conhecimento mais profundo sobre o objeto avaliado. Contudo, avaliadores in-ternos podem se perder em detalhes, pois, geralmente, eles estão envolvidos com muitas variáveis e não percebem variáveis críticas. Avaliadores externos são mais imparciais, e de acordo com os autores percebem melhor as variáveis críticas.
Marinho e Façanha (2000) propõem que uma avaliação pode medir três vari-áveis: a efetividade, eficiência e eficácia. Estes critérios se refletem nas perguntas e propostas a que a avaliação busca responder.
A efetividade do programa social diria respeito, portanto, à implementação e ao aprimoramento de objetivos, independentemente das insuficiências de orientação e das falhas de especificação rigorosa dos objetivos iniciais de-clarados do programa. [...]
A dimensão da eficiência, por sua vez, remete a avaliação para considera-ções de benefício e custo dos programas sociais, e há notórias complexida-des a respeito que devem e serão levadas em conta. De imediato, deve-se reconhecer, organizações só estariam sendo eficientes se demonstrassem antes ser efetivas, no sentido já mencionado. [...]
Programas sociais regem-se, também, por objetivos de eficácia, uma vez que, esperadamente, os investimentos que mobilizam devem produzir os efeitos desejados.
Stufflebeam e Shinkfield (2007, p. 702) fazem uma diferenciação entre avalia-ções formais e informais. Uma avaliação formal é aquela que é relevante, rigorosa, desenhada, executada, controlada por padrões profissionais apropriados e que seja útil e defensável. Uma avaliação informal não possui planejamento, rigor e podem ter ser altamente tendenciosas.
Carvalho (2007) descreve a missão de uma avaliação no campo social como a ação:
Deste modo, a avaliação de programas sociais produz conhecimento sobre o valor social dos programas e suas partes constituintes. Elas produzem também co-nhecimentos que podem ser utilizados para tornar os programas mais sensíveis aos problemas sociais de forma que disponibilizem subsídios possibilitando a reformula-ção e, em consequência, a melhoria (COOK e SHADISH, 1986).
2.2.2 Orientações práticas da avaliação
Vários autores propõem aspectos práticos e orientações para a construção de uma avaliação. A seguir são mostrados estes aspectos em quatro trabalhos de auto-res diferentes. Estes autoauto-res utilizaram termos e nomes diferenciados para defende-rem como deveria ocorrer uma avaliação, contudo, em muitos casos as atividades e tarefas se completam ou se sombreiam.
De acordo com Worthen, Sanders e Fitzpatrick (2007), as orientações práticas de uma avaliação devem conter: (i) clareza ao demandar, (ii) definição de limites e análise de contexto, (iii) definição e análise de perguntas e critérios, (iv) como plane-jar a forma de conduzir; coleta, análise de informações e (v) apresentação de relató-rio e uso dos resultados.
Por sua vez, Rossi, Lipsey e Freeman (2004) estruturaram avaliações de pro-gramas sociais nos passos: (i) identificar os problemas e formular questões, (ii) ava-liar a necessidade do programa, (iii) expressar e analisar a teoria do programa,
(iv) medir e monitorar as saídas dos programas, (v) avaliar o impacto do programa,
(vi) detectar, interpretar e analisar os efeitos dos programas e (vii) medir a eficiência.
Para Weiss (1972) os aspectos práticos de uma avaliação envolvem: (i) en-tendimento do programa, (ii) planejamento da avaliação, (iii) regras para o avaliador,
(iv) desenvolvimento de medidas, (v) coleta de dados, (vi) desenho da avaliação,
(vii) análise e interpretação dos resultados e (viii) relatórios e disseminação dos
re-sultados.
Em uma outra visão, proposta por Stuflebeam e Shinkfield (2007), o processo de uma avaliação deve contemplar as seguintes tarefas e procedimentos: (i) identifi-cação e avaliação de oportunidades, (ii) projetar avaliações, (iii) controlar orçamento,
(iv) contratação de recursos humanos, (v) coleta de informações, (vi) análise e
sis-tematização da informação e (vii) relato dos resultados.
necessários para uma avaliação. Dentre as alternativas colocadas, Worthen, San-ders e Fitzpatrick (2007) oferecem um aparato metodológico mais completo em rela-ção aos demais, que guia a realizarela-ção da análise de uma avaliarela-ção. Entre outros instrumentos, os autores oferecem check-lists de ações importantes, lista de pergun-tas e tabelas com itens pré-estabelecidos para serem pontuados. Adicionalmente, os passos e atividades propostos estão, em grande parte, mapeados em padrões do Joint Committee que, como mostrado no Capítulo 3, é o método formal adotado nes-ta pesquisa. Por esnes-ta razão, decidiu-se pelo aprofundamento das idéias de Worthen, Sanders e Fitzpatrick (2007) nesta seção.
Clareza ao demandar uma avaliação e definir suas responsabilidades
Neste tópico, os autores analisam o papel dos principais envolvidos na avalia-ção: o financiador, o cliente, os interessados e o público alvo. O financiador é res-ponsável pelos recursos financeiros necessários para a realização da avaliação e pode se envolver ou não com a estruturação do estudo.
O cliente é o indivíduo que pede a avaliação. Em alguns casos, o financiador e cliente são sinônimos. Os interessados são aqueles que têm algo a ganhar ou a perder com os resultados da avaliação. O público-alvo abrange indivíduos com inte-resses na avaliação e nos seus resultados.
Uma clara definição dos participantes auxilia a delimitação da demanda de uma avalição. Entretanto, é necessário que o avaliador procure respostas a pergun-tas como (WORTHEN, SANDERS e FITZPATRICK, 2007, p. 272):
1. Por que essa avaliação está sendo solicitada? Qual é o seu propósito? Que perguntas vai responder?
2. Qual será o uso dado às conclusões da avaliação? Por quem? Que ou-tros devem ser informados sobre o resultado da avaliação?
3. O que deve ser avaliado? O que este objeto avaliado abrange? O que exclui? Durante que período de tempo? Em que ambientes? Quem vai participar? Quais são as metas e objetivos do programa? Quem é res-ponsável por ele? Ele já foi avaliado alguma vez?
4. Quais são as atividades essenciais do programa? Como elas se vincu-lam a metas e objetivos? Qual é a teoria do programa?
5. Quanto tempo e dinheiro existem para a avaliação? Quem tem condi-ções de ajudar na avaliação?
6. Qual o clima político para realização e o contexto da avaliação? Algum fator ou força política pode impedir a realização de uma avaliação signifi-cativa e justa?
ou mérito ao objeto avaliado. Em uma avaliação os resultados devem: (i) determinar a necessidade de dar início a um programa e descrever o público alvo, (ii) ajudar no planejamento, identificando modelos e atividades potenciais do programa, podendo estes serem realizados para atingir certas metas, (iii) descrever a implementação do programa e descobrir se houveram mudanças em relação ao modelo, (vi) descobrir se certas metas e objetivos do programa estão sendo alcançados nos níveis deseja-dos, (v) julgar o valor integral do programa, seu valor e custo relativo, comparados a programas do mesmo tipo.
Entretanto, uma avaliação não é contratada somente para atender a estas in-quietações. Existem casos em que os resultados das avaliações são utilizados de forma não ética, subsidiando ações, tais como o adiamento de uma decisão, a fuga da responsabilidade, prática de relações públicas manipuladas e justificar subsídios (WEISS, 1972, p. 22).
Para o adiamento de uma decisão o gestor do programa ou objeto avaliado necessita ganhar tempo para a tomada de uma decisão e utiliza o tempo da realiza-ção da avaliarealiza-ção para obtê-lo. Na fuga de responsabilidade o gestor do programa sabe de antemão qual a decisão será tomada, e qual será o resultado da avaliação.
Nas relações públicas o gestor quer dar visibilidade ao seu programa, de for-ma que muitas vezes o principal motivo para realização de ufor-ma avaliação é escuso ou interesseiro. No caso da justificação de subsídios, as avaliações tendem a ser negligentes.
Definição de limites e análise de contexto da avaliação
Worthen, Sanders e Fitzpatrick (2007) descrevem o modo de delimitar uma avaliação e realizar uma análise de contexto. Para isto, eles reforçaram a questão dos envolvidos na avaliação e seus interesses nela. O Anexo 1 apresenta um qua-dro com o cruzamento entre os envolvidos na avaliação e os seus possíveis interes-ses.
Os autores ainda afirmam que:
O segundo passo para a limitação da avaliação é o amplo entendimento do objeto avaliado. De acordo com os autores, o avaliador deve ter o pleno entendimen-to do propósientendimen-to das perguntas como: Em que consiste o programa? Quais os princi-pais componentes e atividades de sua estrutura básica e sua concepção administra-tiva-gerencial? Quem participa dos programas? Qual a história do programa? O pro-grama já foi avaliado antes? Quando são tomadas as decisões críticas sobre sua continuidade?
Após entendimento do objeto avaliado, o avaliador deve realizar um estudo sobre os recursos disponíveis para a avaliação. Segundo Worthen, Sanders e Fitz-patrick (2007, p. 317-319), os principais itens a serem considerados são: a quantida-de quantida-de informação que a avaliação irá gerar, o tempo para execução da avaliação e a qualificação da equipe técnica.
Worthen, Sanders e Fitzpatrick (2007, p. 320) apontam como outro aspecto limitador de uma avaliação o contexto político ao qual ela será executada.
A avaliação é inerentemente um processo político. Qualquer atividade que aplique os diversos valores de muitos públicos para julgar o valor o mérito de um objeto tem implicações políticas. Sempre que os recursos são redis-tribuídos ou as prioridades redefinidas, os processos políticos estão em ati-vidade.
Os autores sugerem algumas perguntas para o entendimento político do con-texto em que se dará a avaliação: Quem perderia/ganharia mais com a avaliação em diferentes situações? Que indivíduos e grupos têm poder nesse ambiente? A avalia-ção foi aprovada por estes grupos? Que interessados têm envolvimento direto com os resultados da avaliação? ...
Definição e análise de perguntas e critérios de uma avaliação
Segundo Worthen, Sanders e Fitzpatrick (2007, p. 342), a viabilidade de uma avaliação depende de alguns componentes básicos: perguntas avaliatórias, critérios de avaliação e padrões de avaliação. Perguntas avaliatórias dão foco à avaliação. Sem elas, o avaliador teria dificuldade em explicar o que vai ser examinado. Os cri-térios de avaliação definem o que caracteriza o sucesso de um programa ou do ob-jeto avaliado. Por último, os padrões de avaliação designam o nível de desempenho que o objeto avaliado deve atingir para obter sucesso em sua implementação.
para determinar se um programa foi um sucesso ou fracasso. (WORTHEN, SANDERS e FITZPATRICK, 2007, p. 342)
Os autores ainda sugerem duas fases distintas na elaboração de perguntas de uma avaliação: divergentes e convergentes. Na fase divergente, identificam-se questões de interesse por meio, por exemplo, de um brainstorm. Na fase convergen-te são escolhidas as questões a serem tratadas nas avaliações. Contudo, duranconvergen-te o resto do processo de avaliação, podem surgir novas idéias, perguntas e critérios não abordados nestas fases. Worthen, Sanders e Fitzpatrick (2007, p. 343) defendem que o avaliador deve estar flexível a estes novos questionamentos.
Cronbach (1982, apud WORTHEN, SANDERS e FITZPATRICK, 2007, p. 357) delimita os seguintes motivos para a existência destas fases: (i) sempre há limite orçamentário para a realização de uma avaliação; (ii) quanto mais complicada a ava-liação, mais difícil é a sua gestão; (iii) o tempo de dedicação para a avaliação é limi-tado.
Se as perguntas não explicitarem os critérios que estão sendo usados para julgar o programa, os critérios necessários a esses julgamentos também devem ser introduzidos nesse momento. (WORTHEN, SANDERS e FITZ-PATRICK, 2007, p. 362)
Ou seja, o teor das perguntas está diretamente ligado à aos critérios defini-dos. Desta forma, a principal dificuldade está na especificação dos padrões da avali-ação. Para a construção destes padrões, avaliador e a equipe do cliente devem ter claro o nível de desempenho tido como aceitável para cada critério da avaliação.
Como planejar a forma de conduzir uma avaliação
Uma importante etapa da avaliação se completa quando estão definidas e se-lecionadas perguntas, critérios e padrões. Essas etapas são parte do planejamento de uma avaliação, mas não as únicas. Definição de aspectos práticos quanto à reali-zação da coleta, análise e disseminação da informação são necessários para o pla-nejamento de uma avaliação.
A etapa seguinte é a escolha da metodologia de coleta de dados. Existem vá-rias ferramentas para esse fim: questionários, entrevistas, grupos focais, registros pessoais, testes, gravações de vídeo e áudio, fotografias e exames de documentos. O planejamento da coleta de dados deve considerar o momento em que as informa-ções coletadas serão úteis para os tomadores de decisão e quem irá realizar a cole-ta.
Para cada questão da avaliação, deve-se criar um plano de análise, quando serão identificadas as técnicas estatísticas, de sistematização da informação e os possíveis mecanismos computacionais para a análise de dados.(WORTHEN, SAN-DERS e FITZPATRICK, 2007, p. 390). Porém, apesar de métodos estatísticos e fer-ramentas computacionais ajudarem na interpretação de dados, pessoas visualizan-do as informações geradas podem chegar a conclusões diferentes sobre os resulta-dos de uma avaliação. Por isso, um plano de avaliação deve prever o registro de múltiplas conclusões e até conclusões conflitantes.
As descobertas de uma avaliação devem ser notificadas aos interessados. Para isto, cada questão da avaliação deve prever um público, o conteúdo, o formato do relatório e a forma que ela será apresentada.
Coleta, análise e interpretações de informações
Entre os métodos de coleta de dados estão os testes, questionários, entrevis-tas estruturadas e entrevisentrevis-tas não-estruturadas.
Às vezes existem métodos alternativos para a coleta de dado e o avaliador precisa fazer uma opção considerando custo, precisão (confiabilidade), es-tabilidade, relevância, validade das medidas, viabilidade, conveniência polí-tica e aceitabilidade por parte de vários públicos. (WORTHEN, SANDERS e FITZPATRICK, 2007, p. 468)
Os autores também enfatizam a necessidade de cooperação dos envolvidos, sem o que a coleta de dados pode simplesmente não ocorrer. Assim, é importante a articulação política para a avaliação, a compreensão de sua finalidade e a utilização dos resultados por todos os que participaram de algum modo da coleta de dados.
