• Nenhum resultado encontrado

3. AVALIAÇÃO DE PROJETOS SOCIAIS 50 

3.3. A PERTINÊNCIA DOS INDICADORES SOCIAIS 79 

3.3.2. RELAÇÃO ENTRE INDICADOR E CONCEITO 81

A questão central no processo de transformação de um conceito abstrato em indicadores, ou seja, variáveis observáveis/mensuráveis, reside, segundo Costa (1975), na capacidade do segundo simbolizar efetivamente o primeiro. Essa interligação, segundo Pasquali (1998), Mayntz et al. (1993) e Kerlinger (1980), acontece por meio das definições operacionais, que são os meios de se indicar de maneira precisa quais as operações necessárias para se observar empiricamente um fenômeno conceitualmente formulado. Para Pasquali (1998) e Kerlinger (1980), essa passagem acontece quando um conceito não é mais definido em termos de outros conceitos, mas sim em termos de ações concretas, fornecendo, assim, uma “regra no sentido de verificação” empírica direta de elementos que compõem o conceito (ENGELMANN, 2006, p.31) e explicitando como deverá ser tecnicamente o processo de observação (MAYNTZ et al, 1993).

Entretanto, uma limitação enfrentada em investigações sociais é o fato de nem todos os fenômenos dessas áreas possuírem referências empíricas diretamente observáveis. Nesses casos, uma estratégia utilizada para superar esse obstáculo é a dedução da ocorrência de um fenômeno recorrendo-se a outros perceptíveis ao pesquisador que possuam alguma correspondência com aquele de interesse (MAYNTZ, et al,1993). Um exemplo é a

mensuração do Índice de Desenvolvimento Humano, que é construído através da ponderação dos elementos educação, esperança de vida e PIB per capita.

Cabe, todavia, ressaltar que em diversas situações, apesar de simbolizar ou sintetizar um conceito teórico, a definição operacional nunca será idêntica ao mesmo, sendo que por vezes os dois serão distintos, tanto na sua amplitude, quanto no seu conteúdo semântico (MAYNTZ et al., 1993; PASQUALI, 1998). Pasquali (1998) aconselha que uma definição operacional deve abarcar o máximo possível da extensão semântica de um conceito, apesar de reconhecer que nenhuma esgotará tal extensão, principalmente em se tratando de fenômenos sociais. Além disso, uma outra questão relacionada à definição operacional, é que a mesma possuirá significados diferente dependendo de sua aplicação (INSTITUTO DE MATEMÁTICA, ESTATÍSTICA E COMPUTAÇÃO CIENTÍFICA, www.ime.unicamp.br),. O exemplo apresentado se refere ao termo limpeza em duas situações: a primeira em um contexto residencial e a segunda referindo-se à uma sala de cirurgia de um hospital. Com isso, entende-se que a definição operacional depende não somente do seu respectivo conceito teórico, mas também do contexto no qual ela será aplicada.

Neste processo de transformação, de acordo com Jannuzzi (2001a; 2001b), deve-se atentar para algumas propriedades, consideradas pelo autor como desejáveis, para que um indicador social atenda aos propósitos para os quais foi concebido. Contudo, como colocado por Gaskell e Bauer (2002), mais do que desejáveis, propriedades como validade e fidedignidade, ou confiabilidade, como denominado por Jannuzzi (2001a; 2001b); são critérios necessários para a realização de uma investigação com qualidade, além de serem também elementos fundamentais para introduzir credibilidade externa pública para as conclusões alcançadas por seu intermédio. Sendo assim, mais do que uma sugestão, a observância de algumas propriedades é um pré-requisito para legitimar as conclusões alcançadas.

A validade, segundo Jannuzzi (2001a), refere-se à proximidade entre indicador e indicando, ou seja, a capacidade que aquele tem de refletir esse através dos dados levantados. Para Gaskell e Bauer (2002) essa pode ser entendida, tanto em termos de validade interna, adequação entre as características próprias da pesquisa (delineamento, métodos e instrumentos de coleta de dados, organização da investigação, etc.) e as conclusões alcançadas; quanto validade externa, capacidade de se estender para a população as conclusões alcançadas através da amostra. Já fidedignidade diz respeito consistência interna de um indicador, ou seja, a capacidade do mesmo de produzir os mesmos resultados em

repetidas observações, mantidas constantes as características do fenômeno (JANNUZZI, 2001a; MAYNTZ et al, 1993; GASKELL; BAUER, 2002).

Essas duas propriedades são importantes no processo de criação de indicadores porque, como afirmam Gaskell e Bauer (2002, p.475), elas “são os critérios empregados para avaliar até que ponto um indicador empírico específico representa um construto teórico ou hipotético especificado”. Mas, além delas, Jannuzzi (2001a; 2001b) apresenta outras doze propriedades, consideradas desejáveis para indicadores sociais: relevância social, que se refere à conveniência ou interesse na produção e uso de um indicador em um determinado contexto; cobertura, representatividade do indicador da realidade empírica em análise;

sensibilidade, capacidade de captar mudanças em um aspecto, caso as dimensões que o

afetam se alterem; especificidade, capacidade de refletir mudanças estritamente ligadas à dimensão social de interesse; inteligibilidade de sua construção, transparência metodológica no processo de construção do indicador; comunicabilidade, que se refere à facilidade na compreensão do mesmo pelos envolvidos no projeto; factibilidade, obtenção dos dados necessários a custos aceitáveis; periodicidade, facilidade de obtenção dos dados em intervalos regulares de tempo; desagregabilidade, adequação dos indicadores a grupos sociais específicos de interesse; e historicidade, disponibilidade de séries históricas suficientes que permitam a comparação entre situações presentes e passadas.

É importante, também, destacar que apesar de desejáveis, nem sempre um indicador possuirá todas essas propriedades de maneira plena, sendo que, em alguns casos, caberá aos gestores de um projeto analisar os trade-offs existentes entre os indicadores. Como afirma Jannuzzi (2001a, p.31),

na prática, nem sempre o indicador de maior validade é o mais confiável; nem sempre o mais confiável é o mais inteligível; nem sempre o mais claro é o mais sensível; enfim, nem sempre o indicador que reúne todas essas qualidades é passível de ser obtido na escala espacial e periodicidade requerida. Além disso, pouca vezes se poderá dispor de séries históricas plenamente compatíveis de indicadores para a escala geográfica ou grupo social de interesse.