Avaliação normativa

A avaliação normativa é uma atividade comum em uma organização ou um programa, correspondendo às funções de controle e de acompanhamento. Tem como principais características: apoiar gestores e profissionais na rotina dos serviços; ser normalmente realizada por pessoas diretamente envolvidas nos programas; como os responsáveis pelo funcionamento e pela gestão (avaliadores internos); e apresentar forte relação entre o respeito às normas e critérios estabelecidos e os efeitos da intervenção (CONTANDRIOPOULOS et al., 1997; FIGUEIRÓ, 2011).

O marco conceitual mais representativo sobre a avaliação normativa foi fornecido por Donabedian, que define um modelo sistemático que descreve a relação entre os recursos empregados e sua organização (estrutura), os serviços

ou os bens produzidos (processo) e os resultados obtidos

45

onde se dá a assistência, tanto materiais ou organizativos

(CONTANDRIOPOULOS et al., 1997). Nesse aspecto, trata-se de saber em que medida os recursos são empregados de modo adequado para atingir os resultados esperados (DONABEDIAN, 1991b; CONTANDRIOPOULOS et al., 1997).

Os processos compreendem o que é feito pelos profissionais para desenvolver a intervenção e a habilidade com a qual é feita. Nesse item, são incluídas todas as ações do paciente ou da comunidade para se proteger (DONABEDIAN, 1991b). Esse aspecto busca conhecer em que medida os serviços são adequados para atingir os resultados esperados, identificam três dimensões que permitem analisar os processos: a dimensão técnica, a dimensão

das relações interpessoais e a dimensão organizacional

(CONTANDRIOPOULOS et al., 1997).

A dimensão técnica avalia a adequação dos serviços às necessidades, os serviços correspondem às necessidades dos beneficiários. A dimensão das relações interpessoais avalia a interação psicológica e social que existe entre os clientes e os produtores de cuidados. E, finalmente, a dimensão organizacional do processo diz respeito à acessibilidade aos serviços, à extensão da cobertura dos serviços oferecidos pela intervenção em questão, assim como, à globalidade e à continuidade dos cuidados e dos serviços. Por globalidade e continuidade entendemos o caráter multiprofissional e interorganizacional dos cuidados, assim como, sua continuidade no tempo e no espaço (CHAMPAGNE et al., 2011b).

Os resultados se referem ao benefício que as pessoas têm especificamente no que diz respeito às mudanças que podem ser atribuídas às intervenções, englobando não somente as melhorias na saúde, mas também os benefícios relativos aos ganhos de conhecimentos (sobre doenças, por exemplo) e as mudanças no comportamento que interferem na saúde das pessoas (DONABEDIAN, 1991b). A medida dos resultados consiste em se perguntar se

os resultados observados correspondem aos esperados

46

A avaliação dos programas ou intervenções é realizada através de atributos, características ou elementos que possam proporcionar um juízo sobre a intervenção (DONABEDIAN, 1981). Esses elementos devem ser claramente definidos para determinar a qualidade através da ausência ou presença de atributos (DONABEDIAN, 1981). Na literatura, existem diferentes definições para estas características. No texto a seguir faremos referência às definições propostas por Donabedian (1981) que define os termos critérios, normas e parâmetros como características avaliáveis.

O critério é um indicador que pode ser definido como um componente da estrutura, processos e resultados que permitem mensurar um programa ou alguns de seus componentes e determinar sua qualidade, os critérios são desenvolvidos por profissionais baseando-se na experiência profissional e na literatura profissional. A norma estabelece um meio simples e confiável para medir a ocorrência de um fenômeno, serve para descrever um comportamento ou conceito. Já o parâmetro refere-se à medida ou à quantidade adequada e específica da qualidade que pode ser aceitável ou ótima, e especifica limites de tolerância. A diferença entre um critério e a norma está na sua construção, a primeira é o juízo de valor que se deriva das opiniões dos profissionais, enquanto que a norma é o valor derivado da observação da prática (DONABEDIAN, 1981). Para determinar a pertinência de um critério, os mesmos devem ter validade, relevância, disponibilidade, qualidade de registro, adaptabilidade à avaliação, capacidade para ser restrito e eficiência para rastrear um problema (DONABEDIAN, 1991b). A validade depende da qualidade da medida, da validade e confiabilidade dos instrumentos de medida e da validade das estratégias medidas e, por outro lado, da força teórica dos vínculos postulados entre estrutura, processo e resultado (CHAMPAGNE et al., 2011b).

As metodologias de obtenção de consensos são uma boa estratégia para legitimar os processos avaliativos, pois conferem credibilidade e aceitabilidade aos critérios selecionados (DONABEDIAN, 1991). Na medida em que aumenta a experiência, podem ser necessárias modificações desses critérios; por exemplo, o avanço da medicina faz com que se aperfeiçoem os instrumentos.

47 2.4.4. Análise da implementação

A análise da implementação procura estudar as relações entre uma intervenção e seu contexto durante sua execução, buscando entender como

uma intervenção em um contexto particular produz mudanças

(CONTANDRIOPOULOS et al., 1997). Essa análise surgiu da tentativa de superação do modelo de “caixa preta”, que busca avaliar as intervenções pelos resultados líquidos produzidos, baseado unicamente nos efeitos, geralmente decidindo pela continuidade ou interrupção das atividades sem aprofundar nos acertos da implementação (CHAMPAGNE e DENIS, 1997).

O modelo de “caixa preta” está centrado na apreciação de uma intervenção como uma variável dicotômica (presença ou ausência), sem conhecer seus componentes e/ou a inter-relação entre eles (CHAMPAGNE e DENIS, 1997). Nesse modelo, considera-se que uma intervenção apresenta pouca variação ao ser implementada sendo impermeável à influência das características dos meios nos quais ela é introduzida (CHAMPAGNE e DENIS, 1997). Uma pesquisa avaliativa baseada puramente nos efeitos, sem antes determinar se a produção dos resultados é realmente consequência da implementação da intervenção em questão, pode inferir resultados errados.

Em situações reais, mesmo com a padronização das intervenções, as ações são realizadas em diferentes locais e contextos, coordenadas e aplicadas por diferentes sujeitos e, ainda, desenvolvidas por meio de diferentes componentes, aspectos que podem determinar um efeito diferente (CHAMPAGNE e DENIS, 1997). Por essa razão, a avaliação da implementação ganha relevância no campo das pesquisas avaliativas superando o modelo de caixa preta, na tentativa de analisar os efeitos em relação aos contextos das intervenções.

Os estudos de análise da implementação são recomendados em duas situações: primeiro quando os efeitos da introdução de uma intervenção são nulos e pouco robustos, sendo assim, sensíveis às variações contextuais; segundo, quando uma intervenção nova é implementada, a análise de

48

implementação permitirá identificar melhor a dinâmica da implementação e os fatores explicativos críticos (CHAMPAGNE et al., 2011b).

A análise de implementação é pertinente quando existe grande variabilidade nos resultados observados, por intervenções semelhantes, implementadas em contextos diferentes, devendo então ser perguntado se está variabilidade pode ser explicada por diferenças existentes nos contextos (CONTANDRIOPOULOS, 1997). Esse fenômeno regularmente ocorre quando são implementadas intervenções complexas e compostas de elementos sequenciais sobre os quais o contexto pode interagir de diferentes modos (CONTANDRIOPOULOS, 1997).

Dentro da análise da implementação podem ser observadas variações, sendo propostas três abordagens diferentes: tipo 1, 2 e 3. A tipo 1 visa compreender as variações na forma da intervenção e é dividida em dois tipos, 1a e 1b. A análise tipo 1a é de natureza processual: procura explicar o processo de transformação da intervenção, identificando as relações causais que ocasionam a transformação da forma, da natureza e da envergadura da intervenção depois de sua implementação em um determinado contexto. A análise tipo 1b visa explicar a diferença entre a intervenção tal como foi planejada e aquela que realmente é implementada e a influência dos determinantes contextuais na implementação da intervenção (e suas eventuais modificações) (CHAMPAGNE e DENIS, 1997).

As análises tipo 2 e 3 visam explicar os efeitos observados após a introdução de uma intervenção. Na análise tipo 2, estuda-se a influência da variação da implementação sobre os efeitos observados. Na análise tipo 3, estuda-se a influência da interação entre o contexto da implementação e a intervenção sobre os efeitos observados (CHAMPAGNE et al., 2011).

Para desenvolvimento da análise da implementação são necessárias as seguintes etapas: (a) descrição a priori dos componentes da intervenção, isto é, a teoria do programa; (b) conhecimento das práticas necessárias à implementação da intervenção; (c) descrição das práticas habituais nas áreas

49

teóricas atingidas pela intervenção e (d) análise da avaliação da implementação em função das características contextuais (CHAMPAGNE et al., 2011a).

O contexto é parte vital dessa análise e guarda relação com processos complexos de adaptação e de apropriação das políticas ou programas nos diferentes meios em questão (CHAMPAGNE e DENIS, 1997). Para análise dos determinantes dos contextos que influenciam a implementação, têm-se proposto diferentes modelos, tais como: racional, desenvolvimento organizacional, psicológico, estrutural e político. Entretanto, podem ser apontadas outras variáveis que dependerão das diferentes hipóteses causais propostas (CHAMPAGNE e DENIS, 1997).

Na metodologia do presente trabalho, será estudado o contexto do desenvolvimento organizacional de forma a explicar os resultados da implementação observada. Esse modelo enfatiza as relações humanas em teoria das organizações, sugere que um contexto favorável de implementação se caracteriza pela presença de um estilo participativo de gestão, de uma descentralização dos processos de decisão nos programas, de enriquecimento das tarefas e de mecanismos que favorecem uma boa comunicação na organização e de diferentes aspectos dos comportamentos dos indivíduos em situação de trabalho que permitam maximizar a implementação das intervenções e sua eficácia (CHAMPAGNE e DENIS, 1997). Segundo esse modelo, a elaboração de mecanismos que favorecem relações positivas e não conflitantes entre os membros de uma organização permite superar as tensões que possam afetar processos de implementação (CHAMPAGNE e DENIS, 1997).

As metodologias indicadas para esse tipo de análise são o estudo de caso, a análise comparativa e a experimentação, sendo que a escolha depende da abordagem teórica escolhida para o estudo do contexto (CHAMPAGNE et al., 2011a). O estudo de caso é adequado para explicar vínculos causais das intervenções na vida real, que são complexas demais para estratégias experimentais, emprega o uso de diversas fontes de dados de caráter qualitativo e quantitativa que permite aprofundar a complexidade dos fenômenos (YIN, 2005). A análise comparativa é recomendada quando há um número grande de unidades de análise, podendo-se obter um dado estruturado; a validade desse

50

estudo depende do tamanho da amostra, da qualidade do modelo teórico e da qualidade de estratégias de modelação de dados (CHAMPAGNE et al., 2011a). Já a experimentação permite ao pesquisador testar o efeito de uma variável sobre uma ou várias outras variáveis, ou manipulando-a de modo ativo e intencional, ou utilizando variações naturais conforme a mesma lógica de manipulação (CHAMPAGNE et al., 2011a).