O reconhecimento dos limites próprios d o modelo da "caixa preta" e m avalia-ção estimulou u m interesse crescente pelos problemas ligados à implantaavalia-ção das inter-venções. Por implantação e n t e n d e m o s a transferência, e m nível operacional, d e uma intervenção (Tornatzky & Jonhson, 1 9 8 2 ; Patton, 1986). O processo d e implantação d e u m a intervenção representa uma etapa distinta e posterior à decisão d e adotar uma m u d a n ç a ( D o w n s J ú n i o r & M o h r , 1 9 7 6 ; S c h e i r e r , 1 9 8 1 ) . E l e se r e f e r e à o p e r a c i o n a l i z a ç ã o d e u m projeto, isto é, à sua integração a u m d a d o contexto organizacional.
A avaliação da implantação compreende, segundo Patton (1986), cinco tipos d e procedimentos, o u seja: a avaliação d o esforço, o "monitoramento" dos programas, a avaliação d o processo, a avaliação dos componentes e a especificação d o tratamento.
Discutimos cada u m a destas alternativas para propor e m seguida os elementos q u e d e v e m ser, na nossa opinião, associados à análise d e implantação das intervenções.
A avaliação d o esforço e o " m o n i t o r a m e n t o " dos programas se assemelham à avaliação da dispersão (discrepancy analysis), proposta por Provus (1971), c o m o o b j e -tivo d e ter certeza d o grau d e implantação d e uma intervenção. Estas dimensões da avaliação da implantação visam portanto, essencialmente, documentar (avaliação d o esforço) e a c o m p a n h a r ("monitoramento") o nível d e operacionalização d e uma inter-v e n ç ã o (Patton, 1 9 8 6 ; V e n e y & Kaluzny, 1 9 8 5 ; Rossi & Freeman, 1985). Elas se refe-rem à o p e r a ç ã o q u e consiste e m comparar as características da intervenção planejada c o m as da intervenção realmente implantada. A avaliação d o processo, proposta por Rossi, Freeman & W r i g h t (1979) e Rossi & Freeman (1985), e a revisão do progresso da
52
intervenção (review progress) ( W H O , 1981) correspondem t a m b é m a estas aborda-gens. O interesse por este procedimento reside no fato d e q u e o grau d e conformida-d e entre o projeto conformida-d e intervenção inicial e sua versão operacional poconformida-deria bastar para explicar seu grau d e eficácia (Rossi, 1978; Rossi & Wright, 1 9 8 4 ; Rossi & Freeman, 1 9 8 5 ; McLaughlin, 1 9 8 5 ; Patton, 1986). C o m o afirma Patton (1987), a menos q u e alguém saiba q u e o programa está funcionando d e acordo c o m o projeto, haverá poucas razões para se esperar q u e ele chegue a o resultado desejado. A avaliação d o esforço e o monitoramento se limitam a medir o grau d e implantação d e u m a inter-venção. N ã o há investigação da relação entre as variações na implantação e os efeitos trazidos pela intervenção, n e m explicação das variações na implantação d a interven-ção. Esta abordagem p o d e , portanto, ser vista c o m o u m pré-requisito à realização d e uma análise dos efeitos.
A avaliação d o processo ( S c h u m a n , 1967, 1 9 7 2 ; Brooks, 1 9 7 2 ; Patton, 1980, 1 9 8 2 , 1 9 8 6 ) visa definir c o m o certas particularidades dos meios d e implantação influ-enciam os resultados d e u m a intervenção. Ela parece c o m a avaliação qualitativa (Reichardt & Cook, 1979; Patton, 1980; Lecomte, 1 9 8 2 ; Blacker & B r o w n , 1983),
"transacional" (House, 1980) o u "naturalística" (Lincoln & G u b a , 1985). Q u e r , a o e s -tudar a influência d o contexto d e implantação, chegar a u m a c o m p r e e n s ã o global o u holística d o funcionamento operacional da intervenção (Pearsol, 1985). A avaliação d o processo segue, portanto, u m objetivo essencialmente analítico relacionado às v a -riações contextuais e aos efeitos observados após a introdução d e u m a intervenção.
Trata, desta forma, diretamente d e u m problema d e implantação, já q u e procura c a p -tar c o m o as características dos vários meios influenciam os efeitos da intervenção.
A avaliação dos componentes envolve uma avaliação formal das várias partes de um "programa" (Patton, 1986). C o m esta abordagem, o nível d e análise, q u a n d o d e uma avaliação dos efeitos, passa da intervenção e m seu conjunto a seus vários componentes. O objetivo é aumentar a capacidade d e generalizar resultados d e u m a avaliação d o impacto. D e fato, u m c o n h e c i m e n t o da influência relativa dos c o m p o -nentes d e u m programa sobre os efeitos observados permite identificar os elementos críticos d o sucesso da intervenção e, desta forma, reproduzir o programa mais eficaz-mente e m outros meios.
A especificação d o tratamento (Patton, 1986) visa, d e m o d o geral, entender c o m o variações no grau d e implantação das intervenções poderiam influenciar os r e -sultados obtidos. A especificação d o tratamento envolve, para Patton (1986), u m a dimensão conceituai e uma dimensão empírica, isto é, devese identificar os e l e m e n -tos ativos d e u m a intervenção e verificar empiricamente se eles são operacionalizados na implantação d e uma intervenção. A dimensão conceituai refere-se, d e fato, à teoria d e ação d o programa (Patton, 1986, cap. 7), o n d e trata-se d e identificar por m e i o dos conhecimentos disciplinares u m algoritmo d e intervenção suscetível d e produzir os efeitos esperados. Entretanto, a dimensão empírica da especificação d o tratamento
trata realmente d e u m problema d e implantação, verificando a relação entre os c o m -ponentes da intervenção q u e foram implantados nos diferentes meios e as variações nos efeitos trazidos pela intervenção.
A discussão d e Patton (1986) sobre a avaliação da implantação demonstra b e m a utilidade deste tipo d e avaliação e permite ampliar o leque d e parâmetros considerados q u a n d o se trata d e julgar o valor d e uma intervenção. Porém, a tipologia q u e ele propõe apresenta certos limites e ambigüidades q u e m e r e c e m ser discutidos. N a nossa opinião, alguns problemas ligados aos cinco tipos d e avaliação da implantação descrita por Patton (1986) inibiram o u complicaram sua utilização pelos avaliadores.
D e início, os diferentes itens desta tipologia não são mutuamente exclusivos, o que prejudica uma apresentação precisa das várias abordagens q u e p o d e m servir para avalia-ção da implantaavalia-ção. D e fato, a distinavalia-ção entre avaliaavalia-ção do esforço e o monitoramento, tal c o m o entre a avaliação dos componentes e a especificação do tratamento são pouco convincentes. A especificidade d o monitoramento ou acompanhamento reside no recur-so d e u m sistema d e informação para acompanhar a operacionalização de uma interven-ção (Patton, 1986). Trata-se aqui d e um meio particular q u e pode ser usado para realizar uma avaliação d o esforço e não d e u m tipo específico d e avaliação da implantação.
Dentro desta perspectiva, os itens 1 e 2 d e sua tipologia parecem equivalentes. A avalia-ção dos componentes é similar à especificaavalia-ção d o tratamento e m sua dimensão empírica.
Estes dois itens visam observar o ganho relativo dos diferentes componentes d e uma intervenção na produção dos efeitos. A dimensão teórica da especificação do tratamento parece, c o m o já enfatizamos, c o m a teoria de ação do programa (Patton, 1986, cap. 7), e não representa uma abordagem d e avaliação da implantação d e uma intervenção. Ela diz mais respeito à validade teórica desta última.
Finalmente, a tipologia proposta por Patton (1986) não c o b r e d e m o d o exaus-tivo o c o n j u n t o das abordagens q u e p o d e m servir para avaliar a implantação d e uma intervenção. D e fato, ela não p r o p õ e n e n h u m a explicação d o grau d e implantação d a i n t e r v e n ç ã o , isto é , d o s f a t o r e s q u e i n f l u e n c i a m u m a m a i o r o u m e n o r operacionalização desta. U m a explicação d o esforço o u d o intervalo entre a inter-v e n ç ã o planejada e implantada é, no entanto, útil para determinação dos meios suscetíveis d e serem mais receptivos a u m a intervenção.
Para responder às dificuldades evidenciadas na descrição da avaliação d e i m -plantação, feita por Patton (1986), propomos uma tipologia q u e c o m p r e e n d e três abordagens b e m distintas. Esta tipologia explicita os diferentes alvos da avaliação da i m -plantação, facilitando aos usuários potenciais d e recorrer a esse tipo d e avaliação.
A l é m disto, se inspira e t a m b é m se distingue da apresentada por Patton (1986). Em nossa opinião, a análise da implantação visa, sobretudo, identificar os procedimentos implicados na produção dos efeitos d e uma intervenção. Ela é similar ao q u e M a r k (1987:3) c h a m o u d e estudo dos processos causais (study of causal process) e m pesqui-sa avaliativa:
O exemplo prototípico do exame do processo causal é o desenho das rela-ções em uma seqüência de causas para determinar como o tratamento e o resul-tado estão relacionados, como quando observamos que pondo uma moeda em uma máquina automática de distribuir bebidas acionamos uma série de alavan-cas e mecanismos terminando em liberar uma lata de refrigerante. Na avaliação de programas, o estudo do processo causal envolve, não alavancas e mecanis-mos, mas relacionamentos entre os componentes do programa, variáveis contextuais e respostas dos clientes.
A análise d e implantação se interessa portanto, d e m o d o geral, a o estudo dos determinantes e da influência da variação na implantação nos efeitos trazidos pela intervenção. Ela visa, por último, entender as condições d e implantação das interven-ções e os processos d e produção dos efeitos. A análise d e implantação se apóia conceitualmente na análise da influência sobre três c o m p o n e n t e s :
• dos determinantes contextuais no grau d e implantação das intervenções;
• das variações da implantação na sua eficácia (especificação d o tratamento e m sua dimensão empírica) (Patton, 1986);
• da interação entre o contexto da implantação e a intervenção nos efeitos observados - avaliação d o processo (Patton, 1986).
Estes três componentes permitem, no quadro d e uma avaliação, considerar as limitações encontradas no m o d e l o da "caixa preta", o u seja, as d e não considerar as variações prováveis na integridade da intervenção e a influência das variações contextuais. Esquematicamente, a tipologia da análise da implantação q u e propomos se representa c o m o segue:
E S Q U E M A 2
Tipologia da análise da Implantação
O s componentes 2 e 3 visam explicar os efeitos observados após a introdução de uma intervenção, enquanto o c o m p o n e n t e 1 busca entender as variações na i m -plantação da intervenção. Trata-se, neste caso, d e u m pré-requisito lógico para atin-gir-se uma maior eficácia. O objetivo visado é o d e propor uma explicação à observa-ção d e uma distância entre a intervenobserva-ção planejada e aquela implantada, para garantir
a sua integridade. O b s e r v a m o s t a m b é m q u e essa tipologia comporta essencialmente elementos analíticos, isto é, q u e busquem explicar as variações na implantação e nos efeitos e n ã o s o m e n t e descrevê-los (ao contrário da avaliação d o esforço e do monitoramento d e Patton (1986).