Evaluacion del rendimiento de programas de salud

(1)

EVALUACION DEL RENDIMIENTO DE PROGRAMAS DE SALUD’ 0. L. Deniston,’ 1. M. Rosenstoc!q3 W. Welch,” y V. A. Getting 3

En un trabajo anterior 5 se demostró la lógica de adoptar un enfoque sistemático para evaluar la eficacia de programas. El presente trabajo, basado en esa lógica, tiene por objeto facilitar un método para medir el rendimiento. La medición de la eficacia y del rendimiento constituye una evaluación del funcionamiento del programa.

Componentes del programa

Los programas constan de tres elementos constitutivos-objetivos, actividades y recursos-que se definieron en el trabajo anterior 5 en los términos siguientes:

1. Objetivo: Una situación o estado de

las personas o del ambiente que, a juicio del personal encargado del programa, es conveniente conseguir. (Los objetivos propia- mente dichos comprenden objetivos íinales, objetivos del programa y subobjetivos) .

2. Actividad: Labor realizada por el

personal y equipo adscrito al programa para el logro de un objetivo.

3. Recursos. Personal, fondos, materiales

y servicios disponibles para apoyar la realiza- ción de actividades.

El objetivo del programa es distinto de la actividad del programa; el término “objetivo” se refiere a una situación que se espera exista en una fecha futura en un lugar determinado. A diferencia de las actividades,

‘Ex ayudante

mento. de investigaciones en dicho Departa- 6Deniston, 0. L., Rosenstock, 1. M., y Getting, V. A. “Evaluation of Program Effectweness”. Public Health Rep 83:323-335, 1968.

los objetivos no consumen ni el tiempo ni los recursos del programa.

Independientemente de los procedimientos o métodos que se utilicen en la planifica- ción de un programa, el administrador debe adoptar tres decisiones principales después de definir el problema hacia la solución del cual se ha de orientar el programa. Estas decisiones comprenden: a) determinación de los objetivos y subobjetivos del programa que se estiman necesarios y suficientes para alcanzar el objetivo del programa; b) se- lección de una o más actividades que, según se estima, tienen grandes probabilidades de contribuir al logro de cada subobjetivo, y c) determinación de la clase y cantidad de recursos necesarios para apoyar la realiza- ción de las actividades programadas. Con frecuencia, al tratar de aplicar el plan de un programa será necesario modificar el plan ideal de acuerdo con las limitaciones existentes. Es posible que los recursos no basten para apoyar todas las actividades que se de- sea llevar a cabo, o que las limitaciones de personal impidan realizar algunas de ellas. En tales casos, es preciso introducir modifi- caciones para restringir el nivel de actividades y, quizás, el alcance y amplitud del objetivo del programa. El procedimiento lógico consiste en utilizar recursos para apoyar la realización de actividades y, con ello, alcanzar los subobjetivos y el objetivo del programa.

(2)

390 BOLETÍN DE LA OFICINA SANITARIA PANAMERICANA - Noviembre 1969

Evaluacibn de la eficacia

En general, las preguntas acerca de la eficacia se refieren a la evaluación del grado en que, como consecuencia de la actividad del programa, se ha logrado el objetivo programado o deseado. De ese modo, se sugiere un análisis, en el cual la proporción en que se ha logrado el objetivo del programa atri- buible a la actividad del programa (OA) se compara con el nivel deseado, que, durante el proceso de planificación, los técnicos ha- bían sugerido que se obtendría de la actividad del programa (OP) .O En el trabajo anteriormente citado se describe la manera de descontar cualquier logro que aparente- mente resulte de acontecimientos distintos de las actividades del programa.

La eficacia del programa se expresa como la razón OA:OP, y esta razón es la única medida legítima de la eficacia del programa. No obstante, para interpretar debidamente los resultados, es decir, determinar el fundamento de los supuestos en que se basa el programa, es necesario también considerar dos medidas secundarias de la eficacia. La primera es el grado en que se ha llevado a cabo la actividad programada como resul- tado de la utilización de recursos; en otras palabras, la razón entre las actividades efectivamente ejecutadas y las actividades programadas para ser llevadas a cabo, es decir, AE: AP. La segunda medida es el grado en que los recursos se han utilizado en la forma programada, es decir: la razón entre la utili- zación real y la utilización programada de recursos, o RU: RP.

Estas dos medidas secundarias son importantes ya que en la realización del programa lo lógico es: a) que los objetivos del programa se alcancen solamente si las actividades se han ejecutado en la cantidad y cali-

0 Clave de las abreviaturas:

OA: Objetivos alcanzados que pueden atribuirse actividad del programa.

OP: Objetivos programados para su consecución diante la actividad del programa.

AE: Actividades efectivamente ejecutadas. AP: Actividades programadas.

RU: Recursos efectivamente utilizados. RP: Utilización programada de recursos.

a la me-

dad programadas y b) que las actividades se lleven a cabo únicamente si los recursos se han utilizado efectivamente en la forma programada. Es posible que la comparación entre las tres razones RU:RP, AE: AP, y OA: OP muestre que los recursos y actividades programados como necesarios habían sido sobreestimados o subestimados. En todo caso, lo importante es que para medir la eficacia del programa, OA:OP, así como para aplicar las medidas secundarias de con- secución de las actividades y recursos programados es necesario comparar la situación efectivamente obtenida por cualquier variable del programa con la situación programada en relación con esa misma variable.

Lo que se ha dicho acerca de la evalua- ción del logro de los objetivos se aplica también a la evaluación del logro de los subobjetivos. La eficacia en cuanto a la conse- cución de cada subobjetivo puede evaluarse calculando la razón 0Asub:OPsub. Al considerar las actividades y recursos asignados a cada subobjetivo determinado, se puede también calcular AEsub: APsub y RUsub : RPsub y obtener así la medida de la eficacia de las actividades y recursos asociados a determinados subobjetivos.

En el trabajo anterior se proporcionan de- talles y ejemplos de la evaluación de la eficacia de programas.

Evaluación del rendimiento

Si se estimara que el logro de los objetivos es deseable, independiente del costo, y si se contara con recursos ilimitados para los programas de salud, el rendimiento no sería motivo de gran preocupación para los administradores. Sin embargo, como no existe ninguna de estas condiciones, el rendimiento ha de constituir una preocupación en el fun-

cionamiento de un programa.

,

(3)

Deniston et al - RENDIMIENTO DE PROGRAMAS DE SALUD 391

cantidad de energía suministrada. En los programas de salud pública, el rendimiento puede definirse como la razón entre pro- ducto (consecución neta de los objetivos del programa) e insumo (de recursos utilizados en el programa), u 0A:RU. La razón in- versa, que sería RU:OA, permite obtener una medida del costo medio. En realidad, en la programación de salud pública poco importa si se examina el rendimiento o los 4 costos medios, ya que se obtendrá la misma _{relación. No obstante, es a veces más útil} considerar un factor en vez del otro. Por ejemplo, es más fácil comprender que la localización y cura de un caso de determinada enfermedad supone 10,000 dólares que la localización y cura de l/ 10,000 de un caso cuesta 1 dólar. (Esta situación no prevalece en física, ya que las unidades de comparación-energía-son idén- ticas tanto en el numerador como en el denominador, y el rendimiento máximo no puede exceder de 100% debido a la ley de

la conservación de energía. No obstante, en los casos en que el numerador y el denominador consisten en unidades diferentes, por ejemplo, de objetivos y recursos, no hay fundamento teórico alguno para estimar el rendimiento máximo posible, y los tér- minos pueden ser numerador o denominador) .

La medición del rendimiento general del programa 0A:RU o RU:OA podría interpretarse examinando dos medidas interme- dias de rendimiento, a saber: la relación de c las actividades con los objetivos y con los recursos. Específicamente, es posible que

los estudios de rendimiento permitan re- solver los problemas de la relación: a) entre el grado en que se han alcanzado los objetivos y los recursos utilizados, b) entre el grado en que se han alcanzado los objetivos y el volumen y clase de actividades realizadas, y c) entre el volumen y clase de actividades realizadas y los recursos utilizados.

La proporción de eficacia del programa, como ya se ha indicado, refleja la relación

entre dos estimaciones del logro de los objetivos del programa: la consecución programada y la consecución efectiva. Y cada una de las dos proporciones secundarias de eficacia supone comparaciones semejantes entre actividades y recursos. En cambio, el rendimiento del programa refleja la relación entre dos variables diferentes: objetivos y recursos. Dos medidas secundarias de rendimiento permiten también comparar combina- ciones de variables distintas. De este modo, se pueden expresar tres razones de rendimiento, o costo medio, una para cada uno de los problemas anteriores, en los términos siguientes :

1. Razón de objetivos alcanzados a recursos utilizados-OA: RU o RU :OA.

2. Razón de actividades ejecutadas a recursos utilizados-AE:RU o RU:AE.

3. Razón de objetivos alcanzados a actividades ejecutadas-0A:AE o AE:OA.

Cada razón puede también calcularse para aquellas partes del programa relacionadas con cada subobjetivo. Como en el caso de la eficacia, al examinar, a medida que avanza el programa, el rendimiento que se obtiene en la ejecución del plan, posiblemente se demuestre la necesidad de modificar el plan original.

Relación entre eficacia y rendimiento

(4)

392 BOLETÍN DE LA OFICINA SANITARIA PANAMERICANA . Noviembre 1969

jetivos). Es preciso disponer de medidas para evaluar la eficacia antes de poder interpretar significativamente las medidas de rendimiento del programa, ya que, dada la definición de rendimiento, se necesita in- formación tanto de la eficacia como de los recursos.

A menos que el administrador esté satisfecho con la eficacia obtenida, los estudios de rendimiento no podrán interpretarse o se- rán equívocos. Será imposible decidir si un programa con una proporción de rendimiento de dos unidades de consecución por unidad de recursos es superior a un programa con una proporción de una unidad de consecución por unidad de recursos si se desconoce la eficacia de cada programa. Por ejemplo, supongamos que dos programas persiguen el mismo objetivo. El programa A logra todo el objetivo a un costo dado, mientras que el programa B alcanza sólo la mitad del objetivo a un cuarto del costo. El programa A es, pues, dos veces tan eficaz como el programa B, pero en cuanto a rendimiento sólo lo es en un 50 por ciento. iCuál programa es superior? La respuesta lógica sólo podrá basarse en información acerca de la eficacia y del rendimiento de cada programa.

La consecución de los subobjetivos y del objetivo del programa no podrán medirse, naturalmente, hasta haber estado el programa en ejecución durante algún tiempo, pero mientras tanto se pueden obtener otras informaciones útiles. Es siempre conveniente recopilar, periódicamente, datos sobre el pro- greso realizado a fin de garantizar que el programa se lleve a cabo en la forma programada. Si esto no sucede, se pueden efectuar reajustes durante la ejecución del programa.

Generalmente, se pueden obtener medidas de evaluación continua en el orden siguiente:

1. El grado en que los recursos se utilizan en la forma programada (RU:RP).

2. El grado en que las actividades se rea-

lizan en la cantidad y calidad programadas (AE:AP) y el rendimiento en la utilización de recursos (AE: RU) .

3. La consecución neta de los subobjetivos seleccionados ( OAsub: OPsub) y el rendimiento en el logro de los subobjetivos

(0sub:Rsub) y (0sub:Asub).

4. Eficacia del programa (OA:OP), rendimiento del programa (0A:RU) y rendimiento de la actividad (0A:AE).

Si al principio de la ejecución del programa se obtienen datos sobre las tres primeras medidas de evaluación, dichos datos pueden constituir un fundamento razonable para modificar el programa con el fin de mejorar en grado importante su eficacia y rendimiento. No obstante, la única medida verdadera de la eficacia de un programa es la razón entre los objetivos alcanzados y los objetivos programados, y la única verdadera medida del rendimiento es la razón entre los objetivos alcanzados y los recursos utilizados. Por consiguiente, para proceder a una evaluación general se ha de aplicar la cuarta medida de evaluación.

Problemas especiales de medición

En el trabajo anterior se prestó considerable atención a la medición de objetivos y subobjetivos. Pero no se trató detallada- mente la medición de actividades y recursos.

(5)

Deniston et al * RENDIMIENTO DE PROGRAMAS DE SALUD 393

tandarizados se aproximen bastante en cuanto a constancia de calidad, aunque ocu- rren a veces accidentes. Los problemas de medición se reducen cuando se utilizan variables bastante uniformes.

En general, sin embargo, en la evaluación de programas es conveniente determinar tanto la calidad como la cantidad. Cuando los recursos se describen en función de determinado número de médicos, enfermeras o sanitarios “idóneos” o determinado nú- $ _{mero de servicios clínicos “adecuados”, ha} de determinarse el grado en que los recursos satisfacen efectivamente las necesidades cualitativas y cuantitativas. Es preciso saber cuántos médicos, enfermeras, sanitarios o clínicas se facilitaron y en qué grado cada uno era idóneo o adecuado. Cuando las actividades se describen en función del nú- mero de visitas de enfermería, inspecciones sanitarias, exámenes físicos o esfuerzos edu- cativos, es indispensable especificar tanto los aspectos cualitativos como los cuantita- tivos y, ulteriormente, medirlos. Hay que determinar no sólo el volumen de actividades, sino el grado en que cada una se llevó a cabo al nivel técnico deseado.

Actualmente no se dispone de procedimientos para establecer y aplicar medidas cualitativas, sólo se puede subrayar que estas son necesarias. Es conveniente que el personal adscrito al programa tenga presente que en la eficacia y el rendimiento influyen tanto la calidad de los recursos y actividades como la cantidad. En algunas circunstancias, el administrador del pro- L _grama _{y su personal podrán establecer sus}

propias medidas sistemáticas para evaluar la calidad de factores determinados y estarán así en mejores condiciones de evaluar el funcionamiento general del programa.

Utilización de datos sobre rendimiento

Evidentemente, la preocupación principal del administrador es lograr un nivel deseado (generalmente elevado) de consecución de objetivos a un costo mínimo. Como se in-

dica en este trabajo, la preocupación por la eficacia del programa es lógicamente anterior a la preocupación por el rendimiento del mismo. Una vez que se han alcanzado o mantenido los niveles deseados de conse- cución de objetivos, la evaluación del rendimiento del programa pasa a ser preocu- pación primordial. El administrador que conoce el grado de eficacia y rendimiento de su programa puede juzgar si los resultados justifican el costo de los mismos.

Hemos dado a entender que la evalua- ción siempre entraña comparación con una norma. En las evaluaciones de eficacia de programas, la norma de comparación más frecuentemente seleccionada es el nivel de consecución programado antes de iniciarse la ejecución del programa. Se podría utilizar una norma semejante para determinar el rendimiento. Cabe preguntarse si el nivel efectivo de rendimiento, o los costos medios, son semejantes a los programados. Quizá se haya previsto que cada unidad de consecución costaría, por ejemplo, EUA $100. Al evaluar el rendimiento tal vez se demuestre que, en realidad, el costo de cada unidad de consecución es EUA$104. En tal caso, el encargado del programa puede decidir que el rendimiento efectivo se apro- xima tanto al programado que no se justi- fica que se le dedique atención extraordi- naria. Por otra parte, puede llegar a la conclusión de que la disparidad entre el rendimiento programado y el efectivo requiere análisis adicional por ser bastante pronun- ciada. En tal caso, podría preguntarse si en el rendimiento programado de los recursos y de las actividades se ha deslizado algún error y procurará revisar en consecuencia la planificación del programa.

(6)

394 BOLETÍN DE LA OFICINA SANITARIA PANAMERICANA + Noviembre 1969

I

o clase de actividades indispensables para Cuando la eficacia del programa es me- alcanzar determinado objetivo. En tal situa- nor que la deseada, el administrador tiene ción, es preciso seleccionar otra norma de cuatro alternativas. Una posibilidad con- comparación. Una que se utiliza a menudo,

pero peligrosa, es el funcionamiento del mismo programa en un año anterior. Los costos y condiciones pueden variar tanto de un año a otro que las conclusiones derivadas de proporciones de rendimiento tal vez ya no sean válidas. No obstante, si se conocen las circunstancias locales y el costo de vida, se podrá estimar, a base de datos obtenidos periódicamente, si el rendimiento aumenta o disminuye. Lo importante es que la com- paración del funcionamiento efectivo de un programa con una norma razonable permite juzgar si el rendimiento obtenido es o no satisfactorio.

El administrador puede estar satisfecho con la eficacia de un programa y, sin embargo, considerar poco satisfactorio su rendimiento. Cuando se procura mejorar el rendimiento de un programa es necesario considerar las medidas secundarias de rendimiento A:R y 0:A en relación con cada subobjetivo y con el objetivo del programa. Por ejemplo, se podría estudiar la manera de mejorar el rendimiento de los recursos (A:R) tratando de realizar una actividad más amplia o mejor, o ambas, con una cantidad dada de recursos. Esta relación es la que se considera cuando se habla del costo de una visita de enfermería o de una inspec- ción de saneamiento.

El empleo de material de inmunización de antígeno múltiple en un amplio programa de control de una enfermedad trans- misible sería un ejemplo del intento por mejorar el rendimiento de una actividad (0:A). En este ejemplo, se podría obtener un grado igual o mayor de consecución de objetivos como consecuencia de cierto volumen de actividad (de este modo, la inmuni- dad a varias enfermedades podría lograrse mediante una serie de inoculaciones). En tales circunstancias, no cabe duda que el rendimiento del recurso aumentaría.

sistiría en reducir el nivel deseado de reali- zación al nivel efectivamente alcanzado. Esta alternativa podría derivar de la creen- cia, tal vez estimulada por nuevos datos, de que la consecución observada, aunque me- nor que la deseada, es la máxima que puede razonablemente lograrse dadas las limitaciones existentes. Cuando se establecen nuevos objetivos del programa a niveles co- -f rrientes de consecución, los estudios de rendimiento serán más útiles en la planificación de las actividades subsiguientes del programa.

Una segunda alternativa que se presenta al administrador que no está satisfecho con la consecución de su programa consiste en decidir, a base de los datos de evaluación, que debe aumentar el volumen o mejorar la calidad de las actividades orientadas hacia el logro de subobjetivos y objetivos. Cual- quier modificación de esa naturaleza reper- cutirá en la asignación de recursos y, por consiguiente, podrá planearse en forma más acertada con la ayuda de información sobre rendimiento, es decir, acerca de las relacio-

nes corrientes entre actividad y costo y entre objetivos y actividades.

Una tercera posibilidad es la de que el administrador mantenga el objetivo del programa original, pero, a base de los datos de evaluación, decida introducir revisiones importantes en la teoría de su programa, es decir, especificar algunos nuevos subobjetivos y orientar las actividades hacia ellos. En tal caso, el estudio de los rendimientos asociados con el logro de cada subobjetivo que se ha de retener en el nuevo programa facilitará la planificación de las actividades subsiguientes.

(7)

Deniston et al - RENDIMIENTO DE PROGRAMAS DE SALUD _{-__} 395

para asignar los recursos existentes a otros programas.

Limitaciones de las medidas de rendimiento

La utilidad de los estudios de rendimiento es limitada, ya que el rendimiento quizá no sea constante en diferentes niveles de funcionamiento del programa. Considé- rese el objetivo de un programa para eliminar totalmente un problema de una comunidad. Si determinada cantidad de recursos y de actividades ha permitido eliminar el 60% del problema, no se puede determinar con certeza qué rendimiento puede esperarse del empleo de diferentes cantidades. Por una parte, si se duplican los recursos y las actividades, no se podrá eliminar más del 100% del problema. Por otra, si se asigna exactamente la mitad de los recursos y actividades, probablemente no se elimine exactamente el 30% del problema, sino más bien el 20 o el 40 por ciento. A base de la experiencia, parece razonable suponer que la utilización de recursos muy limitados tendrá muy escasas consecuencias (bajo rendimiento) ; si se aumentan los recursos se obtendrá un efecto proporcionalmente mayor (mayor rendimiento) ; y, finalmente, un gran incremento de los recursos se traducirá en un rendimiento sólo un poco mayor (rendimiento reducido). Esta idea se ilustra en la figura 1.

Se puede esperar una nivelación del rendimiento cuando un programa se acerca a

FIGURA I-Eficacia hipotética de un programa o diversos niveles de utilización de recursos.

la consecución completa de su objetivo o cuando se ha logrado la mayor eficacia posible de las clases de actividades realizadas. Si en la figura 1 se conociera la curva de determinado programa, se podría construir entonces una curva de rendimiento como la indicada en la figura 2. De este modo, se

podría esperar un mayor rendimiento con el incremento de recursos, pero sólo hasta determinado punto, de ahí en adelante, el nivel de rendimiento decaería.

Mediante una sola evaluación del funcionamiento del programa, el administrador no podrá saber en qué punto de esas curvas se encuentra su programa. Pero, si pudiera determinarse ese punto, dicho conocimiento tendría importantes consecuencias para la planificación de programas subsiguientes. Si el administrador supiera cuál es el perfil co- rrecto de la curva de la figura 1 en relación con un programa determinado, sabría qué proporción de los objetivos se podría alcanzar con la utilización de diversas cantidades de recursos. Si el nivel corriente de realización del programa se encontrara en el punto B de la curva, es evidente que con recursos más cuantiosos no se aumentaría considerablemente el grado de su realiza- ción; mientras que la mayor utilización de recursos en programas que empiezan en el punto A tendría un gran efecto sobre el logro de los objetivos. Por otra parte, si la cantidad de recursos que pudieran orien- tarse hacia los objetivos del programa fuera

(8)

396 BOLETÍN DE LA OFICINA SANITARIA PANAMERICANA . Noviembre 1969

definida, el administrador sabría qué pro- porción de los objetivos se podría alcanzar y, de este modo, estaría en condiciones de juzgar si el programa vale el esfuerzo que se realiza. Por ejemplo, si solamente se contara con asignaciones suficientes para alcanzar los objetivos en el punto A de la figura 2, el administrador tal vez decidiría invertir los recursos en un programa diferente en el cual, con la misma asignación de fondos, se podría obtener una consecución mayor del objetivo, o quizá continuar el programa original si estimara que el problema en cues- tión merece ser afrontado. En todo caso, si se conoce la curva de rendimiento, será posible planear el programa con mayor acierto.

Construcción de curvas de rendimien-fo

El administrador podría construir una curva de rendimiento subdividiendo la juris- dicción del programa y llevándolo a cabo a diferentes niveles de utilización de recursos en cada subdistrito. (La fiscalización sería esencial para garantizar que los dis- tritos fuesen semejantes).

Por otra parte, el gobierno estatal o fede- ral podría construir curvas de rendimiento disponiendo la realización, en comunidades análogas, de programas con niveles de actividades sistemáticamente distintos. En tales experimentos, se subsanarían los efectos de la ejecución de programas anteriores sobre la realización de programas subsiguientes. No obstante, subsistiría el problema del grado en que este conocimiento podría aplicarse a programas futuros que se realizan en condiciones que varían constan- temente.

La exactitud con que pueden predecirse los resultados futuros que probablemente se obtengan de la utilización de diversas cantidades de recursos en un programa depen- derá, en parte, de la composición de la po- blación a la que esté destinado el programa. En algunos programas, la población beneficiaria varía de un período de planificación a otro; en otros, permanece esencialmente in-

variable. Por ejemplo, tomemos el caso de un programa encaminado a aumentar la proporción de personas que utilizan el cin- turón de seguridad entre toda la población de una comunidad. La estructura de esta población se modificará en cierta medida de año en año. Todos envejecerán, algunos emigrarán, otros fallecerán, surgirán nuevos conductores de vehículos, pero en gran medida el número de habitantes será el mismo de un año al siguiente. Un programa de esa índole, que se ofrecería en los cursos para educación del conductor destinado a las clases del décimo grado en la comunidad, beneficiaría a un nuevo conjunto de personas cada año, salvo a los pocos estudiantes que podrían repetir el curso.

En las poblaciones beneficiarias que comprenden esencialmente las mismas personas

de año en año (por ejemplo, toda la pobla- ción de una comunidad, las madres de niños en edad escolar, administradores de restau- rantes, etc.), los programas anteriores po- drían ejercer considerable influencia sobre los resultados de las actividades futuras. En programas como los representados en el primer ejemplo con el cinturón de seguridad, es posible que mediante la labor realizada en los primeros aiíos de su funcionamiento se ejerza influencia sobre todos los integrantes de la población beneficiaria que están pre dispuestos a actuar, mientras el resto resista todos los esfuerzos subsiguientes para influir en ellos.

En programas como el segundo ejemplo del cinturón de seguridad, es decir, aquellos en que los posibles clientes proceden de una “nueva” población cada año, cabría esperar resultados semejantes de una labor análoga de un año al siguiente si se toman en cuenta los cambios en el costo de vida y otras variables cuyos efectos pueden estimarse.

Aplicación de métodos

(9)

Denisbon et al . RENDIMIENTO DE PROGRAMAS DE SALUD 397

en aquellos programas en los cuales es fácil cuantificar recursos, actividades y resulta-- dos en términos razonablemente significa- tivos y en que la medición del logro de los objetivos es, por consiguiente, bastante sim- ple. Por ejemplo, el significado del empleo regular de un cinturón de seguridad es con- ceptualmente claro, aunque para determinar su consecución efectiva tal vez se necesite bastante ingenuidad.

Sin embargo, esas situaciones sencillas no son comunes; con más frecuencia, los objetivos del programa carecen de claridad con- ceptual. Cuando el director de un programa proyecta mejorar el nivel de salud de un grupo, sustenta ideas que tal vez no signi- fiquen lo mismo entre un grupo de expertos. Es posible que un director piense en la au- sencia de ciertos síntomas; un segundo, de ciertas manifestaciones físicas; un tercero de estabilidad emocional; un cuarto, de vi- gor físico y un quinto de productividad in- dividual. Otros pensarán en la combinación de varias de estas ideas o de todas ellas. An- tes de que el director del programa pueda preparar una lista de lo que se ha logrado, debe especificar los objetivos que procurará medir, tarea que resulta sumamente difícil en muchos programas de salud.

Del mismo modo, en la mayoría de las situaciones, no se comprende claramente el concepto de realización de una actividad en la forma programada. iQué significa, real- mente, una “visita de enfermería” o una “inspección”? $ómo debe conducirse, es- pecíficamente, la enfermera 0 el sanitario? Cuando se dice que una persona ha desem- peñado una función “educativa” ¿qué se ha de entender, precisamente, por educación? Hasta que se pueda especificar cómo ha de conducirse el profesional en una situación determinada, primero en conceptos y luego en función de medidas de cantidad y calidad, no podrá llevarse a cabo una evaluación amplia, y los programas no podrán mejorarse en forma sistemática.

Conclusiones

Los medios descritos en estos trabajos para evaluar la eficacia y el rendimiento son de gran utilidad en aquellos programas en que a) los objetivos han sido especificados cualitativa y cuantitativamente y se han atribuido en el tiempo a determinadas zonas geográficas y a determinadas poblaciones a las que se espera beneficiar, b) los programas se describen con bastante detalle, de modo que es posible efectuar observaciones fidedignas de la realización de la actividad programada, y c) se han definido los recursos que se destinarán a la actividad rela- cionada con el programa.

En consecuencia, para evaluar la eficacia y el rendimiento parece que es indispensable, ante todo, formarse una idea clara de la naturaleza y contenido del programa. La evaluación constituirá entonces una tarea sencilla.

Resumen

La eficacia de los programas de salud se establece a través de la evaluación del grado en que se logró el objetivo buscado mediante las actividades programadas. La comparación entre la proporción en que ese objetivo se alcanzó (OA) y el nivel previsto por los planificadores (OP) constituye una vía de análisis adecuada y la única medida legítima de la eficacia del programa se

expresa como la razón OA: OP.

(10)

398 BOLETÍN DE LA OFICINA SANITARIA PANAMERICANA * Noviembre 1969

no podrían interpretarse o serían equívocos.

Si, por ejemplo, dos programas (A y B)

persiguen el mismo objetivo y el programa

A lo logra en su totalidad a un costo dado

mientras el B logra sólo un 50% a un cuarto del costo, el A es, por consiguiente, dos veces tan eficaz como el B, pero, en cuanto al rendimiento, es sólo 50% más eficaz.

Para realizar una comparación de ambos

programas en términos lógicos es necesario disponer de datos sobre la eficacia y el rendimiento de cada uno.

Si bien no se dispone actualmente de pro-

cedimientos para establecer y aplicar medi-

das cualitativas, es conveniente que el per-

sonal adscrito al programa tenga en cuenta

que en la eficacia y el rendimiento influyen

tanto la calidad como la cantidad de los

recursos y actividades y, en algunas circuns-

tancias, el administrador y sus colaboradores pueden establecer medidas de la calidad de ciertos factores a fin de crear mejores

condiciones para la evaluación del funcionamiento general del programa. 0

Evaluation of Health Program Efficiency (Summary)

The effectiveness of public health programs may be established through an assessment of the extent to which a planned or intended objective has been attained through program activity.

A comparison between attainment of program objective (AO) and the desired leve1 proposed by planners (PO) is a suitable tool, and the only legitimate measure of program

effectiveness is the AO:PO ratio.

In public health programs efficiency may be defined as the ratio between an output (net attainment of program objectives) and an input (program resources expended). In the typical program setting the administration at- tempts to obtain an acceptably high leve1 of attainment of objectives at minimum cost.

However, a proper interpretation of efficiency

requires information on both effectiveness and resources; otherwise it will not be possible to

interpret efficiency studies or they might be equivocal. If, for example, two programs (A and B) have the same objective and program A attains all of the objectives at a given cost, while program B attains half of the objectives at a quarter of the cost, program A is twice

as effective as program B, but only half as

efficient. A rational comparison of the two

programs can only be based on a knowledge

of the effectiveness and the effkiency of each program.

Although at present there are no procedures available for establishing and using qualitative measures, program personnel should bear in

mind that the kind and amount of activities

performed have a bearing on efficacy and efficiency, and on occasion administrators and their assistants may establish measurements for certain factors to improve conditions for evalu- ating the general operations of the program.

AvaliaSáo do Rendimqnto de Programas de Saúde (Resumo)

A eficiencia dos programas de saúde é determinada através da avaliacão do grau em que as atividades programadas lograram atingir o objetivo colimado. A comparac$o entre a pro- por@0 em que êsse objetivo foi atingido (OA) e o nível previsto pelos planejadores (OP) constitui método de análise adequado e a única medida legítima da eficiência do programa se expressa como a razão 0A:OP.

Nos programas de saúde pública, o rendimento, que, com a eficiência, é a medida com

a qual podem ser êles avaliados, define-se como a razáo entre produto (consecucão lí- quida dos objetivos do programa) e insumo

(recursos utilizados). 0 esfôrco da adminis- tracáo num programa típico concentra-se na obten@0 de um nível aceitável de consecucáo dos objetivos previstos, a um custo mínimo. Mas a interpretacáo válida do rendimento re-

quer informa@0 sôbre a eficiência e os recur-

sos do programa; de outro modo, os estudos de rendimento náo poderiam ser interpretados ou seriam duvidosos. Se, por exemplo, dois programas (A e B) colimam o mesmo objetivo e o programa A o alcanGa na sua totalidade, a determinado custo, enquanto o programa B alcanca apenas 50%, a urna quarta parte do

(11)

Deniston et al - RENDIMIENTO DE PROGRAMAS DE SALUD 399

vêzes mais eficaz que o B, porém, em matéria de rendimento, é apenas 50% mais eficaz. Para efetuar urna comparacão de ambos os programas em têrmos lógicos, é necessário dispor de dados sôbre e eficiência e o rendimento de cada um.

Embora não existam atualmente procedi-

mentos para estabelecer e aplicar medidas qualitativas, é conveniente que o pessoal lotado

no programa tenha em conta que na eficiência e no rendimento influem tanto a qualidade como a quantidade dos recursos e atividades e, em algumas circunstâncias, o administrador e seus colaboradores podem estabelecer medidas para a qualidade de certos fatôres, a fim de criar melhores condicões para a avaliacão do funcionamento geral do programa.

Evalua+ion du rendemenf des programmes sanilaires (Résumé)

L’efficacité des programmes sanitaires est établie en évaluant la mesure dans laquelle les activités programmées ont atteint l’objectif recherché. La comparaison entre l’objectif qui a été atteint (OA) et le niveau prévu par les

planificateurs (OP) constitue un moyen

d’analyse satisfaisant, et la seule mesure juste de I’efficacité du programme est exprimée par le rapport 0A:OP.

En ce qui concerne les programmes de santé publique, le rendement qui, concurremment avec l’efficacité est la mesure permettant de les évaluer, est défini comme le rapport entre le produit (réalisation nette des objectifs du programme) et la consommation (ressources utilisées). Dans un programme typique, l’administration s’efforce de parvenir à un niveau acceptable de réalisation des objectifs prévus à un coût minimum. Toutefois, une interpréta- tion valable du rendement nécessite des données sur l’efficacité et les ressources du programme; sans quoi, l’étude du rendement ne pourrait être interprétée ou serait douteuse. Si,

par exemple, deux programmes (A et B) poursuivent le même objectif et que le programme A l’atteint en totalité à un coût donné, alors que le programme B atteint seulement 50% au quart du coUt, le programme A est, par conséquent, deux fois plus efficace que le

B mais, du point de vue du rendement, seule-

ment 50% plus efficace. Si I’on veut comparer les deux programmes en termes logiques, il est nécessaire de disposer de données sur I’efficacité et le rendement de chacun d’eux.

Bien qu’il n’existe pas encare de méthode permettant d’adopter et d’appliquer des mesures qualitatives, il y aurait intérêt que le personnel affecté au programme tienne compte du fait que non seulement la qualité mais également la quantité des ressources et des activités influent sur l’efficacité et le rendement et que, dans certains cas, l’administrateur et ses col- laborateurs peuvent établir les mesures de la qualité de certains facteurs afin de créer de meilleures conditions pour l’évaluation du fonc- tionnement général du programme.

PESTE EN BOLIVIA

A mediados de marzo de 1969 tuvo lugar un brote grave de peste en dos aldeas situadas en un valle andino a 125 millas al norte de La Paz, Bolivia. Informes preliminares indican que en esas aldeas-carentes de antecedentes de peste-se produjeron 65 casos, 26 de los cuales fueron fatales. En casi todos los casos fatales se observaron síntomas de peste neumónica, pero también se establecieron formas de peste bubónica. El brote se inició en una familia de la aldea de Upuni, tres miembros de la cual murieron a consecuencia de la enfermedad. Muchos de los casos subsiguientes se produjeron en vecinos, amigos y parientes que concurrieron a los funerales de las primeras víctimas. Posiblemente, los demás contrajeron la enfermedad trabajando en los campos vecinos. En Ipuni se registraron 20 casos, todos ellos fatales, y en Machíia, la otra aldea asolada por el brote, de un total de 45 casos seis resultaron fatales.

Se obtuvo un cultivo de Pasteurella pestis de muestras tomadas con fines de

identificación de la enfermedad causante del brote. Asimismo, se observó en

las casas abundancia de moscas portadoras de X. cheopis. El programa de

control que se puso en práctica incluyó desinsectación de las casas con DDT

y caza y envenenamiento de roedores. [Weekly Epidemiological Record 44