Elisa Dilly Generoso Macedo
META-AVALIAÇÃO DE SISTEMAS DE INFORMAÇÕES HOSPITALARES
Belo Horizonte 2022
META-AVALIAÇÃO DE SISTEMAS DE INFORMAÇÕES HOSPITALARES
Trabalho apresentado ao Curso de Graduação em Administração Pública da Escola de Governo Professor Paulo Neves de Carvalho da Fundação João Pinheiro, como requisito parcial para obtenção do título de Especialista em Políticas Públicas e Gestão Governamental.
Orientador: Daniela Góes Paraíso
Belo Horizonte 2022
Trabalho de Conclusão de Curso (Graduação em Administração Pública) - Fundação João Pinheiro, Escola de Governo Professor Paulo Neves de Carvalho, 2022.
Orientadora: Daniela Góes Paraíso Bibliografia: f. 90-97
1. Administração hospitalar - Gestão do conhecimento. 2.
Sistemas de Informações Hospitalares (SIF) - Avaliação. I.
Paraíso, Daniela Góes. II. Título.
CDU 681.03:614
META-A VALI AÇÃO DE SISTEMAS DE INFORMAÇÕES HOSPITALARES
Trabalho de Conclusão de Curso apresentado ao Curso de Graduação em Administração Pública da Escola de Governo Professor Paulo Neves de Carvalho, da Fundação João Pinheiro, como requisito parcial para a obtenção do título de bacharel em Administração Pública.
Aprovada na Banca Examinadora
Prof.a Daniela Goes Paraíso lacerda (Orientadora) - Fundação João Pinheiro
Prof.a Simone Cristina Dufloth (Avaliadora) - Fundação João Pinheiro
_________________________________________
Prof. Roger de Miranda Guedes (Avaliador) - Fundação João Pinheiro
Belo Horizonte, 29 de Novembro de 2022.
encontrados ao longo do curso. Aos meus amigos, que tanto me incentivaram nos momentos difíceis. À minha orientadora, que me ajudou tanto com este
trabalho.
interferir no tratamento adequado de pacientes. Por esse motivo, é de suma importância que Sistemas de Informação Hospitalares sejam avaliados de forma a gerar informações que permitam a gestão adequada dessas ferramentas. Nesse sentido, o presente trabalho realiza uma meta-avaliação sobre os Sistemas de Informação Hospitalares para analisar os resultados tanto de suas avaliações quanto da própria ferramenta. Para tanto, quatro avaliações primárias foram selecionadas e avaliadas de acordo com os critérios de avaliações da OCDE: relevância, coerência, efetividade, eficiência, impactos e sustentabilidade. Durante o processo de análise constatou-se que, apesar de limitações relacionadas a disponibilização de dados sobre o contexto dos Sistemas de Informação Hospitalares, as avaliações primárias foram capazes de iniciar investigações importantes, mas ainda apresentam espaço para melhorias significativas.
Palavras-chave: meta-avaliação, sistema de informação de saúde, sistema de informação hospitalar, avaliação.
in the appropriate treatment of patients. For that reason, it is important that Hospital Information Systems are evaluated in a way that allows an adequate management of such tools. This article presents a meta-evaluation about Hospital Information Systems to analyze the results of both evaluations and the system itself. Four primary evaluations have been selected and evaluated according to OCDE’s evaluation criteria: relevance, coherence, effectiveness, efficiency, impacts and sustainability. During the analysis process it has been verified that, even though there were limitations associated with the availability of data about the Hospital Information Systems’ context of use, the primary evaluations have been capable of initiating important investigations, but there is still room for significant improvements.
Key-words: meta-evaluation, health information system, hospital information system, evaluation.
Figura 2 - Lista Chave de Verificação de Avaliação Figura 3 - Seleção das avaliações primárias
Quadro 1 Quadro 2 Quadro 3 Quadro 4 Quadro 5 Quadro 6 Quadro 7 Quadro 8 Quadro 9 Quadro 10 Quadro 11 Quadro 12 Quadro 13
Quadro 14 Quadro 15
Avaliações primárias selecionadas Avaliações primárias
Metodologia das avaliações primárias Resultados e limitações das avaliações Síntese da Meta-avaliação
Avaliação do critério de relevância em seu aspecto de “resposta a necessidade, políticas e prioridades”
Avaliação do critério de relevância em seu aspecto de
“sensibilidade e responsividade ao contexto”
Avaliação do critério de relevância em seu aspecto de “qualidade de design”
Avaliação do critério de relevância em seu aspecto de “adaptação ao longo da intervenção”
Avaliação da coerência das avaliações primárias em relação aos elementos de coerência interna e coerência externa
Avaliação da efetividade das avaliações primárias em relação ao alcance dos objetivos e a importância do que foi realizado
Avaliação da efetividade das avaliações primárias em relação aos resultados diferenciais
Avaliação da efetividade das avaliações primárias em relação aos fatores influenciadores da avaliação
Avaliação das avaliações primárias pelo critério de impacto em seu aspecto de significância
- Avaliação da sustentabilidade das avaliações primárias
EDP Equipe de Processamento de Dados Eletrônicos
IOM Institute of Medicine
ISO Organização Internacional de Padronização
OCDE Organização Para a Cooperação e Desenvolvimento Econômico
OMS Organização Mundial da Saúde
ONC Coordenação Nacional de Tecnologia de Informação da Saúde
PRISMA Transparent reporting of systematic reviews and meta-analyses
SI Sistemas de Informação
SIAB Sistema de Informação da Atenção Básica SIH Sistemas de Informação Hospitalares
SINASC Sistema de Informações sobre Nascidos Vivos
SIS Sistemas de Informação de Saúde
Tl Tecnologia da Informação
2 SISTEMAS DE INFORMAÇÃO HOSPITALARES 16
2.1 Sistemas de Informação de Saúde 16
2.2 Ambientes hospitalares 18
2.3 Módulos e funcionalidades de Sistemas de Informação Hospitalares 21
2.4 Objetivos e potenciais resultados de Sistemas de Informação
Hospitalares 25
3 AVALIAÇÃO 30
3.1 Avaliações 30
3.2 Tipos de avaliação 32
3.3 Critérios de avaliação 34
3.3.1 Critérios da OCDE 38
3.4 Avaliação de Sistemas de Informação 41
4 METODOLOGIA 47
5 META-AVALIAÇÃO 49
5.1 Identificação das avaliações primárias 49
5.2 Síntese das avaliações primárias 51
5.3 Meta-avaliação utilizando os critérios da OCDE 59
5.3.1 Relevância 61
5.3.2 Coerência 67
5.3.3 Efetividade 69
5.3.4 Eficiência 77
5.3.5 Impactos 79
5.3.6 Sustentabilidade 83
6 Considerações finais 87
REFERÊNCIAS 90
1 INTRODUÇÃO
O presente trabalho tem por objetivo estruturar uma meta-avaliação das avaliações de Sistemas de Informação Hospitalares (SIH). A priori, é importante ressaltar que Sistemas de Informação (SI) são conceituados como mecanismos capazes de coletar, manipular, armazenar e disseminar dados em informações com vistas a alcançar objetivos, como aumentar a eficiência do gerenciamento de recursos e garantir melhores serviços aos clientes (STAIR, REYNOLDS, 2015).
Neste trabalho, serão abordados os Sistemas de Informação computadorizados, que funcionam a partir de um hardware (equipamentos físicos de computador) e de um software (programas capazes de comandar as operações do computador), bancos de dados, telecomunicações e afins.
Os Sistemas de Informações Hospitalares podem ser considerados sistemas que facilitam o processamento e o gerenciamento de dados oriundos das atividades hospitalares, sejam elas administrativas ou médicas (AGGELIDIS, CHATZOGLOU; 2008). São abarcadas, então, informações de maneira a abranger desde a entrada até a alta de cada paciente, incluindo-se triagem, consultas, internação, tratamento e exames. Todo esse material é utilizado não apenas para o processo de atendimento do paciente, como também para a transferência entre departamentos, a dispensação da medicação, a fila de pronto atendimento conforme a gravidade da enfermidade, entre uma infinidade de atividades cotidianas.
Idealmente, um Sistema de Informação Hospitalar permite evitar registros físicos de papel, prevenindo assim erros de compreensão de conteúdo, de arquivamento e de transcrição.
Outros procedimentos gerenciais do hospital também utilizam esses dados para retornar valores para os financiadores dos serviços médicos, destacando-se o faturamento das contas hospitalares e a administração dos custos.
Em outras palavras, existe um ganho de produtividade relacionado à maior eficiência de gestão da informação promovida pelos Sistemas de Informações Hospitalares.
Nota-se portanto, que essas ferramentas permeiam as mais diversas atividades e funções hospitalares, destacando-se o favorecimento de trocas de informações entre os departamentos conforme a necessidade dos serviços oferecidos aos pacientes.
Tal intensidade de uso de tecnologias tem ocorrido de maneira cada vez mais
extensiva à medida em que as Tecnologias de Informação (Tl) se multiplicam nas organizações (WEBSTER et al, 2014).
Sendo assim, os Sistemas de Informação Hospitalares devem ser capazes de lidar com um alto volume de informações utilizadas e geradas de maneiras distintas por dezenas de operadores diferentes - considerando-se toda a equipe de profissionais de saúde e os setores logísticos, como a recepção e o almoxarifado -. Na realidade prática, isso nem sempre ocorre da maneira desejada.
Wyatt e Wyatt (2003) destacam seis pontos em que Sistemas de Informação Hospitalares podem apresentar desempenho abaixo das expectativas: o elevado custo de implementação e manutenção; as turbulências do ato da preparação para implementação e da implementação dos Sistemas de Informação Hospitalares, por ser um agente de mudanças; a possibilidade do corpo de funcionários simplesmente não utilizar o sistema; a possibilidade de erros no software no Sistemas de Informação Hospitalares; possíveis impactos indesejados nos atendimentos, como atrasos em exames e consultas; e a imprevisibilidade dos resultados da implementação de uma SIH em um ambiente complexo como o hospitalar.
Segundo Wyatt e Wyatt (2003), existe a necessidade de se justificar a alocação de recursos no SIH, já que, como em qualquer organização, os recursos financeiros são escassos e precisam ser bem alocados. Friedman, Wyatt e Ash (2022) destacam também a existência de um “teorema fundamental” no campo da informática da saúde e biomédica: as atividades humanas devem ser melhor desempenhadas com computadores do que sem eles. Considerando-se todas as possibilidades de falha de Sistemas de Informação Hospitalares, é necessário avaliar o sistema para saber se o teorema pode ser verificado na realidade prática.
Tratando-se de Sistemas de Informação Hospitalares isso é especialmente importante, já que os próprios sistemas podem manter ou gerar gargalos problemáticos nos serviços de saúde, a exemplo de falhas nas filas de atendimentos - ocasionando atrasos para pacientes graves - ou erros nas prescrições de medicamentos - que podem gerar intoxicações ou simplesmente não tratar adequadamente a enfermidade do paciente.
Para Aggelidis e Chatzoglou (2008, p. 100), avaliações são “coleções sistemáticas e análise de informação para dar suporte às decisões relacionadas a projetos, processos ou métodos”. Com esse objetivo, são definidos e explicados critérios e reunidas e analisadas informações confiáveis sobre o projeto avaliado
(AGGELIDIS, CHATZOGLOU; 2008). As informações então relatadas podem, assim, ser utilizadas para realizar adaptações frente à realidade da organização hospitalar, o que pode ser essencial para que se atinja resultados positivos com o Sistema de Informação Hospitalares.
É de suma importância para a saúde da população que os serviços hospitalares, que utilizam cada vez mais os Sistemas de Informação Hospitalares, ocorram de maneira eficiente e eficaz. Se essa não é uma realidade, devem ser realizadas mudanças para maximizar os resultados do SIH, seja em seu gerenciamento, no próprio sistema ou na forma como o software é utilizado, por exemplo. Avaliações existem para embasar essas modificações, ou seja, para orientar as mudanças relacionadas aos SIH de acordo com percepções técnicas da realidade.
Para que tais orientações sejam coerentes com a realidade é necessário que as próprias avaliações sejam apropriadamente concebidas, construídas e desempenhadas - e é para isso que as meta-avaliações são de grande importância.
Meta-avaliações podem ser descritas de maneira simplificada como avaliações de avaliações (SCRIVEN, 1991), ou seja, um processo de obtenção e utilização de informações que descrevem e julgam avaliações (STUFFLEBEAM, 2001). Com essas análises sistemáticas das pesquisas avaliativas, é possível identificar importantes gargalos, o que é essencial para que melhorias incrementais possam acontecer em avaliações futuras. Por tudo isso, o presente trabalho tem como objetivo geral realizar uma meta-avaliação sobre os Sistemas de Informação Hospitalares.
Para realizar a meta-avaliação, este trabalho está dividido em cinco seções. A primeira seção descreve os Sistemas de Informações Hospitalares no que tange o contexto hospitalar, o contexto amplo dos sistemas de informação de saúde e as principais funcionalidades da tecnologia. A segunda seção aborda os principais aspectos relacionados a avaliações para este trabalho, destacando-se seu conceito, seus principais tipos, seus principais elementos, as meta-avaliações, os critérios de meta-avaliação e avaliações de Sistemas de Informação, em específico. A terceira seção descreve a metodologia utilizada neste estudo. A quarta seção é a meta-avaliação em si, o que envolve a identificação dos estudos analisados, o resumo de seus principais aspectos e o julgamento das pesquisas em si. Por fim, a quinta seção envolve as considerações finais sobre o presente estudo.
2 SISTEMAS DE INFORMAÇÃO HOSPITALARES
Para favorecer o entendimento de avaliações de Sistemas de Informações Hospitalares é necessário, primeiramente, compreender o que são esses sistemas. A presente seção tem por objetivo apresentar essas ferramentas de maneira abrangente. Inicialmente, são apresentados os Sistemas de Informações de Saúde (uma categoria mais extensa de sistemas de informação) para apresentar os aspectos gerais dos Sistemas de Informação Hospitalares e a relevância destes dentro do campo de saúde. Em seguida, são apresentados os ambientes hospitalares enquanto o contexto no qual os SIH são implementados. Em terceiro lugar, são explicadas as principais funções e atribuições desses sistemas. Por fim, especifica-se quais são os principais objetivos e resultados esperados ao se implementar e utilizar um Sistema de Informação Hospitalar.
2.1 Sistemas de Informação de Saúde
Sistemas de Informação Hospitalares (SIH) são um dos tipos de Sistemas de Informação de Saúde (SIS) (HAUX, 2006), cuja compreensão geral é relevante para este trabalho por se tratar de uma categoria mais abrangente de sistemas que permite resumir diversas características associadas aos SIH. Nesse sentido, segundo Sirintrapun e Artz (2016), Sistemas de Informação de Saúde, podem ser definidos como “sistemas computacionais que capturam, armazenam, gerenciam ou transmitem uma vasta quantidade de informações relacionadas à saúde dos indivíduos, ao tratamento clínico, ou a atividades de organizações relacionadas ao campo de saúde”. Em outras palavras, trata-se de ferramentas computadorizadas capazes de armazenar e gerenciar informações e que permeiam os trabalhos das mais diversas organizações de saúde - a exemplo de hospitais, secretarias de saúde e vigilância sanitária -, fornecendo a elas diversas informações essenciais para a realização dos seus serviços.
Esse conjunto abrangente de dados é utilizado, resumidamente, para gerar informações que permitam a identificação de problemas e necessidades, a tomada de decisões baseadas em evidência sobre políticas de saúde e alocação recursos escassos de forma otimizada por parte de tomadores de decisão em todos os níveis do sistema de saúde (OMS, 2008). Em clínicas médicas e unidades básicas de saúde, por exemplo, esses dados podem ser utilizados para criar
relatórios de acompanhamento clínico de pacientes com o objetivo de acessá-los futuramente e dar continuidade aos tratamentos da melhor forma possível. De maneira análoga, esses informes também são rotineiramente criados em hospitais e acrescidos de pedidos e resultados de exames de imagem ou laboratoriais. Já em órgãos públicos de saúde, são criados compilados de dados numéricos de casos de doenças específicas, produzindo informações sobre a saúde coletiva de uma dada região. Por exemplo, o monitoramento nacional do número de casos, mortes e recuperados de COVID-19 - dados que podiam ser segregados por unidade federativa, período, entre outros filtros - só pôde ser realizado devido à existência e à utilização dos SIS.
Além disso, em uma ótica voltada para as organizações, esses sistemas podem auxiliar no processo de tomada de decisão em diversos níveis hierárquicos e no controle das organizações de saúde, o que permite sustentar o planejamento organizacional e o aperfeiçoamento contínuo de atividades e programas (MARIN, 2010). Em suma, conforme a Organização Mundial de Saúde (2007), por agregar sistematicamente um alto volume de informações, os Sistemas de Informação de Saúde assumem a capacidade de: gerar dados sobre a população e as próprias instituições de saúde; de detectar, investigar, comunicar e conter ameaças à saúde pública com agilidade e em âmbito local; e de sintetizar informações promovendo a disponibilidade e a aplicação de conhecimentos.
Considerando a importância de todas essas funcionalidades, os Sistemas de Informação de Saúde são atualmente considerados essenciais para o funcionamento de um sistema de saúde como um todo (OMS, 2007). Nesse sentido, são necessárias estratégias institucionais, nacionais e internacionais em relação ao processo contínuo de manutenção e melhora desses sistemas (HAUX, 2006), o que levou a OMS a tornar o fortalecimento dos Sistemas de Informação de Saúde parte de sua agenda (OMS, 2007). Podem também ser percebidos esforços de diversos países nesse âmbito. Nos Estados Unidos, foi criado em 2004 o Escritório de Coordenação Nacional de Tecnologia de Informação da Saúde (ONC), cujos objetivos são avançar o desenvolvimento e uso de tecnologias de informação na saúde e estabelecer as expectativas de compartilhamento de dados (HealthlT, 2022). No Brasil, foram implementados por meio do Sistema Único de Saúde o Sistema de Informações sobre Nascidos Vivos (SINASC), o Sistema de Informação da Atenção Básica (SIAB), o DATASUS, entre diversos outros sistemas.
É importante ressaltar, nesse contexto, que existem características fundamentais que Sistemas de Informação de Saúde devem apresentar. A Organização Mundial da Saúde (2007) estabelece que SIS de bom funcionamento são aqueles que garantem, em tempo hábil e com alta confiança, a produção, a análise e a disseminação de informações sobre determinantes de saúde, performance de sistemas de saúde e status de saúde. Para tanto, o sistema precisa gerar dados baseados em população e instalações; apresentar a capacidade de detectar, investigar, comunicar e conter eventos que ameacem a saúde pública logo que eles ocorram; e ter a capacidade de sintetizar informações e promover a disponibilidade e aplicação desse conhecimento (OMS, 2007).
Destacados os pontos principais relacionados ao amplo conjunto de Sistemas de Informação em Saúde, os quais se aplicam diretamente aos Sistemas de Informação Hospitalares, é importante enfatizar as especificidades dos SIH. Esse tipo de ferramenta pode ser definida como o subsistema sociotécnico de um hospital que compreende todo o processamento de informações e os atores humanos ou técnicos associados em seus respectivos papéis de processamento de informações (HAUX, 2004). É importante destacar que essa definição engloba não apenas o software utilizado, como também a infraestrutura tecnológica dos hospitais e, ainda mais relevante, o papel dos usuários no funcionamento do sistema informacional como um todo. Com essa conceituação em mente, a presente seção foi dividida entre os principais fatores relacionados aos sistemas: os ambientes hospitalares, os módulos e funcionalidades dos Sistemas de Informação Hospitalares, e os objetivos e potencialidades desses sistemas.
2.2 Ambientes hospitalares
Conhecer as principais características de um hospital é fundamental para compreender o contexto onde os Sistemas de Informação Hospitalares serão implantados e os próprios usuários da ferramenta. Segundo Markus (1983), o ambiente pode interferir no processo de implementação dos SI de duas maneiras diferentes: a primeira, relacionada às características de pessoas e de grupos organizacionais; a segunda, relacionada à interação do contexto de uso do sistema com o próprio sistema. A forma como esses fatores podem afetar a utilização de um SIH será abordada em maiores detalhes na seção de “Objetivos e potenciais
resultados de um Sistema de Informações Hospitalares”. Esta seção se dedicará a analisar hospitais enquanto organizações de saúde, segundo os arranjos organizacionais e o design organizacional.
Primeiramente, destaca-se que os hospitais são parte fundamental de Sistemas de Saúde na medida em que são organizações cujo objetivo primário é promover, restaurar ou manter a saúde. Os propósitos gerais desse tipo de instituição são melhorar o nível e a equidade da saúde, responsividade, proteção a riscos sociais e financeiros, e melhora de eficiência (OMS, 2007). Para atingir esses efeitos, eles apresentam seis pilares: entrega de serviços; profissionais de saúde;
informação; produtos médicos, vacinas e tecnologias; financiamento; e liderança ou governança. Existem alguns atributos considerados essenciais entre esses blocos, notadamente a efetividade, a segurança, a qualidade, o custo-benefício e, especialmente no que tange serviços e produtos médicos, a base em evidências científicas (OMS, 2007).
Em uma análise mais específica, Haux (2004) destaca sete funções principais desempenhadas por um hospital. A primeira delas é a “admissão de pacientes", que envolve o agendamento da consulta, a identificação do paciente, a admissão administrativa, a admissão clínica e as informações associadas. Em seguida, há também “o planejamento e organização do tratamento do paciente”, que ocorre mediante a apresentação de informações e conhecimento, tomada de decisão e sua comunicação com o paciente, e planejamento do cuidado (HAUX, 2004). A “entrada de ordens e comunicação de achados”, que ocorre por meio da preparação da ordem, a coleta de amostras ou o agendamento de consultas ou de procedimentos, a transmissão dessa ordem e o relatório dos achados. Outras funções principais são a “execução de procedimentos diagnósticos e terapêuticos”, a
“documentação clínica registrada por médicos e enfermeiras”, a “documentação administrativa e a cobrança”, e a “alta do paciente e sua referência para outras instituições” (HAUX, 2004).
Como forma de suporte às demais funções, há outros três encargos dos hospitais (HAUX, 2004). O “gerenciamento de prontuários dos pacientes”, que envolve a criação e o despacho de documentos, o gerenciamento de documentação para áreas especiais, o registro dos códigos de diagnósticos e procedimentos, a análise, arquivamento e gerenciamento de prontuários de pacientes. A “organização do trabalho e planejamento dos recursos”, associada à alocação de recursos,
gerenciamento de materiais e medicações, gerenciamento e manutenção de equipamentos, suporte na organização geral do trabalho, suporte à comunicação do escritório e suporte ao processamento básico de informações. Por fim, a
“administração do hospital”, que implica gerenciamento de qualidade, controle e orçamento, cálculo de custo-performance, contabilidade financeira, gerenciamento de recursos humanos e análise estatística geral (HAUX, 2004).
Nota-se entre essas funções uma significativa preocupação com o registro de informações relacionadas ao paciente, a suas enfermidades e ao seu tratamento, o que é evidenciado pelo compromisso em se registrar planejamento, resultados, códigos, entre outros elementos. Isso é necessário devido à natureza dos serviços de saúde dos hospitais, que envolvem condições agudas e complexas - concentrando para tanto recursos escassos-. Além disso, hospitais compõem um espaço essencial para a educação de profissionais da saúde e são uma base crítica para pesquisas clínicas (OMS, 2020). Exemplos de condições agudas e complexas são as diferentes formas de câncer, politraumas e queimaduras severas. Para diagnosticar e tratar casos como esses são utilizados diretamente equipamentos tecnológicos de alto custo, como tomógrafos e aparelhos de ressonância magnética, além de diversos setores de apoio, o que ajuda a explicar a concentração de recursos que ocorre em hospitais, o que envolve a necessidade de controle e registro evidenciada na análise das funções dos hospitais.
Nesse sentido, durante as últimas décadas as tecnologias relacionadas ao setor médico têm evoluído de maneira ostensiva, fato que se relaciona ao aumento em número e complexidade dos setores dos hospitais (GONÇALVES, 1998). Em uma perspectiva organizacional, isso significa que as burocracias profissionais são os arranjos organizacionais típicos para hospitais (MINTZBERG, 1979). A característica mais marcante dessa configuração é a dependência de coordenação e padronização de habilidades e parâmetros de design e treinamento.
Por esses motivos, os profissionais encontrados nesse tipo de organização são especialistas altamente treinados para realizar as operações da organização (MINTZBERG, 1979). Em hospitais há diversos exemplos desses profissionais, como cardiologistas, neurocirurgiões ou psiquiatras - especialistas que necessariamente passaram por faculdade, residência e especialização para se tornarem aptos a trabalhar no campo.
Como o treinamento intenso é um pré-requisito para a compreensão do trabalho e para a capacidade de realizá-lo, esses profissionais assumem poder considerável sobre os próprios trabalhos, garantindo-lhes alto poder de discricionariedade (MINTZBERG, 1979). Isso significa que, embora os hospitais apresentem necessidade de estruturar racionalmente seus numerosos setores, existe uma dificuldade para se coordenar as relações entre pessoas e grupos que convivem na organização hospitalar. Uma das formas como tal dificuldade se manifesta é na ocorrência de conflitos e tensões e na resistência para se repartir poderes, para se aceitar normas e sugestões (GONÇALVES, 1998). Dessa maneira, fica evidente que algumas classes de profissionais da saúde apresentam poder suficiente para afetar a implementação e a manutenção dos Sistemas de Informação Hospitalares de acordo com seus interesses. Isso pode significar a não adoção de determinadas partes do sistema, o mau uso de outras partes, dentre outras possibilidades de intervenção.
Outro ponto a se ressaltar é a divisão dos hospitais de acordo com as especializações dos funcionários, caracterizando um design funcional desse tipo de organização (DUNCAN, 1979). Segundo Lega e DiPietro (2005), existem três motivos principais para que esse desenho de organização seja preponderante atualmente: a necessidade de estabelecer claramente as responsabilidades de cada especialista em um hospital; o peso dos interesses dos profissionais nos processos decisórios; e a dificuldade de controlar, organizar e supervisionar uma alta quantidade de leitos e de pessoal - o que favorece a departamentalização. Esse fenômeno, no entanto, pode ser danoso à medida em que fragmentar e especializar excessivamente as tarefas, diluindo demais as responsabilidades pela qualidade e pelo padrão de desempenho institucional (GONÇALVES, 1998).
Assim, existe um contexto onde a tecnologia da informação assume importância singular na administração de todos os seis pilares dessas organizações.
Em um hospital, informações podem ser geradas e recebidas em diversos pontos de atendimento, como a recepção, a triagem, o atendimento, a internação, os exames de imagem, os exames laboratoriais, o bloco cirúrgico, a farmácia, a maternidade e os mais diversos centros de tratamento, como hemodiálise e radioterapia.
Evidentemente, é necessário para o andamento do tratamento dos pacientes que departamentos distintos troquem informações entre si, sendo esse um dos principais papéis desempenhados pelos Sistemas de Informação Hospitalares, cujas
funcionalidades e subdivisões principais serão abordados de maneira mais detalhada na seção seguinte.
2.3 Módulos e funcionalidades de Sistemas de Informação Hospitalares
O entendimento de todo sistema de informação parte de um modelo, isto é, de uma descrição simplificada daquilo que o idealizador do sistema considera relevante (HAUX et al, 2004). Há várias perspectivas que podem balizar a criação de um modelo, como as óticas: funcional, técnica, organizacional, baseada em dados ou em processos, e a perspectiva que engloba todas as demais. O ponto de vista funcional, especificamente, é utilizado para criar modelos baseados em quais funções da organização apresentam suporte por parte do sistema de informação, ou seja, o que deve ser feito pela ferramenta. Normalmente há uma hierarquização de funções desde as mais gerais, como “gerenciamento do prontuário do paciente”, até as mais específicas, a exemplo da “documentação dos achados médicos” (HAUX et al, 2004).
Embora nem todo Sistema de Informações Hospitalares apresente um modelo funcional, esta seção busca explicar esse tipo de design para explorar de maneira elucidativa quais são os principais papéis desempenhados por tais ferramentas, facilitando a compreensão das avaliações analisadas neste estudo.
Nesse sentido, serão denominadas “módulos” as funções mais gerais desses sistemas, que estão vinculadas a processos hospitalares, e “funcionalidades” as mais específicas. Segundo Sirintrapun e Artz (2016), os Sistemas de Informação Hospitalares podem ser divididos em quatro módulos. Além disso, o Institute of Medicine (2003) estabelece um guia de oito funcionalidades chave para que um sistema de informação de saúde possa promover a segurança do paciente.
Os módulos de Sistemas de Informação Hospitalares são quatro, especificamente: os sistemas de base, os sistemas financeiros, os sistemas departamentais e o prontuário eletrônico do paciente (SIRINTRAPUN; ARTZ, 2016).
Primeiramente, os sistemas de base são aqueles que lidam primordialmente com questões gerenciais das organizações de saúde. Aqui se encontram os processos de admissão, alta e transferência (ADT), bem como processos logísticos de compra de materiais e gerenciamento de estoque, pessoal e recursos de forma geral. Os sistemas financeiros estão vinculados a atividades de cobrança pelos serviços hospitalares, a sistemas contábeis relacionados aos custos e ao gerenciamento de informações financeiras (SIRINTRAPUN; ARTZ, 2016).
Com o funcionamento mais diretamente vinculado aos serviços de saúde em si estão os sistemas departamentais e o prontuário eletrônico do paciente. Os sistemas departamentais são aqueles específicos para demandas e operações de
um departamento (SIRINTRAPUN; ARTZ, 2016), o que condiz com a estrutura organizacional especializada explicada no item anterior. Assim, existem departamentos variados com as especialidades médicas, cada qual com diferentes demandas por informação e produzindo dados distintos, os quais muitas vezes precisam ser trocados entre as repartições. Por fim, existem os prontuários eletrônicos do paciente, que são definidos pela norma ISO/TR 20514 da Organização Internacional de padronização (ISO, 2005) como repositórios de informação sobre as condições de saúde de um paciente. Eles devem ser processados via computador, armazenados e transmitidos com segurança para usuários autorizados.
No contexto dos módulos um grande desafio relacionado é a interoperabilidade: a capacidade de sistemas de trocar informações relacionadas à saúde (HOYT; SUTTON; YOSHIHASHI, 2009). Seguindo essa lógica, a interoperabilidade é o que permite que informações (como laudos de exames, diagnósticos clínicos, pedidos de procedimentos) sejam trocadas entre departamentos, entre um departamento e um módulo financeiro ou gerencial do SIH e inclusa de maneira coesa no prontuário médico do paciente. Assim, a falta de interoperabilidade pode causar a ausência de dados relevantes ou a má qualidade dessas informações, impactando serviços de saúde e administrativos.
Adentrando as funcionalidades, destaca-se que o Institute of Medicine (2003) realizou uma pesquisa para averiguar quais são as principais funções de cuidado de saúde de um sistema de informação de saúde de qualidade para garantir a segurança de um paciente. Foram encontradas: informações e dados de saúde, gerenciamento de resultados, entrada e gerenciamento de pedidos médicos, sistema de suporte a decisões, comunicação e conectividade eletrônicas, suporte ao paciente, processos administrativos, gerar relatórios de gerenciamento da saúde da população (IOM, 2003).
Primeiramente, a funcionalidade “informações e dados de saúde” trata de um pré-requisito: a presença de informações corretas e adequadas em um espaço de tempo apropriado para subsidiar o trabalho de profissionais da saúde (IOM, 2003). A funcionalidade “gerenciamento de resultados” é a capacidade do sistema de garantir o acesso no tempo certo e por pessoas autorizadas ao acesso a laudos médicos, resultados de testes e afins (IOM, 2003).
A funcionalidade “entrada e gerenciamento de pedidos médicos” é a capacidade do sistema de permitir a entrada de pedidos médicos - sejam eles prescrições, exames ou procedimentos - e gerenciá-los conforme necessário - por exemplo, ao enviar um pedido à farmácia ou ordenando a fila de pacientes que utilizarão o raio-X por ordem de prioridade. A funcionalidade “suporte a decisões”
engloba uma grande variedade de ferramentas para melhorar a tomada de decisões, como lembretes, alertas, guias clínicos e suporte ao diagnóstico (SIRINTRAPUN;
ARTZ, 2016).
A funcionalidade “comunicação e conectividade eletrônicas” é composta por variadas formas de comunicação entre pessoas, como e-mail e mensagens, o que é essencial para que se evite eventos adversos no cuidado à saúde (IOM, 2003). A funcionalidade “suporte ao paciente” está relacionada a portais de acesso voltados para pacientes, favorecendo a comunicação entre eles e os profissionais da saúde inclusive no que tange os prontuários do paciente (SIRINTRAPUN; ARTZ, 2016).
A funcionalidade “processos administrativos” envolve ferramentas de agendamento de admissões, internações, procedimentos e visitas (IOM, 2003), além de outros pontos relacionados ao módulo de sistemas de base. Por fim, a funcionalidade “gerar relatórios de gerenciamento da saúde da população” envolve o cumprimento de regras relacionadas à publicização de informações hospitalares relevantes à saúde pública, como dados epidemiológicos. Tais dados devem, idealmente, ser coletados e apresentados pelo próprio sistema.
É importante ressaltar que Haux et al (2004) inclui também outras funcionalidades essenciais para todos os Sistemas de Informação Hospitalares.
Segundo o autor, todas as principais funções dos hospitais devem ser auxiliadas pela ferramenta, sendo elas: a admissão de pacientes, o planejamento e a organização do tratamento de pacientes, a entrada de ordens médicas e comunicação de achados, a execução de procedimentos diagnósticos e terapêuticos, a documentação clínica, a documentação administrativa e cobrança, a alta de pacientes e referência para outras instituições, o gerenciamento de prontuários dos pacientes, a organização do trabalho e planejamento dos recursos e a administração do hospital (HAUX et al, 2004).
Haux et al (2004) inclui um número maior de funcionalidades necessárias aos Sistemas de Informação Hospitalares em comparação com o IOM (2003). Nesse
sentido, destaca-se que toda função existente no sistema acarreta significativo custo adicional para desenvolvimento e manutenção da ferramenta, como ocorre com o desenvolvimento da maioria dos softwares. Por isso, nem todos os módulos e funcionalidades possíveis são incluídos nos Sistemas de Informações Hospitalares, sendo necessário dar suporte via papel às funções hospitalares não contidas na tecnologia.
2.4 Objetivos e potenciais resultados de Sistemas de informação Hospitalares
Uma vez caracterizados os Sistemas de Informação Hospitalares, é importante compreender o que a literatura diz sobre os resultados esperados e possíveis após a implementação de um SIH para que seja possível compreender as expectativas existentes sobre eles. Nesse sentido, na presente seção serão abordados os potenciais benefícios decorrentes do bom funcionamento do sistema, as características de um sistema em bom funcionamento, as possíveis repercussões organizacionais da implementação do sistema e as desvantagens relacionadas a sistemas de informação hospitalares. Conhecer esses pontos é importante para o entendimento das avaliações desses sistemas, uma vez que se trata de uma abordagem das perspectivas de sucesso das ferramentas.
Em primeiro plano, os potenciais benefícios dos Sistemas de Informação Hospitalares são os efeitos positivos produzidos pelas ferramentas quando elas estão em bom funcionamento. Alguns benefícios dos Sistemas de Informação Hospitalares são bastante evidentes: evitando-se registros físicos de papel, previne-se problemas relacionados ao conteúdo (ser completo, não ambíguo e legível), à transcrição do conteúdo e à impossibilidade desses registros estarem disponíveis em lugares distintos para pessoas diferentes em um mesmo momento (MASSAD et al, 2003). Além disso, em sistemas eletrônicos, existem campos que podem impedir a entrada de dados incompletos dos pacientes, não há questões relacionadas à caligrafia ou a necessidade de transcrição - já que os registros podem ser utilizados por múltiplas pessoas ao mesmo tempo (MASSAD et al, 2003).
A redução de erros médicos também é um efeito almejado por meio da implementação desses sistemas.
Esses são exemplos práticos de como Sistemas de Informação Hospitalares podem facilitar o trabalho de profissionais que atuam em hospitais. De forma mais abrangente, os hospitais também se beneficiam da implementação de um sistema de informações de maneira idêntica a outras organizações. Nesse sentido, ganhos de produtividade e o aumento do retorno sobre o investimento são dois resultados almejados ao se implementar quaisquer sistemas de informação (STAIR, REYNOLDS, 2015). Os ganhos de produtividade, ou seja, de resultados entregues pelos profissionais da organização, podem ser identificados de diversas maneiras. Primeiramente, na maior eficiência de acesso às informações dos pacientes, que estão disponíveis digitalmente. Além disso, a gestão das filas de exames e a entrega de resultados se torna mais ágil e com menor potencial de erros. A gestão do hospital também se beneficia mediante uma administração de materiais mais acurada e a possibilidade de identificação de gargalos nos atendimentos.
O aumento de retorno sobre investimento, por sua vez, pode ser desdobrado em quatro fatores: aumento nos ganhos, na participação no mercado, melhoria na percepção do cliente e custo total de propriedade (STAIR, REYNOLDS, 2015). Hospitais públicos também são beneficiados por esse último fator à medida em que ganham eficiência nos gastos públicos com o tratamento de seus pacientes.
Nesse contexto, destaca-se que a gestão dos custos hospitalares pode ser mais precisa quando se utiliza um Sistema de Informações Hospitalares, o que é estratégico para essas organizações. Nesse âmbito, Khalifa (2017) destacou em uma avaliação de múltiplos hospitais diversos pontos de melhoria após a implementação de SIH, a saber: melhora no acesso à informação, maior produtividade de profissionais da saúde, maior eficiência e exatidão da cobrança e dos códigos, melhor qualidade nos cuidados de saúde, melhores diagnóstico e tratamento clínico, menos custos associados a prontuários em papel, redução de erros médicos, maior segurança do paciente, melhores resultados do paciente e maior satisfação do paciente.
Esses são importantes exemplos de Sistemas de Informações Hospitalares em bom funcionamento, sendo importante discutir o que é uma performance adequada em se tratando dessas ferramentas. Isso implica, em primeiro plano, analisar a qualidade das ferramentas, ou seja, o grau com que um conjunto de características intrínsecas do sistema preenche seus requerimentos,
sendo estes necessidades ou expectativas (HAUX et al, 2004). Tratando-se de Sistemas de Informação Hospitalares, existem três abordagens relativas à qualidade: qualidade das estruturas, dos processos e dos resultados. “Qualidade das estruturas” está vinculado à disponibilidade de recursos técnicos ou humanos necessários para o processamento de dados, como a infraestrutura. “Qualidade dos processos” é a qualidade dos processos de informação necessária para atender as necessidades do usuário. Por fim, “qualidade dos resultados” diz respeito ao quanto o sistema de informações do hospital contribui para a consecução dos objetivos da organização (HAUX et al, 2004).
Sittig (1999) contribui para a discussão ao descrever doze pontos necessários para se considerar o sucesso de um módulo de prontuário de pacientes de um Sistema de Informações Hospitalares, em específico. Os dois primeiros são o acesso simultâneo ao conteúdo dos prontuários e sua legibilidade. Outros dez pontos relevantes são a segurança de dados: fundamental para as informações sensíveis existentes no sistema e garantido em um sistema de qualidade. A confidencialidade dos dados do paciente funciona de maneira parecida, garantindo-se acesso aos dados apenas para quem apresentar as credenciais de acesso necessárias (SITTIG, 1999).
A flexibilidade para visualizar informações de maneiras diferentes, a possibilidade de saídas de dados em formatos distintos - como e-mails, áudios e vídeos - e a integração com outros sistemas de informação também facilitam o uso das informações hospitalares em diversos contextos (SITTIG, 1999). Um ponto de destaque é a captura constante de dados fisiológicos dos pacientes, que permite um monitoramento mais assertivo dos pacientes, especialmente quando combinado com a atualização constante de dados e o processamento contínuo de dados, que evita a ambiguidade de informações. Todas essas informações, que idealmente devem poder ser dispostas em formato de relatório, auxiliam as atividades de pesquisas clínicas (SITTIG, 1999).
Em outra perspectiva, alguns possíveis resultados dos Sistemas de Informação Hospitalares advêm especificamente da interação entre essas tecnologias e os indivíduos presentes na instituição. Nesse contexto, cultura organizacional e relações de poder pré-existentes, principalmente, entram em questão gerando efeitos por vezes difíceis de prever e não necessariamente permitindo ao sistema funcionar de maneira adequada. Primeiramente, é importante
ressaltar que cultura organizacional diz respeito a um conjunto de pressupostos e suposições (como crenças, valores e abordagens frente a determinadas situações) existentes em uma instituição (STAIR, REYNOLDS, 2015). Ao implementar um Sistema de Informações, os integrantes de uma organização são submetidos a um processo de mudança organizacional. Esse processo pode ser conceituado como a maneira pela qual as organizações lidam com quaisquer mudanças. Elas podem auxiliar a instituição em suas atividades e resultados, ou transformar completamente os setores ou até mesmo a própria organização (STAIR, REYNOLDS, 2015).
Tais processos de mudanças podem levar ao surgimento da resistência, ou seja, de comportamentos cujo objetivo é prevenir a implementação, o uso de um sistema ou a consecução de seus objetivos. Condutas como tal podem ser percebidas em atitudes que podem levar à disrupção ou à remoção de sistemas utilizados de maneira interdependente entre os usuários (MARKUS, 1983). Em um hospital, situações como essa podem ocorrer se um ou mais médicos, por exemplo, recusarem-se a utilizar o sistema de informações para dar entrada em pedidos de medicamentos preferindo ordenar verbalmente a prescrição aos enfermeiros.
Existem várias teorias sobre as origens da resistência à implementação de sistemas de informação, sendo a base de três delas o comportamento individual dos usuários, as características inerentes da ferramenta (que podem torná-lo problemático ou inadequado), ou a interação entre o sistema e seu contexto de uso (MARKUS, 1983).
O contexto hospitalar, no caso, está relacionado às características formais da organização (departamentalização, hierarquização e as normas formalmente instituídas pela própria organização) e às normas informalmente construídas pela cultura organizacional e pela influência de profissionais (GONÇALVES, 1998). Nesse sentido, a teoria da interação explicada por Markus (1983) envolve as incompatibilidades existentes entre esse contexto e o uso dos sistemas, que pode se desdobrar em mudanças: na divisão de trabalho; na distribuição de poder entre os profissionais; na própria cultura organizacional; no balanço de poder geral da organização; e nos objetivos históricos da instituição. Esse tipo de incompatibilidade pode ocorrer em casos de sistemas que centralizam excessivamente o poder decisório em organizações descentralizadas, por exemplo. Assim, cabe à gerência da da organização optar pelos sistemas mais adequados e às estratégias que serão
utilizadas para minimizar resistências e tornar o uso do Sistema de Informação o mais produtivo possível.
Existem também problemas inerentes dos próprios sistemas de informação que também precisam ser levados em consideração. Mc Donald e Barnett (1990) destacam que implementar e manter um SIH envolve grandes investimentos (relacionados aos equipamentos físicos, ao sistema e ao treinamento para utilizar a ferramenta) que podem levar muito tempo para gerarem resultados.
Além disso, Sistemas de Informação de forma geral estão vulneráveis a problemas técnicos, associados a recursos humanos, ao ambiente, à organização ou ao gerenciamento propriamente dito (WILLCOCKS, 1992).
Primeiramente, qualquer programa computacional está vulnerável a falhas em sua produção, o que pode gerar problemas técnicos imprevisíveis durante seu uso (WILLCOCKS, 1992). Em segundo plano, o treinamento e os resultados do treinamento dos usuários finais de sistemas de informação hospitalares podem ocorrer de maneira insuficiente e, por isso, o sistema não será bem utilizado ou administrado. Em terceiro lugar, o ambiente onde o Sistema de Informação foi implementado pode ser deficitário em infraestrutura tecnológica de tal maneira que os resultados do SI sejam sub-ótimos, como ocorre em instituições onde a rede de computadores está defasada. Em quarto plano, é possível que ocorram resistências, por parte dos usuários finais, à utilização das ferramentas informatizadas. Por fim, o mal gerenciamento de um SI pode exacerbar ou até mesmo gerar diversos dos problemas listados acima (WILLCOCKS, 1992).
3 AVALIAÇÃO
Sistemas de Informação podem gerar importantes ganhos de eficiência para uma organização (STAIR; REYNOLDS, 2015), mas também podem trazer consigo altos custos (MCDONALD; BARNETT, 1990), problemas técnicos (WILCOCKS, 1992), diversas formas de resistência organizacional (MARKUS, 1983), entre outros problemas. Dessa forma, embora a implementação e a utilização de instrumentos como tal seja um avanço tecnológico importante para as instituições, não se trata de processos isentos de falhas, as quais podem apresentar elevados custos financeiros e prejuízos para os serviços. Por esses motivos, é consenso entre pesquisadores a importância de se avaliar sistemas de informação, especialmente no que tange os sistemas de informação de saúde (YUSOF;
PAPAZAFEIROPOULOU; PAUL; STERGIOULAS, 2008). Com isso em mente, esta seção explica o que são avaliações, quais são os principais conceitos associados a elas e seus tipos, explicando de forma mais específica as meta-avaliações. Alguns dos propósitos de se abordar esse conteúdo é favorecer o entendimento das avaliações estudadas no presente estudo como tal e definir os principais parâmetros pelos quais a meta-avaliação se pautou.
3.1 Avaliações
Primeiramente, existem diversas formas de se conceituar “avaliação”.
Marília Ramos e Letícia Schabbach (2012) definem como o julgamento sistemático e objetivo do valor de uma atividade, programa ou política. Ainda segundo as autoras, o objetivo de tal análise é produzir conhecimentos sobre os resultados de certo programa, aprimorar o processo de tomada de decisão, promover a apropriada alocação de recurso, promover accountability, levar a futuros desenhos de políticas mais consistentes (RAMOS; SCHABBACH, 2012). De forma mais simplificada, avaliações são compostas pela explicação de critérios, a coleta de informações confiáveis e válidas sobre o objeto de análise e a aferição de valor dos achados - tudo isso orientado por um objetivo (AGGELIDIS; CHATZOGLOU, 2008).
McDavid e Huse (2019) já conceituam “avaliação” como um processo estruturado, normalmente vinculado a uma série de perguntas ou hipóteses, que cria e sintetiza informações cujo propósito é reduzir o nível de incerteza para os tomadores de decisões e para os stakeholders sobre um programa ou política. Outro
benefício desse tipo de análise é descobrir efeitos não intencionais das ações da organização (MCDAVID; HUSE, 2019). Boschetti (2009) acrescenta à discussão a ideia de que avaliar envolve o estabelecimento de uma relação entre um projeto e seu resultado, sendo os objetivos, intenções e desempenho os parâmetros.
Glass e Ellet (1980) trazem sete perspectivas distintas para compreender o que são as avaliações: ciência aplicada, gerenciamento de sistemas, teoria da decisão, análise do progresso em relação a objetivos, jurisprudência, descrição e empirismo racional. Conceber “avaliação” como uma ciência aplicada implica restringi-la a análises operacionalizadas e medidas quantitativas em busca de causas e com controle nas análises sobre os efeitos de uma intervenção (GLASS;
ELLET, 1980). A perspectiva de gerenciamento de sistemas já é mais abrangente, associando a avaliação a todos os elementos de um programa social, como o planejamento, a implementação, os testes e a revisão. A teoria da decisão já percebe as avaliações como suprimento essencial das tomadas de decisão (GLASS;
ELLET, 1980).
A noção de avaliação enquanto análise do progresso em relação a objetivos envolve a mensuração do progresso em direção a objetivos pré-especificados (GLASS; ELLET, 1980). A lógica de jurisprudência implica compreender as avaliações como uma disputa entre lado favorável e lado contrário à intervenção, a ser julgada de acordo com as evidências apresentadas. Avaliações também podem ser entendidas como descrições completas de seus objetos (eventos, efeitos, expectativas e julgamentos), normalmente realizadas em estudos de casos. Por fim, Glass e Ellet (1980) apresentam o filósofo Michael Scriven (1928 - ) como principal definidor das avaliações vistas como racionalismo empírico.
Seguindo esta lógica, para fins deste trabalho, “avaliação” será definida como o método de se compreender e estabelecer o mérito, importância ou valor de algo ou do próprio processo de aferição de valor (SCRIVEN, 2019).
Uma vez definido o que é avaliação, é importante apresentar seus principais conceitos. O primeiro é o objeto de análise, ou seja, aquilo que será avaliado. Em seguida, existem os objetivos: as razões pelas quais o objeto está sendo avaliado. Os objetivos podem estar relacionados a uma melhora no planejamento do objeto ou de um processo em andamento do objeto, à compreensão de impactos da intervenção, à tomada de decisões sobre o objeto, e às contribuições em termos de conhecimento (CONTANDRIOPOULOS et al, 1997).
Determinados objetos e objetivos, é importante entender quem fomentou a avaliação: o financiador. Ele é um dos atores interessados (stakeholder) que participa da avaliação enquanto cliente (a pessoa ou grupo para quem a avaliação é formalmente feita). Outros stakeholders importantes são os avaliadores e os avaliados (SCRIVEN, 1991).
Nesse contexto, um passo importante das avaliações é a negociação entre as partes envolvidas em relação à condução da avaliação, resultando em um contrato para a execução da avaliação (FRIEDMAN; WYATT, 2022). No contrato estão também presentes os critérios de avaliação. Eles são considerados fatores centrais na melhora de qualidade na prática de avaliação global, permitindo que organizações entreguem avaliações relevantes para as necessidades dos tomadores de decisão e que contemplem uma ampla gama de resultados pretendidos e não pretendidos (OCDE, 2021). Tais critérios são aplicados sobre um conjunto de dados coletados cujo valor é, então, determinado e compilado em um relatório de avaliação. A importância dos critérios de avaliação é tal que eles apresentam uma seção própria neste estudo.
3.2 Tipos de avaliação
Esses foram os principais elementos de qualquer avaliação. Nesse sentido, é importante ressaltar que as avaliações não são todas iguais: existem tipos diferentes de avaliações, cada qual com suas características próprias. Uma primeira distinção importante pode ser feita entre avaliações formativas e avaliações somativas. Segundo Scriven (1991), avaliações formativas são conduzidas durante o desenvolvimento ou melhora de um programa ou produto e, normalmente, para integrantes da organização - embora também possam ser realizadas por avaliadores externos. Avaliações somativas, por sua vez, são realizadas após o término ou a estabilização de um programa, muitas vezes com o objetivo de satisfazer o público externo (SCRIVEN, 1991). Essa diferenciação permite identificar os papéis da avaliação. Chen (1996) propôs outra forma de categorização, ilustrada na figura 1 :
Figura 1 : Tipos básicos de avaliação
Funções da avaliação
Estágio do programa
Melhora Análise
Processo Avaliação de melhora de processos
Avaliação de análise de processo
Resultado Avaliação de melhora de resultados
Avaliação de análise dos resultados
Fonte: Chen (1996).
Nesse esquema analítico, avaliações de melhoria de processos têm o objetivo de prover informações sobre forças e fraquezas da estrutura de um programa ou processo de implementação para melhorar o programa ou auxiliar na tomada de decisão. Avaliações de análise de processos, por sua vez, pretendem julgar os méritos de um processo de implementação de um programa (CHEN, 1996).
Por sua vez, avaliações de melhoria de resultados estudam as fraquezas e forças relativas de elementos de programas ou de processos de implementação, fornecendo informações relacionadas aos objetivos dos próprios programas. Por fim, avaliações de análises de resultados oferecem um julgamento geral do mérito ou valor de um programa (CHEN, 1996). Esta forma de divisão é semelhante à de Scriven (1991), mas acrescenta maior detalhamento em relação a quais funções a avaliação deve cumprir.
Existe outra categorização a ser discutida na presente seção: a de Aguilar e Ander-Egg (1994), que distinguem entre avaliação de planejamento, de processo e de resultado (apud COTTA, 1998). Avaliações de planejamento analisam a coerência formal e conceituai da intervenção, enquanto avaliações de processo remetem ao acompanhamento da execução e as avaliações de resultado comparam os desfechos obtidos com os pretendidos (AGUILAR; ANDER-EGG, 1994, apud COTTA, 1998). A distinção proposta pelos autores auxilia, de forma simples, a compreensão de qual fase da intervenção foi submetida a análises.
Independentemente de qual a classificação de uma avaliação, é importante que ela apresente um certo patamar de qualidade para que possa produzir seus efeitos desejados. Para contribuir nesse sentido, foi idealizado um tipo específico de avaliação: as meta-avaliações. A meta-avaliação é, de maneira resumida, a avaliação de avaliações (SCRIVEN, 1991). Segundo Stufflebeam (2001), meta-avaliação é um processo de delinear, obter e aplicar informações
descritivas e de julgamento (seja de utilidade, viabilidade, propriedade e acurácia) sobre avaliações para guiar avaliações futuras ou relatar forças e fraquezas dessas avaliações. Nesse sentido, a natureza, conduta, integridade, respeito e responsabilidade social das avaliações também deve ser considerada (STUFFLEBEAM, 2001). O presente estudo utiliza a definição da OCDE (2002), segundo a qual “meta-avaliações” são avaliações utilizadas para agregar achados de uma série de avaliações ou, também, para avaliar avaliações no que tange qualidade ou performance dos avaliadores.
Segundo Scriven (1991), realizar meta-avaliações é uma obrigação profissional para os avaliadores. Infelizmente, o processo avaliativo está vulnerável a falhas tais que podem tornar seus resultados pouco úteis quaisquer sejam seus objetivos. Existem seis classes de problemas que podem levar a prejuízos em avaliações: conceituais, sociopolíticos, contratuais, legais, técnicos, administrativos e éticos (STUFFLEBEAM, 2011). Isso leva à uma necessidade de meta-avaliações como forma de garantir a qualidade do trabalho das avaliações e, assim, ganhar credibilidade frente a clientes (STUFFLEBEAM, 2001). Em suma, a importância das meta-avaliações está em contribuir para o campo de avaliações e para a qualidade de avaliações individuais de modo a gerar resultados mais próximos da realidade.
Existem dois pontos de vista para se realizar meta-avaliações: formativo e somativo (STUFFLEBEAM, 2001). Meta-avaliações formativas são aquelas que ocorrem simultaneamente ao processo avaliativo, contribuindo ativamente para a formação de uma avaliação; meta-avaliações somativas ocorrem após as avaliações e utilizam dados do relatório e, possivelmente, outros dados coletados . Para realizar meta-avaliações são utilizados critérios e padrões que contemplem atributos suficientes e necessários sobre os relatórios e os designs das avaliações (STUFFLEBEAM, 2011). Dois exemplos importantes desses critérios são os critérios da Organização para a Cooperação e Desenvolvimento (OCDE) e da Joint Committee on Standards for Educational Evaluation (JCSEE).
3.3 Critérios de avaliação
No contexto das avaliações, “critérios” são padrões externos com regras ou normas pré-selecionadas a ser aplicadas sobre a intervenção que se pretende estudar (MORSE, 1994). Segundo a OCDE (2021), trata-se da base de um
julgamento avaliativo. O objetivo é verificar se a avaliação supera determinados padrões e expectativas (MORSE, 1994) e oferecer suporte a avaliações consistentes e de alta qualidade (OCDE, 2021). Dessa forma, os critérios orientam a avaliação em seu processo de determinação do valor de um programa, política ou estudo. A escolha de quais critérios serão utilizados devem refletir diretamente as questões mais importantes a ser respondidas por uma avaliação (FRIEDMAN; WYATT, 2022).
Os atributos escolhidos podem ser vistos como um conjunto complementar em que cada parâmetro traz uma perspectiva única e diferente sobre a intervenção (OCDE, 2021).
De forma geral, existem dois grupos de critérios: os qualitativos e os quantitativos. Os quantitativos estão relacionados a fenômenos estáveis, previsíveis e mensuráveis da realidade que funcionam a partir das leis de causa e efeito (MIYATA, 2009). Nesse sentido, destaca-se que esse tipo de critério está associado a algumas premissas: a mensurabilidade dos atributos da intervenção, a racionalidade, a superioridade de medidas numéricas a descrições verbais, e a possibilidade de provar a superioridade de uma alternativa a outra (FRIEDMAN;
WYATT, 2022). Custos, lucro, número de vendas, quantidade de defeitos encontrados e produção diária são exemplos de elementos que podem ser mensurados quantitativamente e utilizados como critérios para avaliação de uma intervenção, como a introdução no sistema produtivo de uma máquina inovadora.
Em um hospital, aspectos que poderiam ser medidos são: tempo de consulta com um médico, tempo de espera para realizar um procedimento, número de profissionais da saúde utilizando o Sistema de Informações Hospitalares e tempo de uso do sistema por parte desses trabalhadores.
Por sua vez, os critérios qualitativos são aplicados sobre realidades subjetivas, complexas, com múltiplas possibilidades de variação e imensurável (MIYATA, 2009). Nessa perspectiva, quaisquer observações realizadas dependem da ótica do observador, a compreensão do contexto é essencial para a avaliação, há diversos pontos de vista possíveis sobre os resultados desejáveis, descrições verbais podem ser muito esclarecedoras e as avaliações dependem de argumentação (FRIEDMAN; WYATT, 2022). Utilidade de um sistema de informações, ansiedade em relação ao seu uso e benefícios que podem ser percebidos por meio do uso da ferramenta informacional são critérios dessa natureza. Nota-se que nenhum deles pode ser mensurado de forma direta, uma vez que eles tem base nas
