O presente estudo teve como objetivos a adaptação transcultural e a validação da versão para trabalhadores do instrumento RSA-R para o contexto brasileiro. Conforme já apresentado, a justificativa para a realização da pesquisa foi primordialmente a necessidade de aprimoramento das estratégias avaliativas em saúde mental no Brasil, especialmente no que se refere à sua atualização de acordo com a tendência global para abordagens transculturais, associada ao desenvolvimento ainda incipiente de estudos avaliativos na área, com indicadores consistentes que se traduzam em fundamentos para informar políticas públicas. Especificamente em relação a variáveis ou temas em saúde que não podem ser medidos diretamente, a utilização e propagação de instrumentos de aferição tem sido crescente na comunidade científica (99).
Trata-se, portanto, de desafios aos quais o grupo de pesquisa em que este estudo se insere tem tentado responder, inclusive articulando essas novas demandas à sua trajetória no campo da avaliação de serviços e práticas de saúde mental e, mais especificamente, da avaliação participativa e de quarta geração (6,27,30,61,100,101), que se apresentam como outras tendências no cenário internacional.
Conforme já mencionado, pesquisas de avaliação de serviços e programas de saúde devem ser utilizadas com a finalidade de informar políticas públicas, a fim de qualificar a atenção prestada. Na América Latina de modo geral com os movimentos de reformas sanitárias, e no Brasil especificamente a partir da Constituição de 1988 e da consolidação do SUS, quando ampliam-se as iniciativas ligadas às políticas públicas sociais e de saúde, passa-se a reivindicar avaliações sistemáticas de tais ações, a partir da necessidade crescente de verificação de sua eficiência, eficácia e efetividade. Ainda assim, o reconhecimento e a incorporação de processos avaliativos enquanto instrumentos inerentes à gestão pública são incipientes (102,103). Além dessa dificuldade, outros aspectos influenciam as práticas de avaliação, não apenas no contexto brasileiro.
À falta de uma cultura avaliativa local vem somar-se o fato de a avaliação como campo conceitual e de trabalho ainda carecer de contornos mais definidos, tanto aqui quanto em outros países. O papel do avaliador comporta várias indefinições, conceitos da área são utilizados de maneiras distintas ou mesmo divergentes, além de que novos conceitos são criados com frequência, redundando em
grande diversidade terminológica, identificada há tempo, que parece perdurar aqui e em outros países. Já se afirmou, inclusive, haver tantos tipos de avaliação quanto de avaliadores (102).
Diante das dificuldades relacionadas à grande diversidade de concepções e metodologias na área, muitos são os esforços no sentido de estabelecer critérios para padronização das ações de avaliação que, muitas vezes, não cumprem exatamente o papel pretendido, acrescentando mais elementos a serem analisados, e pouco articulados entre si e com as situações práticas alvo das avaliações. Uma necessidade no campo da avaliação em saúde, portanto, seria potencializar a aproximação entre teoria e prática nos processos avaliativos (102).
Luján-Tangarife e Cardona-Arias (2015) apontam que a literatura científica da área de validação de instrumentos apresenta limitações relacionadas à falta de clareza entre a comunidade acadêmica sobre os critérios que devem ser avaliados, à ausência de consenso entre diversos aspectos das metodologias de validação, e à diversidade de opções metodológicas com que se realizam os processos. Esse é um dos fatores que pode levar a um processo de validação insuficiente, o que limita a equivalência entre escalas, reduzindo as possibilidades de comparação entre diferentes culturas sobre determinado fenômeno, e de intercâmbio de informações na comunidade científica. No caso de instrumentos como o RSA, cuja função é avaliar serviços de saúde, essas limitações poderiam ter impactos inclusive no sentido de induzir políticas públicas inadequadas (99).
De fato, a diversidade de estratégias metodológicas produziu, ao longo deste trabalho, efeito em que nos deparamos com muitos elementos a serem analisados, muitas vezes encontrando, por exemplo, diferentes definições para um mesmo conceito ou parâmetro24. Por outro lado, a amplitude de recursos
metodológicos nos permitiu a incorporação de dispositivos alinhados às abordagens de pesquisa participativa, conforme relatado no primeiro e no segundo artigo. Essa articulação ocorreu em consonância com diretrizes recomendadas para estudos de adaptação transcultural, e com a experiência acumulada do Grupo de Pesquisa Interfaces sobre avaliação de serviços de saúde mental, pesquisa participativa e de quarta geração. Constituiu-se em um processo inovador no campo da adaptação de instrumentos, avaliado como tal também pela pesquisadora responsável pelo
24Como é o caso do perfil de experts para a Avaliação por Especialistas, ou dos valores mínimos para
desenvolvimento do RSA, Professora Maria O’Connell, que acompanhou e participou ativamente de várias etapas do processo.
Em relação ao processo de validação, diversos fatores podem explicar a insuficiência de alguns dos resultados, conforme discutido no terceiro artigo. Dentre eles, a diminuição do tamanho da amostra após a tabulação dos dados muito provavelmente foi o mais siginificativo. Embora alguma porcentagem de perdas nesse tipo de escala seja algo comum (37,54), consideramos que um estudo futuro de validação do RSA-R com tamanho maior de amostra válida para análise deve indicar de forma mais consistente as potencialidades e limitações do instrumento.
Uma outra limitação encontrada no estudo foi a dificuldade em acessar trabalhadores com disponibilidade e interesse para participar do estudo. Embora Campinas seja um município de grande porte, com uma ampla de rede de atenção em saúde mental e, portanto, grande quantidade de trabalhadores, observamos entraves em muitas das equipes para a realização do trabalho de campo. A partir das observações da pesquisadora, inclusive enquanto profissional da área e ex- trabalhadora da rede de Campinas, além de análises de estudos sobre o trabalho em saúde mental, atribuímos essa dificuldade à grande e crescente demanda de casos cada vez mais complexos para os serviços, aliada à também crescente escassez de recursos para o trabalho. Como já apontado, esse contexto, não raro, produz sobrecarga de trabalho e emocional às equipes; um dos efeitos disso é desmotivação a participar de projetos externos, como pesquisas.
É importante lembrar as evidências encontradas na literatura de que a satisfação com o trabalho em saúde mental não raro está relacionada a aspectos como o trabalho em equipe interdisciplinar, e o desenvolvimento de projetos inovadores e diferenciados (104), dentre os quais a perspectiva de Recovery se insere (52,53). Assim, nosso trabalho de campo reforça a análise de que o envolvimento mais direto dos trabalhadores com a concepção de Recovery e com o desenvolvimento de ações nesse sentido com os usuários, tende a produzir efeitos positivos não apenas para estes, mas também para a equipe.
Há também aspectos já apontados no terceiro artigo que podem ter influenciado na dificuldade de participação por parte dos trabalhadores. A extensão do instrumento (embora o RSA-R seja uma versão já revisada), somada à grande quantidade de opções de resposta, pode levar à menor disponibilidade dos participantes em responder (105,106). No caso deste estudo, avaliamos que isso
ocorreu principalmente devido a um tempo insuficiente que os trabalhadores poderiam dispensar à participação na pesquisa, uma vez que a coleta foi realizada nos serviços, nos horários de trabalho dos profissionais. A avaliação deste estudo, corroborada por outras pesquisas que utilizaram o mesmo instrumento em outros contextos (51,54,106), é de que o RSA ainda é um instrumento longo, mesmo para o grupo dos trabalhadores, considerando eventuais dificuldades de leitura e compreensão, e o fato de que a aplicação ocorre durante o período de funcionamento dos serviços.
Também conforme mencionado no artigo 3, a ausência de financiamento específico para o projeto também foi um aspecto limitante durante todo o estudo. Particularmente no estudo de validação, em que o trabalho de campo é mais longo e exige a contribuição de mais participantes, avaliamos que uma verba destinada à pesquisa teria otimizado o trabalho, com a contratação de entrevistadores, por exemplo, e possibilitado formas de ressarcimento para os participantes.
A contribuição dos trabalhadores, enquanto grupo de interesse, para as modificações no RSA-R, foi constatada ao longo de todo o processo, conforme mostram de forma mais direta os artigos 1 e 2. No processo de validação, conforme apresentado no terceiro artigo, embora a participação dos profissionais tenha sido a partir da aplicação do instrumento, também foi discutida a relevância dessa contribuição, concluindo com a necessidade de maior aproximação aos trabalhadores em próximos estudos.
Também é importante ressaltar que, embora os principais estudos sobre Recovery e sobre o RSA tenham origem em países com características sociais e econômicas muito diferentes das do Brasil, dificuldades em consolidar serviços e programas de saúde orientados para facilitar aspectos como autonomia e protagonismo dos usuários, também aparecem nessas regiões, conforme discutido ao longo do trabalho. Constatamos, assim, que a tendência parternalista e com enfoque na doença, mais do que no indivíduo e em suas potencialidades, não é uma particularidade exclusiva dos serviços de saúde mental brasileiros.
Ainda assim, foram evidentes as discrepâncias em termos de características socioculturais e econômicas entre o contexto de origem do instrumento e o Brasil. Tanto no processo de adaptação transcultural quanto no de validação, isso acarretou significativos desafios metodológicos, tendo sido um aspecto discutido nos três artigos.
É necessário reconhecer, portanto, que o campo da avaliação apresenta o desafio de inserir-se no cenário mundial de globalização da ciência, mas de modo a produzir ações que se conectem com a realidade específica do contexto em questão. Nesse sentido, a incorporação de metodologias avaliativas que englobam tanto conceitos e diretrizes recomendados internacionalmente, quanto as contribuições dos diversos grupos de interesse envolvidos, torna-se um movimento estratégico no cenário brasileiro atual. Embora o RSA não se insira nos modelos de avaliação de quarta geração, há uma proposta de inclusão do julgamento dos principais atores do processo de atenção em saúde mental em relação à qualidade dos serviços.
Os resultados deste estudo mostraram que há um grande potencial no contexto brasileiro para uma melhor incorporação dos princípios do Recovery na atenção comunitária em saúde mental. Essa constatação, inicialmente uma primeira hipótese do estudo, foi verificada principalmente através do processo de adaptação transcultural do RSA-R que, desde a etapa de Preparação, avaliou as possibilidades de articulação do conceito de Recovery com o paradigma da Reabilitação Psicossocial. Também no estudo de validação, embora os resultados não tenham sido plenamente satisfatórios em relação às propriedades psicométricas, tivemos retorno de trabalhadores participantes no sentido de que responder à pesquisa produziu reflexões sobre suas práticas nos serviços, e sobre a necessidade de reavaliação e mudanças no processo de trabalho.
Entretanto, o trabalho também revelou a necessidade de aprimoramento, não apenas da validade e confiabilidade do instrumento para o contexto brasileiro, mas também da construção de uma forma de incorporação do conceito de Recovery que não seja uma mera transposição, mas que reflita verdadeiramente as características sociais, econômicas e culturais do Brasil. Além disso, conforme discutido no terceiro artigo, outros estudos que utilizaram o RSA indicaram diversas limitações do instrumento, mesmo em contextos sociais mais próximos ao de origem da escala.
É importante ressaltar também, conforme indicam alguns autores, que muitos são os elementos que influenciam para as evidências de validade e confiabilidade em um processo de adaptação e validação de instrumentos. Diferenças populacionais entre os contextos envolvidos, por exemplo, tais como número de participantes, nível de escolaridade, gênero e faixa etária, além de
aspectos como método de administração, período considerado, análise estatística, dentre outros, podem interferir diretamente no desempenho dos instrumentos (107,108). Discrepâncias psicométricas devem ser analisadas cuidadosamente, pois não necessariamente significam alguma falha importante no processo de adaptação em si (107).
Muitos percalços metodológicos que dominam esses estudos desbancam por completo a idéia de “verdade objetiva”. Os autores propõem, assim, a noção de “veracidade construída” como uma base para afirmar o conhecimento. Apontam como o “construir” do conhecimento fica evidente quando se percebe o quanto a validade de especificação de um modelo estatístico necessita de um quadro teórico para sua instalação. Por sua vez, esse modelo teórico tende a crescer e se consolidar lentamente ao longo de um processo interativo de teoria e experimentação. No cerne dessa argumentação está o rigor nos métodos ao se planejar e executar um estudo epidemiológico (107).
Além disso, um outro objetivo a ser alcançado a partir deste tipo de estudo, é a maior apropriação dos grupos de interesse e da comunidade local em relação à relevância das pesquisas e dos seus efeitos, por meio do compartilhamento de informações e construção coletiva de problemas de pesquisa (109,110). Compreendemos ser essa uma necessidade no Brasil, tanto em relação ao conceito de Recovery no campo da saúde mental, quanto em relação a pesquisas de avaliação de serviços.
Reforçando esse argumento, alguns autores sugerem estratégias para dar visibilidade aos efeitos da utilização de práticas orientadas pela perspectiva de Recovery como formas de apoiar e incentivar esse tipo de ação. Algumas dessas estratégias envolvem a utilização de ferramentas para desenvolvimento dos serviços e padrões de qualidade para promoção de Recovery, e avaliação e publicização de processos e resultados relacionados ao Recovery (como níveis de empoderamento dos usuários, sua inserção social e desempenho de papéis socialmente reconhecidos, realização de objetivos pessoalmente valorizados) (18,38). Essas são ações que podem e devem ser realizadas pela comunidade acadêmica, mas também pelos trabalhadores e outros colaboradores dos serviços de saúde mental.
Assim, consideramos que uma das importantes funções desta pesquisa foi levar aos trabalhadores a discussão sobre Recovery e sobre recomendações
para um serviço orientado por essa perspectiva, tema de que trata o RSA, de modo a informar e incentivar a multiplicação das discussões entre as equipes, usuários e comunidade. Retomando o papel central que os profissionais tem na atenção em saúde mental no Brasil, e reconhecendo os entraves que ainda temos para a consolidação de um sistema orientado por perspectivas alinhadas ao Recovery, podemos dizer que este estudo se constituiu em uma certa análise de conjuntura. Análise que, acreditamos, pode possibilitar a construção de ações, e avaliações dessas ações, mais próximas à realidade do cuidado em saúde mental no contexto brasileiro.
Lembrando Uchimura e Bosi (2002),
O que torna científica uma avaliação não é a descoberta de uma única verdade, e sim, o esforço para verificar observações e validar o seu significado ou seus diferentes significados (31).