A Fiabilidade enquanto objetivo de estudo

Quando se recorre aos MASqt para avaliar as situações de trabalho, o analista está no fundo a codificar a situação, ao nível das circunstâncias perigosas que identificou, procurando com isto obter resposta às seguintes questões: a) que situações merecem uma intervenção? b) com que prioridade essa intervenção deve ser operacionalizada? Na utilização de métodos que têm por princípio base um sistema de codificação, como é o caso dos MASqt, acreditamos que um analista pode interpretar de forma diferente a informação de que dispõe (ou valoriza), condicionando a Fiabilidade dos dados e, consequentemente, dos resultados que estes produzem. Neste sentido, consideramos fundamental apurar a Fiabilidade associada à utilização dos MASqt.

Assim, e para percebermos o que está em jogo nos objetivos deste trabalho, achamos importante começar por esclarecer a noção de Fiabilidade.

Como refere Olsen (2013), a Fiabilidade reporta a medida em que um teste, experiência ou procedimento de medição dá o mesmo resultado em ensaios/aplicações repetidos(as).

Tendo presente que os dados de que um analista dispõe é considerado como o campo confiável para o raciocínio, a discussão e interpretação dos fenómenos, numa análise de conteúdo é fundamental assegurar que esses dados obtidos/gerados são, tanto quanto possível, desprovidos de desvios, sejam eles intencionais ou acidentais, e que em contrapartida tenham sempre o mesmo significado, independentemente de quem os utiliza (Krippendorff, 2004).

De acordo com a mesma fonte, existem duas formas perspetivas de Fiabilidade. Segundo uma conceção teórica de medição da confiabilidade, referindo Kaplan e Goldsen's (1965, como citado em Krippendorff, 2004, p. 211), a Fiabilidade assenta na “garantia oferecida quanto ao facto de que os dados obtidos são independentes do evento de medição, dos instrumentos de medição ou das pessoas envolvidas na mediação.” Ou seja, dados fiáveis, por definição, “são dados que permanecem constantes ao longo das variações do processo de medida”. Logo, do ponto de vista teórico, um procedimento de investigação é confiável quando ele responde da mesma maneira aos mesmos fenómenos, independentemente das circunstâncias da sua aplicação.

Segundo uma conceção interpretativa, a Fiabilidade traduz o “grau de concordância atingido por membros de uma determinada comunidade, quanto à leitura, interpretação, resposta ou uso de determinados dados” (Krippendorff, 2004, p. 212). Em ambas as conceções, o objetivo comum passa por demostrar que os dados são fiáveis, o que justifica medir/estimar a Fiabilidade.

Segundo Krippendorff (2004) e Artstein e Poesio (2007), existem três tipos de Fiabilidade: a Estabilidade, a Reprodutibilidade e a Precisão. Estes distinguem-se não no modo como o conjunto de dados é avaliado, mas pela forma como os dados de confiabilidade são obtidos (Krippendorff, 2004).

A Estabilidade é o grau com que um processo se mantém inalterável ao longo do tempo. É medido o grau segundo o qual uma medida ou procedimento de codificação produz os mesmos resultados em testes repetidos (teste-reteste).

Consideramos que na utilização de um MASqt existe Estabilidade quando uma pessoa é consistente consigo própria nos resultados que obtém aquando da utilização de um determinado método, para avaliar a mesma situação, em momentos diferentes.

Dito de outra forma, a Estabilidade é o tipo de Fiabilidade avaliada aquando das análises intra-analistas. É o indicador mais fraco de entre os três tipos de Fiabilidade existentes, uma vez que só tem em consideração as inconsistências do codificador. Tais inconsistências podem ser devidas a inseguranças, negligências, distrações, dificuldades em compreender instruções escritas (tais como as instruções de codificação inerentes aos métodos e as informações fornecidas relativas às unidades de análise (situações em avaliação)), ou à tendência para relaxar os padrões de desempenho como resultado do cansaço. Os dados para tais avaliações são criados em condições de teste-reteste, ou seja, um analista relê, recategoriza ou reanalisa a mesma situação, geralmente após algum tempo. Assim, sob condições de teste- reteste, a falta de confiabilidade é evidente quando existem variações no desempenho de um analista.

Apesar da Estabilidade traduzir a forma mais fraca de confiabilidade, parece-nos extremamente útil avaliá-la no seio da problemática da Avaliação de Risco, na medida em que assegura (caso sejam utilizados métodos que evidenciem níveis elevados de concordância intra-analista) que as Avaliações de Risco, independentemente das circunstâncias e do momento em que são efetuadas, se executadas pelo mesmo analista possam ser comparadas entre si.

A Reprodutibilidade representa o quanto um processo de codificação, ao ser repetido por diferentes analistas, produz os mesmos resultados. Este tipo de Fiabilidade requer dados de confiabilidade que são obtidos sob condições de teste-teste. Ou seja, dois ou mais indivíduos trabalham independentemente e aplicam as mesmas instruções para as mesmas unidades de análise. Divergências entre esses

desempenhos são uma consequência quer das inconsistências intra-analistas, quer das diferenças interanalista, aquando da interpretação e aplicação das instruções dadas (ou seja, na codificação das unidades de análise - situações em avaliação - pela aplicação dos diferentes métodos de avaliação e tendo em consideração as informações fornecidas relativas às situações avaliadas). Pelas razões apresentadas, a Reprodutibilidade é considerada uma medida mais viável (por ser mais fácil de colocar em prática) e mais forte de avaliação da Fiabilidade.

Consideramos que na utilização de um MASqt existe Reprodutibilidade quando, diferentes pessoas são consistentes entre si nos resultados que obtêm aquando da utilização do um determinado método, para avaliar a mesma situação.

Dito de outra forma, a Fiabilidade interanalista e intra-analista representam:

 _{no primeiro caso, o grau de consistência entre um número diversificado de} analistas ao classificarem o erro (neste estudo entendido como a circunstância perigosa/perigo/risco/consequência associada, sob avaliação) com recurso a técnicas de codificação (neste estudo, às escalas utilizadas por cada uma das variáveis requeridas por cada um dos MASqt).

 _{no segundo caso, o quão um analista é consistente na classificação do mesmo} erro (ou seja da mesma circunstância perigosa/perigo/risco/consequência associada), aquando do uso da mesma técnica de codificação (o mesmo MASqt), ao longo do tempo.

A Precisão traduz o grau com que um determinado processo está de acordo com suas especificações e que produz aquilo para que foi projetado. Para determinar a Precisão, os analistas devem obter dados sob condições de teste padrão, ou seja, devem possuir um valor de referência - Gold Standard - que permita comparar o desempenho da avaliação efetuada com esse valor. Habitualmente, as divergências observadas, neste tipo de Fiabilidade, resultam da combinação de 3 tipos de desvios: inconsistências intra-analista; diferenças interanalistas e desvios do valor de referência.

Apesar de ser o teste mais forte de Fiabilidade, não será objeto de estudo neste trabalho, por não se reunirem as condições de aplicabilidade, nomeadamente, valores de referência para o conjunto de dados avaliados – Gold Standard.