Todos os dados coletados para as pesquisas com os laboratórios e provedores foram tabulados e tratados em planilhas Excel. Embora tenha sido fornecido pelo QuestManager um relatório completo com os resultados das respostas dos laboratórios, optou-se por trabalhar com os dados brutos exportados para o Excel. Essa escolha foi justificada pela necessidade de uma avaliação quantitativa e qualitativa da amostra comparando-a com dados característicos do universo da pesquisa, a fim de identificar eventuais vícios ou falhas de preenchimento dos questionários e, se necessário, extrair respostas individuais discrepantes (outliers). Além disso, também permitiria a computação e a apresentação dos dados da forma mais adequada aos objetivos do trabalho.
Originalmente, os dados de cada respondente exportados do QuestManager estavam classificados como resposta “qualificada” ou “iniciada”. Somente respostas qualificadas foram consideradas na amostra da pesquisa citada anteriormente na Tabela 2. As respostas
“iniciadas” correspondiam a questionários acessados, porém não concluídos, nem confirmados pelos respondentes. Houve 55 laboratórios de calibração e 94 de ensaio com respostas “iniciadas”, o que representava 17% e 15% respectivamente do universo da pesquisa, ou seja, a taxa de resposta poderia ser ainda superior à obtida. É relevante informar que o total de dados brutos originais referentes às células não vazias do Excel com dados de respostas “qualificadas” foi de 28939.
A partir das respostas “qualificadas” foi realizada uma segunda etapa de verificação dos dados da amostra dos laboratórios, que consistiu em comparar a identificação cadastrada para o envio da pesquisa, isto é, o número de acreditação ou do processo de acreditação, com a identificação preenchida pelos respondentes na questão 1. Foram constatadas divergências de identificação para 24 respostas de laboratórios de calibração e para 73 de laboratórios de ensaio. Tais divergências foram então analisadas individualmente considerando outros dados disponíveis como o nome, e-mail e situação do laboratório (acreditado ou em fase de acreditação), sendo verificado que:
a) houve casos de erros de digitação do número de acreditação ou de processo;
b) alguns laboratórios com acreditação inicial em fase no envio da pesquisa foram acreditados no decorrer e já responderam nesta condição, com nova identificação;
c) existiam diferentes laboratórios pertencentes a mesma organização, cujo mesmo responsável técnico recebeu e respondeu mais de um questionário, trocando em alguns casos a numeração entre esses diferentes laboratórios.
Conclui-se que as razões identificadas acima não invalidavam as respostas às demais perguntas dos questionários e os dados desses respondentes foram mantidos. Houve um único caso, em que não foi justificada a divergência de identificação, porém o nome do laboratório respondente correspondia a uma organização que possuía laboratório acreditado e laboratório com acreditação inicial em fase junto a Cgcre, assim foi decidido manter suas respostas.
Uma última etapa de verificação da amostra dos laboratórios consistiu na análise das respostas para a questão 2 dos questionários, cujo enunciado solicitava que cada laboratório respondesse apenas para os grupos de serviços de calibração, áreas de atividades e classes de ensaios constantes em seu escopo ou proposta de escopo (de extensão ou de acreditação inicial em fase) junto à Cgcre. O atendimento a essa condição era desejado, como forma de se assegurar o conhecimento e experiência específica do laboratório para as respostas apresentadas.
Assim, um critério de verificação adotado foi quanto ao número de respondentes, que deveria ser igual ou menor que número de laboratórios acreditados do universo da pesquisa, para cada grupo de serviços de calibração, área de atividade e classe de ensaio. Foram facilmente identificadas divergências nesse aspecto, por exemplo, houve 30 respondentes para o grupo de serviço de calibração “acústica e vibrações”, mesmo existindo apenas 13 laboratórios acreditados neste grupo dentro do universo da pesquisa. Outro exemplo, para laboratórios de ensaios, foi o número de 100 respondentes para a área de atividade
“agricultura e pecuária” frente a 34 acreditados nesta área. Cabe observar que nessa verificação não foram contabilizados os laboratórios do universo da pesquisa com acreditação inicial em fase, nem mesmo laboratórios com extensão de escopo em fase, porém mesmo incluindo estes dados, não se justificariam as grandes diferenças encontradas.
Foram relacionadas as seguintes causas prováveis para estas ocorrências:
a) os questionários listavam todos os 14 grupos de serviços de calibração, 36 áreas de atividades e 10 classes de ensaios, permitindo livremente a resposta a qualquer destes itens;
b) leitura parcial (incompleta) pelos respondentes das instruções do questionário e do enunciado da questão que orientavam a esse respeito;
c) falha de entendimento do enunciado e instruções, uma vez que a maioria das respostas indevidas foi para a opção “não”, o que pode indicar uma interpretação equivocada do respondente de que seria uma opção para informar que “não”
conhecia ou “não” tinha experiência em determinado grupo ou área;
d) existência de laboratórios e/ou profissionais que atuam ou tem experiência em outros grupos de serviços de calibração, áreas de atividades e classes de ensaios, além de seu escopo de acreditação, induzindo as respostas.
Investigando melhor as causas apontadas, constatou-se que 22 laboratórios responderam para todos os 14 grupos de serviços de calibração, 53 laboratórios responderam para todas as 36 áreas de atividades e 55 laboratórios para todas as 10 classes de ensaios, o que reforçavam as causas citadas acima em (b) e (c). Essas repostas não eram aceitáveis, pois uma análise do universo da pesquisa mostrava que existiam laboratórios acreditados individualmente para no máximo 12 grupos de serviços de calibração, 28 áreas de atividades e 7 classes de ensaios. Assim, foi estabelecido que os laboratórios participantes com número de respostas por grupo e/ou áreas e/ou classes superiores a estes máximos teriam todas as respostas para a questão 2 descartadas.
Aplicado esse critério de exclusão, verificou-se que a quantidade de laboratórios respondentes ainda permanecia superior a quantidade de laboratórios acreditados para dois grupos de serviços de calibração, seis áreas de atividades e três classes de ensaios, porém restava um número limitado de laboratórios nessa situação, o que permitiu uma análise individual de cada caso. Para estes laboratórios restantes foram excluídas apenas as respostas da questão 2 que não correspondiam ao seu escopo de acreditação ou proposta de escopo de extensão ou acreditação inicial, vigentes na época em que se delimitou o universo de pesquisa.
Também foi necessário realizar as etapas de verificação e exclusão de respostas indevidas na questão 11 seguindo critérios similares, uma vez que essa questão era uma complementação (detalhamento) da questão 2, com repostas para subgrupos de serviços de calibração, subáreas de atividades, produtos e matrizes diretamente relacionados aos grupos e áreas da questão 2. As demais questões dos questionários para laboratórios eram independentes, não sendo afetadas pelo descarte de dados das questões 2 e 11, sendo assim foram mantidas suas respostas sem qualquer prejuízo à pesquisa.
Com a exclusão dos dados discrepantes da amostra da pesquisa foi possível então consolidar o tratamento de dados e obtenção das informações de interesse com os laboratórios de calibração e ensaio. Cumpridas essas etapas de verificação e descarte descritas, foram mantidos 19144 dados de respostas explorados para o desenvolvimento da pesquisa, o que representava 66% dos dados brutos originais de respostas “qualificadas”. Mesmo após a eliminação de respostas, a amostra de dados da questão 2 se manteve altamente
representativa, com 172 laboratórios com respostas válidas para os grupos de serviço de calibração, 306 para as áreas de atividades e 319 para as classes de ensaios, o que correspondia de 50% até 52% do universo da pesquisa citado no Tabela 1. O mesmo ocorreu para a questão 11, onde restou uma amostra válida de respondentes de 170 laboratórios para os subgrupos de serviços de calibração e 275 para as subáreas de atividades, produtos e matrizes, representando assim 51% e 45% do universo da pesquisa, respectivamente.
Quanto aos dados da amostra da pesquisa para os provedores de ensaio de proficiência, não foram detectados dados discrepantes, sendo mantidos integralmente os dados dos respondentes.