Na persecução do objetivo final, nomeadamente na verificação de áreas sub ou sobre auditadas, e considerando que a base de dados do SI não contempla todos os dados expressos no relatório de auditoria, decidiu-se fazer uma análise completa de uma amostra de relatórios e respetivos planos de auditoria de modo a obter uma apreciação qualitativa complementar.
• Análise das secções da norma não auditadas durante a auditoria: esta informação não é registada na base de dados do SI;
• Análise das diferenças entre as atividades planeadas para a auditoria e as atividades desen- volvidas na auditoria;
• Análise da qualidade da redação de constatações, nomeadamente na existência de várias constatações descritas no lugar da descrição individual;
• Registo das exclusões permitidas à norma.
Foi assim elaborada uma lista de auditorias realizadas, distribuída equitativamente entre dife- rentes áreas de negócio e tipos de auditoria, correspondendo assim a uma amostra representativa da base de dados da APCER. Foram analisados 80 relatórios e 70 planos de auditoria. Na gama de planos de auditoria analisados, foi identificável que existe apenas uma percentagem de 21% dos planos que contempla as secções correspondentes agregadas ao processo descrito para audi- tar. Como as indicações para o desenvolvimento do plano, indicam que deve ser organizado por processo, torna-se impossível alocar com rigor as secções que estes abrangem se não estiverem identificáveis no plano. Devido à ausência dessa informação, a amostra de planos de auditoria contempla apenas os dados de 15 planos de auditoria.
A ISO 17021:2015 e a 19001:2011 referem que a auditoria deve ser planeada através dos processos da organização. Como tal, no plano de auditoria, a construção da agenda é feita pelo planeamento de verificação dos processos do SGQ da organização.
Foi evidente uma diferença na alocação de constatações detetadas e alocadas no relatório, já que na redação de constatações, os auditores por vezes agregam na mesma constatação referências a diferentes requisitos (3onível de detalhe) da mesma secção. Cada constatação deve ser relativa a um único evento.
Tabela 4.14: Evidências recolhidas da amostra de relatórios e planos de auditoria. Número Diferença
Não conformidades alocadas 123
Não conformidades detetadas 143 16% Áreas sensíveis alocadas 80
Áreas sensíveis detetadas 86 8% Não conformidades maiores alocadas 1
Não conformidades maiores detetadas 1 0% Oportunidades de melhoria alocadas 401
Oportunidades de melhoria detetadas 470 17% Constatações alocadas 605
Podemos assim concluir que, apesar da diferença ser muito maior quando analisamos as opor- tunidades de melhoria, reparamos que em percentagem, esta diferença não representa um valor maior devido ao valor absoluto de não conformidades. Analisámos também a dispersão das cons- tatações pelas secções da norma.
Assim foi possível compilar alguma informação sobre os planos e relatórios de auditoria ana- lisados, utilizando as frequências absolutas (Tabela4.15):
Tabela 4.15: Constatações e não conformidades alocadas na amostra de relatórios e planos de auditoria por secção da norma.
Secções da norma Não conformidades alocadas Não conformidades detetadas Constatações alocadas Constatações detetadas 4.1 3 4 24 29 4.2 9 14 48 58 5.1 0 0 2 2 5.2 0 0 3 3 5.3 2 2 4 4 5.4 3 3 19 21 5.5 0 0 8 8 5.6 3 3 18 20 6.1 0 0 2 2 6.2 18 19 72 83 6.3 6 7 33 43 6.4 0 0 5 5 7.1 5 5 12 12 7.2 9 9 44 44 7.3 5 5 24 27 7.4 8 8 42 49 7.5 23 32 100 124 7.6 14 20 36 46 8.1 0 0 1 1 8.2 19 22 90 108 8.3 5 5 13 14 8.4 0 0 7 7 8.5 5 5 31 33 M. Certificação 0 0 5 5
Quando analisados os dados segundo as secções anteriormente definidas como críticas, pode- mos reparar que nas Top 5 - (a vermelho), apenas na análise de constatações denotamos diferenças entre constatações alocadas e identificadas na secção 4.1 - Requisitos gerais. Quando analisamos
o Top 5 + (a verde), reparamos que existe um grande número de variação nas não conformidades e nas constatações.
Podemos agora avaliar o estado das exclusões, permitidas pela norma, na amostra de relatórios. Quando analisadas as secções referenciadas no relatório como exclusões permitidas, observa- se (Tabela4.16):
Tabela 4.16: Números de exclusões de secção da amostra de relatórios e planos de auditoria. Exclusões da secção Número de relatórios Percentagem 7.3 - Conceção e desenvolvimento 19 24% 7.5.2 - Validação dos processos de produção e fornecimento de serviço 27 34% 7.5.4 - Propriedade do cliente 2 3% 7.5.5 - Preservação do produto 1 1% 7.6 - Controlo do equipamento de monitorização e medição 7 9%
A maior percentagem de exclusões encontra-se na secção 7.5.2 - Validação dos processos de produção e fornecimento de serviço, seguida da exclusão à secção 7.3 - Conceção e desenvolvi- mento. Convém relembrara que as constatações são alocadas por secção até a segundo nível (ex. 7.3, 4.2, etc). De facto, a análise dos relatórios e planos não permite verificar se todas as secções de terceiro nível são auditadas e a que nível de profundidade. A utilização dos terceiros níveis de secção aparece nos relatórios apenas para as exclusões permitidas.
Para análise, foram incluídas as secções que foram alvo de exclusão de avaliação, na referência às secções não auditadas na auditoria. Quando analisadas as informações de secções declaradas no relatório como não auditadas e secções que constam no plano para serem auditadas podemos notar o seguinte:
Figura 4.27: Comparação de secções não auditadas e planeadas.
A linha laranja indica a percentagem de planos em que se planeia auditoria na secção. A linha azul indica a percentagem de relatórios que refere que aquela secção não foi auditada.
Concluímos assim que quando não auditadas nas secções anteriormente definidas com genéri- cas ou de introdução o nível de planeamento para a auditoria desce, sendo que também o mesmo acontece na secção 7.3, tipicamente alvo de exclusão nas organizações. Notamos também, que apesar de se constatar que existem exclusões no terceiro nível da secção 7 (7.5.2, 7.5.4 e 7.5.5), esta é sempre uma secção que se planeia auditar, sendo alias uma secção que tem de ser alvo obri- gatório de avaliação independentemente do tipo de auditoria. Podemos então notar, que o nível de detalhe utilizado para o planeamento, pode induzir em erro quando analisadas as secções não auditadas.