3. METODOLOGIA
3.3. Indicadores de desempenho ambiental no sector público – Defesa
3.3.2. Desenvolvimento de indicadores para o sector da Defesa
Os IDA apresentados para o sector da Defesa são em grande parte, e naturalmente, comuns a muitos outros sectores, predominantemente públicos (e.g. justiça, segurança social, segurança interna) ou privados (e.g. indústria). Todavia, existe um conjunto de indicadores que são específicos do sector da Defesa. O processo de desenvolvimento e selecção de IDA para o apoio à decisão seguiu um procedimento metodológico dividido em diferentes fases (Figura 3.3).
Numa primeira etapa (fases a a e), foi traçado o perfil do sector da Defesa Português, concretizado através de vários passos fundamentais, anteriormente detalhados (trabalhos desenvolvido em Ramos e Melo (2005a), Ramos et al. (2004a) e Ramos et al. (2004b), Anexos I.2, I.4, I.5, respectivamente):
(a) Avaliação das principais missões e actividade do sector, com especial interferência no domínio ambiental, designadamente ao nível de: fluxos de entrada, processos, fluxos de saída, e quando possível os resultados; caracterização das principais elementos do sector, incluindo o tipo e dimensão das organizações, pessoal ao serviço, edifícios/instalações, área tutelada, material e equipamento gerido;
(b) Análise sistemática das bases orientadoras da política de ambiente para o sector da Defesa, identificando os principais objectivos e metas, com especial ênfase nos seguintes documentos: “A Protecção Ambiental nas Forças Armadas” (MDN, 2001b); “Doutrina Comum da Organização do Tratado do Atlântico Norte (OTAN) para a Protecção Ambiental durante Operações e Exercícios Conduzidos pela OTAN” (STANAG 7141 EP – 1ª edição) (NATO, 2002);
(c) Identificação do perfil ambiental do sector, em particular através da avaliação das práticas de gestão ambiental em unidades militares; utilização desta informação para
a criação de indicadores que permitam avaliar periodicamente as principais componentes deste diagnóstico;
(d) Identificação dos aspectos (pressões) e impactes ambientais (significativos e não significativos);
(e) Estado da avaliação de desempenho ambiental nas unidades militares;
Critérios de
suporte Seriação Normalização e agregação Indicadoreschave
Sistema de Indicadores base Identificação de indicadores prioritários Indicadores normalizados e índices Caracterização da actividade Análise da política ambiental Avaliação do perfil ambiental Identificação dos aspectos/impactes ambientais
Avaliação do perfil do sector
Desenvolvimento de Indicadores Estado da avaliação de desempenho ambiental (a) (b) (c) (d) (e) (f) (g) (h) (i)
Figura 3.3. Fases (a a i) do procedimento utilizado no desenvolvimento de indicadores-chave.
Para o desenvolvimento do sistema de IDA foram tidos em conta, à partida, vários elementos fundamentais, designadamente: sensibilidade ambiental da situação de referência; avaliações ambientais efectuadas com pouca fiabilidade ou com inexistência de dados de base; outros programas de monitorização do desempenho ambiental conexos; a importância dos indicadores satisfazerem as necessidades e aspirações de informação sobre desempenho ambiental, manifestadas pelas partes interessadas (internas e externas ao sector); a necessidade de que a informação comunicada seja potencialmente comparável e amplamente divulgada.
Assim, depois de concluídas as fases acima mencionadas (a a e) e obtida a informação para avaliação do perfil do sector, prosseguiu-se para o desenvolvimento dos IDA (fases f a i):
(f) Critérios de suporte
Tendo presente os objectivos para o sistema de indicadores a desenvolver, foram assumidas várias directrizes e critérios para o desenvolvimento dos IDA, designadamente os apresentados por Johnston e Smith (2001), Wehrmeyer et al. (2001), ISO (1999a), Young (1996), Kuhre (1998), Personne (1998), HMSO (1996), Ramos (1996), Barber
(1994), UNEP/RIVM (1994) e Ott (1978). Alguns dos principais critérios considerados para este processo foram os apresentados na tabela 3.8. A maioria dos indicadores não preenche todos os critérios desejáveis, pelo que deverá haver um compromisso de optimização entre os critérios possíveis de garantir e aqueles que são tidos como mais relevantes para cada caso.
Tabela 3.8. Critérios principais para o desenvolvimento dos IDA para o sector da Defesa. Critérios
Importância no contexto da política, estratégia e missão sectorial;
Relevância ambiental e social;
Associação aos objectivos;
Adaptação ao modelo conceptual SEPI;
Capacidade de produzir uma imagem representativa dos aspectos e impactes ambientais mais significativos;
Simplicidade, facilidade de interpretação e capacidade de reflectir tendências ao longo do tempo;
Sensibilidade às variações no estado do ambiente e às respectivas actividades associadas;
Capacidade de fornecer sinais atempados sobre potencias tendências irreversíveis;
Aptidão para ser actualizado em intervalos de tempo regulares;
Apresentar uma aceitável razão custo/benefício;
Adequação das escalas (temporal e espacial);
Níveis de incerteza compatíveis com os objectivos da análise;
Métodos de recolha e processamento de dados que permitam acções de comparação com outras situações análogas;
Robustez técnico-científica;
Existência de metas ou valores de referência, metas políticas ou limiares legais, valores históricos, comparação com outros sectores/organizações ou outros valores objectivo que permitam medir a distância entre os resultados dos indicadores e esses patamares;
O processo de amostragem desses indicadores originar o mínimo possível de impactes ambientais.
Muitas vezes o desenvolvimento de indicadores é maioritariamente estimulado pelos produtores da informação, com fraco envolvimento dos utilizadores. Assim, os indicadores adoptados deverão reflectir as diferentes perspectivas das partes interessadas na gestão e avaliação do desempenho, em particular da componente do desempenho ambiental. Depois de definido o conteúdo do sistema de indicadores de desempenho, após aplicação dos critérios referidos, procede-se então à atribuição das categorias de acordo com o modelo conceptual a ser utilizado, permitindo delinear as relações causais entre grupos de indicadores.
A inexistência de dados base não constituiu critério determinante para exclusão de determinado indicador. Considerou-se que se determinado indicador se revela importante para o objectivo do presente sistema de indicadores, dever-se-á integrá-lo mesmo que os dados não estejam presentemente disponíveis. Constituem excepção a esta regra situações de especial singularidade na obtenção de determinados dados, quer associadas a razões de custo, quer associadas a razões técnicas.
(g) Seriação
Após obtido o sistema de indicadores-base (conjunto alargado de IDA para o sector da Defesa), recorreu-se a um procedimento de seriação para obtenção de um subconjunto de indicadores-chave. O presente passo surge também com o objectivo de evitar a utilização de um sistema de IDA demasiado complexo e exigente em termos de recursos humanos e/ou financeiros, correndo o risco de despoletar um programa de monitorização do desempenho pouco realista e não optimizado. Assim, utilizou-se uma avaliação qualitativa com recurso à análise pericial de forma a permitir pontuar os indicadores seleccionados, com base na relevância e exequibilidade.
A atribuição da relevância cobre os seguintes aspectos: (i) associação com os principais aspectos de integração ambiental na política sectorial; (ii) relação com metas ou valores de referência técnico/científicos ou políticos; (iii) importância técnica e científica; (iv) capacidade de síntese; (v) comunicação/relato da informação; (vi) adequação ao nível organizacional do sector. A classificação da exequibilidade cobre as seguintes vertentes: (i) sensibilidade; (ii) robustez; (iii) custo; (iv) operacionalidade dos métodos de obtenção, processamento e análise; (v) não confidencialidade da informação. Muitos destes elementos para determinar a relevância e a exequibilidade são análogos aos utilizados para seleccionar indicadores-chave (na designação anglo-saxónica headline indicators), nomeadamente referidos por Commission of the European Communities (2003), OECD (2001a), Hertin et al. (2001), EEA (2000b), SOU (1999), Commission of the European Communities (1999) e EEA (s.d.). A análise pericial recorreu aos investigadores universitários, membros da equipa dos projectos associados ao presente trabalho de investigação, bem como aos responsáveis pela área do ambiente do MDN.
De acordo com a aplicação deste método de seriação dos indicadores propõem-se duas etapas de prioridades na utilização de indicadores, onde na primeira etapa apenas deverão ser incluídos os indicadores com classificação máxima. Numa segunda etapa deverão ser reavaliados os indicadores classificados em segundo lugar. Cada indicador é classificado nas escalas de relevância e exequibilidade (Tabela 3.9) de 1 (classificação mais baixa) até 3 (classificação mais elevada). Os indicadores com pontuação de 6 (soma da relevância e exequibilidade) deverão ser considerados como prioridade máxima para a avaliação do desempenho ambiental, indicadores-chave. A relevância deverá ser a vertente considerada em primeiro lugar, seguida então da exequibilidade. Na tabela 3.9 são listadas as várias pontuações possíveis e a respectiva ordem de importância para a selecção dos indicadores. Os indicadores com pontuações mais baixas deverão ser considerados para outros tipos de avaliação do desempenho, nomeadamente para níveis de audiência que exijam maior especificidade temática. Uma pós-avaliação qualitativa foi
ainda implementada, de forma a assegurar que o grupo de indicadores-chave seleccionado representa a realidade do sector da Defesa Português, em particular no que toca aos aspectos e impactes ambientais significativos identificados na fase d, referida anteriormente.
Não obstante o método de seriação adoptado, os indicadores deverão ser periodicamente revistos de forma a identificar oportunidades de melhoria na forma de avaliar o desempenho ambiental. A categoria de meta-desempenho tem aqui um papel importante. Alguns dos passos para revisão dos indicadores podem seguir de forma análoga algumas indicações estabelecidas na norma ISO 14031 (ISO, 1999a), nomeadamente: adequação dos objectivos e âmbito da monitorização; eficácia atingida no rácio custo/benefício; progresso alcançado no cumprimento de critérios ambientais; adequação dos critérios ambientais adoptados; adequação dos indicadores integrados no modelo SEPI; conformidade das fontes de dados, adequação dos métodos de recolha de dados e qualidade dos dados base.
Tabela 3.9. Seriação dos indicadores de acordo com a pontuação atribuída à relevância e
exequibilidade. Pontuação (de 1 a 3) Seriação Relevância Exequibilidade 1º 3 3 2º 3 2 3º 3 1 4º 2 3 5º 2 2 6º 2 1 7º 1 3 8º 1 2 9º 1 1 (h) Normalização e agregação
Parte-se do pressuposto que os resultados dos indicadores deverão ser comunicados em diferentes formatos consoante os objectivos particulares da avaliação, e em particular o tipo de público-alvo. Os indicadores de desempenho deverão ser expressos em diferentes unidades de medida, num formato absoluto, relativo/normalizado e/ou agregado através de um índice. Geralmente, para avaliar o desempenho ambiental estes três formatos possíveis complementam-se, e deverão ser utilizados em função do âmbito e objectivos. Os indicadores absolutos descrevem a extensão ou magnitude do problema ou do efeito ambiental, os indicadores relativos permitem relacionar com a eficiência ou estabelecer comparações entre organizações, e os índices permitem transmitir a informação de forma agregada e num formato adimensional (e.g. classes de qualidade ou desempenho). Para avaliar o desempenho ambiental dever-se-á evitar analisar os indicadores apenas em
unidades absolutas. Tal como acontece com uma organização industrial, um aumento absoluto das pressões resultantes de emissões poluentes, pode não resultar de um pior desempenho operacional dessa organização, mas sim de um aumento do número total de missões, produtos ou serviços. Deste modo, a relativização destes valores absolutos é determinante para inferir sobre o desempenho.
Tendo por objectivo principal produzir indicadores-chave para o sector, com especial relevância para o apoio à decisão e para a comunicação com o público em geral, os índices e os indicadores relativos ou normalizados assumem especial significado pela maior capacidade de síntese e simplificação. Assim, um passo importante é a transformação dos dados ambientais originais em unidades de medida adequadas e a normalização dos indicadores, de forma a proporcionar a comparação e tornar os dados disponíveis para diferentes audiências.
Assim, propõe-se um conjunto de factores de normalização ou “denominadores comuns” para poderem ser incorporados na utilização dos indicadores desenvolvidos no âmbito do modelo SEPI e respectiva aplicação ao sector da Defesa:
Unidade funcional – missões principais da Defesa (e.g. defesa territorial; exercícios militares), serviço (e.g. vigilância ambiental da zona económica exclusiva, serviço prestado ao Ministério com a tutela do Ambiente) e produto (e.g. cartografia); o factor de normalização unidade funcional representa uma unidade padronizada de produção de um determinado sector (e.g. kWh produzido, para o sector da electricidade), tal como defendido por Berkhout et al. (2001);
Colaborador – inclui pessoal civil e militar (nº); Edifícios (m2; nº);
Despesa e investimento público na área do ambiente (€);
Unidade militar – inclui órgãos, estabelecimentos, guarnições,
agências/departamentos e comandos das Forças Armadas Portuguesas (nº).
Para além dos factores de normalização acima referidos, sempre que oportuno, e possível, dever-se-á recorrer à agregação da informação através de índices com recurso a algoritmos (aritméticos e/ou heurísticos) de forma a produzir resultados, num formato mais simplificado e sintético. Nestes casos os valores dos indicadores são produzidos através de classes de qualidade, pressão, ou no óptimo em classes de desempenho ambiental. Assim, o modelo SEPI admite que os indicadores poderão ser agregados em índices de desempenho ambiental, de forma a sintetizar os resultados compósitos de cada categoria de indicadores. Uma vez que existem muitas funções de agregação, com
diferentes vantagens e desvantagens/limitações, este passo deverá ser processado com especial cuidado para evitar perdas significativas de informação e assegurar resultados credíveis e robustos.
(i) Caracterização dos IDA em fichas técnicas
Sintetizando o anteriormente exposto, poder-se-á sublinhar que no âmbito do presente trabalho, o nível sectorial é o principal nível de análise. Contudo, o sector da Defesa está dividido em várias componentes, incluindo as Forças Armadas e toda a componente administrativa, cobrindo as vertentes civil e militar. Tal como o sector empresarial que pode ser desagregado em diferentes níveis organizacionais, e.g. sector, grupo empresarial, empresa e instalação, o sector da Defesa também pode ser analisado a diferentes níveis. Assim, os indicadores desenvolvidos têm por objectivo poder ser aplicados a dois níveis de organização do sector da Defesa (Figura 3.4):
(N1) totalidade do sector da Defesa;
(N2) unidades militares.
Os dois níveis organizacionais N1 e N2 reflectem-se em duas escalas espaciais de análise
e de agregação da informação, nacional e local, respectivamente.
N2 Unidades militares N1 Sector da defesa Indicadores absolutos Indicadores relativos (normalizados) Índices Indicadores-base Indicadores-chave
Figura 3.4. Tipos de indicadores para os níveis organizacionais do sector da Defesa (Adaptado de Federal Environment Ministry, 1997).
Os IDA poderão ser utilizados a dois níveis decisórios: Topo (T) – associado às decisões de topo e de planeamento estratégico (decisores políticos, chefes militares, comandantes de unidades); Base (B) – associado à gestão técnica e/ou decisão operacional (chefes de serviços/divisões, assessores), incluindo também toda a componente logística/operacional (colaboradores operacionais). Assim, consoante o nível de decisão, T ou B, serão especialmente incluídos indicadores-chave ou indicadores-base, respectivamente. Os indicadores-chave são um subconjunto do sistema de indicadores-base de desempenho
ambiental. Em regra, esse subconjunto é constituído por um número restrito de indicadores.
Os indicadores-chave seguem de perto os conceitos associados aos environmental
headline indicators (e.g. EEA, s.d.; Bosch, 2001), e além de serem seleccionados para os
decisores e gestores de topo, são também especialmente direccionados para o público em geral. O modelo conceptual prevê a utilização de indicadores quantitativos e qualitativos (e.g. com respostas sim ou não, por exemplo para avaliar a implementação de práticas ambientais). Os indicadores poderão ainda ser apresentados em três tipos de formato: absolutos, relativos ou normalizados e índices (Figura 3.4).
Cada indicador proposto deverá ser acompanhado de uma ficha técnica. A ficha integra um conjunto de campos que pretende caracterizar de forma sumária os indicadores, apoiando a sua utilização prática. Na tabela 3.10 apresenta-se o conteúdo concebido para cada um dos campos integrados nas fichas, que sintetiza parte da informação metodológica apresentada anteriormente.
Tabela 3.10. Conteúdo da ficha técnica de caracterização dos IDA.
Campo Descrição do conteúdo
Nome/descrição sumária Nome e descrição do objectivo principal
Categoria IDa – Actividade IDp – Pressão IDe – Estado IDr – Resposta IDi – Impacte-Efeitos IDm – Meta-desempenho Nível organizacional
(N1) Totalidade do sector da Defesa (Ministério da Defesa Nacional
e Forças Armadas, incluindo as organizações civis e militares) – escala nacional
(N2) Unidades militares (designadamente, unidades, órgãos,
estabelecimentos, guarnições, agências, departamentos e comandos) – escala local
(N3) Apropriado para os níveis N1 e N2 – escalas nacional e local
Indicador-chave Sim
Não
Método Descrição sumária do método para determinação do indicador Periodicidade Intervalo de tempo previsto entre as medições do indicador (e.g. bianual, anual, mensal, diária) Aplicabilidade sectorial SD - Específico do sector da Defesa
SP - Comum à maioria do sector público
Unidades de medida
Absoluto; relativo ou normalizado; índice; Apresenta as unidades de medida preferenciais, em valores absolutos, relativos,
associando com os diferentes factores de normalização e/ou as classes do índice
Metas ou valores de referência
Metas políticas, limiares legais ou outros valores de referência que permitam medir a distância entre os resultados dos indicadores e esses patamares, aferindo assim sobre o desempenho
Fonte e disponibilidade dos
dados de base Identifica a instituição que poderá disponibilizar os dados de base Acesso à informação