1 Estruturação de um Modelo Multicritério de Apoio à Gestão da Qualidade
Ambiental: um Estudo de Caso no Porto de São Francisco do Sul
Karine Somensi
(Universidade Federal de Santa Catarina)
Sandra Rolim Ensslin
(Universidade Federal de Santa Catarina)
Ademar Dutra
(Universidade do Sul de Santa Catarina)
Leonardo Ensslin
(Universidade do Sul de Santa Catarina)
Jean Carlo Figueredo (Porto de São Francisco do Sul)
Resumo
O crescimento exponencial do comércio nas últimas décadas fez com que os portos se destacassem como elemento-chave da economia. No entanto, as atividades portuárias podem gerar sérios danos ambientais, comprometendo as atividades do setor e a comunidade da qual faz parte. Nesse contexto, o porto é exposto a uma série de leis ambientais que, quando não atendidas, podem gerar sérias penalidades; porém, quando atendidas, criam vantagens competitivas. Nesse contexto, este estudo de caráter exploratório tem como objetivo estruturar um modelo de avaliação de desempenho multicritério construtivista para apoiar a gestão da qualidade ambiental do Porto de São Francisco do Sul. Para tal foi utilizado, como instrumento de intervenção, a metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C). A aplicação dessa metodologia permitiu gerar conhecimento no assessor de Engenharia e Meio Ambiente, identificando os aspectos necessários, segundo sua percepção, para gerir o contexto. Entre os resultados encontrados estão a identificação de (i) cinco áreas de preocupações, sendo elas: Gestão Ambiental, Resíduos, Qualidade Ambiental, Qualidade do Trabalho e Educação Ambiental e Social; (ii) vinte e dois aspectos considerados pelo gestor como essenciais para avaliar o contexto de gestão; (iii) aspectos em que o porto apresenta desempenho comprometedor, dentre eles: número de pontos de avaliação da água de lastro; quantidade de m³ dragados a cada operação; quantidade de sedimento em m³ gerado pela dragagem; e kWh consumidos em relação ao número de toneladas movimentadas. Com base nesse diagnóstico, foram propostas ações para aperfeiçoar o desempenho da Qualidade Ambiental. Dessa forma, a metodologia MCDA-C configurou-se como importante ferramenta para auxiliar o processo de gestão ambiental portuária que, com base no conhecimento gerado, estruturou o modelo, permitiu a visualização do status quo e demostrou um processo para gerar ações de melhoria, que permitirá ao porto o atendimento das legislação ambiental, também o atendimento dos diversos interesses atuantes.
Palavras-chave: Avaliação de Desempenho; Gestão da Qualidade Ambiental;
2 1 INTRODUÇÃO
Ocupando uma posição estratégica no comércio mundial, os portos tornaram-se a principal ligação entre o comércio marítimo e o terrestre. Embora se reconheça a importância dos portos para o transporte e o desenvolvimento econômico dos países, sabe-se que a atividade portuária pode gerar significativos impactos ambientais (FEOLA et al., 2016; ANTÃO et al., 2016; WALKER, 2016; BEBIANNO et al., 2015).
Esses impactos são decorrentes das atividades de dragagem, da movimentação de cargas e descargas, da geração de resíduos industriais, da movimentação contínua dos navios (DARBRA et al., 2004). Dentre os impactos gerados, destacam-se aqueles relacionados à qualidade da água e dos sedimentos que tendem a trazer consequências não somente para a área portuária, mas também afetam o meio ambiente e a saúde da população que vive em áreas próximas ao porto (MARIN et al., 2008).
Desse modo, fatores como o elevado número de riscos ambientais a que a atividade portuária está exposta, a variedade de cargas, a localização dos portos e os diversos interesses atuantes têm tornado a gestão ambiental portuária uma tarefa complexa que demanda por uma gestão eficaz (ANTÃO et al., 2016). Para isso, torna-se necessário identificar os aspectos que podem gerar impactos ambientais, considerando que cada porto realiza determinadas atividades (PUIG et al., 2015b).
Dentre os motivos mais relevantes abordados por Puig et al., (2015a) para a identificação dos aspectos ambientais, está a necessidade de as autoridades portuárias atenderem à legislação e aos regulamentos a elas vigentes e o desenvolvimento de programas de melhoria contínua da qualidade ambiental, sendo este último um processo indispensável para a obtenção e retenção das licenças de operação. Frente a essa demanda, os indicadores ambientais tornaram-se um meio estratégico para auxiliar a gestão interna das questões ambientais, uma vez que permitem monitorar o desempenho, contribuindo assim para controlar os custos operacionais, monitorar o progresso e tendências ao longo do tempo, avaliar a eficácia das políticas implementadas (PUIG et al., 2014), apoiar a gestão, fortalecer a tomada de decisão (SAENGSUPAVANICH et al. 2009) e verificar o atendimento das políticas e estratégias (ANTÃO et al., 2016).
No entanto, a literatura aponta que não há um padrão de indicadores definidos para auxiliar a gestão portuária (ANTÃO et al., 2016). Apesar de algumas normas ambientais estabelecerem e sugerirem alguns aspectos relevantes, deve-se levar em consideração que cada contexto é único, cada organização possui características e particularidades distintas que devem ser levadas em consideração na identificação dos aspectos ambientais para fins gerenciais. Desse modo, a tarefa de seleção desses aspectos e a construção dos indicadores podem ser complicadas para muitos gestores portuários (PUIG et al., 2015a).
É nesse contexto que se enquadra o Porto de São Francisco do Sul, o segundo maior porto em movimentação de carga não conteinerizada do Brasil e responsável por mais da metade da movimentação portuária catarinense (SEIBEL, 2010). Sua representatividade no cenário econômico e os múltiplos interesses e variáveis atuantes tornaram a gestão ambiental uma atividade complexa, o que tem dificultado para o gestor da área ambiental identificar e selecionar os aspectos relevantes e suficientes, bem como construir os indicadores para a gestão da qualidade ambiental. Nesse sentido, emerge a seguinte pergunta de pesquisa: Quais aspectos devem ser considerados na avaliação da gestão da qualidade ambiental de
3
um porto que apoiem a tomada de decisão no aperfeiçoamento do desempenho ambiental?
Para responder à pergunta de pesquisa, este estudo tem como objetivo estruturar um modelo de avaliação de desempenho multicritério construtivista para apoiar a gestão da qualidade ambiental do Porto de São Francisco do Sul. Para atender ao objetivo geral, definiu-se como objetivos específicos:
Identificar os aspectos que o assessor considera relevantes e suficientes para avaliar o desempenho da gestão da qualidade ambiental do porto e construir escalas ordinais para mensurá-los. Evidenciar o status quo em relação aos indicadores construídos. Oferecer subsídios à gestão ambiental pela construção de ações de
aperfeiçoamento nos aspectos em que o porto apresenta desempenho comprometedor.
Para atender aos objetivos, foi selecionada, como instrumento de intervenção, a metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C) que permitirá ao assessor de Engenharia e Meio Ambiente identificar quais aspectos são necessários e suficientes para avaliar o desempenho da gestão da qualidade ambiental, compreender os impactos das decisões e identificar ações de aperfeiçoamento.
Justifica-se o presente estudo por sua importância, originalidade e viabilidade (CASTRO, 1977). É importante pela aplicação do MCDA-C para apoiar a gestão da qualidade ambiental do Porto que, segundo Linkov et al. (2006), se caracteriza como ferramenta adequada para auxiliar os gestores a gerir ambientes complexos. Pode-se também destacar sua importância com base no argumento de Puig et al., (2015a) que evidencia a dificuldade que os gestores portuários possuem para identificar e selecionar aspectos relevantes de uma forma legítima e científica. É original por não terem sido encontrados, na literatura consultada, trabalhos que construam um modelo multicritério construtivista para apoio à gestão da qualidade ambiental portuária. É viável pelo interesse do assessor de Engenharia e Meio Ambiente do Porto de São Francisco do Sul na utilização de um instrumento que lhe permita expandir o conhecimento sobre seu contexto de atuação, bem como na estruturação de um modelo que se constituirá em um instrumento que apoie sua atividade de gestão de forma transparente.
2 METODOLOGIA DA PESQUISA
A metodologia utilizada para a presente pesquisa será apresentada em quatro etapas. A primeira refere-se ao enquadramento metodológico da pesquisa; a segunda evidencia o procedimento para a seleção do material para compor o referencial teórico; a terceira apresenta o procedimento para seleção do material que dará suporte a apresentação do instrumento de intervenção para a estruturação do modelo; e a quarta apresenta o instrumento utilizado para a construção do modelo multicritério construtivista e os procedimentos para a coleta e tratamento dos dados.
4
Esta pesquisa caracteriza-se como exploratória, por promover e expandir o conhecimento no assessor de Engenharia e Meio Ambiente sobre sua área de atuação, com base em suas percepções e valores (RICHARDSON, 2008). Quanto à abordagem da pesquisa, caracteriza-se como qualitativa uma vez que objetiva identificar e organizar os aspectos considerados pelo assessor como necessários e suficientes para avaliar a gestão da qualidade ambiental do Porto de São Francisco do Sul, bem como construir escalas ordinais para esses aspectos, identificar o status
quo e, com base nesse conhecimento, propor ações de aperfeiçoamento.
Como o objetivo é estruturar um modelo personalizado para apoiar a gestão da qualidade ambiental do Porto, adotou-se, como procedimento técnico, o estudo de caso. Desse modo, a coleta de dados envolveu dados primários e secundários. Os dados primários são obtidos por meio das entrevistas semiestruturadas com o assessor de Engenharia e Meio Ambiente, já os dados secundários são obtidos em decorrência de análises de documentos para a construção das escalas ordinais e da coleta dos dados para identificar o perfil de desempenho (status quo) do Porto de São Francisco do Sul (RICHARDSON, 2008).
2.2 Procedimentos para a seleção do material que irá subsidiar a construção do referencial teórico
A seleção do Portfólio Bibliográfico (PB) que irá subsidiar a construção do referencial teórico foi realizada com base na operacionalização do Knowledge
Development Process-Constructivist (ProKnow-C). Desenvolvido por pesquisadores
do LabMCDA, da Universidade Federal de Santa Catarina (UFSC), o ProKnow-C configura-se como um importante e estruturado processo para seleção e análise da literatura para os pesquisadores afiliados à perspectiva construtivista. Diversos trabalhos vêm sendo publicados em diferentes áreas de conhecimento, com a operacionalização do ProKnow-C, como os estudos de Valmorbida, Ensslin (2016), Dutra et al. (2015), Ensslin, Ensslin e Pinto (2013) e Tasca et al. (2010).
As etapas do ProKnow-C compreendem (i) identificar um conjunto de artigos científicos e relevantes que representam o fragmento da literatura sobre o tema de interesse do pesquisador, denominado como Portfólio Bibliográfico (PB); (ii) conhecer os destaques da área de estudo com base nas variáveis definidas pelos pesquisadores; (iii) realizar análise crítica desse PB com base na corrente teórica selecionada ao qual o pesquisador se afilia; e (iv) apontar possibilidades de pesquisa com base nas lacunas identificadas na literatura. Essas etapas são apresentadas na Figura 1.
5
Figura 1: Etapas do ProKnow-C
Fonte: Extraído em Valmorbida et al. (2016, p.12).
Nesta pesquisa, apenas a primeira etapa do ProKnow-C foi operacionalizada com o objetivo de selecionar artigos alinhados ao fragmento da literatura referente à Avaliação de Desempenho da gestão da qualidade ambiental portuária. Essa etapa é realizada com base na seleção do banco de artigos bruto. Desse modo, foram definidos os eixos de pesquisa e as palavras-chave que resultaram no seguinte comando de busca: "Management" OR "Measuring" OR "Evaluation" OR
"Evaluations" OR "Performance" OR "Measurement" OR "Measurements" OR "Evaluate" OR "Measure" OR "Indicator" OR "Indicators" OR "Assessment" OR "Assess") AND ("Environmental Quality" OR Sustainability" OR "Environmental" OR "Sustainable Development" OR "ISO 14001") AND ("Port" OR "Ports" OR "Seaport" OR "Harbor" OR "Harbour". As bases de dados selecionadas no portal da CAPES
foram EBSCO, Engineering Village, Proquest, Web of Science, Scopus e Science
Direct.
A pesquisa foi realizada respeitando a estrutura de cada uma das bases de dados. Algumas delimitações foram definidas: (i) artigos científicos publicados de 2000 a 2016; (ii) seleção de pesquisa nos campos: título (artigo title), resumo (abstract) e palavras-chave (keywords); (iii) seleção do tipo de publicação (Journal
Article); (iv) pesquisa apenas em artigos na língua inglesa; e (v) retorno, no mínimo,
de um artigo científico no resultado das buscas. A busca foi realizada no dia 10 de agosto de 2016, resultando em 12.539 publicações.
Após serem exportados para o software EndNote X7, iniciou-se o processo de filtragem, em que foram excluídos 6.622 artigos em duplicidade ou que não eram artigos científicos, restando assim 5.917 artigos. Destes, apenas 155 artigos continuaram no Portfólio pelo alinhamento ao título. Após essa etapa, foi realizada a verificação do reconhecimento científico dos artigos com base no número de citações por meio do Google Scholar. Após a verificação da quantidade de citações de cada um dos artigos, foi definida a representatividade desejada para a seleção dos artigos que iriam compor o Portfólio Bibliográfico. Desse modo, foi considerado, como ponto de corte, o percentual de 95,4%, ou seja, os artigos com citações ≥ 8, que, nesse caso, compreenderam 75 publicações.
Esses 75 artigos passaram então a compor o Repositório K (Banco de artigos não repetidos e título alinhado com reconhecimento científico confirmado). O restante das publicações (80) passou a fazer parte do Repositório P (Banco de
6
artigos não repetidos e título alinhado com reconhecimento científico ainda não confirmado). Como parte seguinte do processo, o resumo dos 75 artigos foi lido para verificar o alinhamento destes com o tema de pesquisa. O acesso aos resumos foi possível por meio do EndNote X7.
Dos 75 resumos analisados do Repositório K, 24 foram considerados alinhados, passando a integrar o Repositório A (Banco de artigos não repetidos e título e resumo alinhados com reconhecimento científico), o restante dos artigos foi eliminado. Selecionado o Repositório A, identificaram-se os autores para a formação do Banco de Autores (BA). Definido o BA do Repositório A, a fase seguinte compreende a análise do Repositório P, o qual ainda não tem reconhecimento científico confirmado. A análise desse Repositório se faz necessária, pois esses artigos podem ter publicação recente e, por isso, ainda não terem um número de citações significativo. Foram considerados, como publicações recentes, aqueles artigos com menos de dois anos de publicação. Já as publicações que não se enquadram como recentes, conforme orienta o Proknow-C, devem ser consideradas se os autores dos artigos forem integrantes do BA do Repositório A.
Assim dos 80 artigos, 39 foram selecionados para compor o Repositório B, e o restante dos artigos foram eliminados. Em seguida, foi realizada a leitura dos resumos desses artigos para avaliar seu alinhamento ao tema de pesquisa, no qual se identificou que dos 39 artigos apenas oito estavam alinhados, constituindo assim o Repositório B.
Na sequência, juntaram-se os artigos do Repositório A (24) com os do Repositório B (8), dando origem ao Repositório C (Banco de artigos não repetidos e título e resumo alinhados e com reconhecimento científico), composto por 32 artigos. Com o Repositório C formado, foi verificada a disponibilidade de seu conteúdo na forma integral. Desse modo, identificou-se que cinco artigos não estavam disponíveis. O restante dos artigos (27) foi submetido à leitura integral para verificar o seu alinhamento com o tema da pesquisa. Nessa leitura, verificou-se que sete artigos não estavam alinhados com o tema, resultando em um Portfólio Bibliográfico composto de 20 artigos apresentados no Quadro 1.
Quadro 1: Artigos que compõem o Portfólio Bibliográfico
Nº Autor Artigo Periódico Ano
1 Alvarez-Guerra et al.
Prioritization of sediment management alternatives using stochastic multicriteria acceptability analysis
Science of the Total
Environment
2010
2 Antão et al. Identification of Occupational Health, Safety, Security (OHSS) and Environmental Performance Indicators in port areas
Safety Science 2016
3 Bebianno et al. Integrated approach to assess ecosystem health in harbor areas
Science of the Total
Environment
2015
4 Darbra et al. The Self Diagnosis Method - A new methodology to assess environmental management in sea ports
Marine Pollution Bulletin
2004
5 Doong et al. Characterization and composition of heavy metals and persistent organic pollutants in water and estuarine sediments from Gao-ping River, Taiwan
Marine Pollution Bulletin
7
6 Feola et al. Platform of integrated tools to support environmental studies and management of dredging activities
Journal of Environmental Management
2016
7 Jha et al. Detection of genotoxins in the marine environment: adoption and evaluation of an integrated approach using the embryo–larval stages of the marine mussel
Mytilus edulis 2000
8 Jimenez-Tenorio et al.
Determining sediment quality for regulatory proposes using fish chronic bioassays
Environment International
2007
9 Lee et al. Environmental efficiency analysis of port cities: Slacks-based measure data envelopment analysis approach
Transport Policy 2014
10 Linkov et al. From comparative risk assessment to multi-criteria decision analysis and adaptive management: Recent developments and applications
Environment International
2006
11 Marin et al. Development of a multistep indicator-based approach (MIBA) for the assessment of environmental quality of harbours
ICES Journal of Marine Science
2008
12 Montero et al. Integrative sediment assessment at Atlantic Spanish harbours by means of chemical and ecotoxicological tools
Environmental Monitoring and Assessment
2013
13 Moreno et al. The use of meiofauna diversity as an indicator of pollution in harbour
ICES Journal of Marine Science
2008
14 Muniz et al. Assessment of contamination by heavy metals and petroleum hydrocarbons in sediments of Montevideo Harbour (Uruguay)
Environment International
2004
15 Peris-Mora et al. Development of a system of indicators for sustainable port management
Marine Pollution Bulletin
2005
16 Puig et al. Identification and selection of Environmental Performance Indicators for sustainable port development
Marine Pollution Bulletin
2014
17 Puig et al. Tool for the identification and assessment of Environmental Aspects in Ports (TEAP)
Ocean and Coastal
Management
2015
18 Puig et al. Current status and trends of the environmental performance in European ports Environmental Science and Policy 2015 19 Saengsupavanic et al.
Environmental performance evaluation of an industrial port and estate: ISO14001, port state control-derived indicators
Journal of Cleaner
Production
2009
20 Walker Green Marine: An environmental program to establish sustainability in marine transportation
Marine Pollution Bulletin
2016
8
2.3 Procedimento para seleção do material que dará suporte à apresentação do instrumento de intervenção para construção do modelo
Para a seleção dos artigos que irão dar suporte a apresentação do instrumento de intervenção, a metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C), que será utilizada para a construção do modelo, também se utilizou o Knowledge Development Process-Constructivist (ProKnow-C). Nesta pesquisa, foram consideradas três bases de dados: Scopus, Web of Science e
Engineering Village. As palavras-chave e os eixos de pesquisas resultaram no
seguinte comando de buscas: "Multicriteria" OR "MCDA-C" OR "MCDA" OR "Decision aid" OR "Decision aiding" OR "Multi-criteria Method" OR "Multicriteria Method") AND ("Constructivist". A busca foi feita no dia 6 de setembro de 2016 e resultou em 34 publicações.
A etapa de filtragem do Banco de dados inicia com a eliminação dos artigos repetidos. Com o auxílio do Endnote X7, foram identificados sete artigos repetidos, os quais foram excluídos do processo. A etapa seguinte compreende a leitura quanto ao alinhamento dos títulos dos artigos. Desse modo, dos 27 artigos, 12 foram excluídos por estarem desalinhados com o tema de pesquisa, e 15 permaneceram no banco de dados por estarem alinhados ao título. A próxima etapa foi a verificação do reconhecimento científico dos artigos, com base no número de citações, porém os autores desta pesquisa optaram por verificar o resumo de todos os artigos, sem delimitá-los pelo reconhecimento científico. Assim, verificou-se que somente um artigo não estava alinhado pelo resumo, totalizando 14 artigos no Portfólio.
Como etapa seguinte, foi verificada a disponibilidade integral desses artigos, em que apenas dois não estavam disponíveis. Dos 12 artigos disponíveis, nove estavam alinhados integralmente, passando a integrar o Portfólio final, conforme o Quadro 2.
Quadro 2: Artigos que compõem o Portfólio Bibliográfico
Nº Autor Artigos Periódico Ano
1 Azevedo et al.
Performance Measurement to Aid Decision Making in the Budgeting Process for Apartment-Building
Construction: Case Study Using MCDA-C Journal of Construction Engineering and Management 2013 2 Lacerda, Ensslin L., Ensslin, R. S
A performance measurement framework in portfolio management: A constructivist case Management Decision 2011 3 Lacerda, Ensslin L., Ensslin, R. S
A performance measurement view of IT project management International Journal of Productivity and Performance Management 2011 4 Bortoluzzi, Ensslin L.,Ensslin, R. S
Performance evaluation of tangible and intangible aspects of the market area: A case study in a medium industrial company
Revista Brasileira de
Gestão de Negócios 2010
5 Da Rosa et al.
Environmental disclosure management: A constructivist case Management Decision 2012 6 Della Bruna, Ensslin L., Ensslin, R. S
An MCDA-C application to evaluate supply chain performance
International Journal of Physical Distribution & Logistics Management 2014
9
7 Ensslin, S. R., et al
Improved decision aiding in human resource management: A case using constructivist multi-criteria decision aiding International Journal of Productivity and Performance Management 2013 8 Marafon et al.
The effectiveness of multi-criteria decision aid methodology: A case study of R&D Management European Journal of Innovation Management 2015 9 Tasca, Ensslin L., Ensslin, R. S
Evaluation of training programs: A case study in public administration
Revista de
Administração Pública 2012
Fonte: Autores da pesquisa (2016).
2.4 Instrumento para Construção do Modelo Multicritério Construtivista e Procedimentos para Coleta e Tratamento dos Dados
O instrumento de intervenção utilizado para a construção do modelo foi a Metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C), uma vez que permite gerar conhecimento no decisor, como também identificar os aspectos relevantes que compreendem sua gestão (TASCA; ENSSLIN; ENSSLIN, 2012).
Caracterizado como uma evolução do método MCDA tradicional, o MCDA-C surgiu como um instrumento que permite o apoio à decisão em ambientes complexos, incertos e conflituosos (ENSSLIN et al., 2010 apud ENSSLIN et al., 2013). Sua abordagem construtivista permite ao decisor compreender melhor o ambiente em que atua e o impacto de suas decisões que são baseadas em seus valores e preferências (Ensslin et al., 2013).
Assim, a metodologia MCDA-C difere das outras abordagens MCDA por reconhecer os limites de conhecimento do decisor e permitir que sejam incorporadas ao processo as medidas que se mostrem necessárias e suficientes para avaliar o contexto em questão (Ensslin et al., 2010 apud DA ROSA et al., 2012). O MCDA-C é composto por três fases (Ensslin et al., 2000 apud MARAFON et al., 2015): Fase de Estruturação, Fase de Avaliação e Fase de Recomendações (Figura 2).
10
Figura 2: Etapas da metodologia Multicritério de Apoio à Decisão-Construtivista
Fonte: Adaptado de Ensslin, Montibeller e Noronha (2001 apud Bortoluzzi, Ensslin, Ensslin, 2010, p. 432).
A Fase de Estruturação busca expandir conhecimento no decisor a respeito do problema e contexto em que atua. Desse modo, o primeiro passo da Fase de Estruturação é identificar os atores do contexto e o rótulo que melhor representa o problema em questão (BORTOLUZZI; ENSSLIN; ENSSLIN, 2010). Em seguida, identificaram-se os Elementos Primários de Avaliação (EPAs), que representam as preocupações, desejos e motivações associados aos os valores e objetivos do decisor diante do contexto decisório (DELLA BRUNA; ENSSLIN; ENSSLIN, 2014).
Com base nos EPAs, constroem-se os Conceitos que indicam a direção de preferência e seu oposto psicológico. Os conceitos são então distribuídos em Áreas de Preocupação, denominados Pontos de Vista Fundamentais (PVFs) (LACERDA; ENSSLIN; ENSSLIN, 2011a).
Após distribuir os conceitos nos PVFs, constroem-se os mapas cognitivos, cujo objetivo é expandir o entendimento de cada área de preocupação, à medida que é possível visualizar a relação de causa e efeito dos objetivos (BORTOLUZZI; ENSSLIN; ENSSLIN, 2010).
De acordo com Lacerda et al. (2011b, p.95), “Com essa atividade é possível identificar linhas de argumentação que conduzem os conceitos meios aos conceitos mais estratégicos” A associação das linhas de argumentação a uma preocupação do decisor é chamada de clusters que são sintetizados e transportados para uma estrutura arborescente, denominada Estrutura Hierárquica de Valor (EHV), que, junto com os mapas cognitivos, permitirá a construção dos descritores por meio de escalas ordinais (AZEVEDO et al., 2013). Para que seja possível comparar o desempenho entre os descritores, segundo Ensslin et al. (2000 apud LACERDA, ENSSLIN, ENSSLIN, 2011b), é necessário que o decisor estabeleça os níveis de referência “Neutro” e “Bom”.
A segunda fase da metodologia compreende a Fase de Avaliação. Na primeira etapa dessa fase, as escalas ordinais dos descritores são transformadas
11
em escalas cardinais, em seguida é realizada a análise de independência dos descritores para garantir que as taxas de compensação serão constantes para os níveis de referência pré-estabelecidos (ENSSLIN et al., 2000 apud LACERDA; ENSSLIN, ENSSLIN, 2011b).
Após a análise de independência, as escalas ordinais (qualitativas) são transformadas em escalas cardinais (quantitativas), com base nas diferenças de atratividade julgadas pelo decisor, entre os níveis. Essa etapa é realizada por meio do software Macbeth no qual se constrói uma função de valor para cada descritor (BORTOLUZZI; ENSSLIN; ENSSLIN, 2010). A construção da função de valor é possível pela atribuição da pontuação aos níveis de referência, sendo o nível “Bom” pontuado com “100” pontos, e o “Neutro” com “0” ponto. Desse modo, são construídas as matrizes semânticas no Macbeth que refletirão o julgamento do decisor a respeito da atratividade percebida em passar de um nível da escala para outro nível imediatamente inferior da escala (BANA e COSTA e VANSNICK,1997
apud TASCA, ENSSLIN; ENSSLIN, 2012).
A terceira etapa da Fase de Avaliação contempla as taxas de substituição, que têm como finalidade informar a diferença de atratividade entre os níveis de referência dos descritores. Para calcular as taxas de substituição, utiliza-se o
Macbeth, em que, com base no julgamento do decisor, são criadas ações potenciais
que representam a contribuição da passagem do nível “Neutro” para o nível “Bom” para cada um dos critérios. Assim, criam-se as taxas de substituição para todo o modelo (BORTOLUZZI; ENSSLIN; ENSSLIN, 2010). Após a obtenção das taxas de cada critério, pode-se transformar o valor da avaliação em valores de uma avaliação global e traçar o desempenho atual (status quo), possibilitando a determinação gráfica da performance de ações potenciais e seus impactos (ENSSLIN et al., 2001
apud MARAFON et al., 2015).
Como última etapa da Fase de Avaliação, a análise de sensibilidade é realizada para traçar cenários das possíveis consequências de determinadas ações que podem ser adotadas pelo decisor. O modelo permite o desenvolvimento da análise de sensibilidade sobre o impacto das alternativas nas escalas e sobre a diferença de atratividades das escalas cardinais, assim como sobre as taxas de compensação (LACERDA et al., 2011a). A Fase de Avaliação não será abordada neste trabalho, pois o foco da pesquisa foi identificar os aspectos mais relevantes que compreendem a qualidade ambiental do Porto de São Francisco do Sul.
Na Fase de Recomendação, com base na identificação do perfil de desempenho dos indicadores, surge a necessidade de propor ações que possam influenciar positivamente o desempenho do contexto em estudo. Essas ações partem da necessidade de alcançar melhorias nos indicadores em que o Porto apresenta nível comprometedor, de modo que as informações possam subsidiar a atividade de gestão, gerando alternativas e identificando seus possíveis impactos. Assim, por meio das ações de aperfeiçoamento, o contexto problemático que retrata o perfil de desempenho comprometedor passa a ser identificado como campo de oportunidade (BORTOLUZZI; ENSSLIN; ENSSLIN, 2010; LACERDA et al., 2011b).
3 REFERENCIAL TEÓRICO: Avaliação de Desempenho da Qualidade Ambiental
Portuária
Os gestores portuários têm buscado continuamente meios para atender às legislações ambientais e às partes interessadas. Para suprir essas demandas, o
12
monitoramento da gestão da qualidade ambiental tornou-se um componente fundamental dos planos de negócio (PERIS-MORA et al., 2005).
Dessa forma, Marin et al. (2008) salientam que, para realizar eficientemente a gestão da qualidade ambiental, é necessário: (i) identificar as áreas passíveis aos riscos ambientais; (ii) identificar os aspectos (indicadores) que representem o contexto; e (iii) realizar a comunicação dos resultados do monitoramento.
A utilização de indicadores pode trazer inúmeros benefícios para o monitoramento das questões ambientais. Por meio das informações geradas, pode-se acompanhar o progresso, as tendências e o grau que as metas estão pode-sendo alcançadas e, dessa forma, amparar decisões estratégicas (PUIG et al., 2014). Em seu estudo, Puig et al. (2014) identificaram mais de 300 indicadores relacionados à gestão ambiental. Isso demostra a elevada quantidade de monitoramento que contempla a atividade portuária, como também o crescente interesse por parte dos gestores dos portos em aprofundar seu conhecimento a respeito dos aspectos e as prioridades ambientais que compreendem suas atividades de gestão (DARBRA et
al., 2004).
O estudo desenvolvido por Puig et al. (2015b) identificou algumas dessas prioridades. Dentre elas, a qualidade do ar foi identificada como a principal prioridade do setor, seguido da gestão de resíduos e do consumo de energia. Este último apareceu em terceiro lugar no ranking devido à recessão econômica europeia e também consciência pela queima de gases, como o dióxido de carbono e o enxofre. Gestão de ruídos, operações de dragagem e qualidade de água também foram identificadas como prioridades ambientais na pesquisa.
Baseada nessas prioridades, a literatura apresenta alguns trabalhos que estabeleceram indicadores de qualidade ambiental a fim de auxiliar as autoridades portuárias no processo de gestão, seguem essas pesquisas os trabalhos de Saengsupavanich et al. (2009) e Peris-Mora et al. (2005). Entre os indicadores propostos estão: qualidade do ar; emissão de contaminantes atmosféricos; níveis de ruído; consumo eficiente da água; número de navios inspecionados anualmente; número de incidentes de derramamento de óleos; áreas de riscos para a poluição do solo, emissão de gases poluentes; qualidade da água em torno do porto e a qualidade dos sedimentos. Esses últimos merecem atenção especial, uma vez que o monitoramento da água e a qualidade dos sedimento são considerados pontos críticos de avaliação. Um monitoramento ineficiente pode trazer inúmeras consequências ambientais, afetando também a saúde humana (MARIN et al., 2008). Desse modo, a gestão de sedimentos é uma tarefa complexa que requer uma análise crítica dos possíveis riscos ambientais associados ao seu descarte, uma vez que possui alta concentração de contaminantes tóxicos (MORENO et al., 2008) que afetam diretamente a qualidade da água, comprometendo os organismos presentes no ecossistema aquático (JIMENEZ- TENORIO et al., 2007). Desse modo, diversos trabalhos têm sido desenvolvidos para avaliar a qualidade dos sedimentos por meio da identificação de concentração de metais pesados, poluentes orgânicos e materiais tóxicos. (Exemplos desses trabalhos são os de MUNIZ et al., 2014; DOONG et al., 2008; JHA et al., 2000; JIMENEZ-TENORIO, 2007; BEBIANNO et al., 2015; MONTERO et al., 2013.)
Nesse contexto, Alvarez-Guerra et al. (2010) salientam que a tomada de decisão para o gerenciamento dos aspectos ambientais, especialmente o dos sedimentos, é uma tarefa complexa que necessita de ferramentas de gestão ambiental que priorizem alternativas. Embora a ferramenta DEA tenha sido utilizada com frequência para trabalhar com a questão ambiental (LEE, YEO e THAI, 2014), o
13
autor destaca a importância da utilização da metodologia MCDA. Caracterizada como uma ferramenta multicritério de apoio à decisão, a metodologia MCDA está cada vez mais sendo reconhecida e utilizada para apoiar contextos complexos, auxiliando os gestores a priorizarem alternativas com base em vários critérios que representam as características do contexto em que estão inseridos (LINKOV et al., 2006).
4 RESULTADOS
Nesta seção, é apresentada a estruturação do modelo de Avaliação de Desempenho para apoiar a gestão da qualidade ambiental do Porto de São Francisco do Sul.
4.1 Identificação do contexto decisório
Situado na baia da Babitonga, em São Francisco do Sul, no estado de Santa Catarina, o Porto de São Francisco do Sul se consolida como o segundo maior porto em movimentação de carga não conteinerizada do Brasil. No ano de 2014, movimentou 13.301.540 toneladas com a atracação de 607 navios. Entre as principais rotas de granéis, estão a China (soja), a América do Sul, a África, o Oriente Médio (milho) e a Europa (milho e farelo) (SEIBEL, 2010).
Dada sua representatividade, o Porto possui um setor responsável pela gestão ambiental. Entre suas atividades, está a realização de uma série de monitoramentos ambientais a fim de atender às legislações vigentes e às demandas dos órgãos ambientais que, quando não atendidas, podem gerar penalidades, comprometendo as atividades portuárias. No entanto, devido a inúmeras variáveis que compreendem esses monitoramentos, percebe-se a dificuldade dos gestores em controlar essas atividades. O desconhecimento do desempenho atual, dos aspectos comprometedores e das vantagens competitivas dificulta a adoção de processo de geração de melhoria. Para fazer frente a essa demanda e apoiar o decisor no complexo contexto no qual atua, foi construído o modelo de apoio à gestão da qualidade ambiental.
4.2 Fase de Estruturação
Como atividade inicial para construir o modelo de apoio à decisão, foi definido o rótulo “Modelo de Apoio à Gestão Ambiental do Porto de São Francisco do Sul” como também foram identificados os atores envolvidos no contexto, como apresentado na Figura 3.
14
Figura 3: Autores identificados
Fonte: Autores da pesquisa (2016).
Após a definição do rótulo, foram identificados os Elementos Primários de Avaliação (EPAs) que o decisor considerou como importantes. Com base nos EPAs, conceitos foram construídos, indicando a preferência do assessor em relação a cada EPA, como também seu polo oposto psicológico. Estes são representados pelas reticências (...) e devem ser lidos como “ao invés de”. O Quadro 3 apresenta alguns dos 47 EPAs obtidos durante as entrevistas.
Quadro 3: EPAs e Conceitos Construídos
EPAs Conceitos
Bioindicadores 100- Garantir o atendimento dos parâmetros de avaliação dos bioindicadores ... Provocar alterações no ambiente aquático Qualidade da
Água
101- Verificar se os padrões da qualidade da água na área de influência estão sendo atendidos ... Ter alto índice de inconformidade
Qualidade do Ar 102- Monitorar a qualidade do ar nas áreas afetadas pelas operações ... Deixar de atender os parâmetros ambientais
Qualidade do Ar 103- Monitorar a concentração de partículas totais suspensas ... Exceder a concentração média permitida
Sedimentos 104-Verificar a quantidade de sedimentos gerados ... Provocar impactos ambientais
Água de Lastro 105- Monitorar a água de lastro ... Ter impactos ambientais decorrentes da contaminação por espécies estrangeiras
Água de Lastro 106- Monitorar os pontos de avaliação da qualidade da água de lastro ... Deixar de atender os padrões ambientais exigidos
Água de Lastro 107- Monitorar a quantidade de espécies invasoras ... Deixar de atender os padrões ambientais exigidos
Biota Aquática 108- Monitorar o atendimento dos padrões de qualidade da biota aquática ... Afetar os ecossistemas aquáticos
Qualidade da Água
109- Monitorar a qualidade da água nas áreas afetadas pelas operações ... Deixar de detectar possíveis impactos ambientais
Qualidade da Água
110- Garantir o atendimento dos padrões da qualidade da água na área de influência da dragagem ... Gerar impactos ambientais
Sedimentos 111- Monitorar os sedimentos ... Ter alterações na qualidade da água com nutrientes acumulados e materiais pesados
Níveis de Ruído 112- Atender os padrões de qualidade dos níveis de ruído ... Comprometer o desempenho das atividades do porto
15
Consumo de Água
113- Gerenciar os níveis de ruídos ... Ser penalizado por não atender as normas ambientais
Fauna 114- Monitorar a diversidade existente de espécies da fauna ... Deixa de detectar possíveis reduções da fauna
Consumo de
Água 1115- Monitorar o consumo da água ... Ter alto consumo de água
Fonte: Autores da pesquisa (2016).
Com base no conhecimento gerado com a identificação dos EPAs, foi possível identificar as grandes áreas de preocupação, denominadas por candidatos a Pontos de Vista Fundamentais (PVFs). Foram identificados estes cinco PVFs: Gestão Ambiental; Resíduos; Qualidade Ambiental; Qualidade do Trabalho; e Educação Ambiental e Social, formando a Estrutura Hierárquica de Valor com os Pontos de Vista Fundamentais. Para o presente estudo, somente será abordado o PVF “Qualidade Ambiental”
Com os conceitos agrupados em áreas de preocupações, é possível criar os mapas cognitivos, permitindo assim a expansão do conhecimento do assessor. Nessa etapa, conceitos podem ser excluídos ou incorporados, permitindo a geração de conhecimento proposta pela metodologia. A Figura 4 apresenta o mapa cognitivo para o PVF abordado no presente estudo “Qualidade Ambiental” e os respectivos PVFs do modelo.
Figura 4: Mapa Cognitivo referente ao PVF "Qualidade Ambiental"
Fonte: Autores da pesquisa (2016).
Após elaborado os mapas cognitivos, foram identificados os clusters e
subclusters, que são as linhas de argumentação associadas a uma preocupação do
16
Figura 5: Clusters e Subclusters referentes ao PVF "Qualidade Ambiental"
Fonte: Autores da pesquisa (2016).
O agrupamento entre os clusters e subclusters originou a Árvore de Valor com os Pontos de Vista Elementares (PVEs) e os SubPVFs, os quais são apresentados na Figura 6.
17
Figura 6: Estrutura Hierárquica de Valor (EHV)
Fonte: Autores da pesquisa (2016).
Com base na Estrutura Hierárquica de Valor (EHV), identificaram-se os aspectos relevantes para apoiar o contexto.
Como proposto por Marin et al. (2008), para realizar eficientemente a gestão, é necessário identificar os aspectos relevantes que representem o contexto da qualidade ambiental portuária. Em seguida, para possibilitar a medição do desempenho das propriedades de cada um dos PVFs, foram construídas escalas ordinais, apresentadas das na Figura 7.
18 Fonte: Autores da pesquisa (2016).
19
Como pode ser verificado na Figura 7, foram construídos 22 indicadores que representam os aspectos relevantes para a gestão da “Qualidade Ambiental” do Porto. Dentre eles, alguns foram abordados na literatura por meio dos trabalhos de Saengsupavanich et al. (2009) e Peris-Mora et al. (2005) como, por exemplo, qualidade do ar, níveis de ruído, consumo da água, qualidade da água, qualidade dos sedimentos, entre outros.
Salienta-se que, apesar de a literatura elencar vários aspectos, entre eles os considerados como críticos para a gestão (qualidade da água e qualidade dos sedimentos), se observou que não apresentam como analisá-los e mensurá-los. Até mesmo o trabalho desenvolvido por Linkov et al. (2006), que ressalta a importância de utilizar a ferramenta MCDA para apoiar os decisores a gerir contextos complexos, não demostra como operacionalizar a ferramenta.
Em seguida, dando continuidade à aplicação da metodologia MCDA-C, foram estabelecidos os níveis de referências “Bom” e “Neutro” e traçado o perfil de desempenho atual (status quo) para todos os 22 indicadores, conforme determina a metodologia. A Figura 8 apresenta o desempenho atual de alguns indicadores (representado pela linha tracejada), referente ao PVE “Qualidade da água”.
Figura 8: Descritores e status quo do PVE “Qualidade da água”
Fonte: Autores da pesquisa (2016).
Finalizada a Fase de Estruturação, com base no desempenho atual de todos os indicadores, foi possível identificar os aspectos em que o Porto de São Francisco do Sul está com desempenho “Bom” e aqueles que estão em nível comprometedor. Para os aspectos em que o Porto está com desempenho comprometedor foram propostas ações para sua melhoria.
Desse modo, por meio da Fase de Recomendações, foram propostas ações de melhoria para alavancar o desempenho dos quatro indicadores relacionados à Qualidade Ambiental em que o Porto de São Francisco do Sul apresenta nível comprometedor, a saber: 3.1.2.1- Número de pontos de avaliação da água de lastro; 3.6.2 Quantidade de m³ dragados a cada operação; 3.7.2- Quantidade de sedimento
20
em m³ gerado pela dragagem; 3.8.2- kWh consumido em relação ao número de toneladas movimentas. Os Quadros 3 e 4 apresentam as ações propostas para melhorar o desempenho do Porto nos aspectos 3.1.2.1 e 3.8.2.
Quadro 4: Ação de aperfeiçoamento proposta para o aspecto 3.1.2.1 “Quantidade de pontos”
Descritor Ação
Quantidade de pontos Número de pontos de avaliação da água
de lastro
Criar procedimento para coleta de amostras da água de lastro nos navios
Resultado esperado
Garantir o monitoramento da água de lastro, a fim de identificar a existência de possíveis espécies estrangeiras Recursos necessários Tempo e materiais para realizar a coleta
Responsável Gestor
Data de inicio Mês de setembro Data de término Contínuo Frequência do acompanhamento Mensal
Como acompanhar Número de navios
Responsável por acompanhar Assessor da Engenharia e Meio Ambiente
Fonte: Adaptado de Ensslin et al. (2016).
Quadro 5: Ação de aperfeiçoamento proposta para o aspecto 3.8.2 “Consumo de energia”
Descritor Ação
Consumo de energia
kWh consumido em relação ao número de
toneladas movimentadas
Identificar processos com consumo elevado de energia a fim de eliminar desperdícios
Resultado esperado Redução de 10% no consumo mensal de energia Recursos necessários Tempo para coletar as informações
Responsável Gestor
Data de inicio Mês de novembro Data de término Contínuo Frequência do acompanhamento Mensal
Como acompanhar
Verificar a quantidade de toneladas movimentadas versus consumo de energia
21
Responsável por acompanhar Assessor da Engenharia e Meio Ambiente
Fonte: Adaptado de Ensslin et al. (2016).
Com base na implantação das ações de melhorias para o Porto nos indicadores com desempenho indesejado, deve haver procedimentos para atualização periódica do desempenho em cada indicador, estabelecendo-se, portanto, um processo de gestão com ciclos de avaliação contínuos.
5 CONCLUSÕES
Diante da centralidade do setor portuário para a economia mundial e principalmente pela complexidade que envolve a gestão da qualidade ambiental, percebe-se a necessidade da adoção, por parte dos gestores dos portos, de ferramentas e metodologias que os auxiliem no processo de tomada de decisão.
Nesse contexto, este trabalho teve como objetivo estruturar um modelo de avaliação de desempenho multicritério construtivista para apoiar a gestão da qualidade ambiental do Porto de São Francisco do Sul. Para atender a esse objetivo, foram definidos os seguintes objetivos específicos: (i) identificar os aspectos que o assessor considera relevantes e suficientes para avaliar o desempenho da gestão da qualidade ambiental e construir escalas ordinais para mensurá-los; (ii) evidenciar o status quo em relação aos indicadores construídos; e (ii) oferecer subsídios à gestão ambiental por meio da construção de ações de aperfeiçoamento nos aspectos em que o Porto apresenta desempenho comprometedor. Para alcançar os objetivos da presente pesquisa, utilizou-se, como instrumento de intervenção, a metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C).
Diante do primeiro objetivo específico, após entrevistar o assessor de Engenharia e Meio Ambiente e contextualizar o problema, foram identificados 47 Elementos Primários de Avaliação, que foram expandidos por conceitos orientados à ação e agrupados em cinco áreas de preocupação: Gestão Ambiental; Resíduos; Qualidade Ambiental; Qualidade do Trabalho; e Educação Ambiental e Social, estes denominados Pontos de Vista Fundamentais (PVFs). Esse agrupamento possibilitou a expansão do conhecimento, originando assim mapas de relação meios-fins, conhecidos como mapas cognitivos.
Com base nos mapas, os conceitos formaram os clusters e subclusters, dando origem à Árvore de Valor com os Pontos de Vista Elementares (PVEs). Para cada um dos PVEs foram construídos descritores com escalas ordinais qualitativas e estabelecidos os níveis de referência (Bom e Neutro). Como etapa seguinte, foi identificado o perfil de desempenho (status quo), atendendo assim, ao segundo objetivo específico do trabalho.
Após definido o status quo, foi possível identificar os aspectos em que a gestão da Qualidade Ambiental se encontra em nível de excelência e nível comprometedor. Foram identificados estes quatro aspectos em nível comprometedor: 3.1.2- Número de pontos de avaliação da água de lastro; 3.6.2 Quantidade de m³ dragados a cada operação; 3.7.2- Quantidade de sedimento em m³ gerado pela dragagem; e 3.8.2- kWh consumido em relação ao número de toneladas movimentas.
O terceiro objetivo específico foi alcançado na Fase de Recomendação da metodologia MCDA-C, ao propor ações de melhorias para os aspectos identificados em nível comprometedor.
22
Dessa forma, a metodologia MCDA-C configurou-se como importante para auxiliar o processo de gestão ambiental portuária, identificado os aspectos julgados pelo gestor como essenciais à gestão do Porto e ao perfil da situação atual com a evidenciação dos aspectos comprometedores, propondo um processo para gerar ações de melhoria que permitirá ao Porto a boa expansão de sua imagem perante a sociedade, o atendimento das legislações ambientais, como também o atendimento dos diversos interesses atuantes.
Por fim, é importante destacar, como limitação deste trabalho, a Fase de Avaliação da metodologia MCDA-C, que não foi abordada no presente estudo. Além disso, as ações apresentadas na Fase de Recomendações não foram implementadas para a averiguação dos resultados obtidos nesse contexto. Cumpre observar que a estruturação do modelo construído foi personalizada. Desse modo, para possíveis replicações do estudo, deve-se considerar que cada contexto é único, que cada organização possui características distintas que devem ser consideradas, conforme destacado por Puig et al., (2015a).
Sugere-se para futuras pesquisas: i) a realização da Fase de Avaliação da metodologia MCDA-C; ii) a criação de um modelo de avaliação de desempenho para os demais Pontos de Vista Fundamentais (PVFs) (Gestão Ambiental; Resíduos; Qualidade do Trabalho; e Educação Ambiental e Social; e (iii) a aplicação da metodologia MCDA-C em outros portos a fim de verificar as particularidades e similaridades desse segmento.
REFERÊNCIAS
ALVAREZ-GUERRA, M.; CANIS, L.; VOULVOULIS, N.; VIGURI, J. R.; LINKOV, I. Prioritization of sediment management alternatives using stochastic multicriteria acceptability analysis. Science of the Total Environment 408(20): 4354-4367, 2010. ANTÃO, P.; CALDERÓN, M.; PUIG, M.; MICHAIL, A.; WOOLDRIDGE, C.; DARBRA, R. M. Identification of Occupational Health, Safety, Security (OHSS) and
Environmental Performance Indicators in port areas. Safety Science 85: 266-275, 2016.
AZEVEDO, R. C.; LACERDA, R. T. D.; ENSSLIN, L.; JUNGLES, A. E.; ENSSLIN, S. R. Performance Measurement to Aid Decision Making in the Budgeting Process for Apartment-Building Construction: Case Study Using MCDA-C. Journal of
Construction Engineering and Management-Asce 139(2): 225-235, 2013.
BEBIANNO, M. J.; PEREIRA, C. G.; REY, F.; CRAVO, A.; DUARTE, D.; ERRICO, G. D.; REGOLI, F. Integrated approach to assess ecosystem health in harbor areas. Science of the Total Environment 514: 92-107, 2015.
BORTOLUZZI, S. C.; ENSSLIN, S. R.; ENSSLIN, L. Performance evaluation of tangible and intangible aspects of the market area: A case study in a medium industrial company. Revista Brasileira de Gestão de Negócios 12(37): 425-446, 2010.
CASTRO, C. M. A prática da pesquisa. São Paulo: McGraw-Hill, 1977.
DA ROSA, F. S.; ENSSLIN, S. R.; ENSSLIN, L.; LUNKES, R. J. Environmental disclosure management: A constructivist case. Management Decision 50(6): 1117-1136, 2012.
23
DARBRA, R. M.; RONZA, A.; CASAL, J.; STOJANOVIC, T. A.; WOOLDRIDGE, C. The Self Diagnosis Method- A new methodology to assess environmental
management in sea ports." Marine Pollution Bulletin 48(5-6): 420-428, 2004. DELLA BRUNA, E. Jr.; ENSSLIN, L.; ENSSLIN, S. R. An MCDA-C application to evaluate supply chain performance. International Journal of Physical Distribution & Logistics Management 44(7): 597-616.
DOONG, R.; LEE, S-H.; LEE, CC.; SUN, Y. C.; WU, S. C. Characterization and composition of heavy metals and persistent organic pollutants in water and estuarine sediments from Gao-ping River, Taiwan. Marine Pollution Bulletin 57(6-12): 846-857, 2008.
DUTRA, A.; RIPOLL-FELIU, V. M.; FILLOL, A. G.; ENSSLIN, S. R.; ENSSLIN, L. The construction of knowledge from the scientific literature about the theme seaport performance evaluation. International Journal of Productivity and Performance Management, 64(2), 243-269, 2015.
ENSSLIN, L.; DUTRA, A.; MARTINS, R. P.; DEZEM, V. Modelo Construtivista para Apoiar o Processo de Gestão da Universidade Federal de Tocantins. Iberoamerican Journal of Strategic Management (IJSM), 15(2), 122-129.2016.
ENSSLIN, L.; ENSSLIN, S. R.; PINTO, H. D. M. Processo de investigação e análise bibliométrica: Avaliação da Qualidade dos Serviços Bancários. Revista de
Administração Contemporânea. 17(3), 325-349, 2013.
ENSSLIN, S. R.; ENSSLIN, L.; BACK, F.; LACERDA, O. T. R. Improved decision aiding in human resource management: A case using constructivist multi-criteria decision aiding. International Journal of Productivity and Performance Management 62(7): 735-757, 2013.
FEOLA, A.; LISI, I.; SALMERI, A.; VENTI, F.; PEDRONCINI, A.; GABELLINI, M.; ROMANO, E. Platform of integrated tools to support environmental studies and management of dredging activities. Journal of Environmental Management 166: 357-373, 2016.
JHA, A. N.; CHEUNG, V. V.; FOULKES, M. E.; MONTE, S. J.; DEPLEDGE, M. H. Detection of genotoxins in the marine environment: adoption and evaluation of an integrated approach using the embryo–larval stages of the marine mussel, Mytilus edulis. Mutation Research/Genetic Toxicology and Environmental Mutagenesis 464(2): 213-228, 2000.
JIMÉNEZTENORIO, N.; CASELLES, C.M.; KALMAN, J.; SALAMANCA, J.;
CANALES, L. G.; SARASQUETE, C.; DELVALLS, T. A. Determining sediment quality for regulatory proposes using fish chronic bioassays. Environment International
33(4): 474-480, 2007.
LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R. A performance measurement framework in portfolio management: A constructivist case. Management Decision 49(4): 648-668, 2011a.
LACERDA, R. T. O.; ENSSLIN, L., ENSSLIN, S. R. A performance measurement view of IT project management. International Journal of Productivity and
24
LEE, T.; TAE, T.; YEO.; THAI, V. V. Environmental efficiency analysis of port cities: Slacks-based measure data envelopment analysis approach. Transport Policy 33: 82-88, 2014.
LINKOV, I.; SATTERSTROM, F. K.; KIKER, G. C; BATCHELOR, C.; PONTES, T.; FERGUSON, E. From comparative risk assessment to multi-criteria decision analysis and adaptive management: Recent developments and applications. Environment International 32(8): 1072-1093, 2006.
MARAFON, A. D.; ENSSLIN, L.; LACERDA, R. T. O.; ENSSLIN, S. R. The effectiveness of multi-criteria decision aid methodology: A case study of R&D management. European Journal of Innovation Management 18(1): 86-109, 2015. MARIN, V.; MORENO, M.; VASSALLO, P.; VEZZULLI, L.; FABIANO, M.
Development of a multistep indicator-based approach (MIBA) for the assessment of environmental quality of harbours. ICES Journal of Marine Science 65(8): 1436-1441, 2008.
MONTERO, N.; MENCHACA, I.; GARMENDIA, J. M.; FRANCO, J.; NIETO, O.; ETXEBARRIA, N.; BELZUNCESEGARRA, M. J. Integrative sediment assessment at Atlantic Spanish harbours by means of chemical and ecotoxicological tools.
Environmental Monitoring and Assessment 185(2): 1305-1318, 2013.
MORENO, M.; VEZZULLI, L.; MARIN, V.; LACONI, P.; ALBERTELLI, G.; MAURO, F. The use of meiofauna diversity as an indicator of pollution in harbours. ICES Journal of Marine Science 65(8): 1428-1435, 2008.
MUNIZ, P.; DANULAT, E.; BEATRIZ, C. Y.; GARCI, J.; ALONSO.; MEDINA, C.; BI, M. C. Assessment of contamination by heavy metals and petroleum hydrocarbons in sediments of Montevideo Harbour (Uruguay). Environment International 29(8): 1019-1028.
PERIS-MORA, E.; OREJAS, D.; SUBIRATS, A.; IBÁÑEZ, S.; ALVAREZ, P. Development of a system of indicators for sustainable port management. Marine Pollution Bulletin 50(12): 1649-1660, 2005.
PUIG, M.; WOOLDRIDGE, C.; CASAL, J.; DARBRA, R. M. Tool for the identification and assessment of Environmental Aspects in Ports (TEAP). Ocean and Coastal Management 113: 8-17, 2015a.
PUIG, M.; WOOLDRIDGE, C.; DARBRA, R. M. Identification and selection of Environmental Performance Indicators for sustainable port development. Marine Pollution Bulletin 81(1): 124-130, 2014.
PUIG, M.; WOOLDRIDGE, C.; MICHAIL, A.; DARBRA, R. M. Current status and trends of the environmental performance in European ports. Environmental Science and Policy 48: 57-66, 2015b.
RICHARDSON, Roberto Jarry. Pesquisa social: métodos e técnicas. 3. ed. São Paulo: Atlas, 2008.
SAENGSUPAVANICH, C.; COOWANITWONG, N.;GALLARDO, W. G.;
LERTSUCHATAVANICH, C. Environmental performance evaluation of an industrial port and estate: ISO14001, port state control-derived indicators. Journal of Cleaner Production 17(2): 154-161, 2009.
SEIBEL, N. T. A história do Porto de São Francisco do Sul. Governo do Estado de Santa Catarina. 2010.
25
TASCA, J. E.; ENSSLIN, L.; ENSSLIN, S. R. Evaluation of training programs: A case study in public administration. Revista de Administração Pública 46(3): 647-675, 2012.
TASCA, J.; ENSSLIN, L.; ENSSLIN, S. R.; BERNARDETE, M. M. A. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, 34(7), 631-655, 2010.
VALMORBIDA, S. M. I.; ENSSLIN, L. Construção de conhecimento sobre avaliação de desempenho para gestão organizacional: uma investigação nas pesquisas científicas internacionais. Revista Contemporânea de Contabilidade, v.13, n. 28, p.123-148, 2016.
VAMORBIDA, S. M. I.; ENSSLIN, S. R.; ENSSILIN, L. RIPOLL-FELIU, V. M. Rankings Universitários Mundiais. Que Dizem os Estudos Internacionais? REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2016, 14(2), 5-29. doi: 10.15366/reice2016.14.2.001, 2016.
WALKER, T. R. Green Marine: An environmental program to establish sustainability in marine transportation. Marine Pollution Bulletin 105(1): 199-207, 2016.
