CONSTRUÇÃO DE UM MODELO MULTICRITÉRIO EM
APOIO AO PROCESSO DECISÓRIO NA COMPRA
DE UM COMPUTADOR
Leonardo ENSSLIN, Ph,D
Universidade Federal de Santa Catarina - EPS Campus Universitário - 88.010-970 - Florianópolis/SC - BRASIL e:mail: [email protected]
Marisa Luciana S. de MORAIS Sérgio M. PETRI
Universidade Federal de Santa Catarina - EPS
Campus Universitário - 88.010-970 - Florianópolis/SC - BRASIL
Abstrat
In a lot of situations we confronted ourselves with the need of taking decisions. The own daily force us this need. However, it’s quite difficult to fall in with a problematic context and to get, before this, to define the problem exactly. It’s known that something exists undesirable, but this comes in a disordered way and generally chaotic, therefore, it isn’t safe to do something before the situation. The present article describes a real case of a problem reasonably simple (purchase of a computer) describing the stages of the structuring of the same, through the construction of a multicriterion model aid to the decision. It was built being taken in consideration the knowledge, objectives and important judged values by who takes the decision. MCDA considers all these judgements and the information avaluating them simultaneously, therefore the reached conclusions reflect it's feelings. The methodology has the objective to improve the understanding of the process of decision, since the approach intends to assistant the resolution of problems, developing models starting from a paradigm constructivist. The credibility of the results supplied this methodology favors who takes the decision by learning from the problem, therefore, he will have larger conditions to elaborat it’s decisions.
Área 10 - Gestão Econômica na sub-área 10.4 - Sisteams de Apoio à Decisão.
Key words: Structuring, Cognitive Map and Trees of Point of View.
1 - Introdução
Nas muitas situações em que nos defrontamos com a necessidade de tomar decisões, o que ocorre com freqüência em nosso cotidiano, é bastante difícil entender o contexto problemático e consequentemente definir o problema, pois este apresenta-se de forma difusa. Na verdade, o que se sabe é que existe um situação que demande ação, um vez que as coisas não estão como gostaríamos que estivessem, e que não se está seguro sobre o que fazer perante a mesma. Eden (1983, pp. 12) define problema como uma situação onde alguém deseja que alguma coisa seja diferente de como ela é, e não se esta seguro de como obtê-la.
Então, como percebe-se, a solução de um problema envolve bem mais do que simplesmente a própria tomada de decisão. Os decisores precisam primeiramente, especificar corretamente o contexto decisório, o que implica no reconhecimento e diagnóstico do problema; e, o fato de ter que se levar em conta vários fatores simultaneamente, provoca uma saturação nos decisores, uma sobrecarga de informações, e ou dados.
A metodologia multicritério de apoio à decisão (MCDA) possui características que vão de encontro às preocupações abordadas anteriormente. A abordagem se propõe a ajudar na resolução de problemas, auxiliando no gerenciamento desta sobrecarga de informações através da organização do problema complexo. E, organiza essa complexidade
incluindo as considerações subjetivas e objetivas dos atores, usando os pontos de vista em uma medida global, que permite identificar qual a alternativa conveniente frente ao contexto decisional. (Ensslin, Apud 1998a).
Os modelos da metodologia multicritério de apoio à decisão são desenvolvidos a partir de um paradigma construtivista onde, durante o processo de construção do modelo pelos decisores, vai se aprendendo sobre o problema. Ou seja, os atores do processo de apoio à decisão aprendem juntos sobre o problema enfocado e, entende-se que assim será obtido aquela solução que melhor atenda globalmente os interesses do grupo.
O estudo de um problema dentro da abordagem MCDA inclui três fases: a de estruturação, a de avaliação e a de recomendações, que continuamente interagem entre si.
O objetivo deste estudo é explanar aspectos importantes da metodologia, enfatizando a fase de estruturação. Em sessão subsequente a esta, serão abordadas as convicções que permeiam o MCDA (Seção 2) a fim de apresentar os pilares que informam a noção de tal metodologia. A seção 3 apresenta os subsistemas englobados na metodologia.
A fase de estruturação é abordada na seção 4 onde também é apresentado um caso real para facilitar o entendimento, da construção de um modelo multicritério de apoio à decisão; “Compra de um microcomputador”. Esta seção subdividiu-se em duas etapas, a saber: (i) Mapa Cognitivo; e, (ii) Árvore de Pontos de vista;
2) As convicções
As convicções são as diretrizes ou um conjunto de instruções que servem de pilares para o processo de apoio à decisão multicritério. No MCDA estas convicções são as certezas adquiridas de quem o pratica. Estas certezas conduzem o processo refletindo-as na execução dos passos deste processo.
A partir destas convicções fica então apoiada a metodologia. A Escola Européia de MCDA, embora ainda diversa em termos de terminologias, ressalta as seguintes convicções: 1) a onipresença da subjetividade e interpenetrabilidade com a objetividade no processo decisório; 2) o paradigma da aprendizagem pela participação, e 3) o construtivismo (Bana e Costa 1993a, pp. 1).
No que se refere a primeira delas, também chamada de interpenetração dos elementos objetivos e subjetivos e sua inseparabilidade, salienta-se que um processo de decisão engloba relações entre elementos de natureza objetiva próprios às ações, e elementos de natureza subjetiva próprios aos sistemas de valores dos atores, e que ambos são indivisíveis. Então, num processo de apoio à decisão, não há como negligenciar um ou outro (Bana e Costa 1993a, pp. 4). E mais, a questão da noção de valor é fator preponderante, dado que a tomada de decisão é, antes de qualquer coisa, uma atividade humana e, portando, avaliada segundo seus valores individuais. Em face a isto, vê-se claramente a onipresença da subjetividade nos processos de tomada de decisão e que esta é, sem dúvida, um ponto crucial da decisão.
No que se refere as demais convicções, enfatiza-se que o processo de apoio à decisão pelo caminho construtivista (Roy, 1993) não busca soluções ótimas, mas sim que, ao fim do processo, os envolvidos aprendam sobre o problema enfocado, já que de maneira geral, um problema apresenta-se, aos olhos dos decisores, de forma mal definida, desordenada, vaga e pouco clara. Integra-se então a idéia de aprendizagem para conduzir o processo de apoio (Bana e Costa 1993a, pp. 4).
3) Os subsistemas
As convicções por si só, no entanto, não contemplam a dimensão do processo de apoio à decisão. Estas só se justificam se integradas a um sistema de processo de apoio à decisão. A estrutura desse sistema é formada pelos subsistemas dos atores e das ações,
definidos por White (1975, pp. 4), conforme a Figura 1.
O subsistema de atores representam os elementos subjetivos, como os valores dos atores, e esses valores condicionam a formação dos objetivos dos mesmos; Keeney (1992, pg. 34) define um objetivo como uma demonstração ou afirmação de algo que alguém deseja ver alcançado; enquanto que, o subsistema das ações, representam elementos objetivos como as características das ações.
Da interação destes dois subsistemas, irá emergir, paulatinamente, uma “nuvem” de elementos primários de avaliação (base de estruturação do problema). Alguns destes terão então, natureza intrinsecamente subjetiva (fins a
atingir) e outros terão natureza de base mais objetiva, como as características das
ações (Bana e Costa 1993b, pp. 2)
O B J E T I V O S C A R A C T E -R Í S T I C A S A M B I E N T E D E C I S I O N A L S U B - S I S T E M A A T O R E S S U B - S I S T E M A A Ç Õ E S r e p r e s e n t a ç õ e s S U B - S I S T E M A A T O R E S s i s t e m a s d e v a l o r e s n u v e m d e e l e m e n t o s p r i m á r i o s
Figura 1 - Componentes do Sistema Processo de Apoio à Decisão - White (1975, pp. 4).
Uma vez que se está apresentando os dois sistemas: das ações e dos atores, nada mais natural do que aproveitar a ocasião e comentar a respeito dos tipos de atores e suas respectivas funções.
A distinção destes atores no processo decisório varia então, em termos das suas funções no processo, ou seja, pelo grau e tipo de intervenção de cada um deles e pelo seu poder de influência na tomada de decisão.
Estes atores podem ser distribuídos segundo Roy (1985, pp. 11) no eixo funcional aqui representado.
Agidos Intervenientes Decisores “ Facilitador ” “ Demandeur”
Figura 2. Eixo funcional dos atores Bana e Costa (1988, pp. 159).
De um lado estão situados os agidos (assim chamados por Sfez 1973) que são aqueles atores que sofrem passivamente as conseqüências (sejam estas boas ou não) da implementação da decisão tomada. Já os intervenientes segundo Roy (1985, pp. 5), são os atores que por sua intervenção, condicionam de forma direta à decisão, em função de seus sistemas de valores. Ou seja, são aqueles que participam do processo com o intuito de fazer prevalecer neste às suas preferências. Os intervenientes podem ser divididos em: decisor, facilitador e demandeur, a ser analisado a seguir.
O decisor, pode-se definir como aquele (ou aqueles) a quem o processo decisório se destina, e que tem o poder e a responsabilidade de ratificar uma decisão e assumir suas conseqüências. Por sua vez o facilitador [ l’homme d’étude na terminologia de Roy (1985)] é um ator particular, cujo grau de ingerência na atividade de apoio à decisão deveria ser contínuo, adotando uma postura empática. No entanto, o facilitador deve tentar abstrair-se de seu sistema de valor, a fim de não vir a influenciar os demais intervenientes.
O “demandeur” é definido por Roy (1985, pp. 17-18) como aquele ator que apesar de ser visto como representante de um decisor, não deve ser confundido com este.
Tendo sido apresentados as noções básicas que informam a atividade de apoio à decisão, apresenta-se agora a primeira das fases constituintes desta metodologia.
5) Estruturação
Segundo Bana e Costa e Pirlot (1996, pp. 2) é a fase de estruturação que precisa receber mais atenção; pois no contexto estão envolvidos, normalmente, interesses conflitantes, múltiplos decisores, valores e opiniões diferenciadas. Em suma, desta fase resulta a identificação dos pontos de vista, que representam os objetivos e valores dos
decisores, que serão as variáveis integrantes do modelo de avaliação que será construído. Existem várias ferramentas que podem auxiliar a estruturar o contexto decisório. Para este trabalho, a abordagem utilizada é a dos Mapas Cognitivos, sob a visão de Eden (1988) que vem por auxiliar a definir a situação problemática, orientando-a para a construção da árvore de valores.
5.1) Mapa Cognitivo
O mapa cognitivo tem se apresentado como uma boa ferramenta de apoio à definição do problema, ou seja, bastante útil na estruturação de problemas complexos. Entende-se por problemas complexos “aqueles que afetam interesses múltiplos, por vezes conflitantes e onde não se tem as informações completas” (Montibeller Neto 1996, pp. 3).
Cossette e Audet (1992, pp. 331) definem o mapa cognitivo como uma representação gráfica, de uma representação mental que o pesquisador (facilitador) faz aparecer de uma representação discursiva, formulada pelo sujeito (ator) sobre o objeto, e obtido de sua reserva de representação mental.
Em suma, a construção do mapa cognitivo é uma ferramenta que tenta retratar idéias, sentimentos, valores e atitudes, bem como seu inter-relacionamento, utilizando para tanto uma representação gráfica.
5.1.1) Definição de um rótulo para o problema
No início da construção de um mapa cognitivo busca-se definir junto com os atores um rótulo adequado para o problema, que segundo Montibeller Neto (1996) trata-se de uma definição, fruto de como o ator percebe o problema; podendo o facilitador se valer de uma abordagem empática para tanto. Nesta abordagem, busca-se compreender completamente o problema como definido pelo ator, sem interferir na sua visão do problema. Por se tratar a construção do mapa de um processo interativo, ao longo deste, o rótulo pode ser alterado em função da aprendizagem gerada pelo mesmo.
No caso a ser apresentado o rótulo foi definido como “Compra de um Computador”. Tendo sido definido o rótulo do problema, o facilitador passa a questionar os atores sobre aqueles aspectos que eles consideram relevantes (EPA’s) para tal situação.
5.1.2) Definição dos elementos primários de avaliação (EPA’s)
Nesta etapa do processo o facilitador deve levantar junto ao decisor os aspectos, dentro do contexto decisório, que este considera importantes. Para tal, o facilitador, através de um “brainstorming” do ator, levanta os elementos primários de avaliação (EPA’s) junto ao decisor. A partir de cada um deles é possível, através de um esquema de perguntas e respostas, construir o mapa do ator. No caso que estamos abordando os EPA’s levantados são apresentados na Tabela 1.
Normalmente, tais elementos surgem de forma desconexa e mal definida, cabendo então ao facilitador clarificá-los, torná-los operacionais e encontrar interconexões e incompatibilidades, orientado-os para ação para melhor transmitir uma direção de preferência do decisor. (Ensslin, L. 1998b).
EPA’s CONCEITOS N.º CONCEITOS
Custos Não Ter Custo Elevado ...Ter Custo Elevado C1
Top. de Linha Ser Avançado ... Não Ser Avançado C2
Assistência Técnica Fornecer Assistência Técnica ... Não fornecer C3 Acessórios Possuir Vários Acessórios ... Não Ter Muitos Acessórios C4
Marca Ser de Boa Marca ... Não ser de Boa Marca C5
Design Ter um bom Design ... Não ter um Bom Design C6
5.1.3) Construção dos conceitos a partir dos EPA’s
Os elementos primários de avaliação propriamente ditos, não aparecem no mapa cognitivo, mas sim os conceitos construídos a partir de cada um deles. Segundo Montibeller Neto (1996) cada bloco de texto representa um conceito. O conceito possui um pólo presente, que é um rótulo definido pelo ator para a situação atual, e um pólo contraste, que é um rótulo para a situação que é o oposto psicológico. O oposto psicológico pode ser obtido com o questionamento ao decisor de qual seria a alternativa ao pólo presente. Estes dois pólos são separados por “...” expressão que é lida “ao invés de”.
O mapa no entanto, deve ter uma perspectiva orientada para à ação, e o sentido de um conceito baseia-se, em parte, na ação que este sugere. Então, deve-se dinamizar o conceito orientando-o para a ação, e isto pode ser obtido colocando o verbo no início do conceito (Ackermann et al., 1995)
No caso que estamos apresentando, para cada EPA foi construído um conceito e então orientado para a ação (Ver figura 3). Assim, o EPA “vários acessórios”, por exemplo, é orientado para ação pelo facilitador através do conceito “possuir vários acessórios”, e questionando o decisor sobre seu oposto psicológico obteve-se “não ter muitos acessórios”.
Figura 3 – Exemplo de um Conceito
5.1.4) Construção da hierarquia
A ligação entre os conceitos é feita através de relações de influência, relação esta simbolizada através de flechas (‘ ‘ ). Na extremidade de cada uma dessas flechas é associado um sinal positivo ou negativo. As associações poderão ser obtidas comparando-se os relacionamentos par-a-par dos conceitos. O sinal comparando-será positivo quando o primeiro pólo de um conceito levar ao primeiro pólo do outro, ou o segundo pólo de um conceito levar ao segundo do outro; e será negativo quando o primeiro pólo de um conceito levar ao segundo pólo do outro, ou vice-versa.
O mapa cognitivo tem uma forma hierarquizada de meios/fins. Expandindo o mapa em direção aos fins (conceitos superiores da hierarquia) se estará explicitando os sistemas de valores do decisor. Enquanto que, expandindo-o em direção aos meios (conceitos subordinados na hierarquia) poderão surgir um conjunto de ações potenciais (Montibeller Neto, 1996).
A Figura 4 apresenta o mapa cognitivo da “Compra de um computador” e mostra a lógica da construção do mapa, que pode ser facilmente explicada. Por exemplo, ao ser perguntado sobre por que era importante “não ter custo elevado” (Conceito número 1) o decisor respondeu “para estar dentro das possibilidades financeiras” (Conceito número 7). Ao ser questionado por que este aspecto era importante, o decisor respondeu “para ter condições de pagar” (Conceito número 8), o que pode levar a “estar dentro do orçamento da família” (Conceito número 9), possibilitando “valorizar a renda da família” (Conceito número 10), o que vai “promover a satisfação da família” (Conceito número 12).
Então, através de questionamentos do tipo “por que isto é importante?” pode-se obter conceitos superiores na hierarquia e continua-se o processo ate que os fins, valores, metas ou objetivos importantes do ator tenham sido explicitados, de maneira que se chegue ao(s) objetivo(s) estratégico(s) do decisor.
Da mesma forma, através de questionamentos, do tipo “como?” se pode obter um conceito subordinado na hierarquia, e continua-se o processo até que os meios/ações que viabilizem esses fins tenham sido explicitados. Por exemplo, o decisor ao ser questionado sobre como seria possível ele ‘“ter condições de pagar” (Conceito número 8) o mesmo
Possuir muitos acessórios ... Não ter muitos acessórios
respondeu que seria possível se ele tivesse “várias parcelas de pagamentos” (Conceito número 12), se tivesse “valor de entrada pequeno” (Conceito número 13) e se tivesse “prazo maior na entrada” (Conceito número 14).
No caso apresentado, a construção do mapa cognitivo foi realizada e partindo-se dos EPA’s, obteve-se 29 (vinte e nove) conceitos relacionados entre si; e surgiu, tão somente um objetivo estratégico que foi “promover a satisfação da família” (Figura 4).
Figura 4 - Mapa Cognitivo Completo da Compra de um Computador
5.1.5) Identificação dos Clusters
Os clusters são o que podemos chamar de “áreas de interesse” dentro do mapa cognitivo, são conceitos similares que traduzem a mesma idéia geral. Identificados, pode-se considerá-los separadamente (como se fossem pequenos mapas cognitivos), permitindo uma melhor análise do seu conteúdo, pois desta forma, diminui-se a complexidade do mapa cognitivo global (Montibeller Neto, 1996). A identificação de um cluster constitui-se então, ao ser detectado, um conjunto de conceitos que traduzem a mesma idéia.
Na Figura 4 apresentada anteriormente, verifica-se que no mapa cognitivo da “Compra de um computador”, foram detectados 3 (três) clusters denominados “Forma de Pagamento”, “Assistência Técnica” e “Top. de Linha”.
5.2) Árvore de Pontos de Vistas 5.2.1) A transição do Mapa – Árvore
Esta é uma parte do processo bastante complexa, já que as estruturas do mapa cognitivo e da árvore são diferentes, e o que será apresentado é parte do trabalho desenvolvido na tese de Montibeller G. (1996) e apresentado por Ensslin et al. (1997).
Montibeller Neto (1996) propõe um sequenciamento de passos que, analisando a forma e o conteúdo dos clusters, torna-se possível identificar aqueles conceitos que serão as variáveis consideradas no modelo de avaliação: os pontos de vista fundamentais (PVF’s). Tal identificação é possível, através do processo de enquadramento dos clusters , baseado na idéia de Keeney (1992): enquadramento do processo decisório.
5.2.2) O Enquadramento no Processo Decisório
objetivo(s) estratégico(s), aqui denominado P1; descendo na hierarquia, em que nível hierárquico do mapa encontra-se os candidatos a PVF’s, aqui denominados P2; e assim sucessivamente, até definir em que nível hierárquico do mapa estão as ações, aqui denominadas P3.
Juntos o contexto decisional e a família dos pontos de vista fundamentais (PVFs) fornecem o quadro (“frame”) do processo decisório. O contexto decisional define o conjunto de ações potenciais apropriadas, a serem consideradas para uma situação decisional específica, e os PVFs explicitam os valores que o ator julga importantes naquele contexto e que, ao mesmo tempo, define ações de interesse (Keeney, 1992).
Na Figura 5 o cluster “Forma de Pagamento” foi enquadrado e os conceitos C12 e C13 foram considerados candidatos a PVF’s (meios da área de interesse). Assim, na estruturação do modelo em questão, os demais clusters do mapa também foram enquadrados, de maneira que pode-se identificar os demais candidatos a PVF’s.
Figura 5 - Cluster “Ter condições de Pagar”
5.2.3 – Estrutura Arborescente
A partir do enquadramento dos clusters, identificou-se seis PVF’s que servirão de base para a construção da árvore de pontos de vista. A árvore apresenta os critérios que vão servir de base para a construção do modelo de avaliação.
Segundo Bana e Costa (1992), a construção de uma árvore de pontos de vista irá proporcionar uma melhor comunicação entre os atores; irá tornar mais compreensível o contexto decisional em questão e permitirá clarificar convicções, bem como os fundamentos destas convicções; e permitirá buscar compromisso entre os interesses e aspirações de cada ator envolvido no processo, além de possibilitar a geração de um modelo multicritério para a avaliação das ações. Entretanto, a árvore de pontos de vista não é o objetivo final do trabalho do facilitador, mas sim, um instrumento que vai ser utilizado em todo o restante do processo de maneira que se chegue a uma boa decisão.
Figura 6 - Estrutura Arborescente
Conforme a Figura 6, verificou-se no modelo em estudo, a existência de 3 (três) Clusters sendo: Forma de Pagamento (1), Top. de Linha (2) e Assistência Técnica (3).
Dentro do Cluster 1 constatou-se a existência de 2 (dois) pontos de vistas fundamentais: Valor da Entrada (PVF1) e Número de Parcelas (PVF2).
Dentro do Cluster 2 constatou-se a existência de 2 (dois) pontos de vistas fundamentais: Capacidade (PVF 3) e Acessórios (PVF 4).
Dentro do PVF3 (Capacidade) foram identificados três pontos de vista elementares: Memória (PVE 3.1), Processador (PVE 3.2) e Winchester (PVE 3.3). Dentro do PVF4 (Acessórios) foram identificados quatro pontos de vista elementares: CD Room (PVE 4.1), Internet (PVE 4.2), Scanner (PVE 4.3) e Design (PVE 4.4)
Dentro do Cluster 3 constatou-se a existência de 2 (dois) pontos de vistas fundamentais: Assistência Técnica no local (PVF 5) e Marca Reconhecida (PVF 6)
6 - Conclusão
Em situações em que nos defrontamos com o necessidade de tomar decisões, são muitos os fatores que devem ser levados em consideração, dificultando o gerenciamento dessa complexidade por parte ao decisor.
A metodologia apresentada alcançou os objetivos propostos na medida em que estruturando o problema, organizou-se essa complexibilidade em uma estrutura compreensível. O decisor aprendeu sobre o seu problema, e pode ver refletidos no mapa cognitivo, e posteriormente na árvore de pontos de vistas fundamentais, todos os aspectos que julgava relevantes.
Em suma, a abordagem multicritério de apoio à decisão direciona seus esforços com objetivo de construir um modelo segundo os juízos de valores dos decisores para então proceder uma avaliação. Este modelo deve permitir que os atores possam observar o resultado de todas as suas preferências, percepções e julgamentos em relação ao contexto decisório. Outro aspecto bastante relevante é a possibilidade da recursividade, ou seja, a possibilidade do ator rever seus juízos, e avaliar os resultados globais em função de seu aprendizado com o problema.
7 - Referência Bibliográfica
ACKERMANN, F., EDEN, C., CROPPER, S. (1995), Getting started with cognitive mapping. Artigo fornecido
com o software COPE.
BANA E COSTA, C.A.,(1993b), "Processo de apoio à decisão: problemáticas, actores e ações", Escola de Novos
Empreendedores - ENE, UFSC, 31 pg.
BANA E COSTA, C.A., (1993a), “Três convicções fundamentais na prática do apoio à decisão”, Escola de Novos
Empreendedores - ENE, UFSC, 12.
BANA E COSTA, C.A., (1988), “A methodology for sensitivity analysis in three-criteria problems: a case study
in municipal management”. EJOR, 33, 159-173.
BANA E COSTA, C. A, PIRLOT, M., “Thougths on the future of the multicriteria field: basic convictions and
outline for a general methodology, artigo aguardando publicação em 1996- 5 p.
COSSETTE, P., AUDET, M. (1992), Mapping of an idiosyncratic schema. Journal of Management Studies,
v.29, n.3, pp. 325-348.
EDEN, C., JONES, S., SIMS, D., (1983), Messing about in problems. Oxford: Pergamon. EDEN, C., Cognitive mapping. European Journal of Operational Research, n. 36, pp. 1-13, 1988.
ENSSLIN, L.; MONTIBELLER, G.; ZANELLA, I.; NORONHA, S. ; Intrudução à MCDA, LabMCDA, EPS,
UFSC, 1998 a.
ENSSLIN, L., Notas de Aula, Curso de Pós-Grauação em Engenharia de Produção, UFSC, 1998b.
ENSSLIN, L.; BANA E COSTA, C.A..; MONTIBELLER, G., “From Cognitive Maps To Multicritéria
Models; Proceedings of the International Conference on Mothods and Applications of MCDA, Mons, Bélgica, 1997.
KEENEY, R.L., (1992), Value-Focused Thinking:A Path to Creative Decisionmaking, Harvard University Press. MONTIBELLER NETO, G. Mapas Cognitivos: Uma Ferramenta de Apoio à Estruturação de Problemas.
Florianópolis - Brasil, 1996. Dissertação de Mestrado - Depto. de Engenharia de Produção, Universidade Federal de Santa Catarina.
ROY, B., (1993), Decision science or decision-aid science?. European Journal of Operational Research, n. 66, pp.
184-203.
