Avaliação dos Enunciados da Escala MARKOR: Um Estudo Longitudinal Autoria: Cláudio Hoffmann Sampaio, Marcelo Gattermann Perin
Desde o início da década de 1990, até os dias atuais, o tema orientação para o mercado tem sido tratado como uma das prioridades de estudo em marketing (Becker e Homburg, 1999). Analisando-se as quatro principais escalas de orientação para o mercado (Narver e Slater, 1990; Deshpandé, Farley e Webster, 1993; Kohli, Jaworski e Kumar, 1993; e Deshpandé e Farley, 1998) considera-se que, apesar das escalas terem sido aplicadas em quase a totalidade das vezes por respondentes internos à empresa, o respondente precisaria analisar o mercado para posicionar comparativamente o grau de orientação para o mercado de sua organização. Neste sentido, este artigo apresenta os detalhes de uma pesquisa longitudinal realizada com amostras pareadas em três momentos distintos na Indústria Eletro-Eletrônica, procurando investigar se os diferentes enunciados em relação à solicitação explícita de responder às questões comparativamente à concorrência poderiam estar levando a diferentes interpretações e resultados, conduzindo, portanto, ao erro de resposta (Malhotra, 2001). Os resultados encontrados no estudo longitudinal demonstraram que não há diferença significativa entre as respostas geradas a partir de enunciados com ênfases entre dois extremos – comparação com o padrão externo e a análise com foco puramente interno da empresa.
1 Introdução
Desde o início da década de 1990, a partir das linhas de pesquisa desenvolvidas por Kohli e Jaworski (1990 e 1993), Narver e Slater (1990 e 1994), e Deshpandé, Farley e Webster (1993), o tema orientação para o mercado, bem como sua relação com performance, tem sido tratado por uma extensa gama de estudos no escopo da administração de marketing. As escalas originadas destas três linhas de pesquisa seminais têm sido aplicadas em diversos estudos em diferentes ambientes, sendo normalmente referidas como as alternativas viáveis para a mensuração do grau de orientação para o mercado (Deshpandé, 1999).
Um dos principais trabalhos com a preocupação de avaliar as escalas de orientação para o mercado mais relevantes, originadas a partir das três principais linhas de pesquisa, foi efetuado por Deshpandé e Farley (1998). Os autores, realizando uma meta-análise das três principais escalas de orientação para o mercado desenvolvidas no início da década de 1990 (Narver e Slater, 1990; Deshpandé, Farley e Webster, 1993; e Kohli, Jaworski e Kumar, 1993), após uma análise das diferentes aplicações dessas escalas, e de um estudo empírico comparando-as numa amostra de 82 executivos de marketing de 27 diferentes empresas de distintos países, ressaltam que essas escalas são, em geral, similares em termos de confiabilidade e de validade interna e externa. Deshpandé e Farley (1998, p.222) afirmaram que “as três escalas parecem ser intercambiáveis, e que as conclusões substantivas alcançadas com cada uma aplicam-se geralmente às outras”. Salientaram, ainda, que as escalas foram utilizadas numa ampla variedade de aplicações, e cada uma delas apresentou uma performance mais do que aceitável. Os autores concluem que “elas são... redundantes.” (Deshpandé e Farley, 1998, p.222).
Alguns estudos, porém, têm analisado a validade destas escalas e vêm buscando o refinamento das escalas existentes ou mesmo o desenvolvimento de novas escalas com maior validade (Pitt, Caruana e Berton, 1996; Egeren e O’Connor, 1998; Baker e Sinkula, 1999; Pulendran, Speed e Widing II, 2000; Matsuno, Mentzer e Rentz, 2000; Mavondo e Farrell,2000).
No Brasil, apesar da similaridade das escalas e de suas aplicações, observa-se que a escala MARKOR (Kohli, Jaworski e Kumar, 1993) tem sido utilizada mais sistematicamente,
sendo aplicada em pelo menos seis investigações empíricas com propriedades estatísticas aceitáveis (Toaldo, 1997; Silveira, 1998; Mandelli, 1999; Sampaio, 2000; Trez, 2000; Perin, 2002). No entanto, nenhum dos estudos desenvolvidos no país, utilizando qualquer uma das escalas de orientação para mercado, questionou a sua aplicação ou propôs a necessidade de revisão das referidas escalas. Em geral, os trabalhos elaborados no Brasil buscaram a adaptação das escalas ao contexto brasileiro, ou então, as utilizaram diretamente como forma, supostamente válida, de mensuração do grau de orientação para mercado. Exceção deve ser registrada ao trabalho de Sampaio e Perin (2002) que realizaram uma análise crítica à escala MARKOR e suas dimensões teóricas.
Analisando-se as quatro principais escalas de orientação para o mercado (Narver e Slater, 1990; Deshpandé, Farley e Webster, 1993; Kohli, Jaworski e Kumar, 1993; e Deshpandé e Farley, 1998) verifica-se que apesar das escalas terem sido aplicadas, em quase a totalidade das vezes, por respondentes internos à empresa, o respondente precisaria analisar, necessariamente, o mercado para posicionar comparativamente, em determinadas questões, seu grau de orientação para o mercado (concordância ou discordância em relação aos questionamentos das escalas). Apesar disso, no enunciado de duas escalas (MKTOR e MARKOR) não existe indicação explícita para que o respondente se posicione em relação aos concorrentes. No Brasil, os estudos de Sampaio (2000) e Perin (2002) possuem também diferenças no enunciado da escala MARKOR. No estudo de Sampaio (2000) não existe referência no enunciado da MARKOR para um posicionamento comparativo externo, já em Perin (2002) o respondente é solicitado a responder sobre seu grau de orientação para o mercado comparativamente aos concorrentes.
Neste sentido, este artigo apresenta os detalhes de uma pesquisa longitudinal realizada na Indústria Eletro-Eletrônica que objetivou verificar empiricamente a validade de diferentes enunciados da escala MARKOR, procurando investigar se os diferentes enunciados em relação à solicitação explícita de responder às questões comparativamente à concorrência poderiam estar levando a diferentes interpretações e resultados, conduzindo, portanto, ao erro de resposta (Malhotra, 2001). Os resultados encontrados no estudo longitudinal trazem relevantes implicações acadêmicas.
2 Referencial Teórico
A quase totalidade das escalas de orientação para o mercado têm sido aplicadas internamente, por respondentes da empresa. Entretanto, uma série de estudos que investigou empiricamente o grau de orientação para o mercado de empresas utilizando apenas fontes internas, apontou para a necessidade, mesmo que o respondente precisasse se posicionar em relação aos competidores para responder, de se medir orientação para o mercado utilizando também fontes externas (Caruana, Ramaseshan e Ewing, 1996; Pelham e Wilson, 1996; Appiah-Adu, 1997; Bhuian e Abdul-Gader, 1997; Pelham, 1997; Lukas e Ferrell, 2000; Pelham, 2000). Esses autores mostram preocupação em haver diferenças entre o quanto a empresa acha que é orientada para o mercado e o quanto a empresa realmente é. Pelham (1997) aponta que um julgamento de grau de orientação para o mercado requer introspecção para obter a freqüência e concordância de comportamentos internos e externos dos membros da empresa, sendo conseqüentemente suscetível a vieses de julgamentos. O autor indica, inclusive, que os estudos deveriam buscar maior confiabilidade das respostas utilizando também julgamentos externos (clientes, por exemplo) e comparando-os com os resultados obtidos internamente. No Brasil, os estudos de Mandelli (1999) e Sampaio (2000) também sugerem a importância de investigar a orientação para o mercado de uma empresa utilizando também fontes externas. A seguir são apresentadas as principais escalas de orientação para o mercado e, posteriormente, é feita uma análise dos diferentes enunciados dessas escalas.
2.1 Escala de Orientação para o Mercado de Kohli, Jaworski e Kumar: MARKOR
Tendo por base os anteriores estudos de Kohli e Jaworski (1990) e Jaworski e Kohli (1993), Kohli, Jaworski e Kumar (1993) desenvolveram a escala MARKOR (Market Orientation), com o intuito de servir como instrumento para medir o grau de orientação para o mercado das empresas.
A MARKOR foi constituída após três estágios. No primeiro, uma primeira amostra com 230 respondentes foi utilizada para eliminar itens, de uma escala inicial de 32 itens, que não adequadamente refletiam os componentes teóricos do construto de orientação para o mercado. No segundo estágio, uma segunda amostra com múltiplos respondentes (executivos de marketing e executivos de outras áreas) de 222 UENs foi utilizada para testar teoricamente diversas alternativas plausíveis de representação de estruturas fatoriais para aqueles itens que ficaram após o primeiro estágio. Finalmente, no terceiro estágio, vários componentes do construto foram correlacionados para verificar a validade preditiva das medidas de orientação para o mercado. Dessa maneira, a escala MARKOR foi constituída, sendo composta por 20 (vinte) variáveis divididas em três grupos: 6 (seis) variáveis relativas à geração de inteligência de mercado, 5 (cinco) variáveis relativas à disseminação da inteligência de mercado e 9 (nove) variáveis referentes à resposta à inteligência gerada (Anexo A).
No que tange à medição da orientação para o mercado, Kohli, Jaworski e Kumar (1993) definem a escala MARKOR e seu processo de medição como:
“A escala de orientação para o mercado avalia o grau com que uma unidade estratégica de negócios (1) se ocupa de atividades multi-departamentais de geração de inteligência de mercado, (2) dissemina esta inteligência vertical e horizontalmente através de canais formais e informais, e (3) desenvolve e implementa programas de marketing baseados na inteligência gerada. Os atributos-chave da medida incluem (1) foco nos clientes da unidade estratégica de negócios e nas forças que norteiam suas necessidades e preferências, (2) itens baseados em atividades, não em filosofia do negócio, e (3) uma demarcação de um fator geral de orientação para o mercado e de fatores de componentes associados.” (Kohli, Jaworski e Kumar, 1993, p.473)
2.1.1 A Utilização da Escala MARKOR
Durante a década de 90 uma série de trabalhos trataram do tema orientação para o mercado, sendo que um número expressivo de trabalhos utilizou a escala MARKOR para medir orientação para o mercado (Jaworski e Kohli, 1993; Raju, Lonial e Gupta, 1995; Caruana, Ramaseshan e Ewing, 1996; Pitt, Caruana e Berthon, 1996; Avlonitis e Gounaris, 1997; Pelham, 1997; Toaldo, 1997; Bhuian, 1998; Silveira, 1998; Baker e Sinkula, 1999; Mandelli, 1999; Dawes, 2000; Matsuno e Mentzer, 2000; Matsuno, Mentzer e Rentz, 2000; Mavondo e Farrell, 2000; Pelham, 2000; Pulendran, Speed e Widing II, 2000; Sampaio, 2000; Trez, 2000; Perin, 2002).
É importante constatar, pela análise das escalas de orientação para o mercado desenvolvidas a partir das linhas de pesquisas anteriormente discutidas e pelos estudos apresentados supracitados, que o desenvolvimento dessas escalas se revestiu de apuro metodológico, oferecendo evidências equivalentes de validade e confiabilidade, possuindo também consagração internacional pela utilização repetida em diferentes trabalhos de distintos contextos. Apesar da similaridade das escalas e de suas aplicações, registra-se que a
MARKOR já foi utilizada no país em cinco investigações empíricas com propriedades estatísticas aceitáveis. Entretanto, o estudo de Mavondo e Farrell (2000) apontou para uma menor robustez e poder de generalização da MARKOR em relação à MKTOR (Narver e Slater, 1990). Em outros estudos, todavia, a MARKOR é apontada como um instrumento que apresenta evidências de propriedades psicométricas (Caruana et al., 1996), um procedimento empírico mais sistemático do que o de Narver e Slater (Lado et al., 1998) e já apresentou hipóteses testadas e aceitas sobre confiabilidade e validade convergente para a mensuração da orientação para o mercado em países e culturas distintas dos EUA (Pitt et al., 1996), além de uma maior utilização no contexto brasileiro (Sampaio, 2000).
2.2 Escala de Orientação para o Mercado de Deshpandé, Farley e Webster
Acreditando que a orientação para o mercado é uma forma de cultura empresarial, Deshpandé, Farley e Webster (1993) desenvolveram uma escala de orientação para o mercado como parte de um estudo que buscava investigar exploratoriamente o impacto da cultura, inovação e orientação para o mercado sobre a performance empresarial.
A escala de nove itens (ver Anexo B) foi desenvolvida de uma lista inicial de trinta itens, utilizando resultados de um estudo com 138 executivos japoneses (Deshpandé e Farley, 1998).
2.3 Escala de Orientação para o Mercado de Deshpandé e Farley: MORTN
Tendo por base uma meta-análise das três principais escalas de mensuração de orientação para o mercado desenvolvidas no início da década de 1990 (Narver e Slater, 1990; Deshpandé, Farley e Webster, 1993; e Kohli, Jaworski e Kumar, 1993), Deshpandé e Farley (1998) desenvolveram uma escala de dez itens para medir a orientação para o mercado das empresas (ver Anexo C).
Os autores concluem, após uma análise das diferentes aplicações das três escalas, e de um estudo empírico comparando as três escalas numa amostra de 82 executivos de marketing de 27 diferentes empresas de distintos países, que essas escalas são, em geral, similares em termos de confiabilidade e de validade interna e externa. Dessa maneira, Deshpandé e Farley (1998) sintetizaram as escalas e propuseram a escala MORTN para futuras investigações sobre o grau de orientação para o mercado das empresas.
2.4 Escala de Orientação para o Mercado de Narver e Slater: MKTOR
Narver e Slater (1990) delineiam inicialmente a orientação para o mercado como um constructo unidimensional constituído por três componentes comportamentais (orientação para o cliente, orientação para os concorrentes e coordenação interfuncional) e dois critérios de decisão (foco no longo prazo e na lucratividade).
Após o delineamento inicial do constructo, os cinco componentes de orientação para o mercado de Narver e Slater (1990) foram submetidos a dois painéis formados por acadêmicos. Os itens revisados e aprovados nos painéis compuseram uma primeira versão do questionário. Após os pré-testes, foi desenvolvida uma versão final do instrumento e encaminhado aos membros da alta administração de 140 unidades estratégicas de negócio de uma corporação.
As escalas dos componentes comportamentais mostraram-se confiáveis. Essas escalas também foram submetidas a testes de validade discriminante, validade convergente e validade concorrente, fornecendo forte suporte à validade do constructo dos componentes comportamentais. Diferentemente, as escalas dos critérios de decisão não alcançaram propriedade estatística significativa e foram excluídas da operacionalização do constructo.
Narver e Slater (1990) desenvolveram então sua escala de orientação para o mercado com quinze itens (ver Anexo D), utilizados como um de nove diferentes medidas na
explicação do retorno sobre ativos. As outras medidas incluíam: poder do comprador e vendedor, concentração de vendedores, facilidade de novos entrantes, crescimento de mercado, mudanças tecnológicas, tamanho relativo da empresa e custos relativos da empresa.
2.5 Enunciados das Diferentes Escalas de Orientação para o Mercado
O enunciado de uma questão é fundamental para o entendimento daquilo que está sendo investigado. De acordo com Malhotra (2001)“... o enunciado de uma questão é a tradução, em palavras, do conteúdo e da estrutura da questão, de tal forma que os entrevistados possam compreendê-las clara e facilmente... Se uma questão é formulada de maneira deficiente... conduz ao erro de resposta. A menos que o entrevistado e o pesquisador atribuam exatamente o mesmo significado à questão, os resultados serão seriamente tendenciosos.” (p. 283). A Seguir são relacionados os enunciados utilizados pelas quatro principais escalas de orientação para o mercado:
• MKTOR (Narver e Slater, 1990): “Ao responder, use por favor a escala de resposta que segue e posicione o número apropriado à esquerda de cada afirmação. Por favor, responda a cada afirmação.” (Deshpandé e Farley, 1998, p. 226);
• Deshpandé, Farley e Webster (1993): “As afirmações abaixo descrevem normas que utilizadas no negócio. Por favor indique seu grau de concordância sobre o quanto as afirmações descrevem as normas reais em seu negócio. Instruções: por favor responda no contexto de seu específico negócio de produto/mercado ou serviço/mercado. Marque um número em cada linha.” (Deshpandé e Farley, 1998, p. 227);
• MARKOR (Kohli, Jaworski e Kumar, 1993): “Ao responder as seguintes questões, foque por favor em sua UEN ao invés da corporação como um todo. Se aquestão não for aplicável, deixe em branco.” (Deshpandé e Farley, 1998, p. 228);
• MORTN (Deshpandé e Farley, 1998): “Instruções: As afirmações abaixo descrevem normas que operam no negócio. Por favor indique seu grau de concordância sobre o quanto as afirmações descrevem as normas reais em seu negócio. Por favor responda no contexto de sua UEN.” (p.224).
Pode-se observar uma diferença que separa em dois grupos os enunciados das quatro escalas. Nas escalas de Deshpandé, Farley e Webster (1993) e MORTN (1998) o enunciado inicialmente versa sobre as normas de operação do mercado e, posteriormente, pede ao respondente que indique seu grau de concordância em relação ao que ocorre em seu negócio/empresa. Diferentemente, nas escalas MKTOR (1990) e MARKOR (1993) o enunciado não trata explicitamente sobre o mercado, apenas pede que o respondente indique seu grau de concordância em relação à cada afirmação/questão.
É importante salientar que em uma grande parte das questões das quatro escalas de orientação para o mercado os respondentes necessitariam posicionar sua empresa comparativamente ao mercado para indicar seu grau de concordância em relação à cada questão. Toma-se como base, por exemplo, duas questões de cada escala para demonstrar essa afirmação: na escala MARKOR (Anexo A), as questões 3 e 12 (“Nós somos lentos para detectar mudanças nas preferências de nossos clientes por produtos.” e “Nós demoramos muito tempo para decidir como responder às mudanças de preços dos nossos concorrentes.”); na escala MKTOR (Anexo D) as questões 3 e 4 (“Nós rapidamente respondemos às ações da concorrência que nos ameaçam.” e “Nós constantemente monitoramos nosso grau de compromisso e orientação em satisfazer as necessidades dos clientes.”); na escala MORTN (Anexo C) as questões 5 e 10 (“Nós medimos a satisfação dos clientes sistemática e freqüentemente.” e “Dados sobre satisfação de clientes são disseminados regularmente em
todos os níveis hierárquicos nesta empresa.”); e na escala de Deshpandé, Farley e Webster (Anexo B) as questões 3 e 8 (“Nós conhecemos bem nossos concorrentes.” e “Nossos produtos/serviços são os melhores nesse negócio.”). Em cada uma das oito questões citadas é necessário que o respondente se posicione em relação a outras empresas para saber se a empresa é mais rápida ou mais lenta, é melhor ou pior do que seus concorrentes no mercado. Em qualquer das oito questões apontadas é inviável e sem sentido responder as afirmações sem posicionar comparativamente a empresa a seu mercado e concorrentes.
Reforçando a afirmação acima, destaca-se o estudo de Wrenn (1997), no qual o autor, fazendo uma comparação entre escalas do tipo Thurstone e Likert para medir orientação para o mercado, aponta que em uma escala Likert de concordância quando um respondente anota “concordo” este escore somente terá significância quando comparado a uma norma/média de como outros respondentes marcaram este item. De forma semelhante, Churchill (1979) pondera sobre a necessidade de se comparar as respostas com a norma, uma vez que somente apenas pela concordância / discordância não se tem uma medida comparativa de alto ou baixo.
Ressalta-se que não se objetiva a invalidação das escalas de orientação para o mercado e dos estudos que utilizaram estas escalas, mas uma análise comparativa de diferentes enunciados, procurando investigar se existe ou não diferenças de respostas em função de explicitar ou não no enunciado ênfase comparativa aos concorrentes.
3 Método
O método adotado nesta pesquisa foi o survey longitudinal (Churchill, 1999). Para tanto, tomou-se como base os dados coletados em levantamentos realizados em três momentos distintos na Indústria Eletro-Eletrônica do Brasili. O teste estatístico aplicado para comparar o padrão de respostas, face a três enunciados distintos aplicados para a escala MARKOR, foi o teste t para amostras pareadas, complementado pelo teste não paramétrico de Wilcoxon sign-rank para amostras relacionadas (Nunnally e Bernstein, 1995). Os detalhes dos procedimentos metodológicos realizados são apresentados a seguir.
3.1 Elaboração do Instrumento de Coleta
Para operacionalização do construto de orientação para o mercado foi utilizada a escala MARKOR (Kohli, Jaworski e Kumar, 1993) por apresentar testes de confiabilidade e validade aceitos em países e culturas distintos dos EUA (Pitt et al., 1996). Apesar de apresentar propriedades similares com as escalas de Narver e Slater (1990) e de Deshpandé, Farley e Webster (1993) (Deshpandé e Farley, 1998), a escala MARKOR foi utilizada em um número expressivo de trabalhos que visaram medir orientação para o mercado, inclusive no contexto brasileiro (Perin, 2002).
É importante frisar que o desenvolvimento da escala MARKOR se revestiu de apuro metodológico, oferecendo evidências de validade e confiabilidade, possuindo também consagração internacional pela utilização repetida em diferentes trabalhos de distintos contextos. Apesar da similaridade com outras escalas, destaca-se que a MARKOR já foi utilizada no país ao menos em cinco investigações empíricas com propriedades estatísticas aceitáveis (Sampaio, 2000).
Para os dois primeiros levantamentos na Indústria Eletro-Eletrônica, a orientação para o mercado foi mensurada através das três dimensões originais da escala MARKOR - geração de inteligência de mercado, disseminação de inteligência de mercado e ação de resposta, sendo composta por um conjunto total de vinte indicadores (Kohli, Jaworski e Kumar, 1993). A escala MARKOR de vinte itens, respeitando os conceitos empregados no trabalho original (Kohli, Jaworski e Kumar, 1993), foi convertida para a língua portuguesa através da técnica
de tradução reversa (Dillon, Madden e Firtle, 1994). A íntegra da escala é apresentada no Anexo A.
No terceiro e último levantamento realizado foram utilizados apenas três dos vinte indicadores, aleatoriamente selecionados da escala MARKOR traduzida, representando cada uma das três dimensão da escala. A adoção de um último questionário simplificado, ou seja, com um número bastante menor de indicadores, se deveu à necessidade de uma melhor efetividade na taxa de resposta no levantamento final, uma vez que a intenção da pesquisa era o de comparar amostras pareadas e que o número de empresas com respostas pareadas nos dois primeiros levantamentos foi de 101 casos. Os indicadores utilizados foram: OM4, OM9 e OM14 (vide descrição completa no Anexo A).
O enunciado aplicado no questionário, previamente aos indicadores da MARKOR, partiram de uma ênfase externa (maior ponderação em relação aos principais concorrentes do setor) até uma ênfase interna (a avaliação pura e simples da empresa), incluindo uma situação intermediária. Os enunciados, respectivamente para o primeiro, segundo e terceiro levantamento, foram:
• Gostaríamos que você indicasse com um X o seu grau de discordância / concordância quanto a cada uma das afirmações relacionadas abaixo, tendo em mente a situação da sua empresa em relação aos seus principais concorrentes no seu principal setor de atividade. Para tal avaliação, considere o quanto você discorda (1 – totalmente, 2 – muito ou 3 – pouco) ou concorda (4 – pouco, 5 – muito ou 6 – totalmente) com as afirmações feitas. Caso você não esteja em condições de responder algum dos itens abaixo, por favor procure a pessoa que você acredita ser mais indicada para responder este item específico.
• Gostaríamos que você indicasse com um X a sua opinião quanto a cada uma das afirmações relacionadas abaixo, tendo em mente a situação da sua empresa em relação aos seus principais concorrentes no seu principal setor de atividade. Para tanto, avalie as questões a seguir utilizando a escala de cinco posições onde 1 representa “discordo totalmente” e 5 “concordo totalmente”. Para as situações intermediárias escolha, dentro da escala, indique a alternativa que melhor caracterize a situação em sua empresa. Não existe resposta certa ou errada: faça sua escolha levando em consideração a discordância ou concordância sobre as práticas adotadas em sua empresa atualmente e não sobre o que você julga apropriado. Caso você não esteja em condições de responder algum dos itens abaixo, por favor procure a pessoa que você acredita ser mais indicada para responder este item específico.
• Gostaríamos que você indicasse com um X a sua opinião quanto a cada uma das afirmações relacionadas abaixo. Para tanto, avalie as questões a seguir utilizando a escala de cinco posições onde 1 representa “discordo totalmente” e 5 “concordo totalmente”. Para as situações intermediárias, dentro da escala, indique a alternativa que melhor caracterize a situação em sua empresa. Não existe resposta certa ou errada: faça sua escolha levando em consideração a discordância ou concordância sobre as práticas adotadas em sua empresa atualmente e não sobre o que você julga apropriado. Caso você não esteja em condições de responder algum dos itens abaixo, por favor procure a pessoa que você acredita ser mais indicada para responder este item específico.
A validação de conteúdo foi efetuada através do método de juízes, acadêmicos e práticos (Malhotra, 2001). Os juízes, dois acadêmicos conceituados de marketing do Programa de Pós-Graduação em Administração (PPGA) da Universidade Federal do Rio Grande do Sul (UFRGS), consideraram a escala apropriada.
Após essa etapa, para avaliação dos termos empregados, a escala MARKOR foi apresentada a quatro executivos da Indústria Eletro-Eletrônica, com experiência na área, escolhidos por julgamento dos pesquisadores, buscando refinamento e sugestões com a aproximação dos termos utilizados a uma linguagem mais prática, mais utilizada pelas empresas do setor. Alguns termos foram adequados de acordo com as sugestões apresentadas.
No primeiro levantamento, a mensuração foi realizada por meio escalas bi-etápicas de 6 pontos, através da qual a organização deveria se manifestar de acordo com o comportamento de sua empresa, em relação às variáveis de orientação para o mercado, variando de discordo (1-Totalmente, 2-Muito e 3-Pouco) a concordo (4-Pouco, 5-Muito e 6-Totalmente). Para o segundo e terceiro levantamentos adotou-se a escala de cinco postos, com os extremos desta escala definidos como (1) Discordo Totalmente e (5) Concordo Totalmente. Esta diferenciação foi realizada para atender objetivos secundários da pesquisa.
O instrumento de coleta de dados foi pré-testado em um conjunto de empresas do setor, representando diferentes portes e localizações geográfica. O pré-teste indicou homogeneidade de compreensão pelas empresas envolvidas.
Por indicação de Bagozzi (1994) e Hair et al. (1998) a avaliação d os instrumentos foi realizada através do cálculo de confiabilidade e de variância extraída, a partir da soma das carga das variâncias padronizadas e dos erros de mensuração das variáveis. Como a escala MARKOR compreende três dimensões (geração, disseminação e resposta), para avaliar o constructo de orientação para o mercado, o cálculo da confiabilidade e da variância extraída foi apurado separadamente para cada uma das dimensões e para a escala completa (Malhotra, 2001). Os constructos apresentaram consistência interna aceitável (Hair et al., 1998).
3.2 Coleta de Dados
Para o primeiro e o segundo levantamento, ocorridos respectivamente entre os meses de julho e agosto de 2000 e entre agosto e setembro de 2001, os surveys aplicados na Indústria Eletro-Eletrônica consideram a população de empresas deste setor afiliadas à Associação Brasileira da Indústria Elétrica e Eletrônica (ABINEE), perfazendo um total de 541 organizações. No caso específico do terceiro levantamento, dada a intenção supracitada de comparar resultados de amostras pareadas, a população considerada se restringiu a um número de 101 empresas dentre as referidas 541, as quais haviam oferecido questionários válidos nos dois levantamentos anteriores. O terceiro e último levantamento ocorreu no mês de março de 2002.
A forma de coleta, dada a extensão territorial envolvida na pesquisa, foi o questionário via correio, tendo este sido enviado para toda a população considerada em cada caso. O destino dos questionários foi a alta administração das empresas envolvidas. Destaca-se, portanto, que não existiu processo de amostragem para o envio dos instrumentos de pesquisa (Malhotra, 2001). As amostras efetivamente utilizadas para as análises dos dados foram formadas pelos questionários devolvidos e considerados válidos. As amostras ajustadas, respectivamente para o primeiro, segundo e terceiro levantamentos, registraram 192 casos, 179 casos e 53 casos. Desta forma, sendo necessária a consideração de casos pareados presentes nos três levantamentos, a amostra final da presente pesquisa se limitou o número de casos do último levantamento, ou seja, 53 casos.
Em função do método de coleta utilizado - questionário via correio, realizou-se nas amostras geradas dos dois primeiros levantamentos a análise do viés dos não-respondentes através do teste de comparação entre ondas (1a onda após o envio do questionário e 2a onda após a pós-notificação) e da comparação entre as características das empresas respondentes e não respondentes (dados relativos ao número de funcionários, localização geográfica e classificação pelo código de atividade). Os resultados obtidos pelos dois procedimentos indicaram a inexistência de viés nos dados colhidos.
Os resultados obtidos dos demais testes estatísticos são apresentados a seguir. 4 Análise dos Resultados
Para verificar a existência de diferenças significativas entre as respostas oferecidas em cada um dos levantamentos foi inicialmente utilizado o teste t para amostras pareadas (Hair et al., 1998; Chruchill, 1999). A Tabela 1 apresenta os resultados do teste t.
Tabela 1 – Resultado do Teste t para Amostras Pareadas
Levantamentos Indicador t Sig.
Primeiro OM4 -0,704 0,485 x OM9 -0,976 0,334 Segundo OM14 0,846 0,401 Primeiro OM4 -0,806 0,424 x OM9 -0,828 0,411 Terceiro OM14 1,428 0,119 Segundo OM4 -0,097 0,923 x OM9 0,193 0,848 Terceiro OM14 1,847 0,07
Fonte: coleta de dados
Note-se que nenhuma das combinações possíveis entre os indicadores e entre os levantamentos apresentou diferenças significativa. Este resultado parece demonstrar que o raciocínio elaborado pelos respondentes ao preencher o questionário foi independente das ênfases apresentadas pelos enunciados.
Uma outra possível explicação seria a influência da não normalidade dos dados no resultado do teste t, condição para a sua realização. Em função deste fato, os dados de entrada foram submetidos a uma análise de normalidade uni e multivariada, considerando o cálculo dos valores de skewness e kurtosis, além da medida de Mardia de kurtosis multivariada (West, Finch e Curran, 1995; Hoyle e Panter, 1995; Hair et al., 1998; Ullman, 2000). Esta análise registrou a ocorrência de não normalidade em algumas das variáveis do estudo. Ainda que o nível da não normalidade diagnosticada tenha sido considerado moderado, optou-se pela aplicação de um teste não paramétrico de diferença de médias, visando sobrepor a condição de não normalidade dos dados. O teste aplicado, para tanto, foi o de Wilcoxon sign-rank para amostras relacionadas (Nunnally e Bernstein, 1995). A Tabela 2 apresenta os resultados do referido teste.
Tabela 2 – Resultado do Teste de Wilcoxon sign-rank
Levantamentos Indicador Z Sig.
Primeiro OM4 -0,066 0,947 x OM9 -0,184 0,854 Segundo OM14 -1,755 0,079 Primeiro OM4 -0,69 0,491 x OM9 -0,735 0,463 Terceiro OM14 -1,308 0,121 Segundo OM4 -0,624 0,533 x OM9 -0,71 0,478 Terceiro OM14 -0,837 0,403
Os resultados demonstrados pelo teste de Wilcoxon sign-rank para amostras relacionadas (Tabela 2) corroboram os resultados encontrads no test t (Tabela 1), excluindo, portanto, a hipótese de influência negativa da não normalidade dos dados.
As conclusões relativas a estes resultados, bem como um breve discussão sobre suas implicações, são apresentadas a seguir.
5 Conclusões
O desenvolvimento de uma escala de mensuração envolve interações, refinamento e melhoramento das escalas existentes (Churchill, 1979). A medição é um processo interativo pelo qual uma escala é aprimorada pela mensuração da teoria e, dessa forma, melhora a teoria, que posteriormente sugere e requer melhores escalas (Wrenn, 1997).
A mensuração não é apenas uma manipulação aritmética de respostas, é uma teoria de um fenômeno sendo medida. Por isso, é imprescindível que o sistema relacional numérico (mensuração) esteja relacionado com o sistema relacional empírico (Anderson, Basilevsky e Hum, 1983 apud Wrenn, 1997). É apropriado pensar em uma escala de mensuração como uma convenção, um acordo entre os cientistas de que uma escala particular de um construto é aceita (Nunnally, 1978). Dessa forma, para uma escala ser aceita ela deve estar apta a obter, o mais fidedignamente possível, uma correspondência com as características das propriedades do construto, isto é, estabelecer uma relação isomórfica entre os sistemas relacionais empíricos e numéricos (Wrenn, 1997).
Cabe destacar a posição assumida por Nunnally e Bernstein (1995, p. 27) expressa nas seguintes afirmações:
“Antes de medir um atributo, deve-se buscar todo gênero de sabedoria sobre a natureza do atributo - não podemos medir algo a menos que se tenha alguma concepção geral daquilo que se vá medir -. A natureza de uma ‘boa’ escala de medição de certas medidas pode ser acordada com tanta facilidade que se estabelece uma convenção sem dificuldades, por exemplo, longitude, peso e tempo”.
A escala MARKOR, amplamente aplicada para mensuração do grau de orientação para mercado, foi considerada como válida e utilizada por diversos estudos realizados em diversos países e culturas (Sampaio, 2000). Contudo, uma gama de outros trabalhos vem questionando esta validade (Caruana et al, 1996; Oczkowski e Farrell, 1998; Baker e Sinkula, 1999; Pulendran et al., 2000; Matsuno et al., 2000; ). Os resultados aqui encontrados reforçam a necessidade de um aprofundamento destes estudos, especialmente considerando o contexto específico de cada país ou cultura.
Nesta linha, a não constatação de diferença significativa entre as respostas oferecidas a partir de diferentes ênfase nos enunciados demonstra que o raciocínio aplicado pelos respondentes sobrepõe as referidas diferenças nos enunciados. Deve-se, portanto, buscar explicações mais aprofundadas sobre este fenômeno e, conseqüentemente, formas mais claras de enunciados que aproximem, o quanto possível, o questionário aplicado do raciocínio elaborado pelos respondentes quando da interpretação da orientação para o mercado.
5.1 Limitações da Pesquisa e Sugestões para Estudos Futuros
Apesar do rigor do método aplicado nessa pesquisa, algumas situações vivenciadas durante o desenvolvimento do trabalho sugerem certas limitações, e a superação de cada uma dessas limitações resultará em recomendações para pesquisas futuras.
Uma vez que o interesse do estudo passava pela investigação do grau de orientação para o mercado, considerou-se que seria necessário enviar o questionário para ser preenchido por executivo da alta administração. Apesar da sinalização de estudos de não existirem diferenças significativas de respostas na utilização de um respondente e de respondentes múltiplos (Jaworski e Kohli, 1993; Homburg, Workman e Krohmer, 1999), seria interessante que levantamentos futuros incluíssem múltiplos respondentes da alta administração e de outros escalões da empresa, permitindo confrontar a convergência de respostas de diferentes pessoas da organização.
Apesar da preocupação com a análise do viés dos não respondentes, salienta-se que essa pesquisa utilizou amostras não probabilísticas de retorno de correio. Seria interessante que trabalhos futuros utilizassem mais de um método de coleta de dados, observando a aleatoriedade na seleção das unidades amostrais.
Por fim, salienta-se que os resultados encontrados demonstraram apenas que não há diferença significativa entre as respostas geradas a partir de enunciados com ênfases entre dois extremos – comparação com o padrão externo e a análise com foco puramente interno da empresa. Neste sentido, faz-se necessária uma nova pesquisa, esta de cunho qualitativo, com o objetivo expresso de explicar os motivos da referida não existência de diferença significativa entre os dados gerados com base nas distintas ênfases de enunciados.
6 Bibliografia
APPIAH-ADU, Kwaku. Market orientation and performance: do the findings established in large firms hold in the small business sector? Journal of Euro-Marketing, v. 6, n. 3, p. 1-26, 1997.
AVLONITIS, George J. & GOUNARIS, Spiros P. Marketing orientation and company performance: industrial vs. Consumer goods companies. Industrial Marketing Management, vol. 26, 1997.
BAGOZZI, Richard P.. Structural Equations Models in Marketing Research: basic principles. In: Principles of Marketing Research. Cambridge, Blackwell, 1994.
BAKER, William E. & SINKULA, James M. The synergistic effect of market orientation and learning orientation on organizational performance. Academy of Marketing Science Journal, vol. 27, 1999.
BECKER, Jan & HOMBURG, Christian. Market-oriented management: a systems-based perspective. Journal of Market-Focused Management, vol.4, 1999
BHUIAN, Shahid N. An empirical examination of market orientation in Saudi Arabian manufacturing companies. Journal of Business Research, vol. 43, 1998.
BHUIAN, Shahid N. & ABDUL-GADER, Abdallah. Market orientation in the hospital industry. Marketing Health Services, 1997.
CARUANA, Albert, RAMASESHAN, B. & EWING, Michael. Market orientation and performance: a study of Australasian universities. Curtin Business School, Working Paper Series, November, 1996.
CHURCHILL, Gilbert A, Jr. A paradigm for developing better measures of Marketing constructs. Journal of Marketing Research, v. 16, n. 1, p. 64-73, Feb. 1979.
CHURCHILL, Gilbert A. Jr. Marketing Research – metodological foundations. Orlando, Dryden, 1999.
DAWES, John. Market orientation and company profitability: further evidence incorporating longitudinal data. Australian Journal of Management, 25 (2), Sydney, 2000.
DESHPANDÉ, Rohit. Developing a Market Orientation. Thousand Oaks, Sage Publications, 1999.
DESHPANDÉ, Rohit & FARLEY, John U. Measuring Market Orientation. Generalization and Synthesis. Journal of Market-Focused Management, vol.2, 1998.
DESHPANDÉ, Rohit & FARLEY, John U. & WEBSTER, Frederick. Corporate culture, customer orientation, and inovativeness in Japanese firms: a quadrad analysis. Journal of Marketing, vol. 57, January 1993, pp. 23-27.
DILLON, William R., MADDEN, Thomas J. & FIRTLE, Neil H.. Marketing Research in a Marketing Environment. St. Louis, Times Mirror, 1994.
EGEREN, Marsha Van & O’CONNOR, Stephen. Drivers of market orientation and performance in service firms. Journal of Services Marketing, vol. 12, 1998.
FRITZ, Wolfgang. Market orientation and corporate success: findings from Germany. European Journal of Marketing, vol. 30, 1996.
HAIR, Joseph Jr., ANDERSON, Rolph, TATHAM, Ronald & BLACK, William. Multivariate Data Analysis. New Jersey, Prentice-Hall, 1998.
HOMBURG, Christian, WORKMAN, John P. & KROHMER, Harley. Marketing’s influence within the firm. Journal of Marketing, vol. 63, 1999.
JAWORSKI, Bernard J. & KOHLI, Ajay K. Market orientation: antecedents and consequences. Journal of Marketing, vol. 57, July 1993, pp. 53-70.
KOHLI, Ajay K. & JAWORSKI, Bernard J. Market orientation: the construct, research propositions, and managerial implications. Journal of Marketing, vol. 54, April 1990, pp. 1-18.
KOHLI, Ajay K., JAWORSKI, Bernard J. & KUMAR, Ajith. MARKOR: a measure of market orientation. Journal of Marketing Research, vol. XXX, November 1993, pp. 467-477.
LADO, Nora, MAYDEU-OLIVARES, Albert & RIVERA, Jaime. Measuring market orientation in several populations: structural equations model. European Journal of Marketing, vol. 32, 1998.
LUKAS, B. A.; FERREL, O. C.. The effect of market orientation on product innovation. Journal of the Academy of Marketing Science, vol. 28, nº 2, p. 239-247, Spring 2000 MALHOTRA, Naresh K. Pesquisa de Marketing: uma Orientação Aplicada. Porto Alegre:
Bookman, 2001.
MANDELLI, Mauro. Orientação para o Mercado e o Crescimento de Vendas: O Caso das Maiores Empresas Privadas Industriais Metalúrgicas, Mecânicas e de Material Elétrico de Caxias do Sul. Dissertação de Mestrado, PPGA/UFRGS, 1999.
MATSUNO, Ken e MENTZER, John T. The effects of strategy type on the market orientation-performance relationship. Journal of Marketing, 64 (4): 1-16, New York, 2000. MATSUNO, Ken; MENTZER, John T. e RENTZ, Joseph O. A refinement and validation of the MARKOR scale. Journal of the Academy of Marketing Science, 28 (4): 527-539, Greenvale, 2000.
MAVODO, Felix T. e FARRELL, Mark A. Measuring market orientation: are there differences between business marketers and consumer marketers? Australian Journal of Management, 25 (2), Sydney, 2000.
NARVER, John C. & SLATER, Stanley F. The effect of a market orientation on business profitability. Journal of Marketing, vol. 54, October 1990, pp. 20-35.
NUNNALLY, Jum C.; BERNSTEIN, Ira H. Teoría Psicométrica. Madrid: McGraw-Hill, 1995.
OCZKOWSKI, E. e FARRELL, M.A. Discriminating between measurement scales using non-nested tests and two-stage least squares estimators: The case of market orientation”. International Journal of Marketing Research, vol. 16, 1998, pp. 349.
PELHAM, Alfred M. Mediating Influences on the relationship between market orientation and profitability in small industrial firms. Journal of Marketing Theory and Practice, v. 5, n. 3, p. 55-76, Summer 1997.
PELHAM, Alfred M. Market orientation and other potential influences on performance in small and medium-sized manufacturing firms. Journal of Small Business Management, 38 (1):48-67, Milwaukee, 2000.
PELHAM, Alfred M.; WILSON, David T. A Longitudinal Study of the Impact of Market Structure, Firm Structure, Strategy, and Market Orientation Culture on Dimensions of Small-Firm Performance. Journal of the Academy of Marketing Science, v. 24, n. 1, p. 27-43, Winter 1996.
PERIN, Marcelo G. A Relação entre Orientação para Mercado, Aprendizagem Organizacional e Performance. 2002. Tese (Doutorado em Administração) - PPGA / Escola de Administração, UFRGS, Porto Alegre.
PITT, Leyland, CARUANA, Albert & BERTHON, Pierre R.. Market orientation and business performance: some European evidence. International Marketing Review, vol. 13, 1996. PULENDRAN, Sue; SPEED, Richard e WIDING II, Robert E. The antecedents and
consequences of market orientation in Australia. Australian Journal of Management, 25 (2), Sydney, 2000.
RAJU, P.S., LONIAL, Subhash & GUPTA, Yash P. Market Orientation and the Performance in the Hospital Industry. Journal of Health Care Marketing, 1995.
SAMPAIO, Cláudio Hoffmann. Relação entre Orientação para o Mercado e Performance Empresarial em Empresas de Varejo de Vestuário do Brasil. Porto Alegre, PPGA/UFRGS, 2000 (Tese de Doutorado, UFRGS).
SAMPAIO, Claudio H.; PERIN, Marcelo G. Uma Análise Crítica da Escala MARKOR e suas Dimensões Teóricas. In: ENANPAD, 25, 2001, Campinas (SP). Anais... Campinas: ANPAD, 2001.
SIGUAW, Judy A., SIMPSON, Penny M. & BAKER, Thomas L. Effects of supplier market orientation on distributor market orientation and the channel relationship: the distributor perspective. Journal of Marketing, vol. 62, 1998.
SILVEIRA, Teniza. Verificação do Grau de Orientação para o Mercado em Empresas Calçadistas do Vale do Rio dos Sinos. ENANPAD, 1998.
SLATER, Stanley F. & NARVER, John C. Does competitive environment moderate the market orientation performance relationship? Journal of Marketing, vol. 58, January 1994, pp. 46-55.
TOALDO, Ana Maria M. A Disseminação do Conceito de Marketing nas Maiores Empresas Privadas Industriais do Estado do Rio Grande do Sul. Porto Alegre, 1997 (Dissertação de Mestrado, PPGA/UFRGS).
TREZ, Guilherme. Relação entre Orientação para Serviços ao Cliente e Performance das Organizações. Porto Alegre, 2000 (Dissertação de Mestrado, PPGA/UFRGS).
WRENN, Bruce. The Market Orientation Construct: Measurement and Scaling Issues. Journal of Marketing Theory and Practice, v. 5, n. 3, p. 31-54, Summer 1997.
Anexo A – Escala MARKOR
Orientação para Mercado (Kohli, Jaworski and Kumar, 1993)
Geração de Inteligência
OM1 Encontro com clientes para identificar produtos ou serviços necessários no futuro OM2 Pesquisa de mercado realizada pela empresa
OM3 Agilidade em detectar mudanças nas preferências dos clientes
OM5 Agilidade em detectar mudanças fundamentais no ramo de atividade
OM6 Revisão periódica de prováveis efeitos sobre clientes das mudanças do ambiente empresarial
Disseminação de Inteligência
OM7 Reuniões interdepartamentais trimestrais para discutir tendências e desenvolvimento do mercado
OM8 Discussão da área de marketing com outros departamentos sobre as necessidades futuras dos clientes
OM9 Agilidade da empresa em saber rapidamente sobre algo relevante ocorrido a um importante cliente
OM10 Disseminação regular de dados sobre satisfação de clientes em todos os níveis da empresa
OM11 Agilidade em alertar outros departamentos de algo importante sobre concorrentes
Resposta
OM12 Agilidade da empresa para decidir como responder às mudanças de preços dos concorrentes
OM13 Tendência da empresa em não ignorar mudanças nas necessidades de clientes por produto ou serviço
OM14 Revisão periódica de esforços de desenvolvimento de novos serviços para assegurar que eles estejam de acordo com o que os clientes desejam
OM15 Encontro de departamentos para planejar respostas às mudanças que ocorrem no ambiente de negócio
OM16 Resposta imediata da empresa a possível campanha intensiva de concorrente dirigida aos clientes
OM17 Atividades bem coordenadas entre os diferentes departamentos da empresa OM18 Reclamações de clientes “têm ouvidos” na empresa
OM19 Implementação em tempo adequado de possível plano de marketing formulado pela empresa
OM20 Esforços combinados entre departamentos p/ modificações de produtos ou serviços desejados pelos clientes
Anexo B – Escala de Deshpandé, Farley e Webster (1993) 1. Nós temos rotinas ou medidas regulares de serviço ao cliente.
2. Nosso desenvolvimento de produto e serviço é baseado em boas informações sobre o mercado e clientes.
3. Nós conhecemos bem nossos concorrentes.
4. Nós temos uma boa idéia de como nossos clientes valorizam nossos produtos e serviços. 5. Nós somos mais focados para os clientes do que nossos concorrentes.
6. Nós competimos primeiramente baseados em diferenciação de produto ou serviço. 7. O interesse do cliente deve vir sempre em primeiro lugar, a frente dos nossos. 8. Nossos produtos/serviços são os melhores nesse negócio.
9. Eu acredito que esse negócio existe primeiramente para servir aos clientes. Anexo C – Escala MORTN
1. Nossos objetivos são direcionados primeiramente pela satisfação dos clientes.
2. Nós constantemente monitoramos nosso grau de comprometimento e orientação em servir as necessidades dos clientes.
3. Nós trocamos livremente informações sobre as experiências de sucesso e as de insucesso ocorridas com os clientes entre todos os departamentos.
4. Nossa estratégia de vantagem competitiva é baseada no entendimento das necessidades dos clientes.
5. Nós medimos a satisfação dos clientes sistemática e freqüentemente. 6. Nós temos rotinas ou medidas regulares de serviço ao cliente.
7. Nós somos mais focados para os clientes do que nossos concorrentes. 8. Eu acredito que esse negócio existe primeiramente para servir aos clientes.
9. Nós pesquisamos os clientes pelo menos uma vez ao ano para avaliar a qualidade de nossos serviços.
10. Dados sobre satisfação de clientes são disseminados regularmente em todos os níveis hierárquicos nesta empresa.
Anexo D – Escala MKTOR
1. Nosso pessoal de venda compartilha informações com as demais áreas dentro da empresa sobre as estratégias de nossos concorrentes.
2. Os objetivos da nossa empresa direcionam-se primeiramente para a satisfação dos clientes.
3. Nós rapidamente respondemos às ações da concorrência que nos ameaçam.
4. Nós constantemente monitoramos nosso grau de compromisso e orientação em satisfazer as necessidades dos clientes.
5. A alta gerência de todas as áreas funcionais da nossa empresa visita regularmente nossos clientes atuais e os clientes potenciais.
6. Nós trocamos livremente entre os departamentos informações sobre as experiências de sucesso e as de insucesso ocorridas com os clientes.
7. Nossa estratégia para vantagem competitiva é baseada na compreensão que temos sobre as necessidades dos clientes.
8. Todas as nossas áreas funcionais (como marketing, vendas, produção, P&D, financeira etc.) são integradas para o atendimento das necessidades de nossos clientes-alvo.
9. Nossas estratégias de negócio são direcionadas por nossas crenças sobre como podemos criar maior valor para os clientes.
10. Nós medimos a satisfação dos clientes sistemática e freqüentemente. 11. Nós damos muita atenção ao serviço de pós-venda.
12. A alta administração discute regularmente os pontos fortes e fracos dos nossos concorrentes.
13. Todos os nossos gerentes compreendem como todas as pessoas em nossa empresa podem contribuir na criação de valor para os clientes.
14. Nós alvejamos clientes onde temos uma oportunidade de vantagem competitiva. 15. Nós compartilhamos recursos com outras unidades de negócio.
i Parte deste estudo foi financiado pela Fundação de Amparo à Pesquisa do Estado do Rio
