Procedimentos para validade e confiabilidade da pesquisa

Em qualquer tipo de pesquisa, a capacidade que tenha um instrumento de coleta de dados depende de dois atributos importantes: a validade e confiabilidade (VILLAVICENCIO, 2011).

O instrumento de coleta de dados é válido quando mede, de alguma maneira demonstrável, aquilo que se planeja investigar (VILLAVICENCIO, 2011). Segundo Alexandre e Coluci (2011), o conceito de validade refere-se a verificar a extensão em que os itens de uma medida determinam o mesmo conteúdo ou, de maneira mais abrangente, avalia o grau em que cada elemento de um instrumento de medida é relevante e representativo de um constructo específico, com um propósito particular de avaliação.

Muitos pesquisadores buscam assegurar a validade qualitativa, por meio de juízes com expertise no tema, na perspectiva de alcançar a essência do objeto de estudo e ir além do que expressam os números. Para sua operacionalização, deve-se submeter o instrumento ao juízo de experts, como especialistas no conteúdo científico e também especialistas em elaboração de instrumentos de coleta de dados (VILLAVICENCIO, 2011). Segundo Grant e Davis (1997), entre os critérios utilizados para seleção do comitê de especialistas destacados na literatura, estão: ter experiência no tema; publicar e pesquisar sobre o tema; ser perito na estrutura conceitual envolvida e ter conhecimento metodológico sobre a construção de questionários e escalas.

Contudo, antes de submeter o questionário a um comitê de especialista, para a elaboração do instrumento de pesquisa, ou seja, para construir a variedade de itens, o pesquisador deve, inicialmente, definir o constructo de interesse e suas dimensões por meio de pesquisa bibliográfica e consulta a estudiosos da área (DEVON et al., 2007). Em outras palavras, o instrumento de medição deve ser elaborado com base na literatura (KIMURA, 2013).

Durante o desenvolvimento do instrumento, um dos pontos discutidos nessa avaliação é o número e a qualificação desses juízes. A literatura apresenta controvérsias sobre esse ponto. Nessa decisão, devem ser levadas em conta as características do instrumento, a formação, a qualificação e a disponibilidade dos profissionais necessários (ALEXANDRE; COLUCI, 2011). Lynn (1986) recomenda um mínimo de cinco e um máximo de dez pessoas participando desse

processo. Além disso, a avaliação por juízes pode envolver procedimentos qualitativos e quantitativos (LYNN, 1986; DEVON et al., 2007; ALEXANDRE; COLUCI, 2011). Destarte, esta pesquisa contou com a participação de 10 juízes, cinco para a etapa de validade e outros cinco para a de confiabilidade, envolvendo procedimentos qualitativos e quantitativos.

Nesse sentido, buscando a validade do questionário desta pesquisa, o questionário elaborado com base nas proposições e marco teórico desta pesquisa foi submetido primeiramente ao juízo de 5 (cinco) especialistas brasileiros, conforme descrição no Quadro 3.5, que foram selecionados de acordo com os critérios de seleção recomendados pela literatura, ou seja, são especialistas que conhecem em profundidade o tema de redes interorganizacionais; pesquisam e publicam sobre o tema; e/ou são conhecedores da elaboração de questionários e da metodologia utilizada neste trabalho (Análise Qualitativa Comparativa ou, do inglês, Qualitative Comparative Analysis-QCA) para análise dos resultados coletados por esse instrumento.

Quadro 3.5: Descrição resumida dos juízes selecionados

Juízes Breve descrição

Alsones Balestrin

Possui Pós-Doutorado pela HEC de Montreal/Canadá. Dupla titulação de doutorado, em Administração pela Universidade Federal do Rio Grande do Sul e em Sciences de L'information et de La Communication pelo Instituto de Comunicação e Tecnologias Digitais da Universidade de Poitiers/França. Mestrado em Administração pela Universidade Federal do Rio Grande do Sul. Atualmente, é Professor Titular dos cursos de Mestrado e Doutorado em Administração, do Mestrado Profissional em Gestão e Negócios e, desde 2009, exerce o Cargo de Diretor da Unidade Acadêmica de Pesquisa e Pós-Graduação da UNISINOS. Desde 2007, atua como professor associado do Institut d'Administration des Entreprises da Universidade de Poitiers/França. Membro do Conselho Superior do PGQP/RS. Como produção científica qualificada, possui dezenas de artigos em periódicos e eventos científicos nacionais e internacionais e coautoria de livros e capítulos, entre os quais destaca-se o livro "Redes de Cooperação Empresarial: Estratégias de Gestão na Nova Economia", Bookman, 2008. Tem interesse de pesquisa na área de Administração, principalmente nos seguintes temas: Redes de Cooperação, Estratégias Interorganizacionais e Gestão da Inovação.

Atualmente, é o Líder do Grupo de Estudos em Redes Interorganizacionais (GeRedes – UNISINOS/CNPq) e o Coordenador da Divisão de Ciência, Tecnologia e Inovação da ANPAD (Associação Nacional de Pós-Graduação em Administração).

Janann Joslin Medeiros

Possui doutorado em Administração Pública - University of Southern California (1986), mestrado em Administração Pública – George Washington University (1972) e graduação em Ciência Política – University of Iowa (1964). Atualmente, é pesquisadora associada do Programa de Pós-Graduação em Administração da Universidade de Brasília (UnB). Na área de Administração Pública, pesquisa a implementação de políticas públicas por meio de redes interorganizacionais. Na área de Administração de Empresas atua com ênfase em estratégia empresarial, especialmente estratégias colaborativas e negócios internacionais. Foi a coordenadora do Programa de Pós-graduação em Administração da UnB. Premiada diversas vezes como melhor avaliadora de artigos científicos em congressos nacionais e internacionais e publicou artigos em periódicos e congressos nacionais e internacionais.

Atualmente, é membro do Grupo de Pesquisa em Relacionamentos Interorganizacionais e Redes (GERIR) da UnB, sendo líder desse Grupo durante muitos anos. Ademais, a Dra. Medeiros é uma das raras pesquisadoras no Brasil que orientou dissertações e teses, utilizando como metodologia a Análise Qualitativa Comparativa (Qualitative Comparative Analysis-QCA).

Quadro 3.5: Descrição resumida dos juízes selecionados (continuação)

Juízes Breve descrição

Moisés Villamil Balestro

Possui Pós-Doutorado pelo Goethe Universität Frankfurt am Main (Alemanha), é doutor em Ciências Sociais pela Universidade de Brasília (2006) e Mestre em Administração pela UFRGS (2002). É Professor Adjunto IV na Universidade de Brasília na FAV e no Centro de Pesquisa e Pós-graduação sobre as Américas (CEPPAC). Pesquisador na área de sociologia econômica. É membro da Society for the Advancement of Socio-Economics (SASE), da World Interdisciplinary Network for Institutional Research (WINIR), da Sociedade Brasileira de Sociologia (SBS) e da Sociedade Brasileira de Economia, Administração e Sociologia Rural (SOBER). Possui artigos em periódicos e congressos (nacionais e internacionais) e capítulos de livros em temas sobre políticas públicas de emprego, desenvolvimento, inovação e gestão. Suas áreas de interesse são diversidades do capitalismo, construção de mercados, inovação e desenvolvimento e desenvolvimento rural.

Atualmente, é Líder do Grupo Estudos Comparados de Sociologia Econômica (UnB/CNPQ). Ademais, o Dr. Balestro, além de ter desenvolvido sua tese no tema de Redes de Inovação, orientou discente de doutorado em Ciências Sociais, utilizando a Análise Qualitativa Comparativa (QCA), sendo um dos poucos conhecedores desse método no Brasil, sendo professor da disciplina de métodos comparativos em programa stricto sensu.

Carlos Denner dos Santos Júnior

Possui pós-doutorado pelo IME-USP (2011), é Ph.D. em Gestão de Sistemas de Informação e Estudos Organizacionais (2009) pelo Southern Illinois University Carbondale, Estados Unidos (SIU-EUA), Mestrado em Administração Estratégica em 2005 (UFMG), a graduação em Administração em 2002 (UNIMONTES). Carlos Denner é professor adjunto do Departamento de Administração e do PPGA da Universidade de Brasília, trabalhando na interseção entre administração estratégica, teorias organizacionais, tecnologia da informação e computação. Anteriormente, foi pesquisador associado da Universidade de Nottingham-UK na área de inovação digital. Já participou de diversos congressos,

workshops e cursos no Brasil, China, Estados Unidos, Peru, África do Sul e Inglaterra, onde publicou,

apresentou e revisou dezenas de artigos. Além desses, Carlos tem um livro publicado na Alemanha e um capítulo de livro em Portugal. Suas pesquisas já foram financiadas pelo CNPq, CAPES, Fulbright, FAPEMIG, Pontikes Research Center, CCSL-USP, QualiPSO-European Comission, e FAPESP. Os resultados de suas pesquisas já foram publicados em congressos (ECIS e EnANPAD), e revistas nacionais (RAE) e internacionais (Journal of Strategic Information Systems). No passado, foi consultor de áreas estratégicas como otimização de processos e planejamento de pesquisas em organizações, públicas e privadas, dos setores químico, de pesquisa básica e de planos de saúde.

Atualmente, é membro do Grupo de Pesquisa em Relacionamentos Interorganizacionais e Redes (GERIR), já tendo sido o vice-líder do GERIR. Ademais, é o coordenador do Grupo de Pesquisa sobre o Uso Estratégico e Competitivo de Dados (Abertos) e Software (Livre) no CNPq.

Sheila Cristina Tolentino Barbosa

Possui Doutorado (2010) pela Universidade de Brasília (UnB), Mestrado em Gestão Pública pela, na área de administração pública, pela Universidade Federal de Pernambuco (UFPE) e Graduação (1992) e Especialização em administração (1999) pela Universidade Estadual de Monte Carlos (Unimontes). Atualmente, acumula o cargo de professora adjunta do Departamento de Administração da Universidade de Brasília (UnB) e de gestora pública (Especialista em Políticas Públicas e Gestão Governamental) no Ministério de Planejamento, Orçamento e Gestão. Tem experiência na área de Administração, com ênfase em Política e Planejamento Governamentais, atuando principalmente nos seguintes temas: relações interorganizacionais, gestão pública, implementação, redes e coordenação. Publicou artigos em periódicos nacionais e em congressos nacionais e internacionais.

Atualmente, é membro do Grupo de Pesquisa em Relacionamentos Interorganizacionais e Redes (GERIR). A Dra. Barbosa também é uma especialista em Análise Qualitativa Comparativa (QCA), utilizou esse método em sua tese de doutorado e ministrou palestras e seminários sobre esse método. Fonte: elaboração própria

O processo foi iniciado com o convite aos membros do comitê de juízes. Segundo os passos recomendados por Alexandre e Coluci (2011), esses especialistas receberam por e-mail (Anexo 11) uma mensagem explicativa, abordando a razão de sua escolha, o objetivo do estudo,

bases conceituais e teóricas do instrumento, métodos de pesquisas abordados e a população envolvida. E, ainda, com um questionário anexado que foi adaptado especificamente para essa avaliação.

Os juízes avaliaram o instrumento sobre se cada domínio ou conceito foi adequadamente coberto pelo conjunto de itens e se todas as dimensões foram incluídas. No espaço deixado para que os especialistas pudessem redigir comentários, houve sugestões de inclusão ou de eliminação de itens. Além disso, analisaram os itens individualmente quanto a sua clareza e pertinência, avaliando a forma de redação dos itens e se eram representativos para refletir os conceitos envolvidos, ou seja, se são relevantes e adequados para atingir os objetivos propostos.

Levando em conta a revisão dos especialistas e suas recomendações, procedeu-se com a modificação/adequação do instrumento em várias perguntas. Depois, as alterações feitas no questionário passaram por uma revisão do orientador desta pesquisa.

Em seguida, outra etapa foi a aplicação do questionário a um grupo de pessoas que pertenciam a um universo similar ao escolhido. O pré-teste, segundo Marconi e Lakatos (2010), consiste em testar os instrumentos da pesquisa sobre uma pequena parte da população ou da amostra, antes de ser aplicado definitivamente, a fim de evitar resultados com erros, verificando esses instrumentos.

Cabe destacar que houve necessidade da adaptação desse instrumento para outra língua. Segundo Alexandre e Coluci (2011), isso é um processo complexo, pois uma simples tradução não pode ser efetuada devido às diferenças culturais e de linguagem. Deve-se levar em consideração o idioma, o contexto cultural e o estilo de vida. Assim, deve-se considerar aspectos técnicos, linguísticos e semânticos, para realizar uma adaptação de um instrumento de uma linguagem para outra. Nesse sentido, Beaton e colaboradores (2000) propõem cinco estágios para assegurar adaptações de instrumentos de uma forma metodologicamente correta, a saber: i) tradução inicial; ii) síntese; iii) tradução de volta para a língua original; iv) revisão por um comitê ou especialista; e v) realização de um pré-teste.

Para a realização do pré-teste na Espanha, após a consecução dos três estágios iniciais, a versão do questionário em língua espanhola contou com a correção da pesquisadora Dra. María Teresa Martínez-Fernández, especialista no tema, membro do Grupo de Pesquisa AERT (Alianzas Estratégicas, Redes y Territorio) e docente do Departamento de Administração de Empresas e Marketing na Universidade Jaume I (Espanha). Então, com a adaptação do questionário para a

língua espanhola, ambos os questionários (em português e espanhol) foram submetidos a um pré- teste com 12 pessoas, sendo o primeiro para seis pesquisadores da Embrapa no Brasil e o segundo para seis pesquisadores de instituições de pesquisa agrícola na Espanha (INIA e IVIA), logrando o recebimento de 6 contribuições (4 pesquisadores do Brasil e 2 pesquisadores da Espanha).

Em seguida, foi feita uma medição da confiabilidade do instrumento. Para Silverman (2009), ela se refere à replicabilidade, ou seja, se alguns futuros pesquisadores podem ou não repetir o projeto de pesquisa e chegar aos mesmos resultados ou parecidos, às mesmas interpretações e alegações.

A confiabilidade é a exatidão ou precisão de um instrumento de medida (VILLAVICENCIO, 2011). Confiabilidade é o grau em que um conjunto de indicadores de uma variável latente (construto) é consistente em suas mensurações. A variável latente é um conceito que pode ser definido em termos teóricos, porém, não pode ser medido diretamente, por isso, precisam ser representados ou medidos por um ou mais indicadores (HAIR JUNIOR et al., 2009). “É muito importante poder avaliar se o instrumento utilizado na pesquisa consegue inferir ou medir aquilo a que realmente se propõe, conferindo relevância para a pesquisa” (MATTHIENSEN, 2011, p. 9). Desse modo, segundo Villavicencio (2011), há distintos tipos de confiabilidade: a estabilidade através do tempo (mensurável por meio de um desenho teste- reteste); a representatividade, que se refere à ausência de variações na capacidade do instrumento para medir um mesmo construto em distintas subpopulações; e, por último, a equivalência, que se aplica às variáveis latentes, medidas por meio de múltiplos indicadores, e que pode ser posto à prova mediante diversos métodos, incluindo o chamado Alfa de Cronbach, split-half, e distintas formas de verificar a consistência entre avaliadores.

O Alfa de Cronbach é um dos coeficientes mais utilizados para mostrar a consistência interna de uma prova. A consistência interna indica quão bem os itens em uma ferramenta se encaixam conceitualmente (DEVON et al., 2007). Segundo Matthiensen (2011), após um estudo bibliométrico, essa ferramenta estatística é muito utilizada nas pesquisas das áreas de saúde, psicologia e ciências sociais, mas ainda pouco usado na área de gestão de negócios.

Então, para determinar a confiabilidade das escalas de medida empregadas nesta tese, utilizou-se o método estatístico Alfa de Cronbach, para analisar a consistência interna da escala na perspectiva de sua fiabilidade mediante o cálculo de correlação entre os itens da escala, logo, ele pode ser considerado um coeficiente de correlação. Uma interpretação de seus resultados

indica que, se os diferentes itens (indicadores) de uma escala estão medindo uma realidade comum, as respostas a esses itens apresentariam uma elevada correlação entre si; ao contrário, se há uma baixa correção entre os itens, isso mostraria que alguns indicadores da escala não são medidas confiáveis do construto.

O Alfa de Cronbach mede a correlação entre respostas em um questionário por meio da análise do perfil das respostas dadas pelos respondentes. Os respondentes são juízes que avaliaram (percepção sobre indicadores) os itens do questionário com base em escalas construídas com a metodologia de Likert (MAROCO; GARCIA-MARQUES, 2006; MATTHIENSEN, 2011). Quanto menor seja a variabilidade de resposta por parte dos juízes (isto é, que haja homogeneidade nas respostas dentro de cada dimensão), maior será o Alfa de Cronbach (VILLACIVENCIO, 2011).

Segundo Hora, Monteiro e Arica (2010), a aplicação do Coeficiente Alfa de Cronbach deve se submeter a alguns pressupostos:

a) O questionário deve estar dividido e agrupado em “dimensões” (construtos), ou seja, questões que tratam de um mesmo aspecto;

b) O questionário deve ser aplicado a uma amostra (juízes) significativa e heterogênea; c) _{A escala já deve estar validada (ou seja, deve estar relacionada à verificação de se um}

instrumento realmente mede aquilo que ele se propõe a medir).

Assim, buscou-se atender esses pressupostos, inclusive o da seleção de um grupo de juízes significativo e heterogêneo, conforme Quadro 3.6. Então, como o instrumento foi aplicado em distintos países (culturas diferentes), a formação de um comitê foi feita com juízes do Brasil e da Espanha. Nesse caso, a composição contou com especialistas que, além de atenderem os critérios de seleção de experts (especialistas na área, conhecimento do instrumento etc.), eram pessoas que tinham o português e o espanhol como idioma nativo, avaliando o questionário em seu respectivo idioma materno. Além disso, para corroborar essa heterogeneidade, incluiu-se um juiz que não está atuando como pesquisador/docente em universidades, pois é um profissional que exerce sua atividade profissional em uma das empresas estudadas nesta pesquisa (caso do Brasil), mantendo o critério de sua representatividade, ou seja, especialista no assunto e que atua e tem publicações na área.

Quadro 3.6: Descrição resumida dos juízes selecionados para fiabilidade do questionário

Juízes Breve descrição

Gloria Parra Requena

Doutora em Ciências Econômicas e Empresariais pela Universidade de Castilla-La Mancha (2008) e licenciada em Administração e Direção de Empresas pela Universidade de Castilla-La Mancha (2001). Contratada Doctora de Organização de Empresas na Universidade de Castilla-La Mancha desde 2010 e está credenciada como Docente Universitária por ANECA desde 2011. Tem sido professora visitante na University of Glasgow (Reino Unido, 2011) e na Universidad Politécnica de Valencia (2009) e na Universidad Jaume I (2005). Suas linhas de pesquisa são: distritos industriais/cluster, capital social, conhecimento, inovação, orientação empreendedora, estratégia, capacidades dinâmicas, estratégia pioneira/seguidora. Publicou diversos artigos em periódicos e congressos espanhóis e internacionais. Atualmente é membro do Grupo de Pesquisa inCore – Inovação, Competitividade e Redes (Innovación,

Competitividad y Redes) da Universidade de Castilla-La Mancha.

María José Ruiz Ortega

Doutora em Ciências Econômicas e Empresariais pela Universidad de Castilla-La Mancha (2004) e licenciada em Ciências Econômicas e Empresariais pela Universidade de Castilla-La Mancha (1998). Também é professora universitária credenciada de Organização de Empresas na Universidad de Castilla-La Mancha desde 2011. Tem sido professora visitante na Leeds School of Business de la University of Colorado (Estados Unidos, 2004) e no Business School de la University of Edinburgh (Reino Unido, 2008). Suas linhas de pesquisa são: estratégia pioneira/seguidora, orientação empreendedora, capital social, distritos/clusters, inovação, estratégia e entorno competitivo, capacidades dinâmicas, criação de empresas e empresa familiar. Publicou diversos artigos em periódicos e congressos espanhóis e internacionais.

Atualmente, é membro do Grupo de Pesquisa inCore (Innovación, Competitividad y Redes) da Universidade de Castilla-La Mancha.

Joel Yutaka Sugano

Pós-doutorado pela Wageningen University – The Netherlands (2011), doutor em Doctoral Program in Japanese Economy and Business – Osaka University (2005), mestre em Administração pela Universidade Federal de Lavras (UFLA) em 1999 e graduado em Zootecnia pela Universidade Federal de Lavras (1996). Atualmente, é professor adjunto da Universidade Federal de Lavras. Tem experiência na área de Administração, com ênfase em Administração Estratégica e Gestão da Inovação Tecnológica, atuando principalmente nos seguintes temas: inovação em modelos de negócios, empreendedorismo, liderança em plataformas de negócios, plataforma de negócios no ambiente da Web, plataforma de negócios no agribusiness, estratégia empresarial e redes de inovação. Atuou como Professor Visitante nas universidades norte-americanas de University of Delaware (UD) e Northern Michigan University (NMU) em 2012. Publicou diversos artigos em periódicos e congressos nacionais e internacionais. Atualmente, é membro do Grupo de Estudos em Redes, Estratégia e Inovação (GEREI) da Universidade Federal de Lavras (UFLA).

Edgar Reyes Junior

Doutor em Administração pela Universidade do Vale do Rio dos Sinos – UNISINOS (2012), Mestre também em Administração pela Universidade do Vale do Rio dos Sinos (2008) e graduado em Administração de Empresas pela Universidade Salgado de Oliveira (2004). É professor adjunto da Universidade de Brasília (UnB) e tem experiência na área de Administração, com ênfase em Estratégias de Relações Interorganizacionais, atuando principalmente nos seguintes temas: Redes, Confiança, Relações Estado-Sociedade, na área da Saúde. Publicou diversos artigos em periódicos e congressos nacionais e internacionais.

Atualmente, é o líder do Grupo de Estudos em Relações Interorganizacionais e Redes (GERIR) da Universidade de Brasília (UnB).

Ana Lucia Atrasas

Doutora em Engenharia de Produção pela Universidade Paulista (2012), Mestre em Economia Rural pela Universidade Federal de Viçosa (1992) e graduada em Ciências Econômicas pelo Centro de Ensino Unificado de Brasília (1987). Atualmente é ‘Analista A’ da Empresa Brasileira de Pesquisa Agropecuária. Tem experiência na área de Economia, atuando principalmente nos seguintes temas: Redes de empresas, Gestão da Inovação, Agronegócio. Publicou diversos artigos em periódicos nacionais e congressos nacionais e internacionais.

Atualmente, é membro de projetos de pesquisa sobre Redes de Inovação na Empresa Brasileira de Pesquisa Agropecuária (Embrapa).

No que tange aos demais pressupostos para aplicação do Alfa de Cronbach (Hora; Monteiro; Arica, 2010), o questionário foi validado e agrupado em “dimensões” (construtos), conforme quadro contendo essas divisões (Anexos 12 e 13), em língua portuguesa e espanhola, que foi anexado na mensagem encaminhada aos juízes no Brasil e na Espanha.

O coeficiente alfa de Cronbach pode tomar valores entre 0 e 1, sendo que 0 (zero) significa confiabilidade nula e 1 (um) representa confiabilidade total. De acordo com a orientação de Villacivencio (2011), para cada pergunta, considerou-se a escala de 1 a 5, sendo que o valor 1 é muito pouco e 5 é muito aceitável, onde os juízes avaliaram conforme a seguinte escala:

1- Muito pouco 2- Pouco 3- Regular 4- Aceitável 5- Muito aceitável

Hair Junior et al. (2009) destacam que um limite inferior geralmente aceito para o Alfa de Cronbach é de 0,7, apesar de poder diminuir para 0,6 em pesquisas exploratórias. Malhotra