Limitações e ameaças à validade

Os métodos qualitativos que apoiaram o ciclo de Design Science Research (survey com especialistas, entrevistas com praticantes e estudos de caso) apresentaram diversas limitações. Estes métodos foram conduzidos sob uma perspectiva epistemológica, interpretativista e não positivista (Flick, 2009). Foram baseados epistemologicamente porque procurou-se entender a opinião dos especialistas e a vivência dos praticantes considerando suas características individuais. Foi interpretativista porque acredita-se que diferentes percepções sobre o tema investigado resultam em diferentes modelos conceituais para governança de ecossistemas de software. Não é positivista porque não há apenas uma explicação para o fenômeno estudado, que é a governança de ecossistemas de software. Prova disso é que algumas hipóteses construídas foram refutadas pelos especialistas e outras não puderam ser confirmadas por todos os praticantes e pelos estudos de caso.

Segundo Flick (2009), o paradigma interpretativo preconiza que o pesquisador e o fenômeno em estudo são interativos, ou seja, da mesma forma que a visão particular de

determinado pesquisador afeta a descrição de um fenômeno, o próprio fenômeno afeta o pesquisador de modo que a análise do fenômeno sofre algumas modificações devido a essa influência. Portanto, uma limitação do estudo é o viés inerente à interpretação das evidências extraídas para compor as proposições. No entanto, esse viés foi mitigado pela execução de vários ciclos de revisão das proposições e do modelo conceitual pelo orientador e pela execução do survey com especialistas.

Outra limitação do estudo é o número limitado de especialistas e praticantes que participaram do survey e das entrevistas para avaliar o modelo conceitual. Entretanto, a qualidade dos dados coletados atenua o problema do baixo número de participantes.

A escolha dos especialistas para participar do survey também consistiu em uma limitação. As características dos especialistas e dos profissionais influenciam sua visão sobre o fenômeno da governança. Especialistas em ecossistemas abertos tendem a ver a governança de forma mais flexível, com menos regras e com tomadas de decisão compartilhadas por partes interessadas. Especialistas de ecossistemas proprietários têm uma visão mais rígida focada no poder exercido pelo keystone. As duas visões geram modelos de governança antagônicos. Esta diferença é perceptível ao se observar o modelo instanciado para o SAP e o modelo instanciado para o GNOME. O modelo do GNOME é simples e pouco restritivo, enquanto o do SAP é baseado em uma hierarquia rígida com altas barreiras de entrada. A maioria dos especialistas tem uma perspectiva baseada em ecossistemas proprietários e avaliou o modelo em favor dessa dimensão. Em futuros estudos será possível gerar camadas para o modelo conceitual a partir dessas duas perspectivas diferentes. Desta forma, será possível aumentar o poder de generalização da pesquisa, uma vez que as peculiaridades de cada tipo de ecossistema seriam abordadas mitigando esta limitação.

Alguns especialistas relataram que o tempo para completar a pesquisa foi superior ao estimado, que foi de vinte minutos. Isso adicionou riscos relacionados à maturação e mortalidade das respostas. Segundo Yu e Ohlund (2010), a maturação refere-se aos processos em que os sujeitos agem em função da passagem do tempo. A mortalidade consiste na perda de sujeitos (Yu e Ohlund, 2010), ou seja, que o número de sujeitos que concluíram o questionário é menor que o número de sujeitos que passaram a respondê-lo. Apenas três especialistas não responderam a todas as perguntas do survey. Mais especificamente, eles não responderam à pergunta sobre o que é governança de ecossistemas de software. Entretanto, acredita-se que as limitações relacionadas à

maturação e mortalidade não afetaram o estudo com base na alta quantidade e qualidade de respostas válidas. Com relação a entrevistas com os praticantes, buscou-se elaborar um protocolo simples com perguntas semi-estruturadas que foram sendo ajustadas de acordo com o decorrer de cada entrevista. As entrevistas tiveram a duração média de meia hora para não prejudicar a maturação das respostas.

Abaixo são discutidas as principais ameaças à validade e confiabilidade deste estudo, de acordo com Merriam (2009) e Wohlin et al. (2012).

 Validade interna: Consiste na equivalência dos resultados obtidos com a realidade ou no grau de credibilidade do estudo. Uma das estratégias propostas por Merriam (2009) para aumentar a validade interna da pesquisa consiste em utilizar múltiplas técnicas de coleta para permitir a triangulação de dados. Nesta pesquisa os dados foram coletados por meio de questionários estruturados, de entrevistas semiestruturadas e de documentação dos ecossistemas investigados. Além de se diversificar os instrumentos de coleta de dados, buscou-se também diversificar o perfil dos participantes do estudo, que agregou pesquisadores e praticantes de variados ecossistemas de software com funções respectivamente de gerente de vendas, desenvolvedor e gerente de projetos.

 Validade externa: refere-se à capacidade de generalização do estudo para outro contexto. Outro termo utilizado para caracterizar a validade externa consiste na transferibilidade. Merriam (2009) afirma que nem sempre o pesquisador conhece as características do ambiente para o qual os resultados da pesquisa serão transferidos, mas os que irão aplicar estes resultados conhecem. Portanto, uma estratégia mencionada por Merriam (2009) para aumentar a validade externa consiste em prover uma rica descrição dos dados para tornar a transferibilidade possível. Assim, cabe ao interessado na pesquisa decidir se ela é ou não aplicável para o seu contexto. Para diminuir a ameaça à validade externa buscou-se descrever com detalhes as circunstâncias sob as quais a pesquisa foi validada e instanciada. Outra estratégia proposta por Merriam (2009) consiste na definição de hipóteses i) que descrevam situações específicas, ii) que ofereçam aos praticantes a opção de escolher quais delas se adéquam ao seu contexto e iii) que possam ser monitoradas e avaliadas com o propósito de orientar a tomada de decisão. As proposições formuladas nesta pesquisa servem a estes propósitos visto que podem ser selecionadas de acordo com o tipo de ecossistema do praticante e

trabalhadas para guiar a tomada de decisão sobre a governança e saúde do ecossistema de software.

 Confiabilidade: refere-se capacidade de repetição ou replicação dos resultados, ou seja, de que de que o mesmo resultado seria encontrado ao se refazer o estudo. Merriam (2009) afirma que uma forma de diminuir a ameaça à confiabilidade consiste em realizar ‘trilhas de auditoria’, ou seja detalhar bem como os dados foram coletados e analisados, quais foram os métodos de pesquisa utilizados, quais decisões foram tomadas no processo de investigação e como se chegou aos resultados. A condução do ciclo de Design Science Research, a documentação de todos os passos da pesquisa, a realização de teste piloto e a inserção de informações sobre a pesquisa em um site auxiliaram no aumento da confiabilidade deste estudo.