6 AVALIAÇÃO DO MODELO

A fim de avaliar se a proposta do Modelo de processos de inovação colaborativa é aderente aos objetivos desta tese, este capítulo tem por objetivo apresentar os procedimentos de avaliação bem como os resultados obtidos.

Como descrito sucintamente no Capítulo 2, da Metodologia de Pesquisa, os procedimentos procuraram ser coerentes com o projeto da pesquisa e com a avaliação incremental e participativa de empresas e de especialistas desde o seu início. E ao se avaliar o modelo em si e seus vários elementos, procurou-se tanto avaliar a corretude das ações efetuadas para a concepção do modelo como, ao final, verificar se a pergunta da tese fora respondida e seus objetivos atingidos.

6.1 PROCEDIMENTOS

O projeto desta etapa de avaliação foi feito via três procedimentos metodológicos:

1) Apresentação de versão prévia do modelo e discussão e aplicação de questionários de verificação preliminar a grupos de empresas do domínio do problema.

Essa atividade aconteceu em dois momentos distintos ao longo do desenvolvimento do modelo.

O primeiro envolveu 13 profissionais do setor de software do polo de TI da região de Blumenau-SC, profissionais estes com graus variados de experiência em SOA e de perfil (programadores de serviços, arquitetos de software, analistas de sistemas, entre outros). Esta heterogeneidade também foi usada para emular um ambiente de MPMEs com perfis de profissionais abrangente, como é o requerido ao se conceber uma solução SOA. O modelo foi apresentado na forma de slides, e a seguir foi discutido em torno de três horas, onde cada profissional pode pôr seus pontos de vistas, discutir entre eles, etc. Ao final, um questionário com 11 perguntas foi passado. Este retorno contribuiu para a ratificação e refinamentos nos requisitos básicos do modelo e processos inicialmente concebidos.

A segunda rodada de verificação foi apresentada para um grupo de cinco empresas e sete pessoas, membros da Associação Catarinense de Empresas de Tecnologia – ACATE, de Florianópolis – SC. Foi realizado em torno de um

ano depois daquele primeiro encontro, em dezembro de 2014. Da mesma forma que no caso anterior, o modelo foi apresentado, e um questionário contendo 12 perguntas foi passado e respondido. Neste momento o estágio do modelo já era relativamente avançado, e visou-se obter um retorno sobre os últimos desenvolvimentos.

2) Publicação de artigos no meio científico. Foram publicados cinco artigos científicos em conferências internacionais e um em uma conferência nacional, todos relacionados à área de pesquisa da tese, permitindo uma avaliação da proposta analisada pela comunidade científica especializada. A lista de publicações é apresentada na seção 6.5.

3) Apresentação final, discussão e aplicação de questionários de avaliação sobre o modelo de processos de inovação colaborativa a um grupo de empresas do domínio do problema.

Um workshop foi realizado na sede da ACATE em outubro de 2015, onde estavam presentes sete empresas, com um público de nove pessoas. O modelo foi apresentado na forma de slides, e a seguir foi discutido em torno de quatro horas, onde cada profissional pode pôr seus pontos de vistas, discutir entre eles, etc.

Porém, diferentemente dos procedimentos adotados nas duas primeiras apresentações, foi feita também uma dinâmica de grupo. Foram concebidos dois casos de uso de cenários de negócio / inovação, onde um era relativamente simples e um outro bastante complexo, para testar o modelo em duas situações “extremas” uma vez que não havia tempo hábil das empresas para vários e/ou mais longos workshops. De forma tutoriada, simulando o papel de membros do Comitê do ACV e de atores externos, os especialistas das empresas atuaram como tal, ou seja, como representantes de empresas diferentes. Os processos de inovação foram sendo montados “em tempo de execução”, tendo como base os processos de referência e as DFMs. Materiais de apoio foram preparados de forma a facilitar o trabalho dos especialistas na geração dos artefatos, tais como entradas e saídas de cada processo do modelo.

Após isso, um questionário de avaliação foi passado, contendo 18 perguntas (Apêndice G). Inicialmente houve um

pequeno período para os especialistas lerem as perguntas e alguns esclarecimentos foram efetuados.

Tendo em vista o rigor necessário para a avaliação final, a seção 6.2 descreve sucintamente a metodologia aplicada nesta etapa 3. Os resultados compilados com as respostas estão apresentados na seção 6.3 (e mais especificamente na seção 6.3.3) e uma detalhada análise global delas é mostrada na seção 6.4.

6.2 METODOLOGIA

A literatura apresenta vários métodos que podem ser utilizados para a avaliação e validação de trabalhos relacionados à tecnologia (ZELKOWITZ, 2007). Nesse trabalho utilizou-se o método de avaliação

Expert Panel que, segundo Zelkowitz (2007), valida estudos baseada no

consenso de especialistas. Algumas de suas características são:

 Contexto é controlado – o ambiente onde a avaliação ocorre é controlado. Os procedimentos utilizados para se apresentar o objeto de avaliação são previamente estabelecidos, as premissas são conhecidas e a intervenção de ações e temporal é controlada por quem conduz o experimento;

 Os dados são coletados a partir dos especialistas – especialistas são a única fonte de dados do experimento; 


 Aplicação no contexto real – deve-se efetuar a avaliação em um ambiente que reproduza as condições de uso reais do objeto da avaliação. 


A escolha da abordagem de avaliação baseada na opinião de especialistas foi motivada pela natureza qualitativa do trabalho e pela necessidade da opinião de pessoas envolvidas com desenvolvimento de produtos SOA e processos de inovação. Essas pessoas são, assim, consideradas, aptas a avaliar o modelo proposto. O uso do expert panel permite fazer uma avaliação através da opinião subjetiva dos especialistas. O instrumento utilizado na avaliação foi um questionário, composto de um conjunto ordenado de perguntas respondidas pelos especialistas. Um questionário deve ser objetivo, limitado em extensão e estar acompanhado de instruções. Estas devem esclarecer o propósito de sua aplicação e ressaltar a importância da colaboração do entrevistado (SILVA; MENEZES, 2005). As perguntas que compõem o questionário devem estar atreladas aos objetivos específicos do trabalho (GIL, 2002).

Algumas das respostas possíveis a cada pergunta do questionário são formuladas de acordo com a Escala de Likert (LIKERT, 1932). Essa escala se caracteriza por definir diferentes níveis de resposta, como alternativas associadas às perguntas. É largamente utilizada em pesquisas de opinião e permite extrair diferentes níveis de concordância para cada uma das afirmativas, o que permite tanto auferir em que medida o entrevistado concorda com a afirmativa apresentada como quantificar a concordância dos entrevistados com os objetivos. Outras perguntas dos questionários foram feitas de forma aberta, ou seja, o entrevistado responde com suas próprias palavras, de forma a captar aspectos subjetivos da opinião dos avaliadores.

Questionários

Questionário é um instrumento de coleta de informação utilizado em sondagens ou inquéritos. Tecnicamente, o questionário é uma ferramenta de investigação composta por um número grande ou pequeno de questões apresentadas por escrito, que tem por objetivo propiciar determinado conhecimento ao pesquisador (GIL, 2002).

Para apoiar a montagem dos questionários utilizados na pesquisa, utilizou-se o método GQM (Goal, Question, Metrics), que prevê a criação de métricas a partir de objetivos da pesquisa e suas respectivas perguntas, propostas para atingir os objetivos (BASILI; CALDIERA; ROMBACH, 1994).

No GQM, são definidos primeiramente os objetivos. A partir destes o pesquisador elabora perguntas para avaliar as questões propostas por meio de métricas definidas antes da aplicação do questionário. Partindo da métrica são determinadas as formas de coleta dos dados (nesse caso em forma de questionário) e as formas de análise e interpretação. A ideia principal do GQM é ter perguntas úteis, simples e diretas para que os resultados sejam facilmente interpretados (BASILI; CALDIERA; ROMBACH, 1994).

6.3 RESULTADO DA AVALIAÇÃO

Seguindo o método GQM deve-se primeiramente definir os objetivos da medição. Pra isso, dois conjuntos de perguntas correlacionadas foram preparadas em forma de questionário. O primeiro e principal conjunto teve como objetivo verificar se a premissa dessa tese fora satisfeita com o modelo desenvolvido. O segundo avaliou questões de viabilidade do modelo. Finalmente, apresentaram-se os dados compilados das avaliações subjetivas do painel de especialistas bem como a compilação das perguntas de forma aberta.

6.3.1 Conjunto de questões montadas usando o GQM

Na primeira etapa, usando a metodologia do GQM, primeiramente se traçou 2 objetivos:

Objetivo 1: Avaliar se o modelo de processos de inovação