Uma estudo piloto da abordagem foi realizado por Dalpra (2016). Nesta avalia¸c˜ao a abordagem Visionary foi adaptada e integrada com a arquitetura PROV-Process, foco do estudo de Dalpra (2016).
O PROV-Process ´e uma arquitetura que visa identificar melhorias nos processos de desenvolvimento de software e apresent´a-las ao gerente de projetos por meio de uma apli- ca¸c˜ao orientada a servi¸cos. Uma das formas das interfaces das abordagens da arquitetura utiliza a arquitetura Visionary para processamento, an´alise e visualiza¸c˜ao dos dados de proveniˆencia gerados.
A realiza¸c˜ao deste estudo contou com a colabora¸c˜ao de 10 participantes volunt´arios. Dentre os participantes est˜ao estudantes do programa de mestrado em Ciˆencia da Com- puta¸c˜ao da Universidade Federal de Juiz de Fora, uma doutoranda em Engenharia de Sistemas e Computa¸c˜ao da Universidade Federal do Rio de Janeiro, com experiˆencia em desenvolvimento de software. Dois gerentes de processos com experiˆencia na ´area de ge- rˆencia junto a empresas de desenvolvimento de software, onde exercem fun¸c˜oes relativas a gerˆencia de processos. Destes gerentes, ambos trabalham ou trabalharam em uma das empresas parceiras utilizadas neste estudo, as quais cederam dados de execu¸c˜ao de seus processos.
Por meio dos resultados obtidos mediante a aplica¸c˜ao da avalia¸c˜ao do PROV-Process (Formul´ario de Avalia¸c˜ao PROV-Process – Apˆendice A) realizada por Dalpra (2016), foi poss´ıvel identificar alguns aspectos espec´ıficos considerando o uso da abordagem Visionary. Considerando o formul´ario de avalia¸c˜ao (Apˆendice A) e as respostas dadas pelos parti- cipantes em rela¸c˜ao as inferˆencias e visualiza¸c˜ao, foram compilados os resultados a seguir. Em rela¸c˜ao a quest˜ao 6 (“As informa¸c˜oes inferidas, contidas no detalhamento de uma atividade, apresentam novas informa¸c˜oes acerca da atividade”), 10% dos participantes discordaram parcialmente, 10% indicaram indiferen¸ca, 40% concordaram parcialmente e 40% concordaram totalmente. O resultado indica que h´a uma concordˆancia de que as inferˆencias agregam informa¸c˜oes para an´alise da atividade. Os 20% dos participantes que discordam parcialmente ou foram indiferentes, podem ser justificados por, nem sempre, ser poss´ıvel apresentar novas informa¸c˜oes com uso de inferˆencias.
Mediante a afirma¸c˜ao de que as informa¸c˜oes inferidas, contidas no detalhamento de um agente, apresentam novas informa¸c˜oes acerca da participa¸c˜ao do agente no processo, 10% dos participantes discordaram parcialmente, 40% indicaram indiferen¸ca, 20% concordaram parcialmente e 30% concordaram totalmente. Assim como no resultado anterior, estes indicativos, principalmente o de indiferen¸ca, podem ser justificados pelo fato de nem sempre haverem informa¸c˜oes novas apresentadas pelo uso de inferˆencia.
Os resultados apresentados em rela¸c˜ao a afirma¸c˜ao de que atrav´es da visualiza¸c˜ao gr´afica ´e poss´ıvel identificar, mais facilmente, as atividades, agente e entidades, mostram que 10% dos participantes discordam parcialmente, 40% concordam parcialmente e 50% concordam totalmente. Estes percentuais mostram que a visualiza¸c˜ao auxiliou os partici- pantes. Nesta, cabe reiterar que, devido ao grande n´umero de instˆancias utilizadas foram exibidas muitas rela¸c˜oes entre os n´os, o que, de certa forma, retardou a localiza¸c˜ao das informa¸c˜oes desejadas.
A Figura 5.1 (DALPRA, 2016) consolida as respostas da quest˜ao 9 do formul´ario (“Atrav´es da visualiza¸c˜ao gr´afica ´e poss´ıvel identificar melhor as inferˆencias obtidas por meio do uso da ferramenta PROV-Process”). Este resultado indica que grande parte dos participantes teve dificuldade em visualizar as inferˆencias. Isso deve-se ao fato de que, mediante ao grande n´umero de instˆancias utilizadas, a visualiza¸c˜ao n˜ao conseguiu apresentar, de forma clara, as inferˆencias entre as rela¸c˜oes dos n´os do grafo gerado.
Figura 5.1: Respostas da quest˜ao 8 do formul´ario de avalia¸c˜ao do PROV-Process (Apˆen- dice A) (DALPRA, 2016)
pida sobre os dados de execu¸c˜ao de processos de desenvolvimento de software, 10% dos participantes discordaram parcialmente, 10% indicaram indiferen¸ca, 70% concordaram parcialmente e 10% concordaram totalmente. O maior percentual indicando a concordˆan- cia parcial, pode-se justificar pelo grande n´umero de rela¸c˜oes indicado anteriormente, o que dificulta a visualiza¸c˜ao do todo.
Com rela¸c˜ao a afirma¸c˜ao de que a identifica¸c˜ao de padr˜oes relativos aos elementos que comp˜oe o processo de desenvolvimento de software apresenta ind´ıcios significativos quanto a poss´ıveis problemas do processo, 60% dos participantes concordaram parcialmente e 40% concordaram totalmente. Estes percentuais indicam que os padr˜oes apresentados, de fato, podem auxiliar na identifica¸c˜ao de problemas no processo.
Ao final da avalia¸c˜ao, conforme Apˆendice A, foram apresentadas perguntas disserta- tivas acerca da abordagem e da ferramenta PROV-Process. Analisando as respostas `a pergunta 14 (O que mais gostou na abordagem PROV-Process?), segundo Dalpra (2016) 50% dos participantes, indicaram que a descoberta de novas informa¸c˜oes por meio das inferˆencias foi o que mais gostaram, conforme demonstra uma das respostas dadas por um dos participantes: “A descoberta por meio de inferˆencias de informa¸c˜oes que a an´a- lise manual n˜ao mostraria”. Estes 50% de participantes que relataram que as inferˆencias
foram o que mais gostaram, tamb´em informaram que gostaram da visualiza¸c˜ao gr´afica, conforme pode-se verificar em uma das respostas que contempla este indicativo: “Possi- bilidade de realiza¸c˜ao de inferˆencias e possibilidade de observar graficamente os usu´arios associados a tarefas”. Foi citado ainda a organiza¸c˜ao e disposi¸c˜ao dos dados no sistema por 30% dos participantes.
Por fim, ao serem indagados sobre o que mudariam na ferramenta PROV-Process, considerando somente as quest˜oes de visualiza¸c˜ao, 90% dos participantes indicaram a adi¸c˜ao de algum filtro e/ou busca, 10% tamb´em indicaram a inser¸c˜ao de legendas na parte da visualiza¸c˜ao gr´afica, e 10% tamb´em indicaram a implementa¸c˜ao da fun¸c˜ao de zoom na parte da visualiza¸c˜ao gr´afica.
Com base nestes resultados, os pontos destacados pelos participantes como falhos na parte de visualiza¸c˜ao foram considerados para aprimorar a abordagem e para serem avaliados no estudo de caso regular, apresentado na pr´oxima se¸c˜ao.
Assim, este estudo piloto serviu para demonstrar a viabilidade t´ecnica do modelo, conceitos e tecnologias envolvidas no projeto. Desta forma, ele ajudou a ser um estudo teste para que pud´essemos descobrir melhorias a serem realizadas e falhas que deveriam ser corrigidas na condu¸c˜ao do estudo de caso regular.