Análise das Ferramentas

Analisando novamente a Figura 4.8 percebe-se que a palavra "ferramentas"mesmo que não tenha sido repetida com a mesma frequência que as outras (foi repetida cerca de 200 vezes), aparece em local de destaque entre as respostas dos entrevistados. Com relação às empresas entrevistadas, todas utilizam pelo menos uma ferramenta para gerenciar a coleta de métricas. Mais da metade das empresas pesquisadas utilizam as suas próprias ferramentas, desenvolvidas pelas própias empresas. Logo, apesar do grande número de ferramentas disponíveis que auxiliam o processo de coleta de métricas, segundo relatos das próprias empresas, elas desenvolveram suas próprias ferramentas uma vez que muitas ferramentas existentes não oferecem alguns recursos requisitados por elas.

Enquanto algumas empresas usam as ferramentas próprias, outras utilizam uma ou mais ferramentas de código aberto disponíveis. De acordo com os engenheiros, elas lhes dão diferentes perspectivas do andamento do projeto. Por outro lado, com relação às empresas participantes do questionário online, embora o resultado não tenha sido unânime quanto ao uso de ferramentas, a maioria (cerca de 72%) afirmou fazer uso de alguma ferramenta como pode ser visto na Figura 4.9.

Diante deste contexto, com várias ferramentas sendo utilizadas por uma mesma empresa, surgem alguns questionamentos quanto ao por quê desse fato. Algumas certificações exigem o uso de determinadas ferramentas para garantir qualidade dos processos de desenvolvimento de produtos de software. Por outro lado, como já constatado nos dados dos perfis das empresas, a maioria delas não possuem certificação. No entanto, essa observação não é suficiente para

4.2. ANÁLISE DOS RESULTADOS 44

Figura 4.9: Utilização de Ferramentas

Fonte: Elaborado pelo autor

afirmar se há ou não alguma relação na variedade de ferramentas utilizadas em virtude do uso de certificações. Para confirmar esta suposição, foi analisada a correlação entre a quantidade de certificações e a quantidade de ferramentas adotadas por uma empresa. A avaliação dessa correlação é possível através da análise de correlação de Sperman. A análise de correlação de Spearman busca mensurar a associação linear existente entre duas variáveis (HAIR et al., 2005). A variação do coeficiente de Spearman oscila entre os valores -1 a 1 e vária de acordo com a força de associação, como pode ser visto na Figura 4.10.

Figura 4.10: Valores do coeficiente de correlação

Fonte: Adaptado de Hair Jr(2005)

ρ = 1 −     6. ∑n i=1 d_i2 n3− n       4.2 Onde,

d_i, diferença de cada posto dos valores de X e Y (entradas); n, número de pares (X, Y);

A Tabela 4.2 apresenta os pares de entrada. A primeira coluna representa a empresa, a terceira simboliza o número de certificações que a empresa possui e a última coluna, o número de ferramentas de suporte a coleta e análise de métricas de manutenibilidade utilizadas. Substituindo os valores na Equação 4.2, onde n=28, tem-se um ρ=0,2612. Ou seja, existe uma pequena relação entre o número de certificações e a quantidade de métricas utilizadas. Portanto, para este caso, o

4.2. ANÁLISE DOS RESULTADOS 45

Tabela 4.2: Utilização de ferramentas, métricas e certificações distribuída por empresas

Empresas Nº Total de Métricas Nº de Certificações Nº Total de Ferramentas

Empresa 01 17 0 1 Empresa 02 5 0 1 Empresa 03 12 0 1 Empresa 04 3 0 1 Empresa 05 9 0 1 Empresa 06 8 0 1 Empresa 07 8 2 1 Empresa 08 9 0 1 Empresa 09 3 0 3 Empresa 10 7 1 2 Empresa 11 3 0 2 Empresa 12 6 2 1 Empresa 13 7 1 4 Empresa 14 7 0 2 Empresa 15 7 0 3 Empresa 16 6 0 1 Empresa 17 2 0 3 Empresa 18 5 1 3 Empresa 19 13 0 1 Empresa 20 6 2 2 Empresa 21 9 0 5 Empresa 22 10 0 5 Empresa 23 11 2 3 Empresa 24 10 0 1 Empresa 25 2 0 2 Empresa 26 2 2 1 Empresa 27 6 2 5 Empresa 28 13 3 6

Nota. Fonte: Elaborado pelo autor

número de certificações não é razão grande o suficiente para por si só justificar a variedade de ferramentas dentro de uma única empresa.

Em decorrência da associação direta entre o uso de métricas e ferramentas, também procura-se verificar se há correlação direta entre a quantidade de métricas utilizadas pelas empresas e o variedade de ferramentas utilizadas. Para tanto utilizou-se dos dados da Tabela4.2 para analisar essa correlação. Substituindo os valores na Equação 4.2, onde n=28, tem-se um ρ =0,0434. Ou seja, existe uma relação praticamente imperceptível entre o número de métricas utilizadas pela empresa e o quantidade de ferramentas utilizadas. Portanto, para este caso, o número de métricas não é o principal motivo pelo qual se justifica a variedade de ferramentas adotadas por uma mesma empresa. Isso tudo reforça a ideia de que a quantidade e variedade de ferramentas adotadas se deve ao fato que muitas das ferramentas existentes (conhecidas por essas empresas) não oferecem todos os recursos que elas necessitam, e consequentemente há

4.2. ANÁLISE DOS RESULTADOS 46 uma necessidade de se utilizar mais de uma ferramenta para suprir essas necessidades.

Complementando a informação anterior sobre o uso das ferramentas, pode-se notar que dentre as empresas que não fazem uso de nenhum tipo de ferramenta, a grande maioria aponta a falta de informações sobre ferramentas de suporte a métricas de software como principal razão por não usarem nenhuma ferramenta, como pode ser visto na Figura 4.11. Sabe-se que há um grande número de métricas existentes e também várias são as ferramentas que dão suporte a elas, consequentemente, não parece ser um tarefa tão fácil encontrar informações sobre elas e identificar ferramentas de qualidade que se adéquem ao contexto em que essas empresas precisam. Por vezes, segundo as próprias empresas, elas recorrem ao uso manual dessas métricas ou mesmo ao uso apenas de planilhas eletrônicas por falta de conhecimento quanto a existência dessas ferramentas e recursos que elas tem a oferecer.

Figura 4.11: Motivos pelos quais não usam ferramentas

Fonte: Elaborado pelo autor

É importante também analisar o contexto de uso dessas ferramentas. Segundo os resul- tados obtidos nessa pesquisa, o contexto vária conforme uma série de circunstâncias. Mesmo quando uma empresa faz uso de métricas nem sempre ela utiliza de ferramentas. Isto, é o que indica a pesquisa que mostra que 25% das empresas se enquadram nessa situação. Os motivos citados pelas empresas, devido aos quais nem sempre as ferramentas são utilizadas para auxiliar a coleta das métricas são:

 Alguns casos são simples demais, e elas não sentem necessidade de usar as ferramen- tas;

 Há algum fator de decisão do cliente que possa impedir direta ou indiretamente de usar alguma ferramenta;

 Algumas empresas acham mais custoso coletar e analisar essas métricas com as ferramentas. Provavelmente, pela mesma razão citada no primeiro item;

4.2. ANÁLISE DOS RESULTADOS 47

 Indisponibilidade da ferramenta em coletar/analisar uma determinada métrica. Como pode ser visto, vários podem ser o motivos, porém é importante destacar que desses quatro motivos, o mais citado foi a indisponibilidade da ferramenta em prover suporte à coleta da métrica desejada. Complementando, as circunstâncias de uso dessas ferramentas variam muito de projeto para projeto, dependendo também de particularidade da empresa relacionada e da forma como a empresa gerencia seus projetos. A Figura 4.12 exibe os principais contextos de adoção dessas ferramentas juntamente com a Figura 4.13.

Figura 4.12: Motivos pelos quais ferramentas nem sempre são utilizadas

Fonte: Elaborado pelo autor

Figura 4.13: Circunstâncias onde ferramentas são utilizadas

Fonte: Elaborado pelo autor

A Figura 4.14 apresenta as principais ferramentas mencionados durante as entrevistas e coletadas durante a aplicação do questionário online. Segundo as empresas, estas ferramentas têm recursos para auxiliar o processo de coleta de manutenção métricas e gerenciar informações sobre elas. A Figura 4.14 é uma representação gráfica da frequência de uso de cada ferramenta. Quanto maior a frequência de uso, mais evidente é esta ferramenta na figura, e assim, o mais provável de ser amplamente utilizado pelas empresas entrevistadas.

De acordo com a Figura 4.14, quatro ferramentas podem ser destacadas quanto mais citados: ferramentas desenvolvidas pelas próprias empresas, Sonar, Jira, Redmine. O uso de

4.2. ANÁLISE DOS RESULTADOS 48

Figura 4.14: Frequência de Menção das Ferramentas

Fonte: Elaborado pelo autor

planilhas eletrônicas bem como a necessidade de criação de ferramentas próprias se dá pela necessidade de ferramentas que se adéquem ao contexto de que essas empresas precisam. Isto, muitas vezes é motivado não pela falta de uma ferramenta específica no mercado mas pela falta de informações sobre ferramentas existentes por parte das empresas. Jira (JIRA, 2015) tem uma das mais elevadas incidências entre empresas, apesar de não ser por padrão uma ferramenta voltada inicialmente para coleta de métricas de manutenibilidade de software. Porém, como Jira auxilia na gerência de Issue/Bugs e outras características de projeto, tais recursos podem ser utilizados para prover informações sobre os indicadores das métricas utilizadas pelas empresas. Durante as entrevistas, quatro das sete empresas entrevistadas mencionaram que elas estão cientes desta ferramenta, e três disseram já tê-la usada em seus processos internos. O Sonarqub (SONARQUB, 2015), ou simplesmente Sonar, é uma ferramenta bem completa que dentre diversos outros recursos permite a coleta de métricas para análise de código-fonte. Duas empresas entrevistadas disseram ter feito uso desta ferramenta. Por fim, o Redmine (REDMINE, 2015) é um ferramenta bem conhecida no mercado para gerencia de projetos que permite a inclusão de diversos plugins com recursos. Ela também foi utilizada pelas empresas para coletar informações de suas métricas. Na Tabela 4.3 pode ser conferida uma lista de todas as ferramentas levantadas que são utilizadas pelas empresas entrevistadas.

Vale ressaltar que mais de 60% das empresas têm usado mais de uma ferramenta em seus processos. Uma das empresas que foi entrevistada, por exemplo, afirma a utilização de quatro ferramentas para gerenciar suas métricas de manutenibilidade de software. E mais, muitas empresas procuram adaptar o uso dessas ferramentas para o acesso dos clientes e monitoramento do projeto. Essa é uma das razões de haver incidência de ferramentas de CRM (Customer

4.2. ANÁLISE DOS RESULTADOS 49

Tabela 4.3: Lista de Ferramentas Usadas pelas Empresas

Ferramentas Jenkis Sonar Redmine TeamWork Mantis Jira Weeke Kanban Ferramenta CRM (Customizada) Flowup Time InnFluit TFS Ferramentas Próprias Planilhas Eletrônicas Bugzilla Ticketzilla Testlink

Nota. Fonte: Elaborado pelo autor

Relationship Management). Foi mencionado por uma das empresas que a existência de um sistema capaz de fazer a interface com o cliente simplifica o contato entre o funcionário da empresa e os clientes. Na verdade, o cliente pode relatar problemas para justificar tarefas de manutenção. Outra ferramenta que fornece esta interface é Mantis (MANTIS, 2015). Ela é usada em três empresas entrevistadas. Abaixo estão algumas declarações confirmando essas discussões acima:

“(..) Do ponto de vista inicial, a gente tem o Jira que é recomendado, não são todos os projetos que usam, mas que é recomendado. O Sonar, em vários projetos. O Jenkins pra suportar questão de integração contínua, junto com o Sonar e outras coisas. É, de maneira geral, eu diria que essas três ferramentas são básicas. Ai outras podem variar conforme o contexto do projeto. (...)” “Nós usamos Excel e Mantis (...) Então, todos os bugs são reportados neles, ambos bugs internos e os bugs dos cliente (...) Nós usamos as mesma ferramentas para fazer a coleta de métricas. (...)"

Um fato interessante a salientar é a incidência de ferramentas que foram desenvolvi- dos pela empresa. Com mais de 30 menções durante a entrevista, a expressão "ferramentas próprias"apresenta uma posição de destaque no gráfico da Figura 4.14. Quatro empresas entre- vistadas relataram ter sistemas desenvolvidas por elas, a fim de auxiliar os processos de coleta de métricas. Segundo as próprias empresas, a justificativa é a falta de certos recursos específicos em ferramentas existentes.

Também foi investigado o nível de aceitação da ferramentas descritas nesta seção. Os tópicos abaixo lista pontos negativos e os pontos positivos, coletados durante as entrevistas,

4.2. ANÁLISE DOS RESULTADOS 50 relacionados à utilização de ferramentas de apoio a coleta de métricas de manutenibilidade de software:

 Desvantagens na adoção das ferramentas - burocracia para coletar métricas para tarefas e projetos considerados pequenos pela empresas (requer pequeno esforço); carecem de melhor integração entre diferentes ferramentas; baixo processo de au- tomação (muitas atividades manuais).

 Vantagens na adoção - custo de implantação; fácil personalização dos sistemas; mantém atualizado todas as informações sobre as métricas; em constante evolução (o sistemas estão sempre alinhados com as necessidades do cliente).

Os dados sobre essas vantagens e desvantagens coletados durante a entrevista serviram de base para elaboração de perguntas do questionário online relativo também a essa questão. Baseado nas respostas do questionário, pode-se ver na Figura 4.15 a incidência desses mesmo motivos nas empresas respondentes. Dos motivos listados no gráfico, ve-se que a maioria das empresas concordam que todos são realmente motivos que podem ser considerados desvantagem ou que gera alguma dificuldade, exceto o motivo "pouca automação de processos". Neste caso, apenas 48% concordam que isso seja uma desvantagem para adoção das ferramentas de coleta, ou seja, a maioria acha que as ferramentas usadas provêm uma boa automação no processo de coleta e análise de suas métricas. Alguns outros motivos foram citados no questionário pelas empresas como desvantagens/dificuldades no uso das ferramentas conhecidas por elas, dos quais pode-se citar:

 "Cada empresa tem suas particularidades na gestão. As ferramentas sempre acabam deixando alguma lacuna que precisa ser preenchida utilizando planilha eletrônicas ou outros recursos/acessórios específicos da gestão da empresa";

 "Questões de Dificuldade em registrar ou tratar dados (...)";  "Dificuldades de instalação no ambiente da empresa";

 "Necessidade de transcrever informações dessas ferramentas para depois decidir como reportá-las";

 "Tempo para coletar essas métricas".

Complementarmente, quanto às vantagens e benefícios no uso das ferramentas pode-se ver na Figura 4.16 a percepção das empresas sobre esse aspecto. Dos motivos listados, a grande maioria concorda que todas são características a serem consideradas como benefícios advindos das ferramentas. Os dois motivos que mais se destacaram como sendo um beneficio evidente nas ferramentas foi o fato de estarem em constante evolução e o auxílio que elas fornecem para manter atualizado o histórico e informações de métricas coletadas. Com relação as vantagens, também

4.2. ANÁLISE DOS RESULTADOS 51

Figura 4.15: Desvantagens/Dificuldades quanto a ferramentas usadas

Fonte: Elaborado pelo autor

houve espaço no questionário para que as empresas pudessem citar vantagens e benefícios a mais nas ferramentas usadas, dentre as quais podemos citar:

 "Automação do processo de registro e apuração";  "Consistência dos dados apresentados na ferramenta";  "Integração com o ambiente de desenvolvimento".

Além disso, analisando a relação entre as métricas coletadas e adoção de ferramentas, com base nas respostas dos entrevistados, é possível destacar os seguintes pontos:

 A adoção de ferramentas veio da necessidade de gerenciar informações de métricas de manutenibilidade - As organizações geralmente introduzem algumas ferramentas em seus processos por causa da necessidade de organizar e acompanhar esses indicadores,

4.2. ANÁLISE DOS RESULTADOS 52

Figura 4.16: Vantagens/Benefícios quanto a ferramentas usadas

Fonte: Elaborado pelo autor

ou até mesmo porque eles precisam transmitir essas informações aos seus clientes. As declarações a seguir confirmam esta ideia:

"(...) A necessidade está surgindo. Então, digamos que, ao longo dos últimos 5 anos, houve muitas vezes nós tivemos que criar ferramenta para medir (...)"

"(...) Os nossos clientes são todos de São Paulo ou fora do país. Assim, em outras partes do país ou fora do país. E pra dar essa visibilidade, essas coisas, a gente precisava de uma ferramenta que fosse.. Fosse uma ferramenta colaborativa, pudesse ser disponível na web, tudo isso. Ai eu fiz um estudo há muito tempo e decidi que ia adotar o Jira pra os meus projetos. (...)”

 Todos os projetos usam ferramentas para gerenciar informações sobre essas métricas - Não há "condição para o uso de ferramentas". Todas as empresas entrevistadas dis-

4.3. RESUMO - QUESTÕES DE PESQUISA 53