Foi utilizada a abordagem GQM para a defini¸c˜ao do estudo, estabelecendo o objetivo global, os objetivos de estudo e de medi¸c˜ao. Por fim, ser˜ao apresentadas as quest˜oes e suas m´etricas.
4.2.1.1 Objetivo Global
Comparar a precis˜ao e o esfor¸co da rastreabilidade de artefatos atrav´es de enti-dades, com rela¸c˜ao a tradicional proposta de indexa¸c˜ao por matrizes.
4.2.1.2 Objetivo do estudo
Comparar o modelo proposto com o modelo matricial, com o prop´osito de ca-racterizar o tempo despendido no uso e os elementos recuperados por cada uma das abordagens, com foco no esfor¸co e na precis˜ao, sob o ponto de vista do arquiteto de software, no contexto de manuten¸c˜ao de um sistema de informa¸c˜ao desenvolvido por profissionais, no dom´ınio de uma aplica¸c˜ao banc´aria (sub-conjunto de um exemplo real).
4.2.1.3 Objetivo da medi¸c˜ao
Em uma manuten¸c˜ao de um sistema de informa¸c˜ao, caracterizar:
• Qual o esfor¸co (medido em minutos por cada participante) necess´ario para
relacionar os artefatos utilizando a rastreabilidade apoiada por entidades e por matrizes;
• Qual o esfor¸co (medido em minutos por cada participante) necess´ario para
atualizar as estruturas de rastreabilidade criadas com cada t´ecnica;
• Qual a precis˜ao definida atrav´es da completude e corretude dos artefatos
recu-perados atrav´es da rastreabilidade utilizando entidades e matrizes, com rela¸c˜ao aos artefatos que realmente se relacionam no sistema.
4.2.1.4 Quest˜oes
1. O esfor¸co para defini¸c˜ao dos relacionamentos atrav´es de entidades ´e igual ao esfor¸co para defini¸c˜ao e manuten¸c˜ao dos relacionamentos em matrizes?
2. O esfor¸co para atualiza¸c˜ao dos relacionamentos atrav´es de entidades ´e igual ao esfor¸co para defini¸c˜ao e manuten¸c˜ao dos relacionamentos em matrizes? 3. A precis˜ao na recupera¸c˜ao de artefatos utilizando a entidades ´e igual `a precis˜ao
utilizando matrizes de rastreabilidade?
4.2.1.5 M´etricas
A m´etrica associada `as Quest˜oes 1 e 2 corresponde ao esfor¸co medido pela rela¸c˜ao do tempo gasto em minutos por cada participante durante a defini¸c˜ao e manuten¸c˜ao dos elos de rastreabilidade em cada abordagem.
A m´etrica relacionada `a Quest˜ao 3 corresponde `a precis˜ao dos elos de rastrea-bilidade de cada abordagem, com rela¸c˜ao `a completude e corretude dos artefatos
recuperados. A precis˜ao foi definida, no estudo, como a raz˜ao entre o conjunto correto de artefatos recuperados e o conjunto total de artefatos relacionados. O con-junto correto recuperado por determinada t´ecnica compreende a intersec¸c˜ao entre o conjunto total de artefatos recuperados por esta t´ecnica e o conjunto ideal, que representa o relacionamento real entre os artefatos (gabarito). O conjunto ideal foi definido por um especialista atrav´es da inspe¸c˜ao do sistema. O conjunto total de artefatos relacionados ´e a uni˜ao entre o conjunto de artefatos recuperados com o conjunto ideal. O c´alculo da precis˜ao se d´a por:
P =qtdElementos(R ∩ I) qtdElementos(R ∪ I)
Onde:
R: Conjunto de artefatos recuperados utilizando determinada t´ecnica; I: Conjunto ideal de artefatos relacionados (gabarito);
qtdElementos(): fun¸c˜ao que recupera a quantidade de elementos do conjunto. 4.2.2 Planejamento
4.2.2.1 Sele¸c˜ao do Contexto
Para a condu¸c˜ao do experimento de rastreabilidade, foi escolhido o contexto de uma empresa, j´a que diversos autores argumentam sobre a necessidade de condu-zir experimentos em ambientes realistas (SJOBERG et al., 2002), semelhantes aos encontrados na ind´ustria. Dentro das dimens˜oes apresentadas, caracterizam-se: Processo: ser´a utilizada `a abordagem In-vitro, na qual o conjunto de participantes
executa o experimento em um ambiente controlado. Este experimento n˜ao se deu durante o desenvolvimento de software industrial,isto ´e, ele foi off-line; Participantes: o experimento foi conduzido por analistas e desenvolvedores
tercei-rizados por diversas empresas, trabalhando em um projeto de grande porte, em Porto Alegre - RS.
Realidade: o problema estudado ´e um sub-conjunto dos sistemas desenvolvidos, e corresponde a uma pequena fra¸c˜ao de um sistema modelado e desenvolvido pela empresa. O objetivo desta escolha ´e a utiliza¸c˜ao de um sistema real, e que foi desenvolvido sem a interven¸c˜ao do pesquisador;
Generalidade: o experimento ´e espec´ıfico e com validade apenas no escopo do presente estudo.
4.2.2.2 Formula¸c˜ao das Hip´oteses
No presente experimento, duas hip´oteses foram definidas informalmente:
1. A rastreabilidade imp˜oe o chamado Princ´ıpio de Circularidade: Tanto para a aquisi¸c˜ao dos elos de rastreabilidade, quanto para sua manuten¸c˜ao, ´e necess´ario um esfor¸co. Sugere-se que o esfor¸co gasto com a defini¸c˜ao e manuten¸c˜ao dos elos utilizando requisitos seja igual `a defini¸c˜ao dos elos utilizando entidades. Esta hip´otese mapeia as Quest˜oes 1 e 2, definidas anteriormente.
2. Sugere-se que a rastreabilidade matricial recupera o mesmo conjunto de ar-tefatos que o mapeamento por entidades, com rela¸c˜ao ao conjunto ideal de artefatos relacionados. Esta hip´otese mapeia a Quest˜ao 3;
Com base na defini¸c˜ao informal, viabiliza-se a formaliza¸c˜ao das hip´oteses e a defini¸c˜ao de suas medidas para avalia¸c˜ao.
Hip´otese Nula, H0: O esfor¸co envolvido com a defini¸c˜ao dos elos de rastreabilidade utilizando matrizes ´e igual ao esfor¸co envolvido utilizando entidades.
Medidas: O esfor¸co foi avaliado pelo tempo gasto em minutos com a defini¸c˜ao dos elos de rastreabilidade em cada abordagem, isto ´e, a diferen¸ca entre o tempo final e o tempo inicial de cada abordagem, onde:
δtmat: representa a varia¸c˜ao de tempo gasto em minutos para estabelecimento e manuten¸c˜ao utilizando matrizes;
δtent: representa a varia¸c˜ao de tempo gasto em minutos para estabelecimento e manuten¸c˜ao utilizando entidades;
H0:δtmat=δtent
Hip´otese Alternativa, H1: O esfor¸co envolvido com a defini¸c˜ao e manuten¸c˜ao dos elos de rastreabilidade utilizando entidades ´e maior do que o esfor¸co envolvido utilizando matrizes.
H1:δtentδtmat
Hip´otese Alternativa, H2: O esfor¸co envolvido com a defini¸c˜ao e manuten¸c˜ao dos elos de rastreabilidade utilizando matrizes ´e maior do que o esfor¸co envolvido utilizando entidades.
H2:δtmat >δtent
Hip´otese Nula, H0: A precis˜ao na defini¸c˜ao dos elos de rastreabilidade, relacio-nados em matrizes ´e igual a dos elos relaciorelacio-nados a entidades. A precis˜ao ´e avaliada pela rela¸c˜ao entre o conjunto correto de artefatos recuperados e o conjunto total, onde:
Pmat: Precis˜ao associada `as rela¸c˜oes matriciais;
Pent: Precis˜ao associada `as rela¸c˜oes entre entidades;
H0: Pmat = Pent
Hip´otese Alternativa, H1: A precis˜ao na aquisi¸c˜ao dos elos de rastreabilidade, relacionados em matrizes ´e maior do que os elos relacionados a entidades.
H1: Pmat > Pent
Hip´otese Alternativa, H2: A precis˜ao na aquisi¸c˜ao dos elos de rastreabilidade, relacionados a entidades, ´e maior do que os relacionados em matrizes.
4.2.2.3 Sele¸c˜ao das vari´aveis
Vari´aveis Independentes Assumiram-se como vari´aveis independentes: • T´ecnica para defini¸c˜ao dos elos de rastreabilidade;
Vari´aveis Dependentes Assumiram-se como vari´aveis dependentes: • Esfor¸co para a defini¸c˜ao e manuten¸c˜ao dos elos de rastreabilidade;
• Precis˜ao atrav´es do n´umero de artefatos recuperados utilizando determinada
t´ecnica com rela¸c˜ao ao conjunto total de artefatos.
• Experiˆencia da equipe de manuten¸c˜ao 4.2.2.4 Sele¸c˜ao dos Indiv´ıduos
Conforme j´a apresentado, a popula¸c˜ao definida para o experimento ´e formada por profissionais experientes, no total de dez profissionais, sendo:
• Quatro analistas; • Quatro programadores; • Dois projetistas;
N˜ao foi utilizada uma amostragem probabil´ıstica para sele¸c˜ao dos indiv´ıduos, mas uma amostragem n˜ao probabil´ıstica:
Amostragem por conveniˆencia: foram escolhidas as pessoas mais convenientes para o experimento;
Amostragem por quota: esta abordagem implica na escolha de indiv´ıduos de di-ferentes popula¸c˜oes, no caso, analistas, programadores e projetistas.
Pressup˜oe-se que a experiˆencia com a modelagem de sistemas e com o processo de desenvolvimento entre estas duas popula¸c˜oes seja diferente.
4.2.2.5 Projeto do experimento
Dentre os princ´ıpios gen´ericos para o projeto do experimento, caracterizam-se: Aleatoriedade: a aleatoriedade ´e utilizada para definir quais participantes devem
executar cada abordagem de rastreabilidade (matrizes ou entidades);
Obstru¸c˜ao: durante a experimenta¸c˜ao, muitos dos participantes n˜ao possu´ıam o mesmo n´ıvel de experiˆencia acadˆemica e profissional. Para minimizar o efeito da experiˆencia sobre o experimento, os indiv´ıduos foram selecionados utili-zando o crit´erio de quota e conveniˆencia;
Balanceamento: este princ´ıpio foi utilizado no experimento para que cada pro-posta de rastreabilidade seja executada pela mesma quantidade de participan-tes.
Tabela 4.1: Tabela de contingˆencia. Participante µent µmat
Analista 1 X Analista 2 X Analista 3 X Analista 4 X Programador 1 X Programador 2 X Programador 3 X Programador 4 X Projetista 1 X Projetista 2 X
4.2.2.6 Padr˜ao para tipo de projeto
Para cada hip´otese, foram utilizadas as seguintes nota¸c˜oes:
µmat: Rastreabilidade utilizando matrizes;
µent: Rastreabilidade utilizando entidades;
O tipo de projeto apresentado procura investigar se µent possui o mesmo esfor¸co e precis˜ao que µmat. Para este fim, foi utilizada uma abordagem chamada um fator com dois tratamentos. O fator, neste experimento, consiste na t´ecnica que ser´a utilizada e os tratamentos consistem nas rela¸c˜oes a entidades e a matrizes.
Com rela¸c˜ao `as abordagens apresentadas no referencial te´orico, ´e poss´ıvel escolher tanto o projeto pareado quanto o aleat´orio, por´em a complexidade associada ao primeiro ´e maior do que o segundo. Caso se opte por um projeto pareado no contexto deste experimento, ´e interessante considerar um novo tratamento que represente a experiˆencia dos participantes na execu¸c˜ao dos demais tratamentos. Adicionalmente, o ganho com rela¸c˜ao ao grau de liberdade entre as duas abordagens n˜ao apresenta significante diferen¸ca. Por motivos de projeto e complexidade, o projeto pareado descrito n˜ao ser´a utilizado, mas sim o projeto completamente aleat´orio, onde cada participante executar´a apenas uma abordagem definida aleatoriamente.
A Tabela 4.1 ´e chamada de tabela de contingˆencia e representa a distribui¸c˜ao do fator sobre os dois tratamentos.
A Tabela 4.1 representa a forma na qual o experimento foi executado. A ordem foi definida de forma aleat´oria e balanceada entre os fatores. Para a realiza¸c˜ao dos testes das hip´oteses, em um contexto de um fator e dois tratamentos aleat´orios, a literatura sugere o teste de significˆancia chamado Teste T para duas amostras independentes, caso seja realizado um teste param´etrico, ou Mann-Whitney, caso o teste seja n˜ao-param´etrico. A defini¸c˜ao do teste a ser aplicado ocorre ap´os a an´alise da normalidade (atrav´es do teste de Shapiro-Wilk) e variˆancia dos dados obtidos pela execu¸c˜ao do experimento (Teste de Levene).
4.2.2.7 Instrumenta¸c˜ao
Objetos: a descri¸c˜ao dos casos de uso de parte de um sistema, a partir dos quais devem ser definidos os elos de rastreabilidade, as entidades e suas rela¸c˜oes ao caso de uso e ao c´odigo-fonte. Para o estabelecimento dos elos de rastreabi-lidade, foi fornecido o apoio ferramental para cada abordagem: o prot´otipo ReMan para identifica¸c˜ao das entidades, e matrizes de rastreabilidade, utili-zando a ferramenta Enterprise Architect (EA), para indexa¸c˜ao dos requisitos. Foi prevista, para as duas abordagens, uma normaliza¸c˜ao dos esfor¸cos visando n˜ao causar distor¸c˜oes nos resultados pela utiliza¸c˜ao de ferramentas distintas; Guias: foi fornecido um treinamento para cada grupo de participantes,
apresen-tando:
• as duas abordagens de rastreabilidade, o contexto do experimento e a
motiva¸c˜ao da equipe.
• M´etricas: Os dados foram recuperados atrav´es de formul´arios preenchidos
pelos participantes, com base na ferramenta ReMan e na matriz definida no EA.
4.2.2.8 An´alise da Validade
Validade interna Foram avaliados alguns crit´erios, tais como:
Hist´orico: a data de aplica¸c˜ao do experimento (25/04/2008) foi criteriosamente de-finida, evitando per´ıodos nos quais os participantes poderiam sofrer influˆencias externas;
Sele¸c˜ao dos grupos: foi utilizada uma abordagem para nivelar o conhecimento dos participantes atrav´es de um treinamento sobre as t´ecnicas. A execu¸c˜ao das atividades foi individual;
Difus˜ao: Deve-se evitar a intera¸c˜ao entre os participantes. Assim, houve um poli-ciamento durante a experimenta¸c˜ao para evitar este tipo de influˆencia.
4.2.2.9 Validade externa
Para esta avalia¸c˜ao, foi adotada a intera¸c˜ao da sele¸c˜ao, ou seja, os participantes que foram selecionados possuem um perfil apto aos tratamentos do experimento, apresentando, em sua maioria, conhecimento pr´evio sobre processo de desenvolvi-mento de software e modelagem de sistemas, al´em de experiˆencia na ind´ustria.
4.2.2.10 Validade de constru¸c˜ao
Durante o experimento, foram avaliados:
Inadequada explica¸c˜ao pr´e-operacional: consiste na explica¸c˜ao operacional do experimento, visando maturar a forma na qual ser˜ao definidos os elos de ras-treabilidade e a extra¸c˜ao dos dados;
Adivinha¸c˜ao de hip´oteses: devido ao fato dos participantes serem humanos, ´e poss´ıvel sua intera¸c˜ao com o experimento, sugerindo novas hip´oteses e exerci-tando a criatividade. ´E importante manter o foco no estudo planejado;
Expectativas do condutor do experimento ao se conduzir um experimento, o respons´avel pode exercer influˆencias sobre as vari´aveis envolvidas e sobre o material elaborado. Durante a presente proposta, todo o material utilizado foi previamente avaliado por outro respons´avel.
4.2.2.11 Validade da conclus˜ao
Foram avaliadas as seguintes perspectivas:
Manipula¸c˜ao dos dados: como os dados resultantes do experimento foram mani-pulados pelo pesquisador, ´e poss´ıvel que os mesmos sofram algumas varia¸c˜oes, tal como o coeficiente de significˆancia para valida¸c˜ao dos resultados;
Confiabilidade das medidas: esta perspectiva sugere que medidas subjetivas pos-sam ser influenciadas pelo pesquisador. Na proposta as medidas foram objeti-vamente definidas, n˜ao dependendo do crit´erio humano;
Confiabilidade na implementa¸c˜ao dos tratamentos: consiste no risco em que diferentes participantes possam implementar de forma distinta os processos estabelecidos pelo experimento. Este risco n˜ao foi evitado no estudo, visto que n˜ao se pode interferir no car´ater subjetivo de relacionamento entre arte-fatos. Possivelmente, diferentes participantes definir˜ao elos de rastreabilidade distintos;
Configura¸c˜oes do ambiente do experimento: consiste nas interferˆencias exter-nas do ambiente que podem influenciar os resultados durante a execu¸c˜ao do experimento. O experimento foi executado ap´os o hor´ario de trabalho, onde a intera¸c˜ao externa era reduzida.
Heterogeneidade aleat´oria dos participantes: a escolha de diferentes partici-pantes com diferentes experiˆencias pode exercer um risco na varia¸c˜ao dos re-sultados.