5.2.1 Instituto Politécnico de Viana do Castelo
Neste caso de estudo, são analisados os dados de navegação resultantes da secção de ERAS- MUS do IPVC. Nestes dados, estão presentes as várias ações realizadas por cada estudante aquando da sua interação com o sistema. Após ser efetuado o cálculo do número de clicks efetuados por cada utilizador durante a sua sessão, foram sendo selecionadas e estudadas várias dessas mesmas sessões, de forma a obter um conjunto de dez amostras válidas para extração de casos de teste.
No entanto, e neste caso de estudo em particular, foi necessária uma pesquisa bastante exaus- tiva, de forma a conseguir obter um conjunto de amostras válidas que perfizesse o número dese- jado, como é possível de observar em5.1.
Tabela 5.1: Pesquisa de sessões válidas Erasmus IPVC N
ode pesquisas efetuadas Amostras Válidas Amostras Inválidas
60 10 50
Após a execução de cada um dos scripts gerados, a partir das amostras válidas recolhidas, em ambiente de teste, conclui-se que dos dez, apenas um não correspondia a uma simulação válida de uma sessão executada por um utilizador no sistema, visto que nesse caso de teste é apenas executado um ciclo infinito de clicks num determinado elemento HTML.
Resultados
Nos outros casos estudados, foram encontradas várias sessões que simulavam interações reais com o portal de ERASMUS do IPVC, presentes nos caminhos mais comuns do sistema, como por exemplo: submissões de formulários de candidatura, consulta de informações sobre faculdade parceiras, consultas de informações sobre candidaturas, entre outros.
5.2.1.1 Qualidade dos Resultados Obtidos
Em relação a este caso de estudo em particular, conclui-se que a informação de dados de na- vegação presente na base de dados era de fraca qualidade, uma vez que continha uma quantidade bastante elevada de amostras inválidas, que não permitiam a extração de casos de teste consisten- tes. No entanto, das amostras válidas conseguidas, a maior parte (9 em 10) consegue simular, em ambiente de teste, hipóteses fiáveis e consistentes de sessões de utilizadores, o que, para este caso em específico, leva a afirmar que é possível extrair casos de teste fiáveis e consistentes a partir de dados de navegação.
A comparação destes casos de teste com os testes de regressão desenvolvidos manualmente validou a conclusão acima extraída, uma vez que conjugados, todos os casos de teste gerados cobrem quase na totalidade as ações executadas nos casos de teste desenvolvidos manualmente.
5.2.2 Multimédia IPVC
De seguida, procedeu-se à análise dos dados de navegação referentes à secção de Multimédia do Portal do IPVC. Novamente, nestes dados estão presentes todas interações existentes entre utilizador e sistema representadas pelos clicks efetuados em determinados elementos do website. Tal como no caso de estudo anterior, e seguindo a metodologia de teste proposta, o primeiro passo desta experiência foi o cálculo do número de clicks efetuados por cada utilizador durante a sua sessão no website em estudo. De seguida, foram selecionadas, para estudo individual, várias amostras de sessões de utilizador com valores de clicks compreendidos no intervalo referido na metodologia proposta.
Para este caso de estudo em particular não foi necessário executar uma pesquisa tão aprofun- dada para encontrar um número de amostras suficientes para executar em ambiente de teste, como é possível observar em5.2.
Tabela 5.2: Pesquisa de sessões válidas Multimédia IPVC N
ode pesquisas efetuadas Amostras Válidas Amostras Inválidas
34 10 24
Apesar disso, e, após as amostras recolhidas em ambiente de teste serem executadas, observa- se que em 60% das amostras recolhidas não é possível obter uma simulação real de uma sessão de utilizador neste sistema em específico. Este aspeto está relacionado com o facto de que nestas sessões ocorrerem muitos ciclos infinitos, em que o teste apenas prime os títulos das secções existentes na página principal.
Resultados
5.2.2.1 Qualidade dos Resultados Obtidos
Sobre os resultados obtidos com este caso de estudo, concluiu-se que, para este sistema, através da amostra recolhida, não foi possível obter um número suficiente de casos de teste consistentes que pudessem ser validados pelos testes de regressão desenvolvidos manualmente pelo utilizador. Esta conclusão está relacionada com o facto de que, apesar de existirem quatro scripts de testes que, em ambiente de teste, simulam uma sessão de utilizador aproximada da realidade, a con- jugação destes mesmo scripts não cobre o número de casos de teste suficientes, do que o script desenvolvido manualmente cobre.
No entanto, nesta experiência, os dados de navegação recolhidos pelo OWA permitiram obter um rácio entre amostras válidas e inválidas bastante menor do que no caso de estudo anterior, o que permite afirmar que para este sistema os dados de navegação possuem uma maior qualidade, apesar de perderem em aspetos como fiabilidade e consistência, quando comparados com o caso de estudo anterior.
5.2.3 Newspaper Cidade de Tomar
Por último, foi executada uma análise aos dados de navegação provenientes do Jornal da Ci- dade de Tomar. Tal como nos casos de estudo anteriores, os dados recolhidos pelo OWA contêm todos os clicks realizados por todos os utilizadores, que utilizaram este sistema durante o período em que o mesmo esteve sujeito a análise. Novamente, e seguindo a metodologia de teste proposta, procedeu-se ao cálculo do número de clicks efetuados por cada utilizador durante a sua sessão no sistema em análise. Posteriormente, foram selecionadas, para análise individual, várias amostras presentes na base de dados.
Neste caso de estudo em específico, tal como no anterior, não foi necessário efetuar uma pesquisa muito extensa, de forma a encontrar um conjunto suficiente de amostras de utilizadores válidas para análise individual, tal como é possível observar em5.3
Tabela 5.3: Pesquisa de sessões válidas Cidade Tomar N
ode pesquisas efetuadas Amostras Válidas Amostras Inválidas
32 10 22
Das amostras recolhidas e, após a sua execução em ambiente de teste, observou-se que 90% das mesmas simulava com precisão, em ambiente de teste, uma sessão de utilizador hipotetica- mente real, o que transmite uma melhor consistência aos resultados obtidos neste estudo.
5.2.3.1 Qualidade dos Resultados
Após uma análise aos resultados obtidos com este caso de estudo, conclui-se que, para este sistema foi possível obter um número elevado de casos de teste consistentes, passíveis de serem validados pelos testes de regressão desenvolvidos manualmente. Para este sistema em especí- fico, testou-se também a segurança do mesmo, introduzindo um conjunto de credenciais erradas
Resultados
aquando da simulação de uma ação de Login, observando-se que o sistema não permitiu a autenti- cação do testador neste momento, o que leva a afirmar que se está perante um projeto consistente. Sobre a recolha de dados de navegação pelo OWA, e apesar do rácio amostras válidas/amostras inválidas ser novamente pequeno, em alguns casos torna-se mais complicado encontrar amostras que contenham todos elementos HTML associados a um determinado click, o que dificulta a tarefa de extração de casos de teste válidos.