MENTO DO SISTEMA
III. AVALIAÇÃO DO SISTEMA
III.3 PLANO DE TESTES DA AULA ON-LINE FASE BETA
Objetivos Gerais: Realizar Testes de Sistema e de Integração (vide I.4), buscando detectar erros e falhas na Preparação e Realização de aulas on-line, tanto na Plataforma de Trabalho do Professor quanto na do Aluno. Mensurar a banda de transmissão ocupada no servidor da aula e por cada aluno. Aferir os Critérios de Avaliação de Qualidade (vide III.2).
Situação crítica: testar o comportamento do sistema de aula on-line em várias configurações de rede, ou seja, o computador do professor localizado dentro
e fora da mesma Intranet que os alunos. Esta situação é assim configurada devido ao fato de que a transmissão de dados numa pequena rede local é facilmente monitorada e controlada, ocasionando maior possibilidade de avaliação do desempenho do sistema sem as interferências que certamente ocorreriam em conexões de Internet comercial.
Metodologia de Avaliação: Para facilitar tanto a avaliação como a compilação e processamento dos resultados, foi desenvolvida uma tabela específica a ser aplicada em cada teste, cujo formato é mostrado na Tabela 4. Estas tabelas foram distribuídas aos Testadores (vide III.1), com a explicação dos objetivos do teste. Aqueles que testaram a Plataforma de Trabalho do Professor utilizaram a respectiva coluna da referida Tabela para atribuir notas aos Critérios de Avaliação. Aqueles que testaram a Plataforma de Trabalho do Aluno, utilizaram a respectiva coluna para o mesmo fim. Ainda sobre a mesma Tabela, as funcionalidades a serem avaliadas estão especificadas em cada Plataforma de Trabalho para o critério Eficiência, conforme descrito em III.2.1.
Critérios de Avaliação Plataforma de Trabalho do Professor Nota Plataforma de Trabalho do Aluno Nota
Importar slides Transferência de slides
Montagem da aula Passagem dos slides
Criação dos tópicos Funcionamento do chat
Funcionamento geral durante a Apresentação Qualidade da imagem do professor Qualidade do som Eficiência
Qualidade dos slides Estabilidade
Portabilidade Usabilidade Grau de satisfação
Tabela 4 – Tabela desenvolvida para a aplicação nos testes e atribuição de notas.
Foram realizados sete testes dentro do Plano de Testes da Aula On-Line na Fase Beta, referidos como Beta Teste 1 até Beta Teste 7.
Metodologia de Medida de Ocupação de Banda de Transmissão:
O programa NetLimiter (vide II.2.1) foi usado para efetuar as medições de ocupação de banda de transmissão de Internet no servidor da aula e em computadores de alunos. O objetivo desta medição era, além de mensurar a ocupação da banda de Internet durante uma aula, verificar se havia uma Taxa de Transmissão de Vídeo considerada ideal, a ser utilizada como padrão dentro do sistema. O procedimento adotado foi o seguinte:
• Os Testadores utilizaram uma Tabela, cujo modelo está na Tabela 5, para anotar os dados relativos a cada um dos computadores integrantes deste procedimento. A coluna “Taxa de Transmissão de Vídeo” (em bits/segundo) é aquela usada no streaming de vídeo gerado pelo servidor da aula. Seus parâmetros são definidos em Configuração da Plataforma de Trabalho do Professor (vide Anexo 3, item 4.1). A coluna “Ocupação da Banda de Transmissão”, medida em Kbps, é relativa a cada um dos computadores, e varia conforme os valores da coluna anterior. Quanto maior a Taxa de Transmissão de Vídeo utilizada no streaming de vídeo, maior a Ocupação da Banda de Transmissão por um aluno. A coluna “Qualidade da Imagem” era preenchida com a nota relativa à qualidade da imagem do professor recebida pelo aluno em seu computador, conforme descrito em III.2.1.
• Variando-se a Taxa de Transmissão de Vídeo, os Testadores anotavam a banda de transmissão ocupada no servidor e nos computadores dos alunos. Concluiu-se logo no início dos testes que o programa é exato neste sentido, ou seja, quando um aluno está conectado no servidor da aula, a medição nos dois computadores mostra o mesmo número. Havia a preocupação de que
talvez o programa NetLimiter não fosse confiável nas medições, hipótese que foi logo descartada.
• Os gráficos criados pelo NetLimiter durante este procedimento foram gravados para análise posterior.
• A figura 14 mostra a tela do NetLimiter aferindo a ocupação da transmissão de Internet no computador do professor durante um teste. No gráfico de Upload (gráfico superior em alaranjado) é observada a existência de um período sem registro, assinalado com , significando o tempo decorrido sem a presença de alunos conectados ao sistema. Ao entrar o primeiro aluno, , o gráfico registra a taxa de ocupação de 7,5 KBps (kiloBytes por segundo). Depois de algum tempo, entra o segundo aluno . A taxa de transmissão fica perto de 14,50 KBps.
• Na mesma figura 14, o gráfico de Download (inferior, em verde) tem poucos registros, refletindo a pequena atividade deste tipo na Plataforma de Trabalho do Professor, durante a Apresentação da aula on-line.
Taxa de Transmissão de Vídeo (bits/segundo)
Ocupação de Banda de Transmissão por um Aluno (KBps)
Qualidade da imagem
Tabela 5 – Modelo de Tabela utilizada para anotação da Taxa de ocupação de banda de transmissão num computador durante uma aula on-line.
B
C A
Figura 14 – Tela do programa NetLimiter mostrando gráficos da taxa de upload e download do computador do professor durante uma aula ao vivo.
Metodologia de Medida de Velocidade de Transmissão de dados na Internet:
É sabido por todos os usuários de Internet comercial que a disponibilidade de banda de transmissão depende do tráfego concorrente [Santos, 2002]. Por exemplo, é fácil perceber que o tempo gasto para fazer um download não é sempre o mesmo: durante a noite é realizado com mais rapidez do que durante o dia, nos finais de semana também. O mesmo ocorre em Intranets, pois normalmente são instaladas em corporações, e a maioria dos profissionais trabalha no mesmo horário. Como conseqüência, neste período, as conexões ficam mais lentas. Durante os Beta Testes, já era previsto que os testes realizados utilizando conexão de Internet apresentariam grande variação de desempenho, devido às variáveis que teriam influência: tipo de conexão (discada, cable-modem, banda larga), horário de realização da aula, dia da semana, etc.
A
B C
Em alguns momentos durante os testes, como é relatado no Beta Teste 5 (vide IV.1.5), foi necessário medir a Taxa de Conexão de Internet Real, ou seja, a que era disponível naquele momento, para aquele Contrato. Isto porque, conforme os termos do Contrato firmado com a empresa fornecedora de conexão de Internet, a disponibilidade varia muito. Foi utilizado então o programa Velocímetro, descrito em II.2.1, que está disponível on-line na Internet. Acessando-se o site, solicita-se a medição, e os resultados são exibidos na tela. Na Figura 15 é mostrada a tela do programa Velocímetro, onde aparecem as velocidades de Download e de Upload disponíveis para um contrato de 1Mbps. Pode-se notar que a taxa de conexão (velocidade) para download é 511,04 Kbps, e de upload é 705,92 Kbps, ambas bem abaixo do valor nominal do contrato.
Neste trabalho, a taxa de conexão de Internet que consta no contrato de prestação de serviços é denominada Taxa de Conexão Nominal. A conexão verificada no procedimento descrito acima é referida como Taxa de Conexão Real.