Proteção de endpoints para pequenas empresas Testes de desempenho

(1)

Proteção de endpoints para

pequenas empresas

Testes de desempenho

Windows 7

Setembro de 2010

Documento: Testes de desempenho da proteção de endpoints para pequenas empresas Autores: K. Lai, D. Wren, T. Rowling Empresa: PassMark Software Data: 5 de outubro de 2010 Relatório: 1

(2)

Teste de desempenho Página 2 de 24

Resumo executivo

A PassMark Software® realizou em setembro de 2010 testes de desempenho objetivos em cinco produtos disponíveis publicamente de software de segurança para proteção de endpoints para pequenas empresas no Windows 7 Ultimate Edition. Na tabela a seguir, a pontuação mais alta possível é de 52 pontos. O Symantec Endpoint Protection Small Business Edition classificou‐se em primeiro lugar com 43 pontos. Nome do produto Pontuação geral Symantec Endpoint Protection Small Business Edition 43 Kaspersky Business Space Security 33 Trend Micro Worry‐Free Business Security 30 McAfee Total Protection for Endpoint Essentials 24

Essa pontuação oferece uma indicação geral do desempenho do produto em comparação com outros produtos testados por nós. Cada produto computou pontos com base em sua classificação em cada teste; Os testes foram realizados em todos os produtos usando 13 métricas de desempenho. Essas métricas são as seguintes:  Tempo de instalação  Tempo de inicialização  Tempo de verificação sob demanda  Uso médio da CPU durante a verificação  Tempo de inicialização da interface do usuário  Tempo para abrir um documento do Word  Tempo de navegação  Taxa de transmissão da rede  Cópia, movimentação e exclusão de arquivos  Compactação e descompactação de arquivos  Uso da memória durante tempo ocioso do sistema  Uso da memória durante a verificação  Uso médio da CPU durante tempo ocioso do sistema Classificação no teste Pontos computados 1 4 2 3 3 2 4 1

(3)

Sumário

RESUMO EXECUTIVO ... 2 SUMÁRIO ... 3 HISTÓRICO DE REVISÕES ... 4 PRODUTOS E VERSÕES ... 5 RESUMO DAS MÉTRICAS DE DESEMPENHO ... 6 RESULTADOS DO TESTE ... 9 TESTE 1 – TEMPO DE INSTALAÇÃO (SEGUNDOS) ... 9 TESTE 2 – TEMPO DE INICIALIZAÇÃO (SEGUNDOS) ... 9 TESTE 3 – TEMPO DE VERIFICAÇÃO SOB DEMANDA (SEGUNDOS) ... 10 TESTE 4 – USO DA CPU DURANTE A VERIFICAÇÃO (PERCENTUAL) ... 10 TESTE 5 – TEMPO DE INICIALIZAÇÃO DA INTERFACE DO USUÁRIO (MILISSEGUNDOS) ... 11 TESTE 6 – TEMPO DE INICIALIZAÇÃO DE UM DOCUMENTO DO WORD (MILISSEGUNDOS) ... 11 TESTE 7 – TEMPO DE NAVEGAÇÃO (SEGUNDOS) ... 12 TESTE 8 – TAXA DE TRANSMISSÃO DA REDE (SEGUNDOS) ... 12 TESTE 9 – CÓPIA, MOVIMENTAÇÃO E EXCLUSÃO DE ARQUIVOS (SEGUNDOS) ... 13 TESTE 10 – COMPACTAÇÃO E DESCOMPACTAÇÃO DE ARQUIVOS (SEGUNDOS) ... 13 TESTE 11 – USO DA MEMÓRIA DURANTE TEMPO OCIOSO DO SISTEMA (MEGABYTES) ... 14 TESTE 12 – USO DA MEMÓRIA DURANTE A VERIFICAÇÃO (MEGABYTES) ... 15 TESTE 13 – USO DA CPU DURANTE DURANTE TEMPO OCIOSO DO SISTEMA (PERCENTUAL) ... 15 ISENÇÃO DE RESPONSABILIDADE E DIVULGAÇÃO ... 16 DETALHES PARA CONTATO ... 16 APÊNDICE 1 – AMBIENTE DE TESTE ... 17 SISTEMA DE ENDPOINT COM O WINDOWS 7 (64 BITS) ... 17 SERVIDOR DA WEB E DE ARQUIVOS ... 17 SERVIDOR ACTIVE DIRECTORY ... 17 SERVIDOR DO CONSOLE DE GERENCIAMENTO DE ANTIVÍRUS ... 17 APÊNDICE 2 – DESCRIÇÃO DA METODOLOGIA ... 18

(4)

Histórico de revisões

Rev Histórico de revisões Data

Relatório

1 Versão inicial deste relatório

27 de setembro de 2010

(5)

Produtos e versões

Neste relatório, testamos ou incluímos as seguintes versões do software Endpoint Protection1:

Fabricante Nome do produto Ano de

lançamento Versão do produto Symantec Endpoint Protection Small Business Edition2 2010 12.0.1 McAfee Total Protection for Endpoint Essentials 2010 4.5.0.1270 Trend Micro Worry‐Free Business Security 2010 6.0 SP2 Kaspersky Business Space Security 2010 6.0.4.1424 1 Todos os produtos foram testados usando suas configurações padrão 2 O sistema de prevenção contra intrusões (IPS) fica ativado no Symantec Endpoint Protection Small Business

(6)

Resumo das métricas de desempenho

Selecionamos um conjunto de métricas objetivas que fornecem uma indicação abrangente e realista das áreas nas quais os produtos de proteção de endpoints podem afetar o desempenho do sistema dos usuários finais. Nossas métricas testam o impacto do software sobre tarefas comuns desempenhadas pelos usuários finais no dia a dia.

Todos os métodos de teste da PassMark Software podem ser reproduzidos por terceiros usando o mesmo ambiente para obter resultados de teste semelhantes. Descrições detalhadas das metodologias usadas em nossos testes estão disponíveis na seção “Apêndice 2 – Descrição da metodologia” deste relatório.

Teste 1 – Tempo de instalação

Este teste mede o tempo de instalação mínimo necessário para que o software de proteção de endpoints esteja totalmente funcional e pronto para ser utilizado pelo usuário final. Tempos de instalação mais baixos representam produtos cuja instalação pelo usuário é mais rápida.

Teste 2 – Tempo de inicialização

Essa métrica mede o tempo necessário para o computador inicializar no sistema operacional. O software de segurança geralmente é iniciado na inicialização do Windows, implicando um tempo adicional e atrasando a inicialização do sistema operacional. Tempos de inicialização mais baixos indicam que o aplicativo teve menos impacto sobre a operação normal do computador.

Teste 3 – Tempo de verificação sob demanda

Todas as soluções de proteção de endpoints têm funcionalidade desenvolvida para detectar vírus e várias outras formas de malware através da verificação de arquivos no sistema. Esta métrica mediu o tempo necessário para verificar um conjunto de arquivos limpos. Nosso conjunto de arquivos de amostra tinha um tamanho total de 5,42 GB e era composto de arquivos que seriam normalmente encontrados em computadores de usuários finais, como arquivos de mídia, arquivos do sistema e documentos do Microsoft Office.

Teste 4 – Uso médio da CPU durante a verificação

Esta métrica mede a quantidade de CPU usada ao executar uma verificação.

Teste 5 – Tempo de inicialização da interface do usuário

Esta métrica fornece uma indicação objetiva da percepção do usuário quanto à capacidade de resposta de um produto de segurança, medindo o tempo que a interface do usuário do software de proteção de endpoints leva para ser inicializada no Windows. Para considerar os efeitos do armazenamento em cache pelo sistema operacional, foram medidos tanto o tempo de inicialização inicial quanto os tempos de inicialização subsequentes. Nosso resultado final é uma média dessas duas medições.

Teste 6 – Tempo para abrir um documento do Word

O tempo médio de inicialização da interface do Word foi obtido usando o AppTimer. Isso inclui o tempo para iniciar o aplicativo Word 2007 e abrir um documento de 10 MB. Esse teste era praticamente idêntico ao teste de tempo de inicialização da interface do usuário. Para cada produto testado, obtivemos um total de 15

(7)

amostras de cinco conjuntos de três inicializações do Word, com uma reinicialização antes de cada conjunto para limpar os efeitos do armazenamento em cache pelo sistema operacional. Na compilação dos resultados, o primeiro de cada conjunto foi separado, de modo que havia um conjunto de valores para a inicialização inicial após a reinicialização e um conjunto para as inicializações subsequentes. Calculamos a média dos tempos de inicialização subsequentes para obter uma média do tempo de inicialização subsequente. Nosso resultado final para esse teste é uma média do tempo médio de inicialização subsequente e o tempo de inicialização inicial.

Teste 7 – Tempo de navegação

A verificação de dados em busca de malware durante o download de dados da Internet ou intranet constitui um comportamento comum dos produtos de segurança. Esse comportamento pode afetar negativamente a velocidade de navegação à medida que os produtos verificam se há malware no conteúdo da Web. Esta métrica mede o tempo levado para navegar por um conjunto de sites populares da Internet para serem carregados consecutivamente de um servidor local em uma janela do navegador do usuário.

Teste 8 – Taxa de transmissão da rede

Esta métrica mede o tempo levado para o fazer o download de arquivos variados de um servidor local usando HTTP, que é o principal protocolo usado na Web para navegação, links e transferência de dados. Os arquivos desse teste incluem formatos de arquivos que os usuários geralmente transferem da Web, como imagens, arquivos mortos, arquivos de música e arquivos de filme.

Teste 9 – Cópia, movimentação e exclusão de arquivos

Esta métrica mede o tempo levado para mover, copiar e excluir um conjunto de arquivos de amostra. O conjunto de arquivos de amostra contém diversos tipos de formatos de arquivo que um usuário do Windows utilizaria no seu dia‐a‐dia. Esses formatos incluem documentos (por exemplo, documentos do Microsoft Office, arquivos PDF da Adobe, arquivos Zip etc.), formatos de mídia (por exemplo, imagens, filmes e músicas) e arquivos de sistema (por exemplo, executáveis, bibliotecas etc.).

Teste 10 – Compactação e descompactação de arquivos

Esta métrica mede o tempo levado para compactar e descompactar diferentes tipos de arquivos. Os formatos de arquivo usados nesse teste incluíram documentos, filmes e imagens.

Teste 11 – Uso da memória durante tempo ocioso do sistema

Esta métrica mede a quantidade de memória (RAM) usada pelo produto durante o tempo em que o computador e o software de proteção de endpoints estão em estado ocioso. O uso total da memória foi calculado identificando todos os processos do software de proteção de endpoints e a quantidade de memória usada por cada processo.

A quantidade de memória usada enquanto o computador está ocioso fornece uma boa indicação da quantidade de recursos do sistema que estão sendo consumidos pelo software de proteção de endpoints em caráter permanente. Produtos com melhor desempenho ocupam menos memória enquanto o computador está ocioso.

(8)

Teste 12 – Uso da memória durante a verificação

Esta métrica mede a quantidade de memória (RAM) usada pelo produto enquando o software de endpoint está executando uma verificação do sistema. O uso total da memória foi calculado identificando todos os processos do software de proteção de endpoints e a quantidade de memória usada por cada processo. A quantidade de memória usada enquanto o computador está ocioso fornece uma boa indicação da quantidade de recursos do sistema que estão sendo consumidos pelo software de proteção de endpoints durante uma verificação ativa.

Teste 13 – Uso médio da CPU durante tempo ocioso do sistema

(9)

Resultados do teste

Teste 1 – Tempo de instalação (segundos)

O gráfico a seguir compara o tempo de instalação mínimo necessário para que os produtos estejam totalmente funcionais e prontos para utilização pelo usuário final. Produtos com tempos de instalação mais baixos são considerados produtos com melhor desempenho nesta categoria.

Teste 2 – Tempo de inicialização (segundos)

O gráfico a seguir compara o tempo médio levado para inicializar o sistema (de uma amostra de cinco inicializações) para cada produto testado. Produtos com tempos de inicialização mais baixos são considerados produtos com melhor desempenho nesta categoria.

(10)

Teste 3 – Tempo de verificação sob demanda (segundos)

O gráfico a seguir compara o tempo médio levado para verificar um conjunto de arquivos de mídia, arquivos de sistema e documentos do Microsoft Office que no total tinham 5,42 GB. Esse tempo é calculado tirando a média dos tempos de verificação inicial (1ª execução) e subsequentes (2ª a 5ª execuções). Produtos com tempos de verificação mais baixos são considerados produtos com melhor desempenho nesta categoria.

Teste 4 – Uso da CPU durante a verificação (percentual)

O gráfico a seguir compara o uso médio da CPU durante uma verificação de um conjunto de arquivos de mídia, arquivos de sistema e documentos do Microsoft Office que no total tinham 5,42 GB. Esse valor é calculado tirando a média dos resultados de uso da CPU inicial (1ª execução) e subsequentes (2ª a 5ª execuções). Produtos com uso de CPU mais baixo são considerados produtos com melhor desempenho nesta categoria.

(11)

Teste 5 – Tempo de inicialização da interface do usuário (milissegundos)

O gráfico a seguir compara o tempo médio necessário para iniciar a interface do usuário de um produto. Produtos com tempos de inicialização mais baixos são considerados produtos com melhor desempenho nesta categoria.

Teste 6 – Tempo de inicialização de um documento do Word (milissegundos)

O gráfico a seguir compara o tempo médio levado para iniciar o Microsoft Word e abrir um documento de 10 MB. Produtos com tempos de inicialização mais baixos são considerados produtos com melhor desempenho nesta categoria.

(12)

Teste 7 – Tempo de navegação (segundos)

O gráfico a seguir compara o tempo médio levado para o Internet Explorer carregar sucessivamente um conjunto de sites populares de um servidor local através da rede local. Produtos com tempos de navegação mais baixos são considerados produtos com melhor desempenho nesta categoria.

Teste 8 – Taxa de transmissão da rede (segundos)

O gráfico a seguir compara o tempo médio para fazer o download de um conjunto de tipos de arquivo comuns de amostra para cada produto testado. Produtos com tempos mais baixos são considerados produtos com melhor desempenho nesta categoria.

(13)

Teste 9 – Cópia, movimentação e exclusão de arquivos (segundos)

O gráfico a seguir compara o tempo médio levado para copiar, mover e excluir diversos conjuntos de arquivos de amostra para cada produto testado. Produtos com tempos mais baixos são considerados produtos com melhor desempenho nesta categoria.

Teste 10 – Compactação e descompactação de arquivos (segundos)

O gráfico a seguir compara o tempo médio levado para que os arquivos de amostra fossem compactados e descompactados para cada produto testado. Produtos com tempos mais baixos são considerados produtos com melhor desempenho nesta categoria.

(14)

Teste 11 – Uso da memória durante tempo ocioso do sistema (megabytes)

O gráfico a seguir compara a quantidade média de RAM em uso por cada produto durante um período de ociosidade do sistema. Essa média é calculada por meio de uma amostra de dez capturas de imagem da memória tiradas aproximadamente a cada 60 segundos após a reinicialização. Produtos com uso mais baixo de RAM durante ociosidade do sistema são considerados produtos com melhor desempenho nesta categoria.

(15)

Teste 12 – Uso da memória durante a verificação (megabytes)

O gráfico a seguir compara a quantidade média de RAM em uso por cada produto durante uma verificação de vírus. Essa média é calculada por meio de uma amostra de dez imagens da memória capturadas a cada 5 segundos aproximadamente. Produtos com uso de RAM mais baixo são considerados produtos com melhor desempenho nesta categoria.

Teste 13 – Uso da CPU durante durante tempo ocioso do sistema (percentual)

O gráfico a seguir compara o uso médio da CPU durante o tempo ocioso do sistema. Esse valor é calculado tirando a média dos resultados de uso da CPU inicial (1ª execução) e subsequentes (2ª a 5ª execuções). Produtos com uso de CPU mais baixo são considerados produtos com melhor desempenho nesta categoria.

(16)

Isenção de responsabilidade e divulgação

Este relatório abrange apenas versões de produtos que estavam disponíveis na época dos testes. As versões testadas são as indicadas na seção “Produtos e versões” deste relatório. Os produtos testados não constituem uma lista exaustiva de todos os produtos disponíveis nessas categorias altamente competitivas.

Isenção de responsabilidade

Embora todos os esforços tenham sido feitos para garantir que as informações apresentadas neste relatório sejam precisas, a PassMark Software Pty Ltd não assume nenhuma responsabilidade por erros, omissões ou informações desatualizadas e não se responsabilizará de maneira alguma por danos diretos, indiretos, incidentais, consequentes ou punitivos resultantes da disponibilidade, do uso, da impossibilidade de uso dessas informações ou do acesso essas informações.

Divulgação

A Symantec Corporation financiou a elaboração deste relatório e forneceu alguns dos scripts usados para os testes.

Marcas comerciais

Todas as marcas comerciais são propriedade de seus respectivos proprietários.

Detalhes para contato

PassMark Software Pty Ltd Suite 202, Level 2 35 Buckingham St. Surry Hills, 2010 Sydney, Austrália Tel. + 61 (2) 9690 0444 Fax + 61 (2) 9690 0445 Web www.passmark.com

Local para download

Uma cópia eletrônica deste relatório pode ser encontrada no seguinte local:

http://www.passmark.com/avreport

(17)

Apêndice 1 – Ambiente de teste

Para os nossos testes, a PassMark Software usou um ambiente que executava o Windows 7 Ultimate (64 bits) e as seguintes especificações de hardware:

Sistema de endpoint com o Windows 7 (64 bits)

CPU: Intel Core i5 750 de 2,66 GHz Placa de vídeo: ATI Radeon 4350 de 1 GB Placa‐mãe: ASUS V‐P7H55E, LGA1156 RAM: 4 GB de RAM DDR3, 1333 MHz Disco rígido: Samsung de 1,5 TB e 7200 RPM Rede: Gigabit (1 GB/s)

Servidor da Web e de arquivos

O servidor não está sendo testado diretamente. Porém, ele é necessário para fornecer as páginas da Web e os arquivos usados durante os testes nos endpoints. CPU: Dual Xeon de 3,2 GHz Placa de vídeo: Quadro NVS 280 PCI‐E Placa‐mãe: HP 08B4h RAM: 2 GB de RAM Infineon ECC registrada Disco rígido: SCSI de 30 GB e 10.000 RPM, SATA de 600 GB Rede: Gigabit (1 GB/s)

Servidor Active Directory

O servidor não está sendo testado. Porém, ele é necessário a alguns produtos para facilitar a implementação remota dos produtos nos endpoints. CPU: Dual Xeon de 3,4 GHz Placa de vídeo: RADEON X600 PRO Placa‐mãe: HP 08B4h RAM: 2 GB de RAM Infineon ECC registrada Disco rígido: WD740GD‐50FLA2 (Raptor) de }74 GB e 10.000 RPM Rede: Gigabit (1 GB/s)

Servidor do console de gerenciamento de antivírus

O servidor não está sendo testado. Porém, é necessário para a implementação do software de endpoint e para agendar verificações de malware. Máquinas virtuais serão usadas para os consoles de gerenciamento de cada produto. CPU: AMD Phenom II x4 940 (Quad Core) Placa de vídeo: ASUS GeForce 9400GT Placa‐mãe: Gigabyte GA‐MA790XT‐UD4P RAM: 16 GB de memória DDR3 de 1333 MHz PC3‐10600 Disco rígido: Western Digital Caviar Green WD10EADS de 1 TB Serial ATA‐II Rede: Gigabit (1 GB/s)

(18)

Apêndice 2 – Descrição da metodologia

Criação da imagem do Windows 7

Assim como nos testes realizados no Windows Vista, o Norton Ghost foi usado para criar uma imagem de linha de base “limpa” antes dos testes. Nosso objetivo é criar uma imagem de linha de base com o menor espaço ocupado possível e reduzir a possibilidade de variação causada por fatores externos ao sistema operacional. A imagem de linha de base foi restaurada antes do teste de cada produto diferente. Esse processo garante que todos os produtos sejam instalados e testados no mesmo computador "limpo". As etapas adotadas para criar a imagem do Windows 7 de base foram as seguintes: 1. Instalação e ativação do Windows 7 Ultimate Edition. 2. Desativação das atualizações automáticas. 3. Alteração das configurações de controle da conta do usuário para “Nunca Notificar”. 4. Desativação das verificações automáticas do Windows Defender para evitar atividade inesperada em segundo plano. 5. Desativação do firewall do Windows para evitar interferência com o software de segurança. 6. Instalação do Norton Ghost para fins de geração de imagens. 7. Desativação do SuperFetch para assegurar resultados consistentes. 8. Instalação do HTTPWatch para teste de tempo de navegação. 9. Instalação do Windows Performance Toolkit x64 para teste de tempo de inicialização. 10. Instalação do Active Perl para interpretação de alguns scripts de teste. 11. Desativação de atualizações, aceleradores e atualizações de exibição de compatibilidade no Internet Explorer 8. 12. Criação de uma imagem de linha de base usando o Norton Ghost.

Teste 1 – Tempo de instalação

Este teste mede o tempo de instalação mínimo necessário para que um produto esteja totalmente funcional e pronto para ser utilizado pelo usuário final. O tempo de instalação geralmente pode ser dividido em três fases principais:  A fase de extração e instalação consiste na extração do arquivo, exibição do EULA para aceitação, ativação do produto e opções configuráveis pelo usuário para a instalação.  A fase de cópia de arquivo ocorre quando o produto está sendo instalado; geralmente, essa fase é indicada por uma barra de progresso.  A fase pós‐instalação é qualquer parte da instalação que ocorra após a fase de cópia de arquivo. Essa fase varia muito de um produto para outro; o tempo registrado nessa fase pode incluir uma reinicialização necessária para finalizar a instalação ou incluir o tempo que o programa leva para ficar ocioso na bandeja do sistema.

Para reduzir o impacto das variáveis da unidade de disco, cada produto foi copiado para a área de trabalho antes da inicialização da instalação. Cada etapa do processo de instalação foi cronometrada manualmente e registrada com o máximo possível de detalhes. Quando foi necessária uma contribuição do usuário final, o

(19)

cronômetro foi pausado e a contribuição foi anotada nos resultados brutos entre parênteses após a descrição da fase.

Sempre que possível, todas as solicitações de pré‐verificação ou verificação após a instalação feitas pelos produtos foram recusadas ou ignoradas. Quando não foi possível ignorar uma verificação, o tempo de verificação foi incluído como parte do tempo de instalação. Quando um componente opcional da instalação formava uma parte razoável da funcionalidade do software, ele também foi instalado (por exemplo, software de verificação de links de sites como parte de um produto de segurança de endpoint).

O tempo de instalação inclui o tempo levado para o instalador do produto fazer o download dos componentes exigidos na instalação. Isso pode incluir atualizações obrigatórias ou a entrega do próprio aplicativo por download. Anotamos em nossos resultados quando um produto fez o download de componentes para a instalação.

Excluímos os tempos de ativação dos produtos devido à capacidade de variação da rede no contato com servidores do fornecedor ou ao tempo necessário para a criação da conta.

Teste 2 – Tempo de inicialização

A PassMark Software usa ferramentas disponíveis no Windows Performance Toolkit versão 4.6 (como parte do Microsoft Windows 7 SDK, que pode ser obtido no site da Microsoft) com o objetivo de obter resultados mais precisos e consistentes para o tempo de inicialização na plataforma Windows 7.

O processo de inicialização é primeiro otimizado com o xbootmgr.exe usando o comando “xbootmgr.exe ‐

trace boot –prepSystem”, que prepara o sistema para o teste em seis inicializações de otimização. Os

rastreamentos de inicialização obtidos do processo de otimização são descartados.

Após a otimização da inicialização, o teste é conduzido usando o comando "xbootmgr.exe ‐trace boot ‐

numruns 5”. Esse comando inicializa o sistema cinco vezes sucessivamente, obtendo rastreamentos detalhados

para cada ciclo de inicialização.

Por fim, uma ferramenta pós‐processamento foi usada para analisar os rastreamentos de inicialização e obter o valor BootTimeViaPostBoot . Esse valor reflete o tempo levado pelo sistema para concluir todos os processos do tempo de inicialização (e somente estes). Nosso resultado final é uma média de cinco rastreamentos de inicialização.

(20)

Teste 3 – Tempo de verificação sob demanda

Tempo de verificação é o tempo levado por cada produto para verificar um conjunto de arquivos de amostra. A amostra utilizada era idêntica em todos os casos e continha uma combinação de arquivos de sistema e arquivos do Office. No total, havia 8502 arquivos, cujo tamanho combinado era de 5,42 GB. A maioria desses arquivos vem de pastas de sistema do Windows. Como os tipos de arquivo podem influenciar a velocidade da verificação, a divisão dos principais tipos de arquivo, quantidades e tamanhos totais dos arquivos do conjunto de amostra é apresentada aqui. .avi 247 1024 MB .dll 773 25 MB .exe 730 198 MB .gif 681 63 MB .doc 160 60 MB .docx 267 81 MB .jpg 2904 318 MB .mp3 333 2048 MB .png 451 27 MB .ppt 97 148 MB .sys 501 80 MB .wav 430 260 MB .wma 585 925 MB .xls 329 126 MB .zip 14 177 MB Sempre que possível, essa verificação foi executada sem iniciar a interface do usuário do produto, mas clicando com o botão direito do mouse na pasta de teste e escolhendo a opção "Verificar Agora”, embora alguns produtos exigissem a entrada na interface do usuário para verificar uma pasta. Para registrar o tempo de verificação, usamos o sistema de geração de relatórios ou temporizador de verificação interno do produto. Quando isso não foi possível, os tempos de verificação foram obtidos manualmente com um cronômetro.

Para cada produto, cinco amostras foram obtidas, com o computador sendo reinicializado antes de cada amostra para limpar os efeitos do armazenamento em cache pelos sistemas operacionais.

Como resultado desse mecanismo, tiramos a média dos quatro tempos de verificação subsequentes para obter um tempo médio de verificação subsequente. Nosso resultado final para esse teste é uma média do tempo médio de verificação subsequente e o tempo da verificação inicial.

Teste 4 – Média da CPU durante a verificação

A ferramenta CPUAvg foi usada para essa métrica. O sistema foi inicializado e aguardou‐se que ficasse ocioso (aproximadamente cinco minutos após a inicialização). Uma verificação de vírus foi executada em um conjunto predefinido de arquivos, enquanto o CPUAvg era executado durante a verificação.

Teste 5 – Tempo de inicialização da interface do usuário

O tempo de inicialização da interface do usuário de um produto foi obtido usando o AppTimer (v1.0.1008). Para

cada produto testado, obtivemos um total de 15 amostras de cinco conjuntos de três inicializações da interface do usuário, com uma reinicialização antes de cada conjunto para limpar os efeitos do armazenamento em cache pelo sistema operacional. Na compilação dos resultados, o primeiro de cada conjunto foi separado, de modo que havia um conjunto de valores para a inicialização inicial após a reinicialização e um conjunto para as inicializações subsequentes.

Calculamos a média dos tempos de inicialização subsequentes para obter uma média do tempo de inicialização subsequente. Nosso resultado final para esse teste é uma média do tempo médio de inicialização subsequente e o tempo de inicialização inicial.

(21)

Teste 6 – Tempo para abrir um documento do Word

O tempo médio de inicialização da interface do Word foi obtido usando o AppTimer. Isso inclui o tempo para iniciar o aplicativo Word 2007 e abrir um documento de 10 MB. Esse teste era praticamente idêntico ao teste de tempo de inicialização da interface do usuário. Para cada produto testado, obtivemos um total de 15 amostras de cinco conjuntos de três inicializações do Word, com uma reinicialização antes de cada conjunto para limpar os efeitos do armazenamento em cache pelo sistema operacional. Na compilação dos resultados, o primeiro de cada conjunto foi separado, de modo que havia um conjunto de valores para a inicialização inicial após a reinicialização e um conjunto para as inicializações subsequentes.

Calculamos a média dos tempos de inicialização subsequentes para obter uma média do tempo de inicialização subsequente. Nosso resultado final para esse teste é uma média do tempo médio de inicialização subsequente e o tempo de inicialização inicial.

Teste 7 – Tempo de navegação

Usamos um script em conjunto com o HTTPWatch (Basic Edition, versão 6.1) para registrar o tempo levado para

carregar um conjunto de 106 sites "populares" consecutivamente de um servidor local. Esse script envia uma lista de URLs para o HTTPWatch, que instrui o navegador a carregar páginas em sequência e monitora o tempo levado pelo navegador para carregar todos os itens de uma página.

Para este teste, usamos o Internet Explorer 8 (Versão 8.0.6001.18783) como nosso navegador.

O conjunto de sites usado neste teste inclui páginas iniciais de sites de alto tráfego. Dentre eles havia sites de compras, redes sociais, notícias, finanças e sites de referência.

O teste de tempo de navegação é executado cinco vezes e o nosso resultado final é uma média dessas cinco amostras. O servidor local é reiniciado a cada produto diferente e uma execução de "teste" inicial é conduzida antes do teste para instalar o Adobe Flash Player, um complemento que é usado por muitos sites populares.

(22)

Testes de desempenho Página 22 de 24

Teste 8 – Taxa de transmissão da rede

Este teste mediu o tempo levado para fazer o download de um conjunto de amostra de arquivos binários de tipos e tamanhos variados através de uma conexão de rede de 100 MB/s. Os arquivos estavam hospedados em um servidor que executava o Windows Server 2008 e IIS 7. O CommandTimer.exe foi usado em conjunto com o

GNU Wget (versão 1.10.1) para medir o tempo e conduzir o teste de download.

O conjunto de arquivos de amostra completo era composto por 553.638.694 bytes em 484 arquivos e duas categorias de tipos de arquivo: arquivos de mídia (74% do total) e documentos (26% do total). A divisão dos tipos de arquivo, quantidades e tamanhos totais dos arquivos do conjunto de amostra é mostrada na seguinte tabela:

Formato de arquivo

Categoria Quantidade Tamanho (bytes) JPEG Mídia 343 30.668.312 GIF Mídia 9 360.349 PNG Mídia 5 494.780 MOV Mídia 7 57.360.371 RM Mídia 1 5.658.646 AVI Mídia 8 78.703.408 WMV Mídia 5 46.126.167 MP3 Mídia 28 191.580.387 PDF Documentos 73 136.298.049 ZIP Documentos 4 6.295.987 7Z Documentos 1 92.238 Total 484 1503.382 Este teste foi realizado cinco vezes para obter o tempo médio de download dessa amostra de arquivos, com o computador de teste sendo reinicializado a cada amostra para remover os possíveis efeitos do armazenamento em cache.

Testes 9-10 – Desempenho em tempo real

Usamos um único script para os testes de 10 a 15. O script executa os testes de 10 a 15 consecutivamente. O script cronometra cada fase nesses testes usando o CommandTimer.exe e acrescenta os resultados a um arquivo de log.

(23)

Teste 9 – Cópia, movimentação e exclusão de arquivos

Este teste mede o tempo necessário para o sistema copiar, mover e excluir amostras de arquivos de vários formatos. Esta amostra era composta de 809 arquivos com 683.410.115 bytes e pode ser categorizada como documentos (28% do total), arquivos de mídia (60% do total) e arquivos PE (isto é, arquivos de sistema) (12% do total).

Este teste foi realizado cinco vezes para obter o tempo médio para copiar, mover e excluir os arquivos de amostra, com o computador de teste sendo reinicializado a cada amostra para remover os possíveis efeitos do armazenamento em cache.

Teste 10 – Compactação e descompactação de arquivos

Este teste mediu o tempo necessário para compactar e descompactar um conjunto de arquivos de amostra. Para este teste, usamos um subconjunto dos arquivos de mídia e documentos usados no teste Cópia, movimentação e exclusão de arquivos. O programa CommandTimer.exe registrou o tempo necessário para o 7zip.exe compactar os arquivos em um arquivo *.zip e subsequentemente descompactar o arquivo *.zip criado.

Esse subconjunto era composto de 404 arquivos com 277.346.661 bytes. A divisão dos tipos de arquivo, quantidades e tamanhos totais dos arquivos do conjunto de amostra é mostrada na seguinte tabela:

Formato de arquivo

Categoria Quantidade Tamanho (bytes)

DOC Documentos 12 30.450.176 DOCX Documentos 4 13.522.409 PPT Documentos 3 5.769.216 PPTX Documentos 3 4.146.421 XLS Documentos 4 2.660.352 XLSX Documentos 4 1.426.054 JPG Mídia 343 30.668.312 GIF Mídia 9 360.349 PNG Mídia 5 494.780 MOV Mídia 7 57.360.371 RM Mídia 1 5.658.646 AVI Mídia 8 78.703.408 WMV Mídia 5 46.126.167 Total 404 1135.149

Este teste foi realizado cinco vezes para obter a velocidade média de compactação e descompactação de arquivos, com o computador de teste sendo reinicializado a cada amostra para remover os possíveis efeitos do armazenamento em cache.

(24)

Testes de desempenho Página 24 de 24

Teste 11 – Uso da memória durante tempo ocioso do sistema

O utilitário Perflog++ foi usado para registrar o uso da memória em processos no sistema durante a inicialização e depois a cada minuto por mais 15 minutos. Isso foi feito apenas uma vez por produto e resultou em um total de 15 amostras. A primeira amostra obtida na inicialização é descartada.

O utilitário PerfLog++ registra o uso da memória de todos os processos, e não apenas aqueles do produto antimalware. Como resultado, os processos do produto antimalware precisaram ser isolados de todos os demais processos em execução no sistema. Para isolar o processo relevante, usamos um programa chamado Process Explorer, que foi executado imediatamente após a conclusão do registro do uso da memória pelo PerfLog++. O

Process Explorer é uma ferramenta de software Sysinternals do Microsoft Windows que mostra uma lista de todos os processos de DLL carregados no momento no sistema.

Teste 12 – Uso da memória durante a verificação

O PerfLog++ será usado para registrar o uso da memória no sistema enquanto uma verificação está em andamento. Consulte Uso da memória durante tempo ocioso do sistema acima para ver uma descrição do PerfLog++ e saber como os processos usados pelos produtos são identificados.

Teste 13 – Média da CPU durante tempo ocioso do sistema

A ferramenta CPUAvg foi usada para isso. O sistema foi inicializado e aguardou‐se que ficasse ocioso (aproximadamente cinco minutos após a inicialização). Então, o CPUAvg foi executado por cinco minutos enquanto o sistema estava em estado ocioso.