Manual do Usuário
Grupo de Teleinformática e Automação (GTA) Universidade Federal do Rio de Janeiro (UFRJ)
http://www.gta.ufrj.br
11 de fevereiro de 2008
Resumo
O Grupo de Teleinformática e Automação (GTA/UFRJ) desenvolveu a ferramenta ADES, uma ferramenta composta de diversos módulos que permitem a análise de características dos e-mails recebidos e a comparação
dessas características entre e-mails legítimos e spams (mensagens não desejadas). A ferramenta ADES (Análise DE Spams) baseia-se na classificação das mensagens eletrônicas a partir de um filtro de spams (Spamassassin) e uma série de módulos, que coletam, analisam e geram
visualização dessas informações. Este manual mostra como instalar, configurar e usar a ferramenta ADES.
Sumário
1 Introdução
1.1 A Ferramenta ADES
1.1.1 O Procedimento de Verificação dos Mecanismos Anti-Spam 1.1.2 O Procedimento de Análise de Dados
1.1.3 Pote de Mel
1.1.4 Visualização dos Resultados
2 Contrato de Licença
3 Componentes da Ferramenta ADES 3.1 Funcionamento
3.2 Módulo de Filtragem Anti-spam 3.3 Módulo de Análise
1 Introdução
O envio de spams (mensagem eletrônica não desejada) representa um dos maiores desafios na Internet. Cerca de dois terços do trafego de correio eletrônico são mensagens não desejadas, o que causa prejuízo de milhões de dólares, além de acarretar no consumo de tempo inútil dos destinatários. Uma possível estratégia de defesa contra os spams é identificar tais mensagens e separá-las para usuário, tarefa realizada pelos filtros anti-spam. No intuito de verificar a eficácia dos filtros anti-spam, assim como as características dessas mensagens, o Grupo de Teleinformática e Automação (GTA/UFRJ) desenvolveu o Sistema ADES.
1.1 A Ferramenta ADES
A ferramenta ADES implementa os mecanismos de listas negras, DNS reverso e SPF. Além disso, ela também utiliza o software anti-spam Spamassassin para determinar quais mensagens são legítimas e as que não o são. Para cada um dos mecanismos analisados é inserido no cabeçalho da mensagem a informação do resultado do mecanismo. O software Spamassassin também insere novas linhas no cabeçalho da mensagem, que posteriormente serão analisados pelo Sistema ADES.
O próximo módulo do ADES é o de análise das mensagens, que gera um arquivo texto, para cada usuário participante do sistema, com as informações de cada mensagem. No módulo seguinte, de análise de dados, as informações contidas nos arquivos texto são classificadas e agrupadas, permitindo visualizar as características mais comuns em cada tipo de mensagem, legítimas e spams.
O último módulo da ferramenta ADES é o de visualização dos dados. Esse módulo é uma interface web, desenvolvida em linguagem PHP. A
interface WEB do sistema é dinâmica, na qual é possível encontrar as informações mais comuns das mensagens dos usuários participantes.
1.1.1 O Procedimento de Verificação dos Mecanismos
Anti-Spam
A ferramenta ADES implementa alguns mecanismos anti-spam, tais como a busca em listas negras, o DNS reverso e SPF. Esses mecanismos são acionados todas as vezes que o servidor de e-mail recebe uma mensagem. Embora sejam de grande importância na classificação de uma mensagem como spam, ainda há outro mecanismo, externo à ferramenta, que é usado: o filtro anti-spam Spamassassin.
O software Spamassassin possui uma série regras que permitem classificar as mensagens. Durante esse processo, são analisados certos campos do cabeçalho da mensagem e seu corpo. No corpo da mensagem são procuradas expressões regulares que são comuns em spams, a cada expressão encontrada é adicionado um valor a soma total de pontos da mensagem, o valor adicionado depende da regra e do peso desta.
Para uma mensagem ser considerada spam a soma total de pontos dessa mensagem tem que ser igual ou superior a 5, valor padrão do Spamassassin. Além do uso de expressões regulares, também são usadas outras técnicas anti-spam, como filtros bayesianos, listas negras e DNS reverso.
Ao fim da análise, o Spamassassin modifica o cabeçalho da mensagem criando novos campos, nos quais são inseridas as informações geradas pelo filtro anti-spam.
1.1.2 O Procedimento de Análise de Dados
A análise de dados é feita por uma composição de scripts em Python e Perl, que analisa as informações inseridas no cabeçalho da mensagem pelo filtro anti-spam, analisa dados da mensagem, tais como hora de envio, remetente e idioma da mensagem, gera vários arquivos para cada usuário participante, cada arquivo com um resumo de cada característica analisada no conjunto de todas as mensagens.
1.1.3 Pote de Mel
O Pote de Mel implementado permite a análise de características relativas à coleta de endereços e envio de spams. Endereços de e-mail gerados aleatoriamente são divulgados em sítios e armazena-se em banco de dados a data de divulgação do endereço de e-mail. No momento da análise, é feita a comparação entre a data de divulgação do endereço e a data de envio da mensagem.
1.1.4 Visualização dos Resultados
A visualização dos resultados é realizada por uma interface web, desenvolvida em PHP. Nessa interface é possível visualizar quais são os países que mais mandam spams, qual o mecanismo mais eficaz, qual o idioma mais comum em suas mensagens, entre outras informações. Na interface web também podem ser encontrados gráficos que demonstram o comportamento dos spams recebidos em comparação ao das mensagens legítimas.
Os resultados da implementação do Sistema ADES no Grupo de Teleinformática e Automação (GTA/UFRJ) podem ser encontrados no seguinte endereço:
2 Contrato de Licença
O Sistema ADES está sob a Licença Pública Geral GNU (GNU General Public License). Os programas são software livre. Você pode redistribuí-los e/ou modificá-los sob os termos da Licença Pública Geral GNU, conforme publicada pela Free Software Foundation, tanto a versão 2 da Licença como (a seu critério) qualquer versão mais nova. Estes programas são distribuídos na expectativa de serem úteis, mas SEM QUALQUER GARANTIA, sem mesmo a garantia implícita de COMERCIALIZAÇÃO ou de ADEQUAÇÃO A QUALQUER PROPÓSITO EM PARTICULAR. Consulte a Licença Pública Geral GNU para obter mais detalhes.
3 Componentes do Sistema ADES
O Sistema ADES é composto por três módulos: Filtragem Anti-spam, Análise de Dados e Visualização de Resultados.
3.1 Funcionamento
Chegando ao servidor de e-mail, a mensagem é analisada pelos mecanismos implementados pela ferramenta ADES e pelo filtro anti-spam (Spamassassin), que gera novos campos no seu cabeçalho com os dados extraídos da análise, assim como a sua classificação como mensagem legítima ou spam. As mensagens são direcionadas para a caixa de entrada dos usuários. Os usuários devem criar pastas para as mensagens legítimas e os spams, de modo que disponibilize as mensagens para a análise do Sistema.
Ao fazer a varredura nas caixas de mensagens dos usuários participantes, o sistema interpreta que as mensagens contidas em pastas como spams e Junk Email não são legítimas, já as mensagens contidas nas
demais pastas são consideradas legítimas. Finalizando a varredura, o sistema gera arquivos com as informações extraídas das mensagens analisadas.
O módulo de visualização dos resultados é uma interface WEB dinâmica, o que permite que o usuário, a cada vez que visite o sítio de apresentação dos resultados, tenha acesso às informações mais atualizadas, tais como tabelas e gráficos gerados com base nos arquivos da etapa anterior.
Vale ressaltar que os arquivos gerados pelo módulo de análise de dados ficam disponíveis para outros métodos de visualização dos dados, tais como a geração de novos gráficos, com o cruzamento de dados, ou ainda a criação de tabelas comparativas entres as características observadas.
Os procedimentos descritos neste manual referem-se à instalação e configuração do Sistema ADES com o servidor de e-mail Postfix, em um sistema Debian.
3.2 Módulo de Filtragem Anti-spam
A filtragem anti-spam é feita pelo software Spamassassin, que pode ser instalado através dos seguintes comandos:
$ su
$ apt-get update
$ apt-get install spamassassin
As configurações do Spamassassin podem ser mantidas padrões.
3.3 Módulo de Análise
Alguns pacotes do Debian devem ser instalados antes do Sistema ADES. Para instalá-los, use os seguintes comandos:
$ su
$ apt-get update
$ apt-get install apache2.0 php5 mysql-server python2.5 python-mysqldb
Faça o download do Sistema no seguinte sítio: http://www.gta.ufrj.br/ades
Após o download, para instalar a ferramenta ADES, o usuário deve digitar os seguintes comandos no terminal.
$ tar xzvf ades.tar.gz $ cp ades/ /var/www
$ cp ades/files/policy.pl /etc/postix
Na instalação do honeypot deve-se substituir <PASTA> pela localização do diretório no qual se encontra o sítio que será usado para a divulgação dos e-mails do Honeypot.
$ cp ades/honeypot_email.php <PASTA>
Após executar essa série de comandos, o Sistema ADES já está instalado, porém ainda não está configurado. A primeira parte da configuração é alterar dois arquivos do Postfix:
$ nano /etc/postfix/master.cf
Insira a seguinte linha ao fim do arquivo:
policy unix - n n - - spawnuser=no body argv=/usr/bin/perl /etc/postfix/policy.pl
A seguir, edite o outro arquivo de configuração do Postfix: $ nano /etc/postfix/main.cf
Na seção smtpd_recipient_restrictions insira a seguinte linha: check_policy_service unix:private/policy
Para que o honeypot divulgue os endereços de e-mail, adicione as seguintes linhas a um página PHP, que seja acessada freqüentemente, como a página principal: <?php require("honey_pot_email.php"); honey_pot_email(); honey_pot_email(); honey_pot_email(); honey_pot_email(); honey_pot_email(); ?>
Altere o arquivo honey_pot_email.php para que as variáveis $usuario_bd, $senha_bd e $servidor_bd apontem respectivamente para o usuário do banco de dados, senha e qual o servidor do banco de dados.
No diretório files também são encontrados os arquivos de backup do banco de dados que devem ser importados durante a instalação do sistema:
$ cd /var/www/ades/files
$ mysql -u <usuario> -p < honeypot_db.sql $ mysql -u <usuario> -p < language_db.sql
Vale lembrar que <usuario> é o nome de usuário do banco de dados mysql.
O próximo procedimento é alterar os arquivos do ADES: $ cd /var/www/ades
$ nano system/const.pl
Nesse arquivo deve-se alterar as variáveis $user_base_dir e $honeypot_base_dir, que devem apontar respectivamente para diretório base dos usuários e o usuário base do honeypot.
$ nano usuarios-participando
Esse arquivo contém todos os usuários que estão participando do Sistema ADES, ele deve ser preenchido com o complemento do endereço da home do usuário em relação ao caminho estabelecido no const.pl.
O ultimo arquivo a ser alterado é o ades.py. $ nano /system/ades.py
As variáveis servidor_bd, usuario e senha, que devem ser preenchidas com o endereço do servidor de banco de dados, o usuário do banco de dados e a sua senha, respectivamente.
Após a realização de todos esses procedimentos o Sistema ADES já deve estar funcionando. Para executar a verificação de todos os usuários participantes basta executar o seguinte comando como root (super usuário):
$ /var/www/ades/system/run
Para manter o sistema sempre com os dados mais atuais dos usuários, esse script de execução pode ser inserido no cron:
$ nano /etc/crontab
Inserir a seguinte linha ao fim do arquivo:
00 3 *** root cd /var/www/ades/system && ./run
Essa linha executa o Sistema ADES todos os dias às 3:00 hs.
3.4 Módulo de Visualização de Resultados
O módulo de visualização é instalado com o módulo de análise. Após a instalação e configuração do sistema, é necessário que seja executado ao menos uma vez o script run, no diretório /var/www/system.
$ cd /var/www/system $ ./run
Após esse procedimento, os resultados das análises de todos os usuários já estarão disponíveis na interface web do Sistema ADES.
