Live Migration of Virtual Machines

(1)

Live Migration of Virtual Machines

Departamento de Eletrônica – Escola Politécnica Programa de Engenharia Elétrica – COPPE

Rafael dos Santos Alves

http://www.gta.ufrj.br

(2)

Informações

• Autores

• Christopher Clark

• Keir Fraser

• Steven Hand

• Jacob Gorm Hansen

• Eric Jul

• Christian Limpach

• Ian Pratt

• Andrew Warfield

• Publicação

• Second Symposium on Networked Systems Design and Implementation (NSDI'05)

(3)

Motivação

• Balanceamento de carga

• Manutenção do sistema

• Separação entre hardware e software

• Vantagens em utilizar máquinas virtuais

• Evita dependências residuais

• Permite transferência de estado na memória de forma consistente

• Permite separação de preocupações entre operadores e usuários

(4)

Objetivos

• Minimizar tempo “fora do ar”

• Tempo total de migração

• Manter sem interrupções serviços ativos

(5)

Abordagens Prévias

• Collective

• Mobilidade para usuários que utilizam diferentes hosts

• Conexões lentas

• Interrupção do sistema operacional

• VMware

• Migração de processo

• Dependência residual

(6)

Questões de projeto

• Memória transferida

• Minimizar tempo “fora do ar” e tempo total de migração

• Recursos locais

• Memória

• Disco

• Interfaces de rede

• ...

(7)

Memória transferida

• Três fases de transferência

• Push

• Máquina fonte continua executando

• Páginas são transferidas e em caso de modifcação retransferidas

• Stop-and-copy

• Simples

• Tempo “fora do ar” inaceitável

• Pull

• Nova máquina executa

• Páginas faltantes são puxadas pela rede

(8)

Abordagem utilizada

• Uma fase push iterativa e limitada

• n rodadas

• Páginas modificas na rodada i-1 transferidas na rodada i

• Uma pequena fase stop-and-copy

• Pequeno conjunto de páginas frequentemente modificadas

(9)

Recursos locais

• Recursos de rede

• Manter conexões abertas

• Respostas ARP não solicitadas

• Armazenamento local

• Assume NAS (Network Attached Storage)

(10)

Visão geral

(11)

Writable Working Sets (WWS)

• Maior influência no desempenho

• Sobrecarga de transferência de memória

• Conjunto de páginas frequentemente alteradas

• Devem ser transferidas via stop-and-copy

(12)

Medição do WWS

(13)

Medição do WWS (2)

(14)

Medição do WWS (3)

(15)

Medição do WWS (4)

(16)

Medição do WWS (5)

(17)

Questões de implementação

• Migração gerenciada vs. Automigração

• Limitação dinâmica de taxa

• Alteração frequente das páginas

• Otimizações para paravirtualização

• Interrupção de processos “trapaceiros”

• Liberação páginas

(18)

Migração gerenciada

• Daemons na VM de gerenciamento

• Dirty bitmap

• Páginas sombra

• Tabelas de páginas marcadas como somente leitura

• Tentativas de modificação interceptadas pelo Xen

• Reiniciadas ao final de cada iteração

(19)

Automigração

• Realizado pelo SO sendo migrado

• Dificuldade em definir um checkpoint

• Solução: stop-and-copy de dois estágios

• Interrupção dos processos (exceto os de migração)

• Páginas alteradas são enviadas para o dirty bitmap

• Transferência das páginas alteradas no primeiro estágio

(20)

Limitação dinâmica de taxa

• Altas taxas de transferência

• Impacto nos serviços

• Adaptação da largura de banda

• 1ª fase de pré-cópia com menor banda possível

• Para cada fase seguinte cálculo da taxa de alteração de páginas

• Banda para próxima rodada igual a taxa de alteração mais uma constante (50 Mb/s)

• Fase stop-and-copy com banda máxima

(21)

Alteração frequente das páginas

• Algumas páginas com alta frequência de alteração

• Páginas modificadas na última rodada não são transferidas na rodada atual

• Alteração de páginas em aglomerados

• Varredura da memória física em ordem pseudo- aleatória

(22)

Otimizações para parvitualização

• Interrupção de processos “trapaceiros”

• Alteram a memória mais rápido do que o processo de pré-cópia

• Thread de monitoramento

• Processos com mais de 40 faltas de páginas movidos para o modo suspenso

• Não deve interromper serviços importantes

(23)

Interrupção de processos

(24)

Otimizações para parvitualização

• Liberação de páginas

• SO típicos possuem páginas livres

• Não precisam ser copiadas

• Caso sejam necessárias

• Faltas de páginas

• Transferidas do disco

• Aumento do custo

(25)

Avaliação

• 2 servidores Dell PE-2650

• Dual Xeon 2 GHz

• Somente 1 CPU utilizada

• HyperThreading habilitado

• 2 GB de memória RAM

• Interface de rede Broadcom TG3

• Comutador Gigabit Ethernet

• Servidor NAS NetApp F840

• XenLinux 2.4.27

(26)

Servidor web simples

• Apache 1.3

• Memória alocada de 800 MB

(27)

Servidor web complexo

• SPECweb99

• 30% geração de conteúdo dinâmico

• 16% operação HTTP POST

• 0,5% de scripts CGI

• Geração de logs

• QoS

• Banda agregada de 320 kb/s

(28)

Servidor web complexo (2)

(29)

Servidor de baixa latência

• Quake 3

• Seis jogadores

(30)

Servidor de baixa latência (2)

(31)

Servidor de baixa latência (3)

(32)

Carga “diabólica”

• Mmuncher

• Escrita em memória mais rápida que a transferência pela rede

• Programa em C escreve em área de 256 MB

(33)

Carga “diabólica”

3,5 segundos de downtime

(34)

Trabalhos Futuros

• Gerenciamento em clusters

• Redirecionamento em WANs

• Migração de blocos de disco