Trabalho de Conclusão de Curso (Curso Superior de Análise e Desenvolvimento de Sistemas) Fatec - Faculdade de Tecnologia “Dr. Por fim, gostaria de agradecer à equipe da Unesp Franca, que nunca poupou esforços para incentivar minha qualificação profissional. Dedico esta tese ao meu pai Professor (de tudo menos matemática) Ismar e a todos os companheiros que me ensinaram mais do que qualquer outro curso ao longo dos anos.
O tema desta monografia surgiu a partir do contexto de um laboratório da Diretoria Técnica de Informática do campus de Franca da Unesp. No entanto, diversas arquiteturas de sistemas de armazenamento não atingiram níveis de confiabilidade e escalabilidade ou ainda dependem de equipamentos muito específicos (WEIL, 2007). Atualmente, grandes sistemas de armazenamento distribuído baseados em OSDs (Object storage devices) utilizam tecnologias de décadas anteriores.
Com essas considerações, optou-se por aprofundar as funcionalidades e usos dessa ferramenta de código aberto em detrimento de outras ferramentas líderes de mercado utilizadas em grandes parques armazenadores, gerando uma aproximação inicial do projeto e talvez criando uma referência básica sobre seu uso e aplicativo explorando a necessidade de evitar custos de licença de software no ambiente da Unesp Franca. Além dos sistemas de armazenamento abordados, é preciso rever o universo da virtualização, pois um dos grandes motivadores para que os servidores físicos se tornassem um ambiente homogêneo e gerenciável foi a facilidade de administração dos serviços, em sua maioria fornecidos por máquinas especializadas, de forma gradual. virtualizado ao longo dos anos. Esta pesquisa também enfocou as dificuldades de aquisição de novos equipamentos na Unesp.
HIPERCONVERGÊNCIA
Definição
VANTAGENS
DESVANTAGENS
Alto custo: com a possibilidade de um ambiente com vários dispositivos diferentes, é necessário que os fabricantes de soluções de software proprietário validem e garantam a integridade do orquestrador, que pode apresentar problemas de software, processamento ou armazenamento e dificultar o diagnóstico, dificultando o suporte e o licenciamento dessas soluções é relativamente caro. Escalabilidade inflexível: A escalabilidade que torna a hiperconvergência ideal para algumas cargas de trabalho é a mesma que pode atrapalhar em algumas situações, como uma aplicação que utiliza mais armazenamento do que capacidade computacional pode levar à necessidade de adicionar um full node para aumentar isso capacidade, não apenas novos discos, dependendo da arquitetura do orquestrador. Dependência do fornecedor: em alguns ambientes hiperconvergentes é muito mais fácil adicionar um novo nó ou memória se for idêntico a outros já adicionados ao cluster, o que pode aumentar os custos ou criar janelas de manutenção forçadas, caso não seja possível dimensionar o ambiente com o mesmo hardware usado no início do projeto.
PROXMOX VE (GNU AGPL, V3)
KVM/QEMU (GPL,V2)
Se simplesmente traduzirmos o diagrama da Figura 2, teremos dois serviços para gerenciar a unidade de memória, um deles acessa o barramento direto ao processador (core), e o outro gerencia a entrada e saída dos dispositivos, com um barramento DMA na outra extremidade. (Acesso direto à memória) com acesso direto à memória do sistema. Em um ambiente virtualizado, o serviço IOMMU permite que um dispositivo ou barramento do sistema seja entregue exclusivamente a um host virtual.
LXC (GNU LGPLV2.1+)
OPEN VSWITCH (APACHE LICENSE 2.0)
Em qualquer orquestrador de virtualização do mercado, um dos principais recursos é a capacidade de conectar o tráfego entre VMs e contêineres para o mundo externo. Em orquestradores baseados em Linux, foi necessário utilizar o switch da camada 2 já disponível no Kernel (Linux Bridge), que é rápido e confiável. Porém, com os recursos da camada 3 do Open vSwitch, novas possibilidades foram entregues para atender a realidade contemporânea dos ambientes de virtualização, como no exemplo da Figura 4.
Hoje, ao implantar um cluster de vários servidores, usar essa pilha de camada 2 não é suficiente, porque com um grande número de máquinas virtuais e contêineres, as mudanças no ambiente ocorrem com frequência: VMs são criadas e removidas, avançam e retrocedem no tempo, mudanças em seus ambientes lógicos de rede e seu tamanho e localização de pontos de armazenamento. O Open vSwitch oferece suporte a vários recursos da Camada 3 que permitem que um sistema de gerenciamento de rede responda e se adapte à medida que o ambiente muda, usando protocolos como NetFlow, IPFIX e sFLOW e acompanhando a dinâmica dos sistemas conforme eles mudam. Levando em consideração a necessidade de fornecer alta disponibilidade nos serviços, essa tecnologia foi muito importante, pois a segurança, separação de tráfego e monitoramento eram feitos anteriormente em máquinas VMware diretamente em switches e roteadores físicos, adicionando uma camada adicional na manutenção e manipulação dos serviços gerados. . .
Além disso, o projeto de migração visava entregar um serviço seguro e de alta disponibilidade, tornando a gestão do tráfego transparente para os dispositivos de rede. Foi possível usar os serviços diretamente no switch de maior capacidade do campus, com mais largura de banda disponível tanto para tráfego quanto para gerenciamento. A separação lógica por VLANs forneceu outra camada de separação de tráfego entre serviços públicos e de gerenciamento.
CEPH (GNU LGPL, V2.1)
- Recursos de Armazenamento
- Object Storage
- Sistema de Arquivos
- Sistemas de Arquivos Cliente – Servidor
- Armazenamento de dados no Ceph
- RADOS
- CRUSH
- Escalabilidade
- Automação de Implantação
- Deduplicação
- Otimização de Armazenamento
- Integrações da Plataforma
- Kubernetes / rook.io
- OpenStack
- SDSs Similares
- Gluster
- Lizard
- ZFS
- Complicações
- Auto-monitoramento e cura
- Split Brain
- Rede e latência
- Comunidade
Por sua vez, um sistema de arquivos gerencia os dados como uma hierarquia de arquivos, enquanto o armazenamento em bloco gerencia os dados divididos em blocos separados em trilhas e setores. Com esses conceitos de objeto, é importante lembrar que o Ceph maximiza a separação entre o gerenciamento de metadados de arquivo e o armazenamento de dados de arquivo. O design do sistema de arquivos nas últimas décadas foi fortemente influenciado pelo sistema de arquivos Unix e pelo FFS (Fast File System) do BSD (Berkeley Software Distribution) Unix.
A interface e o comportamento desses sistemas de arquivos foram a base para o padrão POSIX (Portable Operating System Interface), que a maioria dos sistemas operacionais e aplicativos segue atualmente. Atualmente, diversos sistemas de arquivos ainda apresentam limitações de projeto devido à arquitetura do disco, principalmente na adaptação da estrutura de metadados, pois apesar de tamanhos relativamente maiores, as limitações físicas ainda obrigam a utilização de blocos de tamanho reduzido para alocação eficiente de arquivos. pequeno (por exemplo, 4Kb). Com a presença da tecnologia da informação no mundo corporativo, a necessidade de sistemas de arquivos compartilhados disparou, fazendo com que diversas soluções proprietárias criem seus próprios sistemas.
O conhecimento da distribuição de dados encapsulado no mapa do cluster permite que o RADOS distribua o gerenciamento de redundância de dados, realize detecção e recuperação de falhas OSD que possam comprometer o cluster e forneça um sistema de balanceamento e replicação de dados de forma que, em caso de falha ou adição de um nó, os dados são armazenados e reproduzidos com segurança, com baixíssima indisponibilidade para o sistema que consome esse armazenamento. Em comparação com outros sistemas de arquivos baseados em armazenamento de objetos que simplesmente substituem longas listas de blocos por arquivo por listas menores de objetos, o Ceph elimina completamente o uso de listas de alocação. A técnica de desduplicação em sistemas de armazenamento serve para eliminar cópias duplicadas de dados, visando eliminar informações desnecessárias para economizar recursos de armazenamento e garantir a integridade dos dados.
Em relação à implementação do Ceph, existem algumas implicações, pois os metadados do objeto são tratados de maneira diferente em comparação com outros sistemas de arquivos. Gluster é um sistema de arquivos capaz de agregar recursos de armazenamento em disco de vários servidores em um único namespace, ou seja, entregar um ponto de montagem transparente ao usuário que é gerenciado virtualmente sobre uma organização "clusterizada" em hardware de armazenamento (GLUSTER, 2020). Para não depender de módulos no kernel, o GlusterFS utiliza um sistema de arquivos no espaço do usuário, que faz uso da tecnologia FUSE (File System in Userspace).
Essa tecnologia foi desenvolvida devido às dificuldades de implementação de sistemas de arquivos no espaço do usuário. Em um estudo comparativo entre as ferramentas, considerando a diferença entre o Ceph baseado em object storage e o Gluster em block storage, a IOP Science mostrou que é possível que um cluster baseado em Gluster tenha superado o Ceph, mas apresentou alguma instabilidade que resultou em perda parcial ou total de dados, o que deve ser levado em conta em um projeto com escalabilidade em tempo menor que a capacidade de recuperação e replicação do sistema de arquivos (DONVITO; MARZULLI; DIACONO, 2014). O sistema de arquivos ZFS, originalmente desenvolvido pela Sun (atual Oracle) foi considerado um sistema incomum na época de seu lançamento porque, ao contrário de outros sistemas de arquivos até então, unificava os atributos do gerenciador de volumes e do sistema de arquivos, podendo para garantir que ocorram anomalias como falhas físicas, falhas do sistema operacional ou eventos de corrupção de dados (OPENZFS, 2020).
Dividido em três camadas (Storage Pool Allocator, Data Management Unit e Dataset Layer), o ZFS é capaz de gerenciar pools onde os sistemas de arquivos fornecidos ao usuário são verificados em tempo real, garantindo a integridade e disponibilidade dos dados que são distribuídos no array . ...
SOBRE A FCHS
LABORATÓRIO DE IMPLANTAÇÃO E AMBIENTE ANTERIOR
O terceiro capítulo trata da experiência do estudo e da implementação das ferramentas discutidas, levando em consideração o ambiente da Unesp França e suas limitações quanto ao parque de TI.
ESTADO INICIAL
MIGRAÇÃO DOS SERVIÇOS
Estado Atual
Dessa forma, foi possível migrar grande parte das máquinas do parque, conforme mostra a Figura 12, e atingir o próximo estado atual da organização no hypervisor. Atualmente, grande parte das máquinas virtuais e serviços já foram migrados para o cluster do Ceph, e como cinco dos doze servidores (Figura 13) são coordenados com recursos compartilhados, a carga sobre os recursos disponíveis no arranjo para rodar todos os serviços é suficiente. A Figura 13 mostra um instantâneo dos recursos disponíveis nos cinco nós enfileirados com a maioria das VMs em execução, totalizando 28 CPUs, 106 Gb de RAM e 12 terabytes de armazenamento entre eles.
O gráfico superior é a soma dos recursos, e também é possível ver o detalhamento do uso de CPU e memória para cada nó individualmente.
Próximos Passos
- Comparativo de custos
- Legado e Manutenibilidade
O custo total é calculado se todos os 12 servidores forem licenciados com a assinatura básica de gerenciamento centralizado da VMware. Disponível em:
Disponível em:
