DISCUSSÕES

Rede N Média Grupo

SDN 150 24,9198 A

Não-SDN 150 19,3883 B

Tabela 5.23: PSNR Tukey em Multipath

Vídeo X Rede N Média Grupos

Escalável SDN 75 31,8225 A

Escalável Não-SDN 75 22,8786 B

Não-Escalável SDN 75 18,0170 C

Não-Escalável Não-SDN 75 15,8979 D

5.2 DISCUSSÕES

Os resultados, em sua essência, mostram o impacto da flutuação da disponibilidade da largura de banda. O nível de congestionamento adotado desempenha uma influência direta nos valores de todas as métricas em estudo. Se a rede estiver livre de congestionamento, todos os sistemas simulados funcionam atendendo os requisitos dos usuários. Por outro lado, enquanto a rede estiver com 100% dos enlaces congestionados, os atrasos de filas serão exorbitantes, inviabilizando todos os sistemas para as redes tradicionais IP, enquanto que, para as redes SDN, devido ao emprego de técnicas de QoS baseadas no fluxo, apenas os sistemas que utilizaram o vídeo escalável tem condições de obter a qualidade mínima por terem recebido somente a camada base.

Adotou-se um nível de congestionamento de 40% dos links com variações extremas. Com esse cenário de tráfego de concorrência, as médias das métricas dos dados referente aos vídeos foram coletados dentro de um intervalo de 95% de confiança. O DoE fez uso da ferramenta estatística ANOVA, uma vez que foi constatado que todos os dados se aproximaram de uma distribuição normal de acordo com a ferramenta EasyFit1. Os resultados obtidos mostraram que todos os tratamentos obtiveram significâncias estatísticas. Constatou-se que nos ambientes de experimentação não ocorreram perdas de pacotes no núcleo da rede, apenas atrasos de filas, que foram inseridos em razão do tráfego de congestionamento utilizado.

Os objetivos específicos da presente pesquisa são alcançados nesse capítulo, onde se apresentam os dados do processo de avaliação. O foco principal é a comparação entre os sistemas de videoconferência quando utilizados em rede tradicional IP em relação ao paradigma SDN. Notou-se que os sistemas de videoconferências, quando pretendem atender clientes heterogêneos, poderiam utilizar diferentes técnicas de transmissão. Nos experimentos, foi

5.2. DISCUSSÕES 85

utilizada a técnica de transmissão em multiversões ou simulcast que utiliza o grupo de vídeo não escalável H.264/AVC e o modelo de transmissão do vídeo em multicamadas onde o tipo de vídeo é escalável H.264/SVC.

Em todos os experimentos empregou-se a configuração de roteamento baseado no pro- tocolo OSPF para as redes tradicionais IP (Não-SDN) e no protocolo protocolo Openflow para as redes SDN. As características relevantes para redes SDN implementadas foram aplicação de priorização do fluxo e balanceamento de carga. Utilizou-se um único sistema computacional para a construção dos ambientes de rede e implementação dos cenários para os testes através da Mininet. Embora, fosse determinado um número restrito de nós na rede, sua representatividade encontra-se de acordo com as configurações disposta no padrão para OSPF e redes SDN.

As redes tradicionais IP são transparentes aos tipos de pacotes que estão em trânsito, assim como a oferta de serviços iguais para todos os pacotes. Tal fato se verifica por meio dos valores obtidos referente ao atraso e vazão nos diferentes ambientes de testes. Os vídeos, por sua vez, se comportaram de maneira diferente sendo o vídeo escalável melhor em ambos os ambientes. Isso é resultado da transmissão em multicamadas utilizando o vídeo escalável que ofereceu menos cargas para a MCU, assim como lançar menos tráfego na rede.

As redes SDN, por possibilitarem a implementação de melhorias, como serviços diferen- ciados e roteamento por multicaminhos viabilizaram a entrega de um vídeo com uma melhor qualidade. No contexto do cliente requisitante de melhor qualidade de vídeo, a rede SDN só consegue resultado expressivo quando o vídeo é escalável, embora o tratamento com o vídeo Não-Escalável tenha um resultado significativo quando comparado com as redes Não-SDN.

No ambiente Singlepath é retratada uma situação onde os clientes de um sistema de videoconferência tem apenas uma opção de caminho para a entrega dos dados. A rede tradicional IP, como foi bem representada, mostrou que o serviço do melhor esforço degrada a entrega do vídeo com qualidade, devido, consequentemente a possíveis atrasos sofridos em razão do tráfego de congestionamento. Para tratar essa situação de congestionamento, foram aplicados nos experimentos para as redes SDN uma fila de 20% (200 kbps) para o tráfego de vídeo. Os vídeos Não-Escaláveis em rede SDN obtiveram uma melhoria, porém, o ganho foi pouco expressiva em relação às redes tradicionais IP. Essa situação foi tratada da forma que o tráfego de congestionamento não poderia consumir todo o enlace. Desse modo, a classe de vídeo teria garantia mínima de entrega de 20% do seu conteúdo. Os vídeos Não-Escaláveis foram transmitidos com duas conexões de tráfegos simultaneamente; esses vídeos têm o comportamento de consumo de largura de banda de aproximadamente 70% (700 kbps) do enlace. O tráfego de concorrência tem a média de 400 kbps com variações de 900 a 4 kbps. Teoricamente, retirando os 20% garantido, a demanda de banda para o vídeo cairia em 50% para disputar com restante da banda com o tráfego de concorrência. Como esses vídeos possuem o mesmo nível de importância em relação ao outro tráfego não foi possível definir uma priorização. Por outro lado, os vídeos Escaláveis têm um nível hierárquico de camadas e de importância, então, nesse caso, foi possível ao controlador SDN alocar na fila reservada à camada base, o que gerou uma melhor qualidade

5.2. DISCUSSÕES 86

do vídeo.

No ambiente Multipath é concebida a situação em que existem mais de uma rota entre uma fonte e um destino. Os experimentos tomaram como base o ponto de vista do cliente que requisita receber o vídeo de maior resolução (CIF). As redes tradicionais em estudo, seguindo as configurações padrões do OSPF, não tomaram proveito disso. Dessa forma, todo o fluxo de vídeo segue na mesma rota do caminho mais curto para o destino. A outra rota só seria utilizada caso a principal falhasse. Ao contrário disso, as redes SDN em estudo utilizaram as duas rotas para o tráfego do vídeo simultaneamente. Ao se tratar do vídeo Escalável, a camada base é encaminhada pela rota mais longa, porém com menos tráfego, enquanto as demais camadas seguem na rota de menor custo. A transmissão em multiversões, que se trata do vídeo Não-Escalável, a fim de se equiparar a transmissão em multicamadas para esse ambiente de rede dividiu as versões do vídeo da seguinte maneira: a versão do vídeo de menor banda seguiu o caminho mais longo e com menos tráfego, enquanto a vídeo com maior resolução seguiu a rota de caminho mais curto. Ressalta-se que transmitir o vídeo de maior resolução no caminho sem tráfego poderia reduzir a escalabilidade do sistema de videoconferência. Portanto, o vídeo Não-Escalável recebido pelo cliente teve uma qualidade inferior ao vídeo Escalável.

O tráfego que compõe a vazão nos experimentos é resultado de um processo de filtragem que descarta os pacotes que chegaram com o atraso acima dos 300 milissegundos. Embora esteja fora do escopo da pesquisa, a relação dos pacotes que chegaram aos destinos e foram descartados revelaria um nível de eficiência para redes (DETTI et al., 2009). De certa forma, é possível deduzir baseados nos maiores taxas de vazão que as redes SDN ao transportar vídeo Escalável, foram mais eficientes.

O atraso total de um vídeo transmitido envolveria as seguintes etapas: captura, codifica- ção, transporte, decodificação e exibição. A implementação de uma estrutura envolvendo todas as etapas está fora do escopo, porém, através da abordagem de transmissão do vídeo baseado no tracesurgiram informações relevantes quanto à etapa de transporte. De maneira geral, o vídeo Escalável em redes SDN obteve o menor tempo, devido à flexibilidade fornecida pelas redes SDN que combinou muito bem com a escalabilidade proporcionada pelo vídeo H.264/SVC.

Tabela 5.24: Multipath PSNR e MOS

Não-SDN SDN

Não-Escalável 15,898 (Ruim) 18,017 (Ruim) Escalável 22,879 (Pobre) 31,823 (Bom)

A métrica PSNR de qualidade de vídeo foi utilizada para avaliar os vídeos recebidos. Diante disso, observou-se que o vídeo Escalável foi significativamente melhor. Porém, analisando os melhores resultados de cada tratamentos dos sistemas de transmissão de vídeo e rede, a métrica PSNR pode ser equiparada ao nível de qualidade subjetiva utilizando a tabela MOS de acordo com (KLAUE et al., 2003). Na transmissão em Multipath cada tratamento obteve os melhores

5.2. DISCUSSÕES 87

resultados, conforme se verifica na Tabela 5.24 que mostra esses valores a nível de MOS. Portanto, seguindo o nível de qualidade descrito na Tabela 5.24 que relaciona o PSNR ao MOS, conclui-se que somente o vídeo escalável usando o paradigma SDN e um ambiente multipathpode transmitir um vídeo com boa qualidade. No ambiente Multipath obteve-se, ainda, as maiores vazões e os menores atrasos. Essa situação configura um modelo recomendável para os sistemas de videoconferência que se pretendem ter um bom desempenho.

88 88 88

6

CONCLUSÃO

As tendências na mudança do ambiente dominante para os sistemas de videoconferência nos próximos anos estão gerando novos desafios. Esses desafios estão relacionado ao fato de lidar com a presença de clientes heterogêneos em uma mesma reunião em tempo real. As soluções seguem um caminho para se trabalhar com as redes programáveis, assim como o tipo de vídeo escalável. As soluções tradicionais de videoconferência estão baseadas nas redes que oferecem o serviço do melhor esforço e que possuem em sua arquitetura uma entidade denominada de MCU. Essa entidade executa um trabalho de gerenciamento de todo o sistema e requisita que todo o tráfego passe por ela. Por outro lado, soluções baseadas em multicast tendem a se sobressair, e caso a rede permita caminhos alternativos para o tráfego, mais melhorias podem ser alcançadas.

Nesse contexto, este trabalho focou em elaborar um estudo comparativo para avaliar o desempenho dos sistemas de videoconferência para uma situação de transmissão para clientes heterogêneos quanto à resolução do vídeo requisitada. O cliente que demandou maiores recursos serviu como referência para obter as métricas relevantes, como vazão, atraso e PSNR. O emulador de rede Mininet foi utilizado para construir as redes experimentais em ambientes Singlepath e Multipath. Os vídeos foram transmitidos em dois modelos de transmissão que corresponde ao tipo de vídeo utilizado. O sistema de transmissão baseado em multiversões foi utilizado para o vídeo Não-Escalável H.264/AVC, enquanto o sistema de transmissão baseado em multicamadas foi usado para o vídeo escalável H.264/SVC. Esses sistemas de transmissão se alternam entre redes tradicionais IP e rede SDN.

A avaliação de desempenho de vídeo presente em sistemas de videoconferência em redes congestionada baseada no DoE mostrou que as aplicações utilizando o paradigma SDN mostraram ser mais eficientes em relação às redes tradicionais IP. Na métrica vazão, os vídeos Escaláveis conseguiram resultados significativos sendo 70,51% em Singlepath e 77,76% em Multipath. Quanto ao atraso em ambiente Singlepath, as redes SDN conseguiu entregar os dados em 42,58% mais rápido enquanto que em Multipath atingiu a margem de 68,41% em melhoria. A qualidade do vídeo quando transportado em redes SDN ofereceram uma qualidade 15,50% superior em Singlepath. Quanto ao Multipath foi 22,20% superior. As redes SDN com a

utilização do ambiente Multipath obtiveram os melhores resultados.

6.1. CONTRIBUIÇÕES 89

vídeo Escalável H.264/SVC mostrou-se mais relevante para o uso em sistemas de videoconferên- cia. No quesito vazão, os valores comparativos atingiram melhorias de 16,34% em Singlepath e 16,18% em Multipath. Quanto ao atraso o vídeo Não-Escalável foi 23,01% mais lento no ambiente Singlepath enquanto que no Multipath foi 26,06%. A qualidade do vídeo obtida foi 68,41% superior em Singlepath, no caso do Multipath foi 38,00% superior. O vídeo Escalável conseguiu valores mais expressivos no ambiente Multipath, porém em Singlepath, o vídeo teve uma ligeira vantagem.

De maneira geral, as redes com caminhos múltiplos contribuem para a melhor utilização dos recursos através das técnicas proporcionadas pelos SDN em conjunto com uso dos vídeos escaláveis. No tráfego de dado recebidos, o ambiente Multipath teve uma vazão superior de 43,26%. Em relação ao atraso, foi 25,75% mais eficiente na entrega dos dados em tempo hábil. No quesito qualidade do vídeo entregue, os vídeos, neste ambiente, obtiveram 4,75%. Os valores obtidos para as métricas de vazão e atraso foram mais significativos em razão dessas métrica estarem fortemente relacionada a rede, enquanto o vídeo tem um relacionamento mais fraco quanto ao ambiente teste pois o mesmo é avaliado após a entrega.

Os sistemas implementados para transmissão em multicast usando o paradigma SDN foram extraídos do estado da arte dos sistemas de videoconferência baseado em desktop (ZHAO et al., 2014). A implementação de rotas pré-configuradas foi utilizada. Dessa forma, os conceitos SDN empregado para configurar rotas estáticas possibilitou atender bem o conceito de QoS aplicado ao tráfego de vídeo gerado pelo apresentador da videoconferência em direção ao cliente de maior resolução de vídeo. Essa configuração mostrou-se viável para o serviço de vídeo pelo baixo atraso apresentado.

O baixo desempenho das redes tradicionais comprova o quanto é desafiador trabalhar nas redes que só oferecem o serviço do melhor esforço. As aplicações atuais funcionam nessa arquitetura (XU et al., 2012). Enquanto os grupos de usuários possuírem largura de banda suficiente e núcleos da rede não sofrerem longos período de congestionamento esses problemas serão imperceptíveis.

Dentre os tratamentos avaliados, o modelo de transmissão para vídeo escalável em ambiente Multipath em redes SDN obteve o melhor resultado, sendo, portanto, o mais viável. Através da métrica MOS, constatou-se que foi o único que produziu uma boa qualidade de vídeo entregue. Isso demonstra a importância da aplicação do paradigma SDN assim como a utilização do vídeo escalável.

6.1 CONTRIBUIÇÕES

As contribuições geradas desse trabalho de pesquisa estão focada na produção de novos método de avaliação de vídeos escalável assim como destaca a importância da abordagem SDN utilizada. Além disso, um fator muito relevante é o nível de congestionamento da rede que demonstra a viabilidade de se utilizar um sistemas de videoconferência em período menos

6.2. LIMITAÇÕES 90

congestionamento.

Em resumo, as contribuições mais relevantes desse trabalho foram:

 A apresentação de dois framework para transmissão, coleta e avaliação da qualidade

de vídeo, sendo o primeiro baseado na ferramenta Evalvid para vídeo H.264/AVC e o segundo baseado no SVEF para vídeo H.264/SVC;

 Uma metodologia de avaliação do tráfego de vídeo recebido, o tempo de atraso e a

qualidade do vídeo entregue. Esta metodologia utilizou o Projeto de Experimentos para organizar as comparações. Utilizou-se ambientes de redes diferentes para avaliar as métricas em estudo, validou as informações geradas e analisou estatisticamente os resultados;

 Uma discussão a respeito dos oito tratamentos de teste de utilização das tecnologias

de redes tradicional IP e SDN, analisando as comparações pertinentes e a influência dos principais fatores nas métricas de vazão, atraso e PSNR;

 A abordagem de uma técnica para ocultação de frame para tratar as suas perdas de

framesem vídeo escalável H.264/SVC quando se utiliza a escalabilidade espacial; Essa dissertação produziu novas informações favoráveis ao uso de SDN, assim como o do vídeo H.264/SVC quando se utiliza aplicações de vídeo para tempo real. Por ter sido executado em um ambiente de emulação, os resultados revelam o que ocorrerá em uma rede, uma vez que as aplicações utilizadas podem ser aplicadas em qualquer rede IP. Pode ser usado, ainda, para se projetar sistemas de videoconferência em redes SDN com o uso de vídeo escalável.

6.2 LIMITAÇÕES

O ambiente de avaliação foi configurado em links de capacidade de 1Mbps, ou seja a heterogeneidade dos links não foi abordada. Também o mais novo padrão de vídeo High Efficiency Video Coding(H.265/HEVC) não foi utilizado em razão dessa tecnologia se encontrar em processo de amadurecimento e os frameworks para utilizá-lo não foram encontrados quando essa pesquisa se iniciou. Outra questão foi o tempo curto do vídeo de duração de 10 segundos, poderia explorar com mais tempo, porém os problemas encontrado para gerar o vídeo na escalabilidade espacial foi fundamental para manter as características do vídeo original conforme disponíveis aos pesquisadores.

6.3 TRABALHOS FUTUROS

 Nos experimentos foram utilizados a quantidade mínima de usuário para configurar

uma videoconferência multiparty, ou seja, realizou-se uma reunião virtual com três clientes. Aumentar o números de usuário poderia trazer novos resultados e revelar o nível de escalabilidade do sistema de videoconferência em estudo.

6.3. TRABALHOS FUTUROS 91

 Investigar os níveis de congestionamento e como o mesmo poderia impactar na rede.

Outra possibilidade seria estudar somente o nível de tráfego de vídeo gerado por todos os usuários do sistema, visto que o sistema de videoconferência tem a topologia virtual em mesh, ou seja, todos transmitem e todos recebem.

 A criação de uma aplicação SDN que utilizasse uma técnica de rerroteamento dos

fluxos mais importantes, ou seja, do apresentador principal fazendo a leitura do estado dos switches/roteadores. Essa técnica seria ativada nos períodos de congestionamento, priorizando as camadas bases do vídeo H.264/SVC sem ultrapassar a restrição de atraso máximo configurada para o sistema.

 A implementação de um sistema de videoconferência para redes SDN. Essa arqui-

tetura teria como elemento central um servidor de videoconferência que controle o acesso dos usuários, assim como o tratamento de comunicação com o controlador SDN;

 Aproveitar esse trabalho de pesquisa executando modificações alterando o codificador

de vídeo para H.265/HEVC e sua versão escalável. Seria também proveitoso que se trabalhasse com resoluções comerciais de vídeo: HD (1280x720 pixels), Full-HD (1920x1080 pixels) e 4k (3840x2160 pixels).

 Repetir esse experimento, porém, acrescentando o fluxo de áudio e tráfego de sinali-

zação e avaliando os resultados. Dessa forma, poderia se evidenciar um contexto de sistema de videoconferência mais realístico.

92 92 92 REFERÊNCIAS

APOSTOLOPOULOS, J. G.; TAN, W.-t.; WEE, S. J. Video streaming: Concepts, algorithms, and systems. HP Laboratories, report HPL-2002-260, 2002.

AUWERA, G. V. der; DAVID, P. T.; REISSLEIN, M. Traffic and quality characterization of single-layer video streams encoded with the h.264/mpeg-4 advanced video coding standard and scalable video coding extension. IEEE Transactions on Broadcasting, v. 54, n. 3, p. 698–718, Sept 2008. ISSN 0018-9316.

BOTTA, A. et al. A tool for the generation of realistic network workload for emerging networking scenarios. Computer Networks, v. 56, n. 15, p. 3531–3547, 2012.

BOUDEC, J.-Y. L. Performance evaluation of computer and communication systems. [S.l.]: Epfl Press, 2010.

CASTELLANOS, W. E. et al. Svceval-ra: an evaluation framework for adaptive scalable video streaming. Multimedia Tools and Applications, v. 76, n. 1, p. 437–461, 2017. ISSN

1573-7721. Disponível em: <http://dx.doi.org/10.1007/s11042-015-3046-y>.

CHEN, Y.; WU, K.; ZHANG, Q. From qos to qoe: A tutorial on video quality assessment. IEEE Communications Surveys Tutorials, v. 17, n. 2, p. 1126–1165, Secondquarter 2015. ISSN 1553-877X.

CISCO. The Zettabyte Era: Trends and Analysis. [S.l.], 2016. Disponível em: <http://www.cisco.com/c/en/us/solutions/collateral/service-provider/

visual-networking-index-vni/vni-hyperconnectivity-wp.pdf>.

DEBBABI, I. et al. A taxonomy of multimedia videoconferencing system: Technologies and issues. In: 2014 World Congress on Computer Applications and Information Systems (WCCAIS). [S.l.: s.n.], 2014. p. 1–7.

DETTI, A. et al. Svef: an open-source experimental evaluation framework for h.264 scalable video streaming. In: 2009 IEEE Symposium on Computers and Communications. [S.l.: s.n.], 2009. p. 36–41. ISSN 1530-1346.

EGILMEZ, H. E. et al. Openqos: An openflow controller design for multimedia delivery with end-to-end quality of service over software-defined networks. In: Proceedings of The 2012 Asia Pacific Signal and Information Processing Association Annual Summit and Conference. [S.l.: s.n.], 2012. p. 1–8.

EGILMEZ, H. E. et al. Scalable video streaming over openflow networks: An optimization framework for qos routing. In: 2011 18th IEEE International Conference on Image Processing. [S.l.: s.n.], 2011. p. 2241–2244. ISSN 1522-4880.

ELEFTHERIADIS, A. Svc and video communications. White Paper, Vydio, 2011. Disponível em: <http://info.vidyo.com/rs/vidyo/images/WP-Vidyo-SVC-Video-Communications.pdf>. FEAMSTER, N.; REXFORD, J.; ZEGURA, E. The road to sdn: An intellectual history of programmable networks. SIGCOMM Comput. Commun. Rev., ACM, New York, NY, USA,