Implementação de uma métrica de qualidade de vídeo em dispositivos móveis que consideram degradações no domínio do tempo e espaço / Video quality metric implementation in mobile devices that considers impairments in the time and spatial domain

Implementação de uma métrica de qualidade de vídeo em dispositivos móveis

que consideram degradações no domínio do tempo e espaço

Video quality metric implementation in mobile devices that considers

impairments in the time and spatial domain

DOI:10.34117/bjdv6n7-681

Recebimento dos originais: 20/06/2020 Aceitação para publicação: 24/07/2020

Diego Jose De Sousa Gouveia

Graduado em Ciência da Computação pela Universidade Federal de Lavras Instituição: Universidade Federal de Lavras

Endereço: Câmpus Universitário, Caixa Postal 3037, CEP:37200-000, Lavras - MG - Brasil E-mail: [email protected]

Marielle Jordane da Silva

Mestre em Engenharia de Sistemas e Automação pela Universidade Federal de Lavras Instituição: Universidade Federal de Lavras

Endereço: Câmpus Universitário, Caixa Postal 3037, CEP:37200-000, Lavras - MG - Brasil E-mail: [email protected]

Douglas Henrique Silva

Mestrando em Engenharia de Sistemas e Automação pela Universidade Federal de Lavras Instituição: Universidade Federal de Lavras

Endereço: Câmpus Universitário, Caixa Postal 3037, CEP:37200-000, Lavras - MG - Brasil E-mail: [email protected]

Renata Lopes Rosa

Professora Adjunto do Departamento da Computação na Universidade Federal de Lavras Instituição: Universidade Federal de Lavras

Endereço: Câmpus Universitário, Caixa Postal 3037, CEP:37200-000, Lavras - MG - Brasil E-mail: [email protected]

Demóstenes Zegarra Rodríguez

Professor Adjunto do Departamento da Computação na Universidade Federal de Lavras Instituição: Universidade Federal de Lavras

Endereço: Câmpus Universitário, Caixa Postal 3037, CEP:37200-000, Lavras - MG - Brasil E-mail: [email protected]

RESUMO

O volume de tráfego do serviço de streaming de vídeo tem incrementado consideravelmente nos últimos anos, devido ao sucesso de distribuidores de conteúdo como YouTube e Netflix. Porém, limitações na capacidade e instabilidade de uma rede impactam na qualidade de experiência (QoE) do usuário. Neste trabalho, propõe-se um modelo de avaliação de qualidade do streaming de vídeo, e a sua implementação em dispositivos moveis. O modelo proposto considera as degradações espaciais dos quadros do vídeo e as interrupções temporais. Os resultados experimentais apresentam o impacto dos fatores de degradação na QoE; destacando-se que o modelo proposto alcançou uma alta correlação com testes subjetivos. Adicionalmente,

a implementação no dispositivo móvel é de baixo consumo na capacidade de processamento e de energia.

Palavras-chave: streaming de vídeo, qualidade de vídeo, dispositivos moveis, consumo de energia.

ABSTRACT

The traffic volume of video streaming service has increased considerably in recent years due to the success of content distributors such as YouTube and Netflix. However, limitations in network capacity and instability, impact the user Quality of Experience (QoE). In this work, a quality assessment model for video streaming service is proposed and implemented in mobile devices. The proposed model considers the spatial degradations of the video frames and the temporal interruptions. The experimental results show the impact of degradation factors on the user's QoE; emphasizing that the proposed model achieved a high correlation with subjective tests. Furthermore, the implementation on the mobile device has a low consumption in both processing capacity and energy.

Keywords: video streaming, video quality, mobile devices, energy consumption.

1 INTRODUÇÃO

A cada dia, o número de usuários dos serviços de vídeo oferecidos na Internet vem aumentando, principalmente devido à popularidade que os serviços de streaming de vídeo têm atingido, gerando assim um enorme volume de tráfego. Entre os fornecedores e distribuidores de conteúdo de vídeo de maior sucesso, que utilizam o streaming de vídeo, destacam-se: Youtube, Netflix, Vimeo e Hulu. Segundo estudos realizados pela Cisco, o streaming de vídeo na Internet alcançará o 76% do tráfego total da Internet em 2023, e nesse mesmo ano, haverá 5,7 bilhões de usuários móveis no mundo, que corresponderia ao 71% da população mundial. Esses usuários móveis contribuem para o aumento do tráfego de streaming de vídeo.

Com resoluções de vídeos de alta qualidade, enormes quantidades de dados estão sendo entregues; porém, esse volume de tráfego pode ocasionar problemas como: latência, perdas de informação, largura de banda insuficiente. Essa instabilidade da rede afeta a qualidade do vídeo recebido e consequentemente a Qualidade de Experiência (QoE) do usuário. De forma similar esse efeito é dado em outras aplicações no serviço de comunicações [Affonso et al. 2016],[Affonso et al. 2018],[Da Silva et al. 2018], [De Almeida et al. 2019],[Militani et al. 2019],[Rodriguez et al. 2019],[Nunes et al. 2019], [Vieira et al. 2020]. O conceito de QoE aplicado em outras áreas [Rosa et al. 2018],[Lasmar et al. 2019]. Atualmente, os serviços de vídeo streaming utilizam o Hyper Text Transfer Protocol (HTTP) que usa o Transport Control Protocol (TCP) como protocolo de camada de transporte. Assim, a entrega baseada em HTTP/TCP fornece confiabilidade e simplicidade de implantação [Hisamatsu, Hasegawa, and Murata 2011],[Freire et al. 2020].

Um problema comum na Internet é o congestionamento, devido à redução de largura de banda ou presença de múltiplos usuários [Jiang, Sekar, and Zhang 2014], [Da Costa et al. 2016]. Para minimizá-lo, os mecanismos de controle de congestionamento para TCP são implementados [Cai, Shen, Pan, and Mark 2005]. O TCP ao detectar perdas de pacotes diminui a taxa de transferência, e se essa nova taxa for menor que a taxa de reprodução, o player esvazia toda a informação do buffer e, em seguida, realiza um processo de rebuffering. Durante esse período de interrupção temporal, chamado de pausa, nenhuma informação é exibida, degradando a QoE do usuário final [Coelho and Melo 2016]. Portanto, é imprescindível determinar métodos de avaliação de qualidade de vídeo que também considerem as degradações no domínio do tempo, e que devem ser executados no dispositivo do usuário final.

É importante destacar que as métricas focadas unicamente na avaliação da qualidade da imagem de cada quadro de um vídeo, como: Peak signal-to-noise ratio (PSNR), Structural SIMilarity (SSIM), Video Quality Metric (VQM), entre outras, não são suficientes, pois elas avaliam a degradação espacial do vídeo, mas não a temporal, sem puder determinar a qualidade global do vídeo na recepção. Nos últimos anos, diferentes métricas de QoE para o streaming de vídeo foram propostas [Hoßfeld et al. 2011],[Mok et al. 2011],[Begazo et al. 2011][Rodríguez et al. 2012],[Ghadiyaram et al. 2014], [Rodríguez et al. 2014],[Xue, Erkin, and Wang 2015],[Duanmu et al. 2017], todas elas focadas nos parâmetros relacionados às interrupções temporais ocorridas na transmissão do vídeo, como: número, duração, frequência e localização temporal de pausas. Os valores desses parâmetros são extraídos de uma aplicação implementada no buffer do player que detecta o início e o término de uma pausa, os quais estão relacionados a limiares de informação armazenada. Deve-se salientar que atualmente estão disponíveis novos formatos de metadata que incorporarão informações de qualidade de vídeo e consumo de energia que pode variar no tempo [MPEG 2015]. Assim, as informações de qualidade espacial no servidor de vídeo podem estar disponíveis também no cliente.

Neste contexto, o objetivo principal deste artigo é propor e implementar em um dispositivo móvel, um novo modelo de avaliação da qualidade global de vídeo (QGV) no serviço de streaming, que considera tanto degradações no domínio de tempo quanto no espaço, em um único índice de qualidade, diferente dos trabalhos, [Mok et al. 2011], [Rodríguez et al. 2012], [Ghadiyaram 2014], [Wang 2015][Duanmu 2017]. Para atingir esse objetivo, uma base de dados (BD) foi construída a partir de vídeos originais, a qual foi utilizada para determinar e validar o modelo QGV proposto. Essa BD considera sequencias de vídeos que apresentam degradações do tipo espacial e temporal. Para validação de desempenho, testes subjetivos foram realizados, e os resultados alcançados pelo modelo QGV alcançou uma alta correlação. Adicionalmente, o desempenho da implementação do QGV no dispositivo móvel e seu impacto na capacidade de processamento é avaliado utilizando testes

subjetivos. Para avaliar o consumo de energia é utilizado um circuito simples que permite medir o consumo na bateria do dispositivo. Os resultados experimentais mostraram que o desempenho global do dispositivo e a QoE do usuário não são afetados.

O restante deste artigo esta organizado da seguinte maneira: a Seção 2 apresenta os principais trabalhos relacionados. O modelo de avaliação de qualidade de vídeo proposto é descrito na Seção 3. A metodologia de testes é detalhada na Seção 4. Os resultados experimentais e as discussões são apresentados na Seção 5. Por fim, as conclusões são apresentadas na Seção 6.

2 MÉTODOS DE AVALIAÇÃO DE QUALIDADE DE VÍDEO

Nos últimos anos vem sendo realizados estudos para se determinar um método de avaliação com um maior grau de exatidão; ou seja, com índices que tenham uma alta correlação com os testes subjetivos.

Os métodos de avaliação de vídeo podem ser classificados considerando diferentes critérios. No caso de utilizar o valor médio de pontuações de qualidade (MOS) outorgadas por um grupo de pessoas é denominado como método subjetivo; e no caso que a estimação da pontuação seja obtida por um algoritmo, é considerado como método objetivo.

Os métodos subjetivos de avaliação da qualidade de vídeo em aplicações de multimídia são baseados no conteúdo de vídeo usando o julgamento de um observador e são descritos na Recomendação ITU-T P.910 [Rec. ITU-T P.910]. As metodologias apresentadas nesta recomendação são: ACR (Absolute category rating); ACR-HR (Absolute category rating with hidden reference); DCR (Degradation category rating); PC (Pair comparison method). Por outro lado, a descrição da metodologia e o procedimento para criar uma referência de vídeo são descritas na Recomendação ITU-T P.930 [Rec. ITU-T P. 930]. A escala de qualidade de 5 pontuações descrita na metodologia ACR, a qual é utilizada neste trabalho, é apresentada na Tabela 1 [Rec. ITU-T P.910].

Tabela 1. Escala MOS de 5 pontuações descritas na Metodologia ACR Descrição adjetiva da qualidade Valor do índice de qualidade (MOS)

Muito bom 5

Bom 4

Regular 3

Ruim 2

Por outro lado, diferentes critérios podem ser utilizados para classificar os métodos objetivos de avaliação de qualidade de vídeo. A União Internacional de Telecomunicações (UIT) define diferentes categorias para os métodos objetivos dependendo do tipo de informação considerada na entrada do algoritmo de avaliação, sendo estas categorias [Takahashi, Hands, and Barriac 2008]:

 Modelo baseado na mídia, o qual utiliza como entrada o sinal de vídeo; assim, não é necessário conhecer a rede onde o vídeo foi transmitido.

 Modelo baseado no nível dos parâmetros dos pacotes, este modelo considera só os cabeçalhos para estimar a qualidade do vídeo, e não a informação contida nos pacotes transmitidos.

 Modelo baseado nos parâmetros de planejamento, o qual se baseia no conhecimento dos parâmetros da rede e dos elementos que fazem parte da comunicação, como largura de banda, latência media ou os codificadores empregados.

 Modelo baseado no nível de fluxo de bits, que utiliza todos os bits transmitidos, toda informação do cabeçalho e de carga útil.

 Modelos Híbridos, que são os métodos que misturam dois ou mais dos modelos descritos anteriormente.

As métricas objetivas de avaliação de qualidade espacial do vídeo, estima a qualidade de cada quadro. As métricas de qualidade mais citadas na literatura, e que são utilizadas no presente trabalhos são:

 PSNR (Peak Signal to Noise Ratio): Esta métrica é uma das primeiras e mais empregados na literatura, pois tem um significado geométrico claro e pode ser calculado de uma forma simples; porém, não tem uma alta correlação com os resultados de testes subjetivos. Esta métrica depende da diferença entre a imagem original e a imagem degradada. O PSNR é calculado a partir do RMSE (Root Mean Square Error), o qual é obtido ao calcular o valor médio da subtração entre o quadro de imagem original e o quadro da imagem degradada, segundo a equação 1.

1 (1)

onde, f é o quadro original, f’ o quadro degradado, N e M são as dimensões da matriz que representa a imagem. O PSNR é obtido a partir da equação 2.

 



(2)

 SSIM (Structural SIMilarity): Esta métrica se baseia no modelo visual humano, pois considera que as imagens são altamente estruturadas, e estas dependências contêm informações muito relevantes da estrutura do objeto [Wang, Bovik and Sheikh 2004]. A informação estrutural em uma imagem é definida, como os atributos que representam a estrutura do objeto, independente da luminosidade e do contraste. Na Figura 1, adaptada de [Wang, Bovik and Sheikh 2004], é apresentado o diagrama de blocos funcional do sistema utilizado para obter o índice de qualidade SSIM.

Figura 1. Diagrama de blocos funcional da métrica SSIM

A equação 3 define a relação dos três elementos considerados: luminosidade, contraste e estrutura da imagem.

(3)

Onde a função de brilho é presentada em (4), onde μ denota a intensidade do brilho médio das imagens x e y, e C1 é uma constante de ajuste.

(4)

A função de contraste é determinada por (5), onde σ representa o desvio padrão da amostra do brilho das duas imagens, e C2 é uma constante de ajuste.





(5)

A função de comparação estrutura a seguir, onde σxy é a covariação de amostras de

luminosidade das duas imagens, e C3 é uma constante de ajuste.

(6)

Finalmente, considerando que C2 = C3/2, o índice SSIM é obtido por:

(7)

 VQM (Video Quality Metric), esta métrica utiliza a transformada discreta de cosseno (DCT). Trabalhos anteriores apresentam o modelo de qualidade de vídeo que também incorpora o DCT, mas o modelo apresentado considera dois tipos de matrizes, uma matriz chamada matriz de sensibilidade ao contraste para quadros estáticos e outro para quadros dinâmicos aplicados na mesma etapa para reduzir processamento SCSF (Spatial Contrast Sensitivity Function). Na Figura 2, adaptada de [Xiao 2000], podem ser observadas as principais etapas funcionais do modelo VQM.

Figura 2 - Diagrama de blocos do modelo VQM.

Recentemente, os métodos de avaliação de qualidade no serviço de streaming de vídeo consideram as interrupções temporais como fatores degradantes, e baseados nas caraterísticas delas como: numero, duração e frequência se determinam modelos de avaliação. Nos últimos anos, diferentes modelos foram propostos [Hoßfeld et al. 2011],[Mok et al. 2011],[Rodríguez et al. 2012],[Ghadiyaram et al. 2014],[Xue, Erkin, and Wang 2015],[Duanmu et al. 2017]. Os resultados obtidos pelas soluções descritas nesses trabalhos alcançam resultados correlacionados com testes subjetivos, demonstrando-se o real impacto da presencia de pausas durante a transmissão, na QoE

2 2 2 2 2 ) , ( C C y x c y x y x         3 3 ) , ( C C y x s y x xy       ) )( ( ) 2 )( 2 ( ) , ( 2 2 2 1 2 2 2 1 C C C C y x SSIM y x y x y x y x               

dos usuários. Porém, ainda não existe um padrão internacional de avaliação de qualidade que considere as degradações do vídeo que acontecem no domínio do tempo.

É importante destacar, que algumas soluções como DASH (do inglês, Dynamic Adaptive Streaming over HTTP), utilizam os resultados dos modelos de qualidade que consideram as pausas, para determinar qual é a resolução mais apropriada do próximo quadro de vídeo a ser transmitido, em conjunto com outros parâmetros de rede [Rodriguez et al. 2016],[Lentisco et al. 2017].

Neste trabalho, ambos os fatores de degradação de qualidade espacial e temporal do serviço do streaming do vídeo são considerados no modelo QGV proposto, o qual é apresentado na seguinte seção.

3 MODELO PROPOSTO DE AVALIAÇÃO DE QUALIDADE GLOBAL DE VÍDEO STREAMING

A Figura 3 apresenta os principais componentes da solução proposta, modelo QGV, para avaliação de QoE dos usuários no serviço de streaming de vídeo.

Figura 3. Principais elementos do modelo de avaliação de qualidade no serviço de streaming de vídeo.

Pode-se observar que no servidor de vídeo se realiza uma avaliação espacial de qualidade do vídeo a ser transmitido; essa informação de valor de qualidade é inserida no arquivo metadata de acordo com [MPEG 2015] que logo é transmitido ao cliente. Nesta etapa são utilizadas diferentes métricas intrusivas de qualidade, amplamente citadas em trabalhos relacionados, como PSNR, SSIM e VQM, cujos modelos foram descritos na seção anterior. O valor de índice de qualidade determina o modelo de Qualidade Espacial do Vídeo (QEV), definido em (8):

) ,

(

max M Voriginal Vtransmitido QM

onde, QMmax é o máximo valor na escala de qualidade da métrica utilizada, M(.) representa o

operador de qualidade da métrica; idealmente o vídeo a ser transmitido é o vídeo original, obtendo a máxima pontuação de qualidade do operador M(.). Assim, QEV estima a degradação do vídeo transmitido em relação de uma versão de alta qualidade. Com o intuito de apresentar os resultados em uma única escala, os valores foram ajustados na escala de 0 a 5; onde 0 e 5 representam o mínimo e máximo valor de qualidade, respectivamente.

No lado do cliente, têm-se dois processos que se realizam em paralelo. O primeiro, referente à decodificação do arquivo metadata para a leitura do campo do índice de qualidade espacial dos quadros do vídeo recebido. O segundo processo é referente ao player customizado, ele monitora os valores de carga do buffer para determinar o inicio e termo de um processo de rebuffering, que determina o evento de uma pausa. Com a informação obtida do buffer, pode-se determinar para um determinado segmento de vídeo: o número de pausas, a frequência delas, a duração e a localização temporal de cada uma.

Em seguida, um algoritmo de avaliação que considera as degradações temporais é modelado. É importante destacar que o atraso inicial não será considerado como pausa e sim com fator de degradação adicional. Denominaremos a este modelo de: Qualidade Temporal do Vídeo (QTV), o qual é apresentado a seguir:

) ( ) , , , (N D P T d B d QTV  pausa  atraso (9)

onde, dpausa(.) é o operador que estima a degradação causadas pela presença das pausas,

dependente dos parâmetros: N é o número de pausas, D representa a duração media das pausas, P é o peso de degradação respeito à posição temporal da pausa e T é a duração do vídeo analisado; datraso(.)

é o operador que estima a degradação causada pelo atraso inicial, o qual depende do parâmetro B que representa o atraso inicial do buffer.

O parâmetro P esta relacionado com o impacto na QoE do usuário de uma pausa acontecer no início, na parte intermédia ou no final do vídeo analisado. Assim, uma pausa que acontece no começo do vídeo poderia ter uma degradação diferente das que acontecem em outro segmento do vídeo. Neste trabalho foram considerados três segmentos de vídeo.

Para modelar o operador dpausa(.) foi proposta a seguinte relação matemática, cujas variáveis

foram determinadas por meio de testes subjetivos:



onde, k é uma constante de ajuste de escala, n representa o número total de quadros que compõem o vídeo analisado; os demais parâmetros correspondem aos descritos na equação (9). É importante salientar que foram testadas diferentes funções, como linear e polinomial de segunda e terceira ordem, e a função exponencial foi a mais correlacionada com os resultados dos testes subjetivos. Também, a metodologia ACR com a sua escala MOS de 5 pontuações, apresentada na Tabela 1, forma empregadas nos testes subjetivos por ser a mais utilizada na literatura. Note-se que o operador modelado determina o valor da degradação e não a qualidade resultante do vídeo.

De forma similar, o operador datraso(.) é modelado utilizando a função exponencial, como

segue:

5 exp( / )

atraso

d  z



onde, z é uma constante de ajuste de escala, α é o fator de decaimento da função exponencial, A é a duração do atraso inicial, e T representa a duração total do vídeo. Deve-se destacar que nos testes realizados para definir o operador datraso(.) só foi considerado essa única degradação, não foram

incluídas pausas e nenhuma outra degradação espacial nos quadros do vídeo.

Finalmente, definidos os modelos QEV e QTV, o modelo QGV proposto para o serviço de streaming de vídeo é definido por:

QTV QEV

QGV  5  (12)

4 CENÁRIO E METODOLOGIA DE TESTE

Nesta seção, os critérios utilizados na construção de uma base de dados, a metodologia empregada na realização dos testes subjetivos, e a implementação do estimador de qualidade no dispositivo móvel são tratados.

4.1 BASE DE DADOS DE VÍDEOS

Para a realização de testes foi criada uma base de dados, cujos arquivos originais foram obtidos de [Chen et al. 2014]. Esses arquivos de vídeo originais, que não possuem degradações espaciais de quadros, foram degradados utilizando o cenário de teste da Figura 4. Como o objetivo, nesta etapa, foi criar uma base de dados utilizou-se um computador no receptor para facilitar a armazenagem dos vídeos.

Figura 4. Cenário de teste utilizado na degradação de vídeos.

O emulador de rede foi implementado utilizando a ferramenta NETem de licença aberta, no qual se pode configurar a variação de parâmetros de rede como: perda de pacotes, variação de atrasos e largura de banda. Neste cenário, o streaming de vídeo foi realizado utilizando o protocolo de transporte UDP. No servidor de vídeo é instalada a versão web 2.2.21 do Apache rodando em uma distribuição Linux. No cliente, os vídeos degradados foram salvos.

Em total, foram utilizados 8 vídeos originais, dos quais 4 vídeos, de duração de 90 segundos, foram submetidos a três tipos de degradações, resultando em degradações de baixa, media e alta intensidade. Os parâmetros utilizados foram perda de pacotes (1%, 5% e 10%) e variação de atrasos (0ms, 4ms e 6ms). Assim, foram criados 12 vídeos que contem quadros com degradações espaciais.

Em seguida, as degradações temporais foram inseridas nos 8 vídeos originais e os 12 vídeos obtidos na etapa anterior. Para isso, fizeram-se testes de streaming de vídeo utilizando o protocolo TCP, para obter um padrão de distribuições de pausas; posteriormente, para manter um mesmo padrão de degradação em cada um dos vídeos, se utilizou um editor, no qual a interrupção temporal consiste em repetir um quadro o número de vezes necessárias para alcançar uma duração de pausa especifica. Assim, foram considerados os seguintes padrões de distribuição de pausas com diferentes durações de cada pausa que acontecem em três diferentes segmentos do vídeo, como apresentado na Tabela 2.

Tabela 2. Distribuição de pausas de diferentes durações e considerando três segmentos temporais ID de Padrão Primeiro Segmento (tempo em seg.) Segundo Segmento (tempo em seg.) Terceiro Segmento (tempo em seg.) P_1 0,5 ; 2 --- --- P_2 --- 0,5 ; 2 --- P_3 --- --- 0,5 ; 2 P_4 4 2 2 P_5 2 4 2 P_6 2 2 4 P_7 0,5 ; 2 ; 4 0,5 ; 2 4 P_8 4 0,5 ; 2 0,5 ; 2 ; 4 P_9 0,5 ; 0,5 ; 4 ; 4 0,5 ; 0,5 ; 4 ; 4 0,5 ; 0,5 ; 4 ; 4

Assim, obtiveram-se 72 sequencias de vídeo com degradações somente temporais e 108 vídeos com degradações espaciais e temporais simultaneamente. Os 72 vídeos foram usados para modelar o operador dpausa.

Adicionalmente, para avaliar o impacto do atraso inicial foram utilizados dos diferentes vídeos de 60 e 90 segundos de duração nos quais foram inseridos atrasos iniciais de 2, 4, 8, 12, 16 e 20 segundos. Nenhum outro tipo de degradação foi inserido nesses 12 vídeos.

Finalmente, em 24 vídeos, dos 108 vídeos com degradações espaciais e temporais, foram inseridos atrasos iniciais, para obter sequencias de vídeos que incluam todos os tipos de degradações. Esses 132 vídeos, que contém duas ou mais degradações foram usados na etapa de validação do desempenho do modelo proposto. Assim, se elaborou uma base de um total de 228 vídeos, sem incluir os vídeos originais, que foram usados como material de teste.

4.2 METODOLOGIA DE TESTES SUBJETIVOS

Os testes foram realizados em um ambiente laboratorial, em um período de 17 semanas, no qual o laboratório não teve mudanças. No início de cada teste, a metodologia foi explicada, onde a escala de qualidade e pontuações da Tabela 1 foi apresentada; também, alguns vídeos adicionais foram usados como pré-teste com o objetivo de entender melhor a metodologia. Os testes foram individuais e não se limitou o tempo para outorgar uma pontuação; e considerando a quantidade de vídeos, um avaliador podia participar em diferentes dias, para evitar fatiga visual.

Os vídeos foram apresentados aos avaliadores voluntários utilizando, um tablet de 10,1 polegadas e um smartphone de 6,2 polegadas. Os vídeos do mesmo grupo de tipo de degradação foram divididos em dois grupos para ser apresentados em cada um dos dispositivos. Na execução dos testes tomaram-se as medidas para não ter objetos próximos, nem reflexos de luz sobre a tela dos dispositivos para não perturbar a atenção dos avaliadores.

Em total, 186 avaliadores voluntários participaram nos testes, dos quais 101 foram mulheres e os restantes homens; todos eles declararam não ter problemas de visão. Para determinar o índice MOS de cada vídeo, foram consideradas pelo menos 15 avaliações. Com os resultados obtidos foi realizada uma análise estatística para determinar outliers; logrando-se identificar 7 avaliações, as quais foram descartadas.

Os resultados obtidos nos testes subjetivos foram utilizados para determinar e validar o modelo de avaliação de qualidade de streaming de vídeo. Adicionalmente, testes subjetivos foram realizados para avaliar a aplicação instalada considerando o impacto da aplicação no processamento e no consumo de energia.

4.3 IMPLEMENTAÇÃO E AVALIAÇÃO DO MODELO QGV NO DISPOSITIVO MÓVEL Com o objetivo de validar a implementação do estimador de qualidade em dispositivos móveis, se realizou a medição do consumo de processamento e o consumo de bateria para analisar o impacto no desempenho global do dispositivo. Adicionalmente, se realizaram testes subjetivos, com a finalidade de avaliar a QoE do usuário.

Para capturar os parâmetros do buffer do player de vídeo, um player personalizado foi implementado. Os parâmetros ou eventos que podem ser capturados do buffer são: (a) o período de tempo de início do buffer; (b) período de execução, em qual o vídeo é exibido continuamente sem pausas; (c) período de recarga do buffer, durante esse período, as pausas aparecem. Considerando esses eventos de buffer, o número, a duração e a localização temporal das pausas podem ser obtidos. Além disso, a duração do atraso inicial do buffer pode ser determinada. Além disso, a aplicação recebe do servidor a qualidade espacial do vídeo utilizando a informação de metadata.

Para avaliar o desempenho da métrica proposta em termos de processamento e consumo de energia, foram realizados testes adicionais usando os seguintes dispositivos:

 Um tablet com tela de 10,1 polegadas, capacidade da bateria de 6150 mAh e tensão nominal de 3,8 V, 2 GB de memória e processador octacore de 2x1,8 GHz e 6x1,6 GHz.

 Um smartphone com tela de 6,2 polegadas, 2 GB de memória e com processador octa-core de 4x2,7 GHz e 4x1,7GHz, com capacidade de bateria de 3000 mAh e tensão nominal de 3,8 V.

A Figura 5 apresenta o cenário móvel de teste, o qual é baseado no cenário de geração de vídeos apresentado na Figura 4, no qual o NETem controla a largura de banda disponível da transmissão do canal. O cenário de teste foi isolado e não houve mais dispositivos sem fio conectados na mesma rede. O estimador proposto foi implementado em ambos o smartphone e o tablet. É importante destacar que nestes testes foram usados vídeos de mais longa duração (2 vídeos de 16 minutos) para poder avaliar apropriadamente o impacto no desempenho do dispositivo.

Figura 5. Cenário de teste para avaliar como impacta a aplicação instalada no desempenho dos dispositivos moveis.

Cliente / Usuário

NETEM SERVIDOR

DE VÍDEO

Finalmente, foram medidos os valores de consumo de energia na bateria do dispositivo, para validar o impacto que tem no dispositivo.

5 RESULTADOS E DISCUSSÕES

Em primeiro lugar, foram analisados os resultados dos testes subjetivos realizados para avaliar o impacto do atraso inicial na QoE do usuário. A Figura 6 apresenta os resultados obtidos, que considera os 6 atrasos iniciais para cada vídeo. Note-se que os resultados são apresentados considerando a relação: atraso inicial e duração do vídeo, pois a duração de ambos os vídeos não foi a mesma.

Figura 6. Cenário de teste utilizado na degradação de vídeos.

Com esses resultados, o operador datraso definido em (11) foi determinado com os valores de

z = 4,745 e α=-1,767; assim, esse operador alcançou um coeficiente de correlação de Pearson (PCC) = 0,9849, R2_{=0,9731 e um erro absoluto máximo de 0,17 na escala MOS de 5 pontuações.}

Em seguida foram analisados os resultados correspondentes aos 72 vídeos que contem diferentes distribuições de pausas. Deve-se esclarecer que os testes subjetivos foram realizados para obter a pontuação MOS global do vídeo e não a degradação. Assim, 72 índices MOS foram obtidos, um para cada vídeo avaliado; obtendo-se um sistema de equações:



onde, o MOSV1 representa o resultado de avaliação do vídeo 1 e os parâmetros são os mesmos

que os definidos em (9).

Para obter um sistema de equações lineares usamos o Ln, e considerando o número de segmentos temporais, n, igual a 3; obtemos a seguinte relação para o primeiro vídeo analisado:

3 3 3 1 1 1 2 2 2 1 1 2 3 ( )V ( ) N D P N D P N D P Ln MOS Ln k T T T     (14) 1 2 3 4 5 0% 10% 20% 30% 40% Ind ice d e Qu alid ade (MOS)

Assim, obtemos um sistema linear de 72 equações com as variáveis a ser determinadas: k, P1, P2 e P3. 1, 1, 2 1 2, 2, 2 2 1 2 3 72, 72, 2 72 1 .... ( ) ( ) 1 .... ( ) : : : : : : : : 1 .... ( ) V x V x V V x V x V V x V x V t t Ln MOS Ln k t t Ln MOS P P P t t Ln MOS                                          _ _   (15)

onde, t_{V x1,} a t_V1,x₂ representam três termos apresentados na equação anterior para o primeiro

vídeo, especificamente: tV1,x  N D1 1/T1, tV1,x1 N D2 2/T2 and tV1,x3 N D3 3/T3; tS2,x, os vídeos restantes também usam essa mesma representação. Para a resolução deste sistema de equações lineares é utilizado o método de mínimos quadrados, especificamente o pseudo-inverso; obtendo-se o valor de k = 4,23 e os seguintes pesos de degradação para cada um dos 3 segmentos temporais:

Figura 7. Peso de degradação dos três segmentos temporais na qualidade global do vídeo.

Como pode observar-se na Figura 7, o segmento temporal no início do vídeo obteve um peso maior de degradação na qualidade do vídeo, o que indicaria que pausas no inicio da transmissão do vídeo afetam com maior intensidade a QoE do usuário. Com os resultados até agora obtidos o modelo QTV já é definido.

Na Figura 8 (a) pode-se observar o impacto do número de pausas, considerando uma duração fixa de pausa (4 segundos) e em (b) se observa o impacto da duração das pausas para um número fixo de pausas (4 pausas), na degradação da qualidade do vídeo determinado pelo modelo QTV. Para ambos os testes se considerou que as pausas afetaram unicamente o primeiro segmento temporal. Os resultados foram obtidos usando a relação (13).

0,5 0,7 0,9 1,1 1,3 1,5 P1 P2 P3 Peso d e D egr adaç ão p o r Seg emn to T empor al Segmento Temporal

Figura 8. Efeito da ocorrência de pausas no streaming de vídeo. (a) Impacto do número de pausas e (b) duração de pausa na qualidade do vídeo.

Para avaliação dos algoritmos PSNR, SSIM e VQM, os resultados obtidos por cada um foram transformados no range da escala de 0 a 5. Como o valor máximo do PSNR é infinito consideramos como o limiar máximo o valor 50. Nesta etapa, só foram avaliados nos testes subjetivos, os 12 vídeos que apresentam somente degradações espaciais nos quadros. O desempenho foi avaliado utilizando o PCC, com base aos resultados dos testes subjetivos. A Tabela 3 apresenta os resultados médios das três classes de intensidades de degradações utilizadas: baixa (1% e 0 ms.), media (5% e 2 ms.) e alta (10% e 6ms.); assim, cada classe esta composta por 4 vídeos degradados.

Tabela 3. Avaliação do desempenho dos algoritmos SSIM, VQM e PSNR considerando três intensidades de degradações de vídeo.

Intensidade de Degradação SSIM VQM PSNR

Baixa 0,9217 0,8926 0,7783

Média 0,9004 0,8811 0,7126

Alta 0,8755 0,8543 0,6238

Com base nos resultados apresentados na Tabela 3, o algoritmo SSIM foi escolhido como o operador M(.) definido em (8).

Com os resultados obtidos o modelo QGV proposto está definido com todos os seus parâmetros; assim para avaliar o seu desempenho foram realizados testes subjetivos, em um ambiente laboratorial, utilizando vídeos que continham degradações espaciais, temporais e em alguns casos incluíam o atraso inicial, foram utilizados 132 vídeos como material de teste. É importante salientar que os avaliadores que participaram nos testes referentes à determinação do modelo não participaram nos testes de validação. A Tabela 4 apresenta os valores do PCC e o erro máximo absoluto que alcançou o modelo QGV em relação aos resultados dos testes subjetivos.

Tabela 4. Avaliação do Desempenho do Modelo QGV utilizando Testes Subjetivos PCC (QGV / T. Subjetivo ) Erro Max. Abs. (QGV / T. Subjetivo )

0,9781 0,2934

Uma vez validada a acurácia do QGV, se passou a analisar a percepção do usuário ao utilizar a aplicação instalada no dispositivo móvel.

Um total de 29 participantes avaliaram duas sequências de vídeo adicionais usando o cenário de teste representado na Figura 10. Como afirmado anteriormente, a duração de cada sequência de vídeo foi de 16 minutos, e os dois vídeos foram apresentados em cada dispositivo. Cada vídeo recebeu pelo menos 15 pontuações. Os avaliadores são convidados a assistir a duas sequências de vídeo que correspondem ao mesmo vídeo com e sem a implementação do QGV no dispositivo móvel. Vale ressaltar que nenhum outro aplicativo estava sendo executado em cada dispositivo ao mesmo tempo da sessão de streaming de vídeo. Assim, os avaliadores analisaram subjetivamente a facilidade de uso do aplicativo respeito aos recursos consumidos usando a escala de 5 pontos apresentada na Tabela 1. Os resultados experimentais são apresentados na Tabela 5, considerando os valores médios nos dois dispositivos.

Tabela 5. Avaliação perceptual da aplicação instalada no dispositivo

Parâmetro analisado Valor perceptual de qualidade

Processamento

(percepção de sobrecarga e lentidão)

4,9

Energia consumida

(percepção de consumo de bateria)

4,7

Como pode ser observado na Tabela 5, os valores de qualidades percebidos pelos avaliadores são bastante alto, considerando que o valor máximo da escala é 5, indicando que na percepção do usuário a aplicação QGV não afeita o desempenho do dispositivo, não apresento que o dispositivo ficara mais lento e a bateria tampouco foi afetada.

Para obter valores numéricos objetivos de medição da bateria, se conecto um circuito simples diretamente à bateria do dispositivo para poder monitorar os valores de corrente e bateria, como apresentado na Figura 9. O micro-controlador de baixo custo foi o Arduino UNO R3 e foram utilizadas as entradas analógicas A1 e A2, conjuntamente com a porta terra (GND). O valor de R1 é de 0,22 Ohm. Com este circuito a energia consumida pode ser determinada.

Figura 9. Circuito montado para medir a corrente e voltagem diretamente da bateria do dispositivo.

Para o cálculo, consideramos que o parâmetro de descarga da bateria que representa a carga consumida pela bateria durante a reprodução do vídeo I [mAh] é estimado usando a seguinte relação [Trestian, et al. 2012]: ]) [ ( 6 , 3 ] [ ] [ V Voltagem J Energia mAh I  (16)

Para calcular o valor da descarga I [mAh] em (16), a energia consumida durante a reprodução do vídeo é medida usando o circuito apresentado na Figura 9. O valor da tensão V em (16) corresponde à tensão nominal de 3,8 V para ambos os dispositivos. Nesse teste, foram utilizadas as mesmas duas sequências de vídeo com 16 minutos de duração; cada um foi reproduzido quatro vezes. Os valores médios de descarga causados pelos vídeos com e sem a implementação do QGV foram: para a tablet 1928,11 mAh e 1918,48 mAh, respectivamente; e para o smartphone 1704,22 mAh e 1697,79 mAh, respectivamente. Assim, o valor da descarga é incrementado em apenas 9,63 mAh (0,50%) e 6,43 mAh (0,379%) quando o QGV está em execução no tablete e smartphone, respectivamente. Esses resultados demonstraram que não houve impacto negativo significativo no desempenho do dispositivo móvel. Isso ocorre porque a métrica proposta é baseada apenas nos parâmetros da camada de aplicação e consome processamento e energia desprezíveis em relação ao player de vídeo.

6 CONCLUSÕES

Na avaliação do serviço de streaming de vídeo tanto as degradações espaciais quanto as degradações temporais devem ser consideradas. O modelo proposto neste trabalho considera esses dois tipos de degradações e atingiu valores altos de acurácia. É importante destacar que os parâmetros do modelo proposto são extraídos do buffer do tocador do vídeo o que resulta em um modelo de baixo consumo de recursos de processamento do dispositivo do usuário. O modelo considera o uso da recomendação [MPEG 2015], onde o índice de qualidade espacial é transmitido. Adicionalmente,

+ -R1 Bateria Micro controlador GND A-1 A-2 serial

uma base de vídeos degradados foi criada para testes e validação do modelo proposto, a qual inclui vídeos com: atraso inicial, pausas e degradação espacial nos quadros do vídeo, contendo um só tipo degradação, ou um conjunto de dois ou três deles.

Os resultados alcançados na avaliação do desempenho apresentam uma acurácia alta do modelo proposto QGV, alcançando: PCC de 0,9781 e erro máximo absoluto de 0,2934, na escala de 0 a 5, em relação aos resultados experimentais dos testes subjetivos. Também se pode verificar o impacto dos parâmetros na qualidade global do vídeo. Finalmente, a implementação do estimador de qualidade proposto tem uma baixa complexidade porque é baseada em parâmetros de nível de aplicação e seu consumo de energia é quase insignificante em relação à energia consumida pelo player de vídeo que é menor ao 0,5 %; portanto, pode ser facilmente implementado em dispositivos eletrônicos atuais sem afetar o desempenho dele. Também, o resultado dos testes subjetivos para avaliar o desempenho da aplicação no dispositivo mostra que a QoE do usuário não é afetada. Como trabalho futuro, pretende-se estudar como o modelo QGV pode auxiliar na adaptação de diferentes resoluções de vídeo, utilizando DASH, procurando-se diminuir o número de pausas durante a transmissão, com o intuito de melhorar a QoE do usuário.

REFERÊNCIAS

Affonso, E. T., Nunes, R. D., Rosa R. L., Pivaro, G. F. and Rodriguez D. Z. (2018), “Speech quality assessment in wireless voip communication using deep belief network,” IEEE Access, 6(1), Oct. 2019, pages 77022-77032.

Affonso, E. T., Rodriguez D. Z, Rosa R. L., Andrade, T., Bressan, G. (2016) “Voice quality assessment in mobile devices considering different fading models,” IEEE International Symposium on Consumer Electronics (ISCE), Set. 2016, pp. 21-22.

Begazo D. C., Rodríguez D. Z. and Ramírez M. A. (2011), “Avaliação de qualidade de vídeo sobre uma rede IP usando métricas objetivas,” Sistema, Cibernética e Informática 8 (1), May 2011, pp. 226-229

Cai, L., Shen, X., Pan, J. and Mark, J. (2005) “Performance analysis of TCP friendly AIMD algorithms for multimedia applications,” In IEEE/ACM Transactions on Networking, April, 2005, pages 339-355.

Coelho, M. de S. and Melo, C (2016) “Estratégia de Adaptação de Fluxo de Vídeo Baseado em Fatores de QoE,” In Simposio Brasileiro de Redes de Computadores e Sistemas Distribuidos, pages 272–285.

Da Costa Filho R. I. T., W. Lautenschlager, N. Kagami, V. Roesler and L. P. Gaspary, "Network Fortune Cookie: Using Network Measurements to Predict Video Streaming Performance and QoE," IEEE Global Communications Conference, Washington, DC, 2016, pp. 1-6.

Da Silva, M. J., Melgarejo, D. C., Rosa R. L. and Rodriguez, D. Z. (2019),”Speech Quality Classifier Model based on DBN that Considers Atmospheric Phenomena,” Journal of Communications Software and Systems, 16(1), May, 2020, pages, 75-84.

De Almeida, F., Rosa, L. R. and Rodríguez D. Z. (2018), “Voice quality assessment in communication services using deep learning,” In Proc. Int. Symposium on Wireless Communication Systems (ISWCS), Aug. 2018, pp. 1-6

Duanmu, Z., Zeng, K., Ma, K., Rehman, A. and Wang, Z. (2017) “A quality-of experience index for streaming video,” In IEEE Journal of Selected Topics in Signal Processing, 11(1), February 2017, pages 154–166.

Freire. F. Silva, Carmona, J-V. C., Seixas, L. D. Valente, W. M., Kuribayashi, H. Caarvalho de Matos, E. M., (2020) “Performance Evaluation of 2K and 4K Video Transmissions over Wireless Networks in an Indoor Setting,” Brazilian Journal of Development, v. 6 n. 7, pp 42954-42968.

Ghadiyaram, D., Bovik, A. C., Yeganeh, H., Kordasiewicz, R. and Gallant, M. (2014) “Study of the effects of stalling events on the quality of experience of mobile streaming videos,” In IEEE Global Conference on Signal and Information Processing, December, 2014, pages 989–993.

Hiroki, O., Hisamatsu, H. and Noborio, H. (2011) “Design and Evaluation of Hybrid Congestion Control Mechanism for Video Streaming,” In Proceedings of 11th IEEE International Conference on Computer and Information Technology, Pafos, Cyprus, September, 2011, pages 585-590.

Hisamatsu, H., Hasegawa, G. and Murata, M. (2011) “Non bandwidth-intrusive video streaming over TCP,” In International Conference on Information Technology, Las Vegas, U.S., April, 2011, pages 78-83.

Hoßfeld, T., Seufert, M., Hirth, M., Zinner, T., Tran-Gia, P. and Schatz, R. (2011) “Quantification of YouTube QoE via crowdsourcing,” In IEEE International Symposium on Multimedia, December, 2011, pages 494–499.

Jiang, J., Sekar, V. and Zhang, H. (2014) “Improving fairness, efficiency, and stability in http-based adaptive video streaming with festive,” In IEEE/ACM Transactions on Networking, 22 (1), February, 2014, pages 326–340.

Lasmar, E. L., de Paula F., Rosa R. L., Abrahão J. I., Rodríguez D. Z. (2020), “Rsrs: Ridesharing recommendation system based on social networks to improve the user’s QoE,” IEEE Transactions on Intelligent Transportation Systems,” 12(20), October 2019, pages 4728-4740.

Lentisco, C., Bellido L., Cuellar, J., Pastor, E. and Arciniegas, J. (2017), "QoE-Based Analysis of DASH Streaming Parameters Over Mobile Broadcast Networks," In IEEE Access, 1(5), September 2017, pages 20684–20694.

Militani, D., Vieira, S., Valadão, E., Neles, K., Rosa R. L. and Rodríguez D. Z., (2019) “A machine learning model to resource allocation service for access point on wireless network,” International Conference on Software, Telecommunications and Computer, Set. 2019, pp.1-6.

Mok, R. K., Chan, E. W., Luo, X. and Chang, R. K. (2011) “Inferring the QoE of http video streaming from user-viewing activities,” In ACM SIGCOMM Workshop on Measurements Up the Stack, New York, NY, USA: ACM, 2011, pages 31–36.

MPEG (2015) “Information technology MPEG systems technologies: Carriage of timed metadata metrics of media in ISO base media file format,” ISO/IEC 23001-10, September, 2015.

Nunes R. D., Rosa, L. R. and Rodríguez D. Z. (2020), “Performance improvement of a non-intrusive voice quality metric in lossy networks,” IET Communications, 13(20), August, 2020, pages 3401-3408

Rodríguez, D. Z., Abrahão, J. A., Begazo, D. C., Rosa, R. L. and Bressan, G. (2012) “Quality metric to assess video streaming service over tcp considering temporal location of pauses,” IEEE Transactions on Consumer Electronics, 58(3), August 2012, pages 985–992.

Rodríguez, D. Z., Rosa, R. L., Alfaia E., Abrahao and Bressan, G. (2016) “Video Quality Metric for Streaming Service Using DASH Standard,” In IEEE Transactions on Broadcasting, 62(3), September 2016, pages 628–639.

Rodríguez, D. Z., Wang, Z., Rosa, R. L. and Bressan, G. (2014) “The impact of video-quality-level switching on user quality of experience in dynamic adaptive streaming over HTTP,” EURASIP Journal on Wireless Communications and Networking, 62(3), December 2014 216(2014), pages 2-15.

Rodríguez, D. Z., Rosa, R. L. Almeida F., Mittag. G., Moller, S., “Speech quality assessment in wireless communications with mimo systems using a parametric model,” IEEE Access, 7(1), March 2019, pages 35719-35730

Rosa, R. L., Schwartz G. M., Ruggiero, W. V. and Rodríguez, D. Z., (2018) “A knowledge-based recommendation system that includes sentiment analysis and deep learning,” IEEE Transactions on Industrial Informatics, 15(4), Aug. 2018, pg 2124-2135

Chen C., Choi, L., Veciana, G., Caramanis, C., Heath, R. and Bovik A. (2014), "Modeling the Time-Varying Subjective Quality of HTTP Video Streams with Rate Adaptations," In IEEE Trans on Image Proc. 23(5), May 2014, pages 2206–2221.

Rec. ITU-T P.910 (1999) “ITU-T Recommendation-P.910, Subjective Video Quality Assessment Methods for Multimedia Applications,” Geneva, September, 1999.

Rec. ITU-T P. 930 (1996) “ITU-T Recommendation-P.930, Principles of a reference impairment system for video,” Geneva, August, 1996.

Takahashi, A., Hands, D. and Barriac, V. (2008) “Standardization activities in the ITU for a QoE assessment of IPTV,” In IEEE Comm. Mag., 46(2), p. 78, Feb., 2008.

Testrian R., Moldovan, A., Ormond, O. and Muntema. G-M “Energy consumption analysis of video streaming to Android mobile devices,” in Proc. IEEE Netw. Oper. Management Symp., Maui, HI, USA, Apr. 2012, pp. 444–452.

Vieira S. T., Rosa, L. R. and Rodríguez D. Z. (2020), “A Speech Quality Classifier based on Tree-CNN Algorithm that Considers Network Degradations,” Journal of Communications Software and Systems,” 16 (2), Jun. 2020, pages 180-187.

Xiao, F. (2000) DCT-based Video Quality Evaluation, 2000.

Xue, Y, Erkin, B. and Wang, Y. (2015) “A novel no-reference video quality metric for evaluating temporal jerkiness due to frame freezing,” In IEEE Transactions on Multimedia, 17(1), January, 2015, pages 134–139.

Wang, Z., Bovik, A. C. and Sheikh, H. (2004) “Image Quality Assesment: From Error Visibility to Structural Similarity,” In IEEE Transactions on Image Processing, 13(4), April 2004, pages 154– 166.