Apesar de haver uma popularidade dos modelos de alocação de recursos serem orientados à QoS, a avaliação positiva ou negativa da entrega de um serviço fornecido pela rede ainda é exclusiva do usuário cliente. Neste sentido, a QoE se apresenta como uma métrica que representa o desempenho de um serviço do ponto de vista do usuário final, enfatizando a perspectiva pessoal de satisfação e não se limita apenas ao uso de um sistema ou serviço multimídia, mas também leva em consideração o conteúdo da informação. Portanto, a QoE pode ser considerada como um quantitativo de métricas
Capítulo 2. FUNDAMENTAÇÃO TEÓRICA 20
avaliativas da qualidade de serviço centradas no usuário Sousa, Queluz e Rodrigues (2017).
Desta forma, a avaliação da QoE requer a definição de um novo conjunto de mé- tricas com pontencialidade de avaliar objetivamente a satisfação do usuário final, mesmo que envolva vários fatores subjetivos não relacionados ao desempenho da rede, solicitando que os avaliadores humanos dêem sua opinião sobre a qualidade de desempenho na en- trega do conteúdo, ao contrário de metodologias clássiscas de avaliação de QoS, que são principalmente centralizados na rede Serral-Gracià et al. (2010b).
Em termos de avaliação da qualidade do vídeo, foco no desenvolvimento desta tese, os autores em Liotou et al. (2015) afirmam que os modelos de avaliação baseados em QoS por si só não são suficientes para avaliar o nível de qualidade das aplicações de streaming, uma vez que falham em capturar aspectos subjetivos do conteúdo de vídeo relacionados à experiência humana. Desta forma, os métodos propostos para avaliação de QoE se diferenciam e possuem características singualres e são classificados como subjetivo e objetivo.
De acordo com Serral-Gracià et al. (2010b), as métricas subjetivas e objetivas existentes podem ser classificadas em: métricas No-Reference (NR), Reduced-Reference (RR) eFull-Reference (FR). As métricas NR são mais flexiveis pois não exigem um vídeo de referência na avaliação; as métricas RR fornecem um equilíbrio entre a precisão e flexibilida haja vista que apenas algumas informações são extraídas do vídeo de referência;
já as métricas FR permitem uma avaliação mais precisa pois requerem a presença do vídeo de referência, bem como sincronizações espaciais e temporais precisas, além de calibração de luminância e cor entre os vídeos originais e os transmitidos.
2.3.1 Métricas subjetivas de QoE
Métodos subjetivos para avaliação da qualidade de vídeo são considerados a ma- neira mais precisa e confiável para avaliar a qualidade e são obtidas através da avaliação perceptiva que o usuário atribui ao conteúdo que está sendo consumido Moldovan, Gher- gulescu e Muntean (2014). Para Sousa, Queluz e Rodrigues (2017), o método subjetivo mais comumente usado para medir a QoE é o Mean Opinion Score (MOS), auferido por meio de uma escala numérica que varia de 1 a 5 pontos (1-Péssimo, 2-Pobre, 3-Regular, 4-Bom, 5-Excelente) e corresponde à média aritmética das classificações individuais em um conjunto de usuários Sousa, Queluz e Rodrigues (2017). Foi desenvolvida inicialmente para medição de QoS de áudio em ligações telefônicas, combinando, atraso, jitter, perda de pacotes e informações de codec na camada de aplicação Amin (2016).
Na avaliação de vídeo, o MOS é obtido por um feedback direto do usuário, e a metodologia de medição é independente da tecnologia de streaming usada. No entanto, é eficaz na quantificação do efeito de fatores de confusão na QoE de vários serviços Juluri,
Capítulo 2. FUNDAMENTAÇÃO TEÓRICA 21
Tabela 1 – Escala: Mean opinion score MOS Qualidade Comprometimento
5 Excelente Imperceptível
4 Bom Perceptível, mas não desagradável 3 Regular Um pouco desagradável
2 Ruim Desagradável
1 Péssimo Muito desagradável
Fonte: Adaptado de MEDEIROS (2018)
Tamarapalli e Medhi (2015).
OInternational Telecommunication Union (ITU), nas recomendações ITU-T Rec.
P.910 Recommendation (2008), fornece um conjunto de diretrizes e instruções necessárias para a realização de testes avaliativos subjetivos de conteúdo multimídia, desde a seleção de pessoal e material de testes a configuração do ambiente e das escalas a serem utilizadas.
Os testes consistem basicamente em opinar sobre qualidade de um mesmo vídeo sendo transmitido de duas maneiras: a primeira com imagens originais e a segunda sobre o efeito de codecs. Em seguida, com base nas diferenças encontradas ou não nos dois conteúdos, os usuários devem avaliar e atribuir uma nota de acordo com um sistema de classificação es- pecífico. Em MEDEIROS (2018), os autores apresentam uma escala de comprometimento baseada na relação dos valores de opnião quantitativo e qualitativo de MOS, Tabela 1, bem como a Equação 1 associada ao processo de avaliação.
𝑀 𝑂𝑆 =
∑︀𝑁 𝑛=0𝑅𝑛
𝑁 , 1
onde, 𝑁 é o quantitativo de participantes e 𝑅𝑛 é o resultado da avaliação individual.
2.3.2 Métricas objetivas de QoE
Como a necessidade de opinião dos participantes inviabiliza o uso de métodos subjetivos em aplicações reais, técnicas objetivas de medição foram desenvolvidas para encontrar distorções em qualquer estágio da entrega do conteúdo. Essas técnicas quan- tificam matematicamente a qualidade do vídeo ao mais próximo possível dos resultados obtidos na avaliação subjetiva e são amplamente utilizadas para avaliar a qualidade de vídeo em protótipos e sistemas simulados Serral-Gracià et al. (2010b), Moldovan, Gher- gulescu e Muntean (2014).
As principais métricas de desempenho objetivo da QoE são:Peak Signal to Noise Ratio (PSNR), Structural Similarity Index (SSIM) e Video Quality Metric (VQM).
O PSNR é uma métrica tradicional básica baseada em FR que compara a qualidade de duas imagens diferentes (a que foi recebida pelo usuário e a original) e cálcula o Mean
Capítulo 2. FUNDAMENTAÇÃO TEÓRICA 22
Squared Error (MSE) de cadapixel entre as imagens Serral-Gracià et al. (2010b). O MSE calcula a variancia entre a potência máxima de um sinal e a potência do ruído distorcido que afeta a qualidade de sua representação. Isto é, compara a qualidade doframe recebido pelo usuário (codificado e transmitido) em relação ao frame original, representado em decibel (dB) JÚNIOR (2013). Na degradação da qualidade de compactação de imagem e vídeo, o valor PSNR varia de 30 a 50 dB para representação de dados de 8 bits e de 60 a 80 dB para dados de 16 bits. Na transmissão sem fio, a faixa de perda de qualidade aceita é de aproximadamente 20 a 25 dB Sara, Akter e Uddin (2019). O MSE pode ser obtido pela equação 2, já o PSNR é expressado pela equação 3.
𝑀 𝑆𝐸 = 1
𝑀 ×𝑁
𝑀−1
∑︁
𝑖=0 𝑁−1
∑︁
𝑗=0
‖𝑌 𝑠(𝑖, 𝑗)−𝑌 𝑑(𝑖, 𝑗)‖2, 2 onde, 𝑀 ×𝑁 é a quantidade de pixels do frame, 𝑌 𝑠(𝑖, 𝑗) é a posição(linha, coluna da matriz) do pixel no frame original e𝑌 𝑑(𝑖, 𝑗) é a posição (linha, coluna da matriz) do pixel no frame recebido.
𝑃 𝑆𝑁 𝑅= 10𝑙𝑜𝑔10(𝑝𝑒𝑎𝑘𝑣𝑎𝑙2)
𝑀 𝑆𝐸 , 3
onde, 𝑝𝑒𝑎𝑘𝑣𝑎𝑙 é o máximo de dados da imagem ou 255 de uma imagem de 8 bits Sara, Akter e Uddin (2019).
Da mesma forma que o PSNR, o SSIM também se baseia em FR. Entretanto, é considerado uma melhoria ao PSNR, pois inclui os efeitos de luminância, contraste e semelhança estrutural dos quadros ao comparar a correlação entre a imagem original e a recebida. Para Sara, Akter e Uddin (2019), a informação estrutural referem-se a pixels fortemente interdependentes e estão relacionados a informações importantes sobre os objetos visuais no domínio da imagem. Já os efeitos de luminância e contrastre referem- se as distorções pouco visíveis na textura das imagens. Este método é bem próximo da percepção visual humana; desta forma, se os resultados forem considerados bons, a transmissão do conteúdo também será considerado boa MEDEIROS (2018).
O VQM é uma métrica baseada em FR que considera as distorções de bloco e cor, desfocagem e ruído global e os combina em uma única métrica. O VQM é calculado usando uma combinação linear de sete parâmetros. Quatro parâmetros são baseados em recursos extraídos de gradientes espaciais do componente de luminância, dois parâmetros são baseados em recursos extraídos do vetor formado pelos dois componentes de cromi- nância e um parâmetro é baseado em recursos de informações temporais absolutas e de contraste Cedillo-Hernandez et al. (2016). O VQM tem uma alta correlação com a ava- liação subjetiva da qualidade do vídeo e foi adotado pelo American National Standards Institute (ANSI) como um padrão objetivo de qualidade do vídeo.
Capítulo 2. FUNDAMENTAÇÃO TEÓRICA 23
Tabela 2 – Mapeamento MOS, PNSR e SSIM
MOS PSNR SSIM
5 (Excelente) ≥37 ≥0.99
4 (Bom) ≥31 & <37 ≥0.95 & <0.99 3 (Regular) ≥25 & <31 ≥0.88 & <0.95 2 (Ruim) ≥20 & <25 ≥0.50 & <0.88 1 (Péssimo) <20 <0.50
Fonte: Adaptado de Moldovan, Ghergulescu e Muntean (2014)
Mesmo com métricas claras de avaliação objetiva, a qualidade de vídeo geralmente é uma medida não linear e difícil de correlacionar com métricas subjetivas de avaliação.
Na Tabela 2, apresenta-se o mapeamento de duas métricas de qualidade de vídeo objetiva (PSNR e SSIM) para a escala MOS subjetiva Moldovan, Ghergulescu e Muntean (2014).
2.3.3 Estratégias de mapeamento QoS/QoE
Como observado acima, a percepção humana e as expectativas de desempenho da rede são expressas por características bem definidas de QoS/QoE. Entretanto, são necessárias estratégias de mapeamento QoS/QoE que possam quantificar a relação entre essas métricas, fazendo assim uma transição da otimização orientada de QoS para QoE.
Para Sousa, Queluz e Rodrigues (2017), o mapeamento QoS/QoE depende de vários parâmetros de QoS, que podem ser divididos em dois níveis: parâmetros de QoS de rede, como taxa de perda ou atraso de pacotes, e parâmetros de QoS de aplicação, como eventos de refutação ou nível de buffer. Desta forma, estratégias de mapeamento de QoS/QoE, devem demonstrar a relação perfeita entre os parâmetros de QoE subjetivos e os dois níveis de de parâmetros de QoS, mesmo que esses ,sejam considerados métricas de qualidade objetivas, já que não dependem de julgamento subjetivo.
A Figura 8, apresenta a relação esquemática entre QoS e QoE, dividida em três zonas: zona 1, onde a QoE é considerada ideal ao valor de referência, pois não há distorções consideráveis de QoS; zona 2, onde é possível observar uma certa distorção na QoS quando a mesma excede o limite em x1, ou seja, a medida que a distorção aumenta a satisfação do usuário diminui; zona 3, onde a QoE é considerada ruim ou péssima a medida que as distroções de QoS excedem o limite x2 Fiedler, Hossfeld e Tran-Gia (2010).