Codificação de Vídeo em Línguas de Sinais

A codificação do vídeo em línguas de sinais deve permitir uma boa detecção visual de movimentos manuais e expressões faciais, ao mesmo tempo em que oferece redução no uso de dados necessários a seu armazenamento e transmissão, principalmente no cenário da televisão digital, conforme afirma Muir (2007):

Largura de banda é um recurso escasso na comunicação em canais de broadcast e existe a possibilidade de desenvolver esquemas de codificação altamente eficientes baseados no comportamento visual diante conteúdos sinalizados na televisão de modo a reduzir significantemente a quantidade de bits necessários à representação da informação visual (MUIR, 2007, p.214, tradução nossa)

Entretanto,

Para os surdos e os que tem dificuldade em ouvir, é importante que detalhes do movimento possam ser reproduzidos de modo que dedos, olhos e boca sejam distinguíveis mesmo quando os sinais são constituídos pelas duas mãos e braços em movimento com todos os dedos estendidos. Dedos borrados pelo movimento são toleráveis, embora dedos claramente visíveis são preferíveis (DEBEVC et al., 2009, p.280).

No sentido de melhorar a comunicação por vídeo em LS, Leelarasmee, Mahasith, Uthaichana (2005) apresentam um sistema para a expansão do vídeo apresentado na área destinada à LS, num modelo aplicado à TV analógica. Este sistema consegue duplicar a área do vídeo com uma qualidade aceitável pelo usuário surdo.

Muitos parâmetros podem afetar a clareza do vídeo, incluído o tamanho/resolução da imagem, taxa de quadros por segundo, quantidade de cores, uso de diferentes algoritmos de compressão de vídeo, taxas de transmissão variáveis e a forma de escaneamento dos quadros (interlaced ou progressive scan). A modificação destes parâmetros pode interferir com o processo de comunicação, por exemplo, maiores taxas

de quadros por segundo aumentam o entendimento da mensagem em LS (Hooper et al., 2007).

No contexto das LS,

o vídeo deve ser avaliado em termos de inteligibilidade da conversação, e não em termos de sua qualidade estética geral (Ciaramello; Ko; Hemami, 2010, p.71, tradução nossa).

Em termos técnicos a qualidade do vídeo para a conversação em LS pode ser medida pela qualidade individual de cada quadro do vídeo, pela taxa de quadros apresentada por segundo (fps), pelo atraso e pelo ruído (CHON et al., 2011).

Na intenção de reduzir a demanda de dados para a transmissão de vídeos em LS, Kountchev, Todorov, Kountcheva (2008) apresentam um algoritmo de extração de contornos de imagem voltado à comunicação por LS. Um quadro de vídeo com a aplicação do algoritmo é apresentado na figura 32.

Figura 32: Quadro do vídeo original e quadro do vídeo com aplicação de algoritmo de extração de contornos.

Fonte : Kountchev, Todorov e Kountcheva (2008, p. 180)

Com a aplicação do algoritmo apresentado a compreensão dos sinais interpretados no vídeo em LS é mantida, e a taxa de compressão

de dados é elevada, permitindo um vídeo de 320 x 240 px a 15 fps com taxa de 23 kbps (KOUNTCHEV, TODOROV, KOUNTCHEVA, 2008).

As técnicas de compressão de vídeo consideram um modelo de percepção visual genérico, que permite que elementos essenciais à percepção dos gestos de uma língua de sinais sejam suprimidos no processo de codificação. De modo a evitar a perda de conteúdo significativo para comunicação em LS, Ciaramello, Ko e Hemami (2010) analisam a aceitação de duas formas de codificação de vídeo com LS, uma que prioriza a qualidade geral dos quadros e outra que prioriza a inteligibilidade das línguas de sinais, conforme a figura 33.

Os autores relatam que

Participantes com experiência significativa no uso de tecnologias de comunicação baseada em vídeo preferiram o vídeo codificado de acordo com o critério de qualidade, enquanto que usuários com pouca experiência preferiram o vídeo codificado de acordo com o critério de inteligibilidade (CIARAMELLO; KO; HEMAMI, 2010, p.78, tradução nossa).

quadro original codificação com priorização de áreas de interesse em LS (inteligibilidade) codificação com priorização da qualidade do vídeo

Figura 33: comparação entre codificações de vídeo a 55kbps. Fonte: Ciaramello, Ko, Hemami (2010, p.74).

Os autores constataram também que em velocidades acima de 80 kbps, o vídeo codificado de acordo com o critério de qualidade é melhor

aceito, pois sua inteligibilidade é suficiente. Entretanto em ambientes com velocidades menores foi preferida a codificação com priorização de conteúdo.

Em busca de uma codificação mais eficiente e realista, Muir e Richardson (2000) e Agrafiotis et al. (2004) realizaram experimentos de eyetracking para analisar os mecanismos de atenção do surdo em relação aos vídeos com LS e constataram que o surdo dedica a maior parte de sua resolução visual em regiões da face com o objetivo de capturar expressões faciais e formas da boca, enquanto que a visão periférica e de menor resolução é voltada a analisar movimentos mais rápidos e amplos, como os dos braços e mãos. Este comportamento demonstra a importância da região facial, como lábios, pálpebras e direção do olhar, na compreensão do significado dos sinais.

Aplicando estes conceitos, Muir (2007) apresenta uma otimização para a codificação de vídeos no formato h.264 de modo a melhorar a percepção dos conteúdos em línguas de sinais. O método prioriza a qualidade das áreas mais sensíveis à comunicação por LS e aumenta a performance de esquemas de codificação em termos de qualidade do vídeo percebida em ambientes com baixa taxa de bits (abaixo de 200kbps).

Seguindo a abordagem de Muir e Richardson (2005), Davies et al. (2007) conseguiram reduzir a taxa de bits em 30%, sem perda significativa de compreensão ou experiência de visualização, ao priorizar as regiões de maior importância na comunicação por LS em legendas abertas de sinais.

Nakazono, Nagashima e Ichikawa, (2006) obtiveram resultados satisfatórios na aceitação de vídeos em LS codificados com o algoritmo de codificação AdaptSynch, também baseados no trabalho de Muir e Richardson (2005).

O ITU-T application profile serie H, suplemento 1 (ITU-T, 1999) detalha os requisitos de qualidade para comunicação por meio de vídeos de LS, onde inclui como formato mínimo o CIF, com 352 x 288 pixel a uma taxa mínima de 25 quadros por segundo.

Na codificação de vídeo em LS nos formatos CIF (Common Intermediate Format), com resolução de 352 x 288 pixel x 25 fps, a melhor aceitação foi obtida com a taxa de 256 kbps. Já com o formato QCIF (Quarter Common Intermediate Format), que tem 176 x 144 pixel x 25 fps, a aceitação pode ser obtida com 128 kbps (NAKAZONO; NAGASHIMA; ICHIKAWA, 2006).

Entretanto o formato CIF não atende as especificações da norma ABNT no caso da transmissão em HD de 1920 x 1080, onde a área destinada à janela de Libras deve ter ¼ da largura e metade da altura (480 x 540 pixel).

Outro fator inerente ao vídeo codificado é sua alta vulnerabilidade à perda de dados durante a transmissão, pois o algoritmo de codificação utiliza correlações temporais e espaciais entre os quadros, de modo que a perda de um dos pacotes transmitidos causa a perda de um quadro inteiro. Deste modo, em ambientes com alta taxa de perda de dados, a aplicação de métodos de rajadas de quadros intermediários, (I- frames e P-frames), torna o h.264 mais robusto (CHON et al., 2011).

Tran et al. (2010), visando aumentar a duração de baterias de dispositivos móveis utilizados na comunicação em língua de sinais, verificou a aceitação do uso de algoritmos com variação de resolução espacial (VSR - variable spacial resolution) e variação de taxa de frames (VFR - variable frame rate), ilustrados na figura 34. Em sua análise, a VFR causa a sensação de cortes/pausas no fluxo de vídeo (choppy), enquanto que a VSR causa a sensação de vídeo borrado (blurry). Quando as duas técnicas são usadas simultaneamente estes efeitos são minimizados consideravelmente, melhorando a qualidade de vídeo percebida pelo sinalizante.

Figura 34: combinação de resolução espacial e taxa de quadros Fonte: Tran et al. (2010, p. 119)

A codificação de vídeos em LS pode adotar técnicas que se diferenciam em termos de redução do tamanho de dados do vídeo e manutenção da qualidade de conversação. A redução de cores, como na codificação de Kountchev, Todorov e Kountcheva (2008), ou a variação

de parâmetros de resolução de Tran et al. (2010), combinados com a priorização de conteúdos (MUIR; RICHARDSON, 2005) são técnicas que se demonstram adequadas para aplicação na legendagem em LS.

Entretanto o uso de vídeo apresenta algumas restrições para as línguas de sinais:

- Os custos de produção de vídeo em padrões profissionais não é trivial;

-Existem problemas de continuidade. Fazer vídeos consistentes, ou seja, utilizando o mesmo sinalizante, com a mesma roupa e com o mesmo plano de fundo de modo que as frases sinalizadas possam ser unidas, complicam o processo de manutenção;

- Toda vez que algum detalhe do conteúdo é modificado, novos vídeos devem ser feitos, aumentando os custos;

- O armazenamento e transmissão de vídeos também podem ser problemáticos pois são arquivos grandes. Para usuários domésticos com conexões limitadas (dial-up), o tempo e custos envolvidos na transferência de sequências de vídeo podem ser proibitivos. Este aspecto pode se tornar menos significativo com o aumento de abrangência da banda-larga e melhorias na tecnologia de compressão de vídeo;

- Uma sofisticada arquitetura de servidor é necessária para a geração de conteúdo gerado ao vivo (KENNAWAY et al. 2007, p.17, tradução nossa).

Além disso,

Vídeos em línguas de sinais, apesar de sua popularidade atual, não são uma alternativa viável ao texto, por duas razões: primeiro eles não são anônimos – indivíduos realizando contribuições podem ser reconhecidos a partir do vídeo e portanto exclui aqueles que desejam manter sua identidade em segredo. Segundo, pessoas não podem editar facilmente ou adicionar conteúdo a um vídeo que alguém produziu (EFTHIMIOU et al., 2009, p.22).

Atualmente o uso do vídeo, meio essencial para comunicação em línguas de sinais devido a sua natureza visual/gestual, é possibilitado por recursos interoperáveis de captura e exibição e pelo aumento da capacidade de meios de transmissão nos ambientes digitais.

Apesar de sua popularidade, ele apresenta algumas restrições e necessita a consideração de fatores inerentes às línguas de sinais, tais como a priorização de conteúdo em algoritmos de codificação, o anonimato do interlocutor e a possibilidade de edição posterior.

Além disso, a junção de unidades de vídeo não confere realismo ao produto final, pois diante a grande variedade de combinações entre os sinais, é impossível ter todas as possíveis gravações com as mesmas características de iluminação e posicionamento do intérprete, ocasionando problemas de continuidade.

De modo a encontrar alternativas à mídia do vídeo tradicional, as próximas sessões analisam a possibilidade de legendas de LS na forma textual, o uso de glossários e as técnicas automatizadas, por exemplo a utilização de intérpretes virtuais para síntese de sinais.