Análise de Multimédia

Estando a trabalhar com descritores de baixo nível, os conteúdos multimédia (nomeadamente as imagens) podem produzir um conjunto variado de descritores. No caso em concreto, foram utilizados apenas 3 tipos de descritores de baixo nível (Gabor filters, Tamura filters - Espaço de Textura - e HSV Color Histograms), aos quais foram determinados através de um programa externo, não sendo integrado nesta dissertação, por sair fora do objectivo desta.

4.3.1.1 Descritores de Textura

A textura apresenta um papel importante no que se refere à identificação de similaridade de imagens, observando-se um conjunto diversificado de técnicas capazes de extrair características subjacentes nas imagens. Umas das técnicas que foram desenvolvidas assentam na utilização de filtros, como são os casos do Gabor e do Tamura.

4.3.1.1.1 Gabor

Esta técnica de obtenção de características/descritores de imagens é das mais utilizadas, uma vez que os resultados que são produzidos superam, em muito, outras técnicas de extracção de descritores de baixo nível baseados em textura (Zhang, Wong et al. 2000).

Em traços gerais, esta técnica está assente num grupo de wavelets, em que cada wavelet captura a energia numa frequência e direcção específica. Expandindo o sinal através desta propriedade, torna-se possível a descrição localizada da frequência e desta forma capturar as características locais do sinal. Assim, é possível obter os descritores da textura através da distribuição dos diversos grupos.

Por outro lado, esta técnica contém propriedades que permite melhorar o seu desempenho da análise sobre as texturas, no que se refere à orientação quer na escala da amostra (frequência), de modo a aproximar-se na noção da frequência espacial da visão humana.

4.3.1.1.2 Tamura

O desenvolvimento da técnica Tamura (Tamura, Mori et al. 1978) teve como base as características da percepção visual humana no que diz respeito à densidade, contraste, direccionalidade, delimitação, simetria e irregularidade. Deste modo, foram necessários criar 6 tipos de descritores para produzir esse efeito. Contudo, identificou-se que 3 dessas propriedades são particularmente importantes (densidade, contraste e direccionalidade), uma vez que correlacionam-se mais directamente com a percepção humana, através dos seguintes factos:

 Densidade – indica o tamanho dos elementos presentes na textura, ou seja, quanto maior for o valor do tamanho dos elementos, maior será a densidade. Por exemplo, se existirem duas texturas diferentes, uma com elevada densidade e outra com densidade reduzida, apenas a elevada será tida em conta. Em traços gerais o cálculo do valor da densidade consiste em utilizar operadores de vários tamanhos, de acordo com os tipos de densidades existentes, na imagem a tratar.

 Contraste – refere-se à qualidade da imagem em causa e pode ser afectado segundo 4 factores: alcance dinâmico dos tons de cinzento; a polarização da distribuição do preto e do branco no histograma de tons de cinzento; acentuação dos limites; e o período de padrões repetidos.

 Direccionalidade – este conceito pretende identificar a presença de orientação na textura, ou seja se duas texturas diferem na orientação das suas texturas, estas são consideradas por apresentarem a mesma direccionalidade. Assim, para calcular a direccionalidade horizontal e vertical são utilizadas matrizes de . Para possibilitar a utilização destas propriedades é necessário definir um valor a cada pixel, para o descritor em causa. Estando na posse destes valores é possível utilizá-los de duas formas. Em primeiro lugar, considerá-los como uma imagem RGB e guardá-la como tal e, em segundo, é criado um histograma de 3 dimensões a partir desses valores.

4.3.1.2 Descritores de Cor: Histogramas de HSV

A cor constituí num ponto muito importante na extracção de informação de uma imagem e recorrendo à utilização de histogramas de cor para realizar comparações tornou-se numa técnica bastante popular na indexação de imagens e de vídeos. Tal deve-se, à fácil obtenção desses índices, uma vez que são eficazes e apresentam um baixo poder de processamento para os obter, o que trás vantagens significativas em sistema que utilizam este tipo de indexação.

A utilização de histogramas HSV consiste num método que permite obter a informação necessária para realizar a indexação, por meio da cor. Através destes histogramas torna-se possível eliminar possíveis ruídos contidos nas imagens, uma vez que o processamento da imagem é realizado independentemente dos canais de cor e, por outro lado, permite que a navegação no espaço de cores seja intuitiva.

4.3.2 Operações de Indexação

No momento em que se inicia este serviço, é carregada toda a informação dos descritores de baixo nível que foi gerado especificamente para o repositório multimédia. Nesse processo,

o serviço vai verificar a presença dos dados e caso os dados não estejam presentes, o serviço irá proceder á construção dos índices, através de um conjunto de estruturas implementadas para o conjunto de imagens existentes. Como referido anteriormente, o tipo de descritores utilizados correspondem ao Gabor, Tamura e HSV Color Histograms, onde a relação que se estabelece entre as várias imagens, é conseguida através de algumas funções de semelhança estudadas no Capítulo 2 (Manhattan, Euclidiana e Co-seno).

4.3.3 Operações de Pesquisa

Este serviço irá estar em comunicação com o QD, permitindo que sempre que se realizem queries que necessitem a utilização de descritores de baixo nível, este possa realizar pesquisas sobre o repositório gerado e retornar esses resultados ao QD.

A pesquisa processa-se ao nível de um dos descritores ou em todos eles, definindo um conjunto de parâmetros necessários para obter a pesquisa em concreto (esses parâmetros podem ser observados na Figura 39).

Através destes parâmetros, torna-se possível verificar o comportamento dos índices para este tipo de dados. Esta análise recai, principalmente, na verificação das imagens que são obtidas na pesquisa, com as que são produzidas numa pesquisa linear.

Figura 39 – Interface que permite a elaboração de queries.

4.3.4 Interface de Administração

Existindo o objectivo de ambos os serviços de indexação se aproximarem um do outro, em termos de funcionalidades permitidas e eficiência, a criação de uma interface de administração Web para o serviço de Indexação de Multimédia tornou-se um processo natural de

Figura 40 - Interface de administração do serviço de Indexação de Multimédia. Por meio de um layout muito semelhante ao utilizado no serviço de Indexação de Texto, permite que qualquer utilizador/administrador do repositório obtenha uma facilidade de interacção, uma vez que conhece o modo de funcionamento das operações que estão disponíveis.

Através desta interface, é possível observar o estado do repositório, ou seja, verificar o número de imagens existentes no repositório, o número de pesquisas realizadas, a documentação de apoio para o conjunto de funcionalidades e classes criadas para este serviço, assim como permitir a realização de pesquisas sobre os tipos de descritores utilizados, por meio de uma interface exemplificada na Figura 40.

Ao realizar-se uma pesquisa por meio desta interface, o resultado por defeito vem em formato XML, indicando a query introduzida pelo utilizador, o tempo requerido para efectuar a pesquisa em causa e os resultados que produziu, indicando o grau de semelhança existente entre a imagem que originou a pesquisa e o nome da imagem que se obteve como resultado. Na Figura 41, apresenta um resultado de uma pesquisa neste tipo de serviço.

Contudo, a aplicação desenvolvida não fica restrita à utilização de XML como retorno de respostas a queries efectuadas sobre este tipo de serviço. Do mesmo modo que acontece no serviço de Indexação de Texto, os dados que são produzidos numa pesquisa podem ser reproduzidos segundo um diferente formato. No caso em concreto, o novo formato disponível corresponde ao JSON.

De modo a tirar partido deste novo formato, foi definido um pacote no QD (molr) ao qual engloba um conjunto de classes que estabelecem a comunicação com este serviço e efectuam queries sobre o mesmo, obtendo as respostas em formato JSON (processo esse, muito semelhante ao que é utilizado no serviço de Indexação de Texto).

Figura 41 – Resultado obtido numa pesquisa efectuada neste serviço de Indexação.

Por último, é de salientar ainda que, a interface recorre à utilização de resources, ou seja, a construção do conteúdo Web para visualização nos Web Browsers, consiste na introdução de conteúdo HTML no resource correspondente. Assim, para visualizar o conteúdo HTML associado ao resource, basta simplesmente indicar o endereço URL do mesmo, obtendo os resultados na Figura 39 e Figura 40.

4.4 Sumário

De um modo geral, a utilização da framework Restlet veio favorecer em muito o desenvolvimento do serviço de Indexação Multimédia, na medida em que possibilitou recriar a aproximação desejada com o serviço de Indexação de Texto.

Por outro lado, conseguiu-se a compatibilidade desejada entre os descritores de baixo nível e os de alto nível, requerendo por vezes o acesso a ambos os serviços para visualização dos dados na interface criada para aplicação.

Por último, de referir o papel integrador que o Query Dispatcher detém neste sistema, uma vez que este controla todos os acessos aos diversos serviços, ficando toda a carga de processamento dos dados provenientes desses serviços nele próprio, deixando a organização dos dados a apresentar ao utilizador, remetida para interface da aplicação.

5