Indexa¸c˜ao e Recomenda¸c˜ao

4.4 Processo Online

4.4.2 Indexa¸c˜ao e Recomenda¸c˜ao

Após o reconhecimento do quadro no frame, temos o seu identificador no banco de dados e este será o identificador da imagem query para a gera¸cão da recomenda¸cão. A partir disso é poss´ıvel recuperar os descritores de bag of keypoints e de cores dominantes, que consistem em vetores de tamanho fixo para cada imagem armazenada no banco de dados.

Para cada um dos tipos de descritores, de bag of keypoints e de cores dominantes, foi feita uma correla¸cão entre a query e as imagens no banco de dados utilizando um algoritmo de for¸ca bruta. Foram testadas duas métricas de distância dispon´ıveis no OpenCV: a distância L1 (Manhattan) e a distância L2 (Euclidiana). A métrica escolhida foi a distância de Manhattan, que apresentou melhores resultados em rela¸cão a Euclidiana, conforme já apresentado anteriormente por outros autores (KOKARE; CHATTERJI; BISWAS, 2003). Foi calculado um valor de distância para cada imagem no banco de dados em rela¸cão a query e em seguida as imagens foram ordenadas por essa distância em ordem crescente. A imagem query sempre estará contida na cole¸cão, portanto é esperado que a primeira imagem recuperada seja ela própria e que a distância em rela¸cão a query seja igual a zero. A segunda imagem recuperada será a pintura a ser recomendada ao usuário, conforme apresentado na Figura 38.

Figura 38: Representa¸cão básica de escolha da recomenda¸cão a partir da indexa¸cão.

Fonte: Autor

e outro para as cores dominantes. Para considerar os pontos de interesse e as cores dominantes em um único resultado na consulta, o ´ındice de cada caracter´ıstica foi integrado combinando os valores de distância. Para isso foi utilizado o cálculo apresentado por Jain e Vailaya (1996). Considerando Q a imagem query e I uma imagem na cole¸cão, Dp será

a distância entre Q e I com base nos pontos de interesse. Dc será a distância com base

nas cores dominantes e a distˆancia total Dt ser´a:

Dt =

wpDp + wcDc

wp+ wc

(16) onde wp e wc s˜ao os pesos para pontos de interesse (gˆenero/estilo) e cores dominantes,

respectivamente.

Para permitir uma intera¸cão maior do usuário com o sistema, é poss´ıvel alterar os valores de wp e wc a partir da interface do sistema antes da gera¸cão da recomenda¸cão, con-

forme a Figura 39. Em seguida, o usuário pode selecionar a op¸cão ”Gerar recomenda¸cão baseada nesta obra” que irá exibir a imagem recomendada em uma segunda tela junto com a indica¸cão de dire¸cão de onde aquela obra se encontra (Figura 40).

Figura 39: Configura¸cão dos parâmetros de recomenda¸cões.

Fonte: Autor

Figura 40: Apresenta¸cão da recomenda¸cão ao usuário.

5 EXPERIMENTOS E RESULTADOS

Os primeiros testes foram executados utilizando tanto o algoritmo SURF como o SIFT, com o objetivo de comparar as precisões entre eles para a gera¸cão das recomenda¸cões. O experimento também consiste em fazer uma verifica¸cão de qual o número adequado de palavras visuais que devem existir no vocabulário, alterando empiricamente os valores de 250 a 4000. Para este teste, o peso para o descritor de cores dominantes foi definido para wc = 0. A medi¸cão foi feita passando todas as imagens presentes no banco de dados

como query, uma por uma e avaliando a precisão para uma recomenda¸cão. Como cada obra possui uma informa¸cão de estilo e gênero, a precisão foi medida por: estilo, gênero, apenas um dos dois (OR) e para os dois (AND). Os resultados para essa configura¸cão são apresentados na Tabela 2 para o SURF e na Tabela 3 para o SIFT.

Tabela 2: Valores de precis˜ao utilizando o algoritmo SURF. Palavras Visuais Estilo Gˆenero AND OR

250 0,8410 0,6778 0,5941 0,9247 500 0,8828 0,7406 0,6778 0,9456 1000 0,9080 0,8117 0,7448 0,9749 1500 0,9205 0,8117 0,7699 0,9623 2000 0,9247 0,8243 0,7699 0,9791 3000 0,9665 0,8452 0,8368 0,9749 4000 0,9665 0,8912 0,8828 0,9749

Apesar da precisão para pelo menos uma das caracter´ısticas (OR) ter sido similar para os dois algoritmos, é poss´ıvel perceber que na avalia¸cão geral o SIFT apresentou precisões melhores e a explica¸cão para isso está no descritor. O SIFT possui um descritor maior, de 128 posi¸cões, contra um descritor de 64 posi¸cões do SURF. Além do tamanho, o descritor do SIFT trabalha com valores de magnitude do gradiente em rela¸cão ao ponto para descrevê-lo, já o SURF utiliza filtros de convolu¸cão nas dire¸cões X e Y. O que nos leva a hipótese de que a informa¸cão relevante para o banco de dados em questão foi mais bem descrita utilizando o SIFT. Diante destes resultados, este foi escolhido para ser implementado na gera¸cão dos descritores do Bag of Keypoints.

Figura 41: Gráfico de precisões do algoritmo SURF. Tabela 3: Valores de precisão utilizando o algoritmo SIFT.

Palavras Visuais Estilo Gˆenero AND OR 250 0,7782 0,7824 0,6527 0,9079 500 0,8745 0,8912 0,8117 0,9540 1000 0,9498 0,9331 0,9038 0,9791 1500 0,9665 0,9498 0,9372 0,9791 2000 0,9749 0,9582 0,9582 0,9749 3000 0,9874 0,9707 0,9707 0,9874 4000 0,9874 0,9623 0,9623 0,9874

Foi poss´ıvel perceber que os valores de precisão para os SIFT crescem de acordo com a quantidade de palavras visuais do vocabulário. Para a caracter´ıstica de estilo, essa precisão come¸ca a estabilizar em torno de 1000 palavras visuais com 0,9498 de precisão e para o gênero em torno de 2000 mil palavras com 0,9582 de precisão, conforme é poss´ıvel observar no gráfico da Figura 42. Como é de conhecimento que o custo computacional aumenta de acordo com a quantidade de palavras, foi medido o tempo médio de processamento para a gera¸cão da recomenda¸cões com 1000 e com 2000 palavras. Os resultados são apresentados na Tabela 4 e considerando a diferen¸ca de apenas 0,008 segundos no tempo de processamento, foi escolhido o valor de 2000 palavras visuais.

Tabela 4: Tempos médios de processamento para gera¸cão das recomenda¸cões. Palavras Visuais 1000 2000

Tempo (segundos) 0,025 0,033

Quando a primeira recomenda¸cão já foi vista pelo usuário, o sistema deve recomendar a segunda imagem e assim por diante. Devido a isso também foi medida a precisão para uma quantidade maior de recomenda¸cões. Ainda utilizando o algoritmo SIFT, para esse teste foram utilizadas 2000 palavras visuais e foram recuperadas 4 imagens. Os resultados são apresentados na Tabela 5 e na Figura 43.

Tabela 5: Precisão para 4 recomenda¸cões por estilo e gênero. Estilo Gênero AND OR

0,9559 0,9487 0,9299 0,9738

Na Figura 44 é poss´ıvel perceber que os resultados recuperados estão de acordo com estilo e gênero, mas não de acordo com as cores. Para avaliar a precisão de acordo com o descritor de cores dominantes, o peso para o ´ındice do descritor de bag of keypoints foi configurado para wp = 0 e o peso do descritor de cores dominantes para wc = 1. Os

resultados s˜ao apresentados na Figura 45.

Finalmente, os pesos foram alterados de forma que ambos os ´ındices para cada caracter´ıstica, entre bag of keypoints e cores dominantes, fossem integrados. Os valores para wp

e wc foram alterados empiricamente e os resultados foram avaliados observando as cores e

Figura 43: Exemplos de resultados para 4 recomenda¸c˜oes (wp = 1 e wc = 0).

Figura 44: Resultados utilizando o descritor de bag of keypoints (wp = 1 e wc = 0).

recomenda¸cões, estes pesos podem ser ajustados de acordo com a preferência do usuário por estilo/gênero ou cores. Os valores padrão escolhidos foram wp = 0, 8 e wc = 0, 2,

porém estes valores podem ser alterados pelo usuário através da interface do sistema. Os resultados de recomenda¸cões para essa configura¸cão são apresentados na Figura 46. Devido a inferência do descritor de cores a precisão foi reduzida, porém ainda manteve-se um valor de 0,9540 para estilo ou gênero.

6 CONCLUS ˜OES E TRABALHOS FUTUROS

Com os primeiros testes foi poss´ıvel perceber que o uso de um vocabulário adaptado para cada classe se mostrou mais eficiente do que o vocabulário universal. A resposta para esse problema é que alguns pontos são similares entre as classes e ao utilizar um vocabulário único, algumas palavras são compartilhadas por imagens de diferentes classes, aumentando o número de falsos positivos. Ao usar um vocabulário adaptado são geradas duas palavras separadas para cada classe, permitindo que os pontos detectados sejam atribu´ıdos à palavra da respectiva classe, o que melhorou muito a precisão.

Também foi poss´ıvel comparar a precisão na recupera¸cão de imagens utilizando dois algoritmos diferentes para a gera¸cão do bag of keypoints. Foram obtidos melhores resultados para o algoritmo SIFT em rela¸cão ao SURF, apesar deste segundo ser mais recente. Recomenda-se para trabalhos futuros executar os mesmos testes para diversos outros algoritmos de deteçcão e descri¸cão de pontos de interesse, tal como verificar o que pode-se melhorar dentro destes algoritmos de forma que se tenha melhores precisões na aplica¸cão de recupera¸cão de imagens baseadas em conteúdo.

O método proposto apresentou bons resultados para recomenda¸cões e recupera¸cão de obras de arte a partir de um banco de dados com base no conteúdo. Utilizando apenas um descritor de pontos de interesse com bag of keypoints foi poss´ıvel obter ótimos valores de precisão chegando a 0,9749 com 2000 palavras visuais para pelo menos uma das duas caracter´ısticas entre estilo e gênero (OR). Ao combinar o descritor de pontos de interesse com o descritor de cores dominantes, foi poss´ıvel melhorar a similaridade visual das imagens recuperadas.

A divisão adequada das obras de arte também foi um passo muito importante, onde o estudo dos movimentos de arte e suas caracter´ısticas foi fundamental. Nos testes, foi poss´ıvel concluir que a escolha do número de palavras visuais no vocabulário é muito importante e deve ser adequada de acordo com o tipo de imagens utilizadas.

A aplica¸cão desenvolvida como prova de conceito também funcionou adequadamente conforme o esperado, permitindo gerar recomenda¸cões de acordo com a imagem infor- mada e com os parâmetros de estilo/gênero ou cor. A aplica¸cão foi desenvolvida para dispositivos Android e uma sugestão de trabalho futuro é o desenvolvimento da aplica¸cão

para dispositivos iOS, visto que essa plataforma é largamente utilizada atualmente. Ainda dentro da aplica¸cão, pode-se desenvolver um trabalho focado na identifica¸cão da imagem na fase online, buscando melhorar o tempo de processamento dessa etapa e fazendo uma análise mais aprofundada em rela¸cão a precisão no reconhecimento do quadro.

REFERˆENCIAS BIBLIOGR ´AFICAS

ADOMAVICIUS, G.; TUZHILIN, A. Toward the next generation of recommender systems: A survey of the state-of-the-art and possible extensions. IEEE Trans. on Knowl. and Data Eng., IEEE Educational Activities Department, Piscataway, NJ, USA, v. 17, n. 6, p. 734–749, jun. 2005. ISSN 1041-4347. Dispon´ıvel em: <http://dx.doi.org/10.1109/TKDE.2005.99>.

AZUMA, R. T. A survey of augmented reality. Presence: Teleoperators and Virtual Environments, v. 6, n. 4, p. 355–385, ago. 1997.

BAY, H. et al. Speeded-up robust features (surf). Comput. Vis. Image Underst., Elsevier Science Inc., New York, NY, USA, v. 110, n. 3, p. 346–359, jun. 2008. ISSN 1077-3142. Dispon´ıvel em: <http://dx.doi.org/10.1016/j.cviu.2007.09.014>.

CALONDER, M. et al. Brief: Binary robust independent elementary features. In: Proceedings of the 11th European Conference on Computer Vision: Part IV. Berlin, Heidelberg: Springer-Verlag, 2010. (ECCV’10), p. 778–792. ISBN 3-642-15560-X, 978-3- 642-15560-4. Dispon´ıvel em: <http://dl.acm.org/citation.cfm?id=1888089.1888148>. CHANG, R.-I. et al. A novel content based image retrieval system using k-means/knn with feature extraction. Comput. Sci. Inf. Syst., v. 9, n. 4, p. 1645–1661, 2012. Dispon´ıvel em: <http://dblp.uni-trier.de/db/journals/comsis/comsis9.html>.

CSURKA, G. et al. Visual categorization with bags of keypoints. In: In Workshop on Statistical Learning in Computer Vision, ECCV. [S.l.: s.n.], 2004. p. 1–22.

DATTA, R. et al. Image retrieval: Ideas, influences, and trends of the new age. ACM Comput. Surv., ACM, New York, NY, USA, v. 40, n. 2, p. 5:1–5:60, maio 2008. ISSN 0360-0300. Dispon´ıvel em: <http://doi.acm.org/10.1145/1348246.1348248>.

FARTHING, S. Tudo sobre Arte. [S.l.]: Editora Sextante, 2010. 210–395 p. ISBN 9788575426463.

GUNSEL, B.; SARIEL, S.; ICOGLU, O. Content-based access to art paintings. In: Image Processing, 2005. ICIP 2005. IEEE International Conference on. [S.l.: s.n.], 2005. v. 2, p. II–558–61.

HERLOCKER, J. L. et al. Evaluating collaborative filtering recommender systems. ACM Trans. Inf. Syst., ACM, New York, NY, USA, v. 22, n. 1, p. 5–53, jan. 2004. ISSN 1046-8188. Dispon´ıvel em: <http://doi.acm.org/10.1145/963770.963772>.

HILL, W. et al. Recommending and evaluating choices in a virtual community of use. In: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York, NY, USA: ACM Press/Addison-Wesley Publishing Co., 1995. (CHI ’95), p. 194–201. ISBN 0-201-84705-1. Dispon´ıvel em: <http://dx.doi.org/10.1145/223904.223929>. JAIN, A. K.; VAILAYA, A. Image retrieval using color and shape. Pattern Recognition, v. 29, p. 1233–1244, 1996.

KOKARE, M.; CHATTERJI, B.; BISWAS, P. Comparison of similarity metrics for texture image retrieval. In: TENCON 2003. Conference on Convergent Technologies for the Asia-Pacific Region. [S.l.: s.n.], 2003. v. 2, p. 571–575 Vol.2.

KONSTAN, J. A.; EKSTRAND, M. D. Introduction to Recommender Systems. 2013. https://www.coursera.org/course/recsys. [Online; acessado em 18-Outubro-2013]. KRISHNAN, N.; BANU, M.; CHRISTIYANA, C. C. Content based image retrieval using dominant color identification based on foreground objects. In: Conference on Computational Intelligence and Multimedia Applications, 2007. International Conference on. [S.l.: s.n.], 2007. v. 3, p. 190–194.

LIU, J. Image retrieval based on bag-of-words model. CoRR - Computing Research Repository, abs/1304.5168, 2013.

LOWE, D. G. Object recognition from local scale-invariant features. In: Proceedings of the International Conference on Computer Vision-Volume 2 - Volume 2. Washington, DC, USA: IEEE Computer Society, 1999. (ICCV ’99), p. 1150–. ISBN 0-7695-0164-8. Dispon´ıvel em: <http://dl.acm.org/citation.cfm?id=850924.851523>.

LOWE, D. G. Distinctive image features from scale-invariant keypoints. Int. J. Comput. Vision, Kluwer Academic Publishers, Hingham, MA, USA, v. 60, n. 2, p. 91–110, nov. 2004. ISSN 0920-5691. Dispon´ıvel em: <http://dx.doi.org/10.1023/B:VISI.0000029664- .99615.94>.

MARENGONI, M.; STRINGHINI, D. High level computer vision using opencv. In: Graphics, Patterns and Images Tutorials (SIBGRAPI-T), 2011 24th SIBGRAPI Conference on. [S.l.: s.n.], 2011. p. 11–24.

MIKSIK, O.; MIKOLAJCZYK, K. Evaluation of local detectors and descriptors for fast feature matching. In: Pattern Recognition (ICPR), 2012 21st International Conference on. [S.l.: s.n.], 2012. p. 2681–2684. ISSN 1051-4651.

OPENCV. Open Source Computer Vision. 2014. http://opencv.org. [Online; acessado em 03-Junho-2014].

PERRONNIN, F. Universal and adapted vocabularies for generic visual categorization. IEEE Trans. Pattern Anal. Mach. Intell., IEEE Computer Society, Washington, DC, USA, v. 30, n. 7, p. 1243–1256, jul. 2008. ISSN 0162-8828. Dispon´ıvel em: <http://dx.doi.org/10.1109/TPAMI.2007.70755>.

PROEN¸cA, G. A hist´oria da Arte. [S.l.]: Editora ´Atica, 2003. 102–163 p. ISBN 8508032447.

ROSTEN, E.; DRUMMOND, T. Machine learning for high-speed corner detection. In: Proceedings of the 9th European Conference on Computer Vision - Volume Part I. Berlin, Heidelberg: Springer-Verlag, 2006. (ECCV’06), p. 430–443. ISBN 3-540-33832-2, 978-3-540-33832-1. Dispon´ıvel em: <http://dx.doi.org/10.1007/11744023 34>.

RUBLEE, E. et al. Orb: An efficient alternative to sift or surf. In: Computer Vision (ICCV), 2011 IEEE International Conference on. [S.l.: s.n.], 2011. p. 2564–2571. ISSN 1550-5499.

SADOVNIK, A. et al. Image description with a goal: Building efficient discriminating expressions for images. In: CVPR. IEEE, 2012. p. 2791–2798. ISBN 978-1-4673-1226-4. Dispon´ıvel em: <http://dblp.uni-trier.de/db/conf/cvpr/cvpr2012.html>.

SALEEM, S.; BAIS, A.; SABLATNIG, R. A performance evaluation of sift and surf for multispectral image matching. In: Proceedings of the 9th International Conference on Image Analysis and Recognition - Volume Part I. Berlin, Heidelberg: Springer-Verlag, 2012. (ICIAR’12), p. 166–173. ISBN 978-3-642-31294-6. Dispon´ıvel em: <http://dx.doi.org/10.1007/978-3-642-31295-3 20>.

SALEMBIER, P.; SIKORA, T. Introduction to MPEG-7: Multimedia Content Description Interface. New York, NY, USA: John Wiley and Sons, Inc., 2002. ISBN 0471486787.

SHARDANAND, U.; MAES, P. Social information filtering: algorithms for automating word of mouth. In: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York, NY, USA: ACM Press/Addison-Wesley Publishing Co., 1995. (CHI ’95), p. 210–217. ISBN 0-201-84705-1. Dispon´ıvel em: <http://dx.doi.org- /10.1145/223904.223931>.

S´aNCHEZ, F. et al. Social and content hybrid image recommender system for mobile social networks. MONET, v. 17, n. 6, p. 782–795, 2012. Dispon´ıvel em: <http://dblp.uni-trier.de/db/journals/monet/monet17.html>.

TKALCIC, M.; BURNIK, U.; KOSIR, A. Using affective parameters in a content-based recommender system for images. User Modeling and User-Adapted Interaction, Kluwer Academic Publishers, Hingham, MA, USA, v. 20, n. 4, p. 279–311, out. 2010. ISSN 0924-1868. Dispon´ıvel em: <http://dx.doi.org/10.1007/s11257-010-9079-z>.

VALGREN, C.; LILIENTHAL, A. J. Sift, surf and seasons: Appearance-based long-term localization in outdoor environments. Robotics and Autonomous Systems, v. 58, n. 2, p. 149 – 156, 2010. ISSN 0921-8890. Selected papers from the 2007 European Conference on Mobile Robots (ECMR 07). Dispon´ıvel em: <http://www.sciencedirect.com/science- /article/pii/S0921889009001493>.

VALLE, E.; CORD, M. Advanced techniques in cbir: Local descriptors, visual dictionaries and bags of features. In: Computer Graphics and Image Processing (SIBGRAPI TUTORIALS), 2009 Tutorials of the XXII Brazilian Symposium on. [S.l.: s.n.], 2009. p. 72–78.

VIOLA, P.; JONES, M. J. Robust real-time face detection. Int. J. Comput. Vision, Kluwer Academic Publishers, Hingham, MA, USA, v. 57, n. 2, p. 137–154, maio 2004. ISSN 0920-5691. Dispon´ıvel em: <http://dx.doi.org/10.1023/B:VISI.0000013087.49260- .fb>.

YELIZAVETA, M.; TAT-SENG, C.; IRINA, A. Analysis and retrieval of paintings using artistic color concepts. In: Multimedia and Expo, 2005. ICME 2005. IEEE International Conference on. [S.l.: s.n.], 2005. p. 1246–1249.

ZUJOVIC, J. et al. Classifying paintings by artistic genre: An analysis of features and classifiers. In: MMSP. [S.l.]: IEEE, 2009. p. 1–5. ISBN 978-1-4244-4463-2.

No documento Recomendações de obras de arte baseadas em conteúdo (páginas 54-68)