Capítulo 4 Conclusões e Perspectivas Futuras 69
4.2 Perspectivas Futuras 71
Como perspectivas futuras podem ser refinados alguns aspectos do processamento e visualização de vídeos, tendo por base avaliações mais exaustivas com utilizadores. Um dos aspectos deste trabalho que poderia ser melhorado tem a ver com o aproveitamento das potencialidades da pesquisa semântica. Uma vez que foi desenvolvido um sistema de organização e pesquisa de vídeos assente nas propriedades da cor, poderia ser desenvolvido também um módulo de pesquisa assente em classificações semânticas. Estas classificação podia ser feita através do uso de normas como o MPEG-7. As pesquisas semânticas são bastante comuns neste tipo de sistemas, tendo por base a classificação feita pelos utilizadores com palavras-chave, temas ou categorias. Assim, uma proposta de desenvolvimento futuro passaria por integrar a pesquisa de cor com a pesquisa por palavras-chave, temas e categorias, que seriam anotadas previamente nos vídeos, como o VideoSpace explorou, ou obtidas a partir de repositórios online como o YouTube. Com este tipo de pesquisa, seria possível fazer experiências relativas à cor dos vídeos, inseridos em contextos bem definidos, e daí retirar conclusões. No caso da construção de mosaicos em vídeo, por exemplo, poderíamos fazer uma pesquisa tendo em conta o contexto da imagem introduzida para a pesquisa. Assim, uma imagem da Torre Eiffel, poderia ser recriada usando apenas vídeos que já contivessem a própria Torre Eiffel, de Paris ou de França, dependendo do âmbito da pesquisa. No contexto actual do ColorsInMotion, poderiam, por exemplo, ser usados vídeos de músicas ou danças de França.
Outro tipo pesquisa que poderia ser introduzido é a pesquisa por movimentos. Este tipo de pesquisa poderia tirar partido dos loops de cenas e também das imagens em slit
scan, de forma a procurar determinados movimentos sugeridos pelo utilizador,
complementado a interacção baseada em movimento.
A nível de processamento e análise, poderiam ser introduzidas novas funcionalidades, bem como melhorias ao nível dos algoritmos usados para analisar e processar os vídeos. Poderiam ser refinados os métodos de análise de cores nos vídeos, nomeadamente ao nível da combinação de métricas. Poderiam ser combinadas as métricas de cor média e cor dominante de forma a obter um resultado mais fiável sobre as cores mais representativas do vídeo.
Tendo em vista a edição de vídeo poderia ser desenvolvido um novo módulo que faria uso das pesquisas por cor, para, por exemplo, seleccionar vídeos para um sistema de edição semi-automático baseado em pesquisas das propriedades de cor e movimento. Um utilizador poderia assinalar numa linha temporal que cores e/ou movimentos quer em que alturas, e o sistema encarregava-se de construir um vídeo a partir dos vídeos
72
devolvidos pela pesquisa. Este tipo de automatismo faria com que as tarefas de edição fossem realizadas de forma mais rápida e agradável por parte dos utilizadores.
É possível refinar a interface e o aspecto gráfico das aplicações, tendo em conta também a utilização num ambiente de instalação interactiva. Embora muitos dos comandos da aplicação já sejam possíveis fazer usando uma interacção gestual, poderiam ser refinados os mapeamentos para acomodar novas funcionalidades.
Também para ter em conta um ambiente de instalação interactiva poderia ser desenvolvida uma nova forma de interacção, usando mesas multi-toque, com módulos de interacção desenvolvidos para o efeito, usando bibliotecas como a PyMT (url- PyMT), que permitiriam uma interacção com várias pessoas no espaço de vídeos do ColorsInMotion, por exemplo criando pinturas colaborativas e interagindo com vários vídeos ao mesmo tempo no espaço de vídeos.
Em relação à interacção entre vídeos, poderia ser criado um parâmetro para controlar a intensidade das forças que actuam no sistema de partículas, tornando-o sensível às condições do ambiente ou às preferências do utilizador. Este tipo de parâmetro controlaria a forma de organização do sistema, contribuindo para uma interacção e comportamento das partículas mais configurável.
Também poderia ser usado o áudio dos vídeos para criar novas visualizações baseadas em ritmos, por exemplo de vídeos musicais, de forma a dar ao utilizador mais uma dimensão para explorar nos vídeos.
Está a trabalhar-se no sentido de integração do ColorsInMotion com o VideoSpace, numa perspectiva de utilizar os princípios que os dois sistemas têm em comum, complementando funcionalidades e aproveitando a capacidade de interacção com os vídeos a um nível individual que o VideoSpace tem, estendendo as dimensões de cor e movimento.
Finalmente poderiam ser estudadas novas formas de suportar a expressão da criatividade, nomeadamente através de diferentes tipos de visualização, estendendo o trabalho já feito.
73
Anexo A – Estruturas Para Guardar os Dados de
Suporte ao Vídeo
Foram criadas duas estruturas de dados para guardar os dados referentes aos vídeos (VideoObject) e aos loops (Loop). Na Figura A.1 pode ver-se um diagrama de classes com a especificação simplificada para cada uma destas estruturas de dados.
No objecto VideoObject, são guardadas as informações relativas aos três histogramas criados, à cor média, e dominantes e relativas percentagens de predominância; detalhes do vídeo como largura, altura, duração, nome do ficheiro e sua
Figura A.1 – Diagrama de classes das estruturas de dados criadas no ColorsInMotion
74
localização; o número de contentores usados para criar os histogramas; as imagens de
slit scan e de cor média, bem como uma lista de todas as imagens extraídas do vídeo e
uma lista de loops gerados a partir do vídeo.
No objecto Loop, guardam-se as informações relativas ao tipo de loop, a cor que fica associada ao loop e sua percentagem de predominância caso se aplique, bem como o espaço de cor em que foi criado o loop. Também é guardada uma referência para o VideoObject do vídeo de onde o loop foi tirado e uma lista com todas as imagens que o constituem. Finalmente, é criado um identificador a partir do nome do ficheiro de vídeo, do tipo de loop e do espaço de cor em que foi tirado.
Para além destas estruturas de dados são criados ainda ficheiros de texto para guardar os dados em disco. Neles, a informação é concatenada usando separadores e seguindo regras definidas no ColorsInMotion. Em baixo apresenta-se o exemplo da informação guardada para um loop por cor dominante para o vídeo “caet01.mov”. Podemos ver o identificador de loop no início, o nome do ficheiro, o tipo de ficheiro, o espaço de cor, os valores das três componentes do espaço de cor, a percentagem de predominância usada na extracção e a lista de imagens que constituem o loop.
caet01.mov_domColRGB;caet01.mov;1;0;16.0,16.0,16.0;25.0;,ca et01.mov_domColRGB_0.png,caet01.mov_domColRGB_1.png,caet01. mov_domColRGB_2.png,caet01.mov_domColRGB_3.png,caet01.mov_d omColRGB_4.png,caet01.mov_domColRGB_5.png,caet01.mov_domCol RGB_6.png,caet01.mov_domColRGB_7.png,caet01.mov_domColRGB_8 .png,caet01.mov_domColRGB_9.png,caet01.mov_domColRGB_10.png ,caet01.mov_domColRGB_11.png,caet01.mov_domColRGB_12.png,ca et01.mov_domColRGB_13.png,caet01.mov_domColRGB_14.png,caet0 1.mov_domColRGB_15.png,caet01.mov_domColRGB_16.png,caet01.m ov_domColRGB_17.png,caet01.mov_domColRGB_18.png,caet01.mov_ domColRGB_19.png
75
Anexo B - Lista de Comandos do ColorsInMotion
• L – Alterna entre espaços de cor, RGB ou HSB no ColorsInMotion Viewer • R – Faz reset à aplicação ColorsInMotion Viewer ou inicia a gravação da
webcam para análise no ColorsInMotion Video Analyzer
• M – Mostra ou esconde o mosaico de vídeos • Q – Limpa o ecrã no ColorsInMotion Viewer
• D – Liga ou desliga o efeito de arrasto no sistema de partículas • N – Permite mostrar ou esconder o sistema de partículas
• C – Alterna entre tipos de loops com a sequência: loops tradicionais, loops de cor média, loops de cor dominante, loops de cenas.
• V – Alterna a vista do sistema de partículas com a sequência: loops, círculos, rectângulos, slit scans.
• A – Aproxima no sistema de partículas (aumenta zoom) • Z – Afasta no sistema de partículas (diminui zoom)
• Barra de Espaços – Liga ou desliga o menu de pesquisa no ColorsInMotion Viewer. No ColorsInMotion Video Analyzer esta tecla é usada para alternar entre espaços de cor.
• Para seleccionar um vídeo no sistema de partículas do ColorsInMotion Viewer usa-se o botão direito do rato.
• Para arrastar uma partícula no sistema do ColorsInMotion Viewer usa-se o botão esquerdo do rato.
77
Referências Bibliográficas
Adams, B. and Venkatesh, S., (2004) Director in your pocket: holistic help for the hapless home videographer In Proceedings of the 12th Annual ACM international
Conference on Multimedia (New York, NY, USA, October 10 - 16). MULTIMEDIA
'04. ACM, New York, NY, 460-463.
Bassiou, N. and Kotropoulos, C., (2006) Color histogram equalization using probability smoothing In Proceedings of European Signal Processing Conference (EUSIPCO
2006), Florence, Italy, 4-8 September.
Bocconi, S. and Nack, F., (2004) Automatic generation of biased video sequences In
Proceedings of the 1st ACM Workshop on Story Representation, Mechanism and Context (New York, NY, USA, October 15 - 15). SRMC '04. ACM, New York, NY, 9-
16.
Boreczky, J., Girgensohn, A., Golovchinsky, G., and Uchihashi, S., (2000) An interactive comic book presentation for exploring video In Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems (The Hague, The Netherlands,
April 01 - 06). CHI '00. ACM, New York, NY, 185-192.
Buelow, P. (2002) Using evolutionary algorithms to aid designers of architectural structures in Bentley, P. and Corne, D., Creative Evolutionary Systems. Morgan Kauffman Publishers, San Francisco, California.
Card, S., MacKinlay, J. And Shneiderman, B., (1999) Reading in Information Visualization: Using Vision to Think. Morgan Kaufmann Publishers, San Francisco, California.
Chambel, T., Correia, L., Manzolli, J., Miguel, G. D., Henriques, N. A., and Correia, N., (2007) Technology and Digital Art: Creating video art with evolutionary algorithms In
78
Chang, P., Han, M. and Gong, Y., (2002) Extract Highlights From Baseball Game Video With Hidden Markov Models In Proceedings of the 2002 International
Conference on Image Processing, vol. 1, pp. 609-612.
Costa, B., Gouyon, F., Sarmento, L., (2008) A Prototype for Visualizing Music Artist Networks In Artech 2008 Proceedings of the 4th International Conference on Digital
Arts (Porto, Portugal, November 7 – 8). Universidade Católica Portuguesa/Porto –
Escola das Artes, 245-248.
Daniel, G. and Chen, M., (2003) Video Visualization In Proceedings of the 14th IEEE
Visualization 2003 (Vis'03) (October 22 - 24). IEEE Visualization. IEEE Computer
Society, Washington, DC, 54.
Elliott, E. and Davenport, G., (1994) Video Streamer In Conference Companion on Human Factors in Computing Systems (Boston, Massachusetts, United States, April 24 - 28). C. Plaisant, Ed. CHI '94. ACM, New York, NY, 65-68.
Fels, S. and Mase, K., (1999) Interactive video cubism In Proceedings of the 1999
Workshop on New Paradigms in information Visualization and Manipulation in Conjunction with the Eighth ACM internation Conference on information and Knowledge Management (Kansas City, Missouri, United States, November 02 - 06).
NPIVM '99. ACM, New York, NY, 78-82.
Fels, S., Lee, E., and Mase, K., (2000) Techniques for interactive video cubism (poster session) In Proceedings of the Eighth ACM international Conference on Multimedia (Marina del Rey, California, United States). MULTIMEDIA '00. ACM, New York, NY, 368-370.
Ferman, M., Krishnamachari, S., Tekalp, M., Abdel-Mottaleb, M., Mehrotra, R., (2000) Group-of-frames/pictures color histogram descriptors for multimedia applications in Proceedings of the International Conference on Image Processing (ICIP 2000), Vancouver, BC, Canada, September 10-13, 2000. IEEE Computer Society.
Few, S., (2007) Data Visualization: Past, Present and Future. IBM Cognos Innovation Center.
Finkelstein, A. and Range, M., (1998) Image Mosaics In Proceedings of the 7th international Conference on Electronic Publishing, Held Jointly with the 4th international Conference on Raster Imaging and Digital Typography: Electronic Publishing, Artistic Imaging, and Digital Typography (March 30 - April 03). R. D.
79
Hersch, J. André, and H. Brown, Eds. Lecture Notes In Computer Science, vol. 1375. Springer-Verlag, London, 11-22.
Girgensohn, A., Boreczky, J., Chiu, P., Doherty, J., Foote, J., Golovchinsky, G., Uchihashi, S., and Wilcox, L., (2000) A semi-automatic approach to home video editing In Proceedings of the 13th Annual ACM Symposium on User interface Software and
Technology (San Diego, California, United States, November 06 - 08). UIST '00. ACM,
New York, NY, 81-89.
Heer, J., Card, S. K., and Landay, J. A., (2005) prefuse: a toolkit for interactive information visualization In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (Portland, Oregon, USA, April 02 - 07). CHI '05. ACM, New York, NY, 421-430.
Huang, X., Zhang, S., Wang, G. and Wang, H., (2006) A new image retrieval method based on optimal color matching in Proceedings of the International Conference on Image Processing, Computer Vision & Pattern Recognition (IPCV '06), vol. 1, pp. 276– 281, Las Vegas, Nev, USA, June 2006.
Irani, M., Anandan, P., and Hsu, S., (1995) Mosaic based representations of video sequences and their applications In Proceedings of the Fifth international Conference on Computer Vision (June 20 - 23). ICCV. IEEE Computer Society, Washington, DC, 605. Kerminen, P. and Gabbouj, M., (1999) Image Retrieval Based on Color Matching, Proceedings of FINSIG'99, Oulun yliopistopaino, Finland, 89-93.
Kirk, D., Sellen, A., Rother, C., and Wood, K., (2006) Understanding photowork In
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems
(Montréal, Québec, Canada, April 22 - 27). R. Grinter, T. Rodden, P. Aoki, E. Cutrell, R. Jeffries, and G. Olson, Eds. CHI '06. ACM, New York, NY, 761-770.
Kirk, D., Sellen, A., Harper, R., and Wood, K., (2007) Understanding videowork In
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (San
Jose, California, USA, April 28 - May 03). CHI '07. ACM, New York, NY, 61-70. Klein, A. W., Grant, T., Finkelstein, A., and Cohen, M. F., (2002) Video Mosaics In Proceedings of the 2nd international Symposium on Non-Photorealistic Animation and Rendering (Annecy, France, June 03 - 05). NPAR '02. ACM, New York, NY, 21-ff. Lovejoy, M., (2004) Digital Currents: Art in the Electronic Age. Routledge New York, 132-133.
80
Luo, H. and Fan, J., (2006) Large-scale video retrieval via semantic classification In
Proceedings of the 14th Annual ACM international Conference on Multimedia (Santa
Barbara, CA, USA, October 23 - 27). MULTIMEDIA '06. ACM, New York, NY, 884- 886.
Makela, M., (2006) Live Cinema: Language and Elements. MA in New Media, Submitted to the New Media Program, Media Lab, Helsinki University of Art and Design (April).
Makela, M., (2008) The Practice of Live Cinema In Artech 2008 Proceedings of the 4th
International Conference on Digital Arts (Porto, Portugal, November 7 – 8).
Universidade Católica Portuguesa/Porto – Escola das Artes, 83-91.
Martin, S., (2004) Video Mosaics, Berkeley, Final Project for CS283 Graduate Graphics with Prof James O'Brien, http://stevezero.com/eecs/mosaic/index.htm
Mas, J. and Fernandez, G., (2003), Video shot boundary detection using color histogram In Notebook Papers TRECVID2003, Gaithersburg, Maryland, NIST, October.
Moroni, A., Manzolli, J., von Zuben, F. and Gudwin, R., (2002) Vox Populi: evolutionary computarion for music evolution in Bentley, P. and Corne, D., Creative Evolutionary Systems. Morgan Kauffman Publishers, San Francisco, California.
Nack, F. and Lindsay, A., (1999a) Everything You Wanted to Know About MPEG-7: Part 1 In IEEE MultiMedia, vol. 6, no. 3, pp. 65-77, Jul-Sept.
Nack, F. and Lindsay, A., (1999b) Everything You Wanted to Know About MPEG-7: Part 2 In IEEE MultiMedia, vol. 6, no. 4, pp. 64-73, Oct-Dec.
Palika, D., (1990) C-itcoms: Visual Metaphors Written in the 'C' Programming Language In Leonardo, Vol. 23 No. 2/3, New Foundations: Classroom Lessons in Art/Science/Technology for the 1990s, 301-306.
Pepperell, R., (2002) Computer aided creativity: practical experience and theoretical concerns In Proceedings of the 4th Conference on Creativity & Cognition (Loughborough, UK, October 13 - 16). C&C '02. ACM, New York, NY, 50-56.
Prince, P. D., (1995) Digital art: the new literacy, a personal view of the evolution of art issues In SIGGRAPH Comput. Graph. 29, 4 (Nov.), 30-31.
81
Rocha T. and Chambel T., (2008) VideoSpace: A 3D Video Experience In Artech 2008
Proceedings of the 4th International Conference on Digital Arts (Porto, Portugal,
November 7 – 8). Universidade Católica Portuguesa/Porto – Escola das Artes, 305-310. Saykol E., Güdükbay U., Ulusoy O., (2004) Integrated Querying of Images by Color, Shape, and Texture Content of Salient Objects In Lecture Notes in Computer Science (LNCS), Vol. 3261, Advances in Information Sciences (ADVIS'2004), Edited by Tatyana Yakhno, pp. 363-371, Springer-Verlag, Izmir, Turkey.
Sims, K., (1991) Artificial evolution for computer graphics In Proceedings of the 18th
Annual Conference on Computer Graphics and interactive Techniques SIGGRAPH '91.
ACM, New York, NY, 319-328.
Tang, A., Greenberg, S., and Fels, S., (2009) Exploring video streams using slit-tear visualizations. In Proceedings of the 27th international Conference Extended Abstracts on Human Factors in Computing Systems (Boston, MA, USA, April 04 - 09). CHI EA '09. ACM, New York, NY, 3509-3510.
Udayasankar S., (2008) Mayil Iragu In Artech 2008 Proceedings of the 4th
International Conference on Digital Arts (Porto, Portugal, November 7 – 8).
Universidade Católica Portuguesa/Porto – Escola das Artes, 229-232.
Wang, Y. and Xie L., (2001) VisGenie: A Generic Video Visualization System. EE6850 Project, Department of Electrical Engineering, Columbia University.
83
Referências Web
(url-Arkaos) ArKaos – Interactive Vídeo Technologies http://www.arkaos.net/ (url-Barney) The Cremaster Cycle by Matthew Barney http://www.cremaster.net/ (url-controlP5) controlP5 – Controller Library for Processing
http://www.sojamo.de/libraries/controlP5/
(url-Dada) The International Dada Archive – The University of Iowa http://sdrc.lib.uiowa.edu/dada/index.html
(url-FinalCut) Apple – Final Cut Studio 2 – Final Cut Pro 6 http://www.apple.com/finalcutstudio/finalcutpro/
(url-Fischinger) Fischinger Archive http://www.oskarfischinger.org/ (url-FreeFrame) FreeFrame Open Realtime Vídeo Effects
http://freeframe.sourceforge.net/
(url-GenerativeArt) Generative.net – Definitions http://www.generative.net/read/definitions (url-Hall) Early Video Art by David Hall
http://davidsonsfiles.org/early%20video%20art.html (url-HCIM) Human Computer Interaction and Multimédia http://hcim.lasige.di.fc.ul.pt/wiki/Main_Page
(url-iMovie) Apple iMovie http://www.apple.com/ilife/imovie/ (url-JayCut) JayCut http://jaycut.com/
(url-JMyron) JMyron http://webcamxtra.sourceforge.net/index.shtml (url-Kaltura) Kaltura http://corp.kaltura.com/
84
(url-Kuleshov) The Principles of Montage – Lev Kuleshov http://www.cs.vu.nl/~eliens/demo/local/edgecodes/montage.htm (url-LaSIGE) Large-Scale Informatics Systems Laboratory http://lasige.di.fc.ul.pt/Main_Page
(url-Max/MSP/Jitter) Cycling74 – Max 5 http://www.cycling74.com/products/max5 (url-Modul8) Modul8 VJ software http://www.garagecube.com/modul8/
(url-MovieMasher) MovieMasher: Open Source Online Vídeo Editor http://www.moviemasher.com/
(url-OpenCV) Open Computer Vision Library http://sourceforge.net/projects/opencvlibrary/
(url-openFrameworks) openFrameworks http://www.openframeworks.cc/ (url-PaikStudios) Paik Studios http://www.paikstudios.com/
(url-physics) Phyisics library for Processing http://www.cs.princeton.edu/~traer/physics/ (url-Prefuse) Prefuse – Interactive Information Visualization Toolkit http://prefuse.org/ (url-Premiere) Adobe Premiere Pro CS4 http://www.adobe.com/products/premiere/ (url-PremiereExpress) Adobe Premiere Express
http://www.adobe.com/products/premiereexpress/ (url-Processing) Processing http://processing.org/
(url-PureData) Pure Data – PD Community Site http://puredata.info/ (url-PyMT) Python Multitouch http://pymt.txzone.net/
(url-QuartzComposer) Working with Quartz Composer
http://developer.apple.com/graphicsimaging/quartz/quartzcomposer.html (url-Richter) Hans Richter: Rhytmus 21 (1921) – You Tube
http://www.youtube.com/watch?v=uhv2KpQGMqY
(url-Ruttmann) Walter Ruttmann: Lichtspiel, Opus 1 (1921) – YouTube http://www.youtube.com/watch?v=9V8DjVBqHBA
85
(url-sDrop) sDrop – Drag and Drop library for Processing http://www.sojamo.de/libraries/drop/
(url-Skyrails) Skyrails Blog http://cgi.cse.unsw.edu.au/~wyos/skyrails/ (url-SoftCinema) Lev Manovich – Soft Cinema http://www.softcinema.net/ (url-TagClouds) Tag Clouds – Wikipedia http://en.wikipedia.org/wiki/Tag_cloud (url-UnderScan) Under Scan
http://www.threecitiescreate.org.uk/_EMDA_Cultural_Quarters/Future_Plans/Under_Sc an_in_Trafalgar_Square,_London/Under_Scan_Press_Release_October_2008/?PHPSE SSID=hhvbcrd5jm8ha93kvk61jsq237
(url-Vegas) Sony – The Vegas Product Family
http://www.sonycreativesoftware.com/products/vegasfamily.asp (url-Videosphere) Videsphere: An Audiovisual Knowledge Network http://www.bestiario.org/research/videosphere/
(url-Viola) Official Bill Viola Website http://www.billviola.com/
(url-VisualComplexity) VisualComplexity http://www.visualcomplexity.com/vc/ (url-vvvv) vvvv: a multipurpose toolkit http://vvvv.org/
(url-YouTubeP2P) The YouTube effect: HTTP traffic now eclipses P2P
http://arstechnica.com/news.ars/post/20070619-the-youtube-effect-http-traffic-now- eclipses-p2p.html
(url-YouTubeWarp) Warp Player for YouTube http://www.youtube.com/warp_speed (url-WebVideo) Need-to-Know Web Video Stats: Traffic, Rentals, Revenues, UGC http://newteevee.com/2008/01/17/need-to-know-web-video-stats-traffic-rentals- revenues-ugc/
(url-WVideo) Video in Wikipedia http://en.wikipedia.org/wiki/Video (url-WinMovieMaker) Windows Movie Maker