O sistema desenvolvido na ClusterMedia Labs permite realizar a anotação de vídeos, codificados em Flash Vídeo ou em H.264, com o auxílio de um módulo de pré-anotação automática, onde o utilizador final, pode combinar anotações manuais com as automáticas e assim criar um dataset com informação ground truth. Esse dataset poderá ter inúmeras utilizações, quer a nível de criação de conhecimento, quer para facilitar a pesquisa e o acesso à informação.
O protótipo desenvolvido no decorrer desta dissertação já foi incorporado na aplicação principal da empresa com sucesso, pelo que pode-se dar como concluído este projecto.
A continuação deste módulo passa pelo desenvolvimento de novos algoritmos de análise de som e imagem e pela sua associação, de modo a criar um módulo pré-automático o mais fiável e objectivo. Isto é, a combinação do áudio com as imagens podem resultar numa anotação mais real e fidedigna.
64
Bibliografia
1. ClusterMedia Labs: Semantic AudioVisual Analysis Technologies. [Online]
http://www.clustermedialabs.com/.
2. Incubadora de Empresas da Universidade de Aveiro. [Online] [Citação: 25 de Junho de
2008.] http://www.ua.pt/incubadora/.
3. Adi – Agência da Inovação. [Online] [Citação: 25 de Junho de 2008.] http://www.adi.pt/.
4. Rocchesso, Davide. Introduction to Sound Processing. [Online] [Citação: 15 de Janeiro de
2010.]
http://profs.sci.univr.it/~rocchess/htmls/corsi/SoundProcessing/SoundProcessingBook/sp.pdf.
5. Music Facts (Performance, Harmony, Greek, Genres). [Online] [Citação: 15 de Dezembro de
2009.] http://www.artquilt.com/Music/encyclopedia.htm.
6. Cobussen, Marcel. “What is Music?”- A brief sketch of some definitions found throughout
history. [Online] [Citação: 15 de Dezembro de 2009.]
http://www.cobussen.com/proefschrift/300_john_cage/310_what_is_music/what_is_music.h
tm.
7. John Cage, 79, a Minimalist Enchanted With Sound, Dies. [Online] [Citação: 15 de Novembro
de 2009.] http://www.nytimes.com/1992/08/13/us/john-cage-79-a-minimalist-enchanted-
with-sound-dies.html.
8. Patel, A.D. Music, Language, and the Brain. s.l. : Oxford University Press, 2008.
9. Fingerhut, Michael. Music Information Retrieval, or how to search for (and maybe find)
music and do away with incipits. [Online] [Citação: 15 de Dezembro de 2009.]
http://articles.ircam.fr/textes/Fingerhut04b/.
10. Image Processing Fundamentals. [Online] [Citação: 15 de Dezembro de 2009.]
http://www.ph.tn.tudelft.nl/Courses/FIP/frames/fip.html.
11. Biswas, P. K. Digital Image Processing. [Online] [Citação: 15 de Dezembro de 2009.]
http://freevideolectures.com/Signals-Systems/Digital-Image-Processing-(IIT-Kharagpur).html.
65
12. Peters, Alan. Lectures on Image Processing. [Online] 1 de June de 2007. [Citação: 15 de
Dezembro de 2009.] http://www.archive.org/details/Lectures_on_Image_Processing.
13. Tinku Acharya, Ajoy K. Ray. Image Processing: Principles and Applications. s.l. : John Wiley
& Sons, 2005. ISBN: 978-0-471-71998-4.
14. Pattern Recognition on the web. [Online] [Citação: 22 de Janeiro de 2010.]
http://cgm.cs.mcgill.ca/~godfried/teaching/pr-web.html.
15. Ramalho, Geber. Computação Musical. [Online] [Citação: 15 de Dezembro de 2009.]
http://www.cin.ufpe.br/~musica/.
16. Price, Keith. Annotated Computer Vision Bibliography. [Online] [Citação: 22 de Janeiro de
2010.] http://iris.usc.edu/Vision-Notes/bibliography/contents.html.
17. Kyn. Overview of relations between computer vision and other fields. [Online] [Citação: 28
de Janeiro de 2010.] http://en.wikipedia.org/wiki/File:CVoverview2.jpg.
18. Face Recognition Homepage. [Online] http://www.face-rec.org/.
19. Smith, Kelly. Face Recognition. [Online]
http://www.biometrics.gov/Documents/FaceRec.pdf.
20. Azuma, Ronald T. A Survey of Augmented Reality . [Online] Hughes Research Laboratories.
[Citação: 22 de Janeiro de 2010.] http://www.cs.unc.edu/~azuma/ARpresence.pdf.
21. Serra, Jean. Online course on mathematical morphology. [Online] [Citação: 22 de Janeiro
de 2010.] http://cmm.ensmp.fr/~serra/cours/index.htm.
22. NPAR: Non-photrealistic Animation and Rendering. [Online] [Citação: 23 de Janeiro de
2010.] http://www.npar.org/.
23. OpenCV 2.0 C Reference. [Online]
http://opencv.willowgarage.com/documentation/index.html.
24. OpenVIDIA: parallel GPU computer vision. Mann, James Fung and Steve. s.l. : MULTIMEDIA
'05: Proceedings of the 13th annual ACM international conference on Multimedia, 2005.
25. GPUCV: A Framework for Image Processing Acceleration with Graphics Processors. Alusse,
J. P. Farrugia and P. Horain and E. Guehenneux and Y. s.l. : Multimedia and Expo, 2006 IEEE
International Conference, 2006.
26. Tunatic. [Online] http://www.wildbits.com/tunatic/.
27. Midomi. [Online] http://www.midomi.com/.
28. iChords. [Online] D'Accord Music Software. www.daccordmusic.com.
29. Pick, Michael. Online Video Annotation Takes A Giant Leap Forward: Meet The All-New
Mojiti. [Online] [Citação: 15 de Dezembro de 2009.]
66
http://www.masternewmedia.org/video_internet_television/video-annotation/online-video-
annotation-takes-a-giant-leap-20070405.htm.
30. VideoAnnEx Annotation Tool User Manual. [Online] IBM. [Citação: 25 de Junho de 2008.]
http://www.research.ibm.com/VideoAnnEx/usermanual.html.
31. Multimedia Analysis and Retrieval System. [Online] IBM. [Citação: 25 de Junho de 2008.]
http://www.alphaworks.ibm.com/tech/imars.
32. SPIDIR. [Online] [Citação: 25 de Junho de 2008.]
http://www.ntt.co.jp/RD/OFIS/active/2002pdfe/pf12_e.pdf.
33. VideoCittà - Sistema de Armazenamento, Anotação e Acesso a Vídeos. [Online] [Citação: 25
de Junho de 2008.] http://www.si.ips.pt/ests_si/publs_pesquisa.FormView?P_ID=11834.
34. Ricoh MovieTool. [Online] [Citação: 25 de Junho de 2008.]
http://ricoh.co.jp/src/multimedia/MovieTool/.
35. VIDETO Video Description Tool. [Online] [Citação: 25 de Junho de 2008.]
http://www.zgdv.de/zgdv/zgdv/departments/zr4/Produkte/videto.
36. Microsoft Research Annotation System (MARS). [Online] [Citação: 25 de Junho de 2008.]
http://research.microsoft.com/research/coet/MRAS/WWW8/paper.htm.
37. Microsoft Research - Collaborative and Multimedia Systems. [Online] [Citação: 25 de Junho
de 2008.] http://research.microsoft.com/coet/.
38. FilmEd Project. [Online] [Citação: 25 de Junho de 2008.]
http://en.wikipedia.org/wiki/Distributed_Systems_Technology_Centre.
39. The Sound Forge Product Family. [Online] Sony. [Citação: 15 de Junho de 2008.]
http://www.sonycreativesoftware.com/products/soundforgefamily.asp.
40. LabelMe: The open annotation tool. [Online] M.I.T. [Citação: 25 de Junho de 2008.]
http://labelme.csail.mit.edu/.
41. Bryan C. Russell, Antonio Torralba, Kevin P. Murphy, William T. Freeman. LabelMe: a
database and web-based tool for image annotation. [Online] [Citação: 25 de Junho de 2008.]
http://people.csail.mit.edu/brussell/research/AIM-2005-025-new.pdf.
42. ActionScript Technology Center. [Online] Adobe Developer.
http://www.adobe.com/devnet/actionscript/.
43. Macromedia Flash Support Center. [Online] Adobe.
http://www.adobe.com/support/flash/action_scripts.html.
44. Stroustrup, Bjarne. A History of C++: 1979−1991. [Online]
http://www2.research.att.com/~bs/hopl2.pdf.
67
46. Pine, Chris. Learn to program. [Online] http://pine.fm/LearnToProgram/.
47. Ruby in Twenty Minutes. [Online] http://www.ruby-
lang.org/en/documentation/quickstart/.
48. Pickaxe - Ruby. [Online] http://www.rubycentral.com/pickaxe/.
49. Gay, Jonathan. The History of Flash. [Online] Adobe.
http://www.adobe.com/macromedia/events/john_gay/index.html.
50. Flex Development. [Online] http://www.informiv.com/flex_development.asp.
51. Flex - open source framework. [Online] Adobe. http://www.adobe.com/products/flex/.
52. Air - rich Internet Applications. [Online] Adobe. http://www.adobe.com/products/air/.
53. Adobe AIR resources. [Online] Adobe.
http://www.adobe.com/support/documentation/en/air/.
54. Ruby on Rails. [Online] http://www.rubyonrails.org/.
55. Help and documentation for the Ruby programming language. RUBY-DOC.ORG. [Online]
http://www.ruby-doc.org/.
56. Silverlight - Media Technical Details. [Online] Microsoft.
http://www.microsoft.com/silverlight/overview/mediaDetail.aspx.
57. Sneath, Tim. Introducing Microsoft Silverlight. [Online] [Citação: 25 de Junho de 2008.]
http://blogs.msdn.com/tims/archive/2007/04/15/introducing-microsoft-silverlight.aspx.
58. Oficial Microsoft Silverlight. [Online] Microsoft. [Citação: 25 de Junho de 2008.]
http://silverlight.net/.
59. Microsoft Visual Studio. [Online] Microsoft. [Citação: 25 de Junho de 2008.]
http://msdn.microsoft.com/vstudio/products/.
60. Winett, Joel M. The Definition of a Socket. [Online] Lincoln Laboratory. [Citação: 25 de
Junho de 2008.] http://tools.ietf.org/html/rfc147.
61. Berkeley Sockets. [Online] [Citação: 25 de Junho de 2008.]
http://phobos.ramapo.edu/~vmiller/AdvancedUnix/berkeley_socket.htm.
62. Ohlund, Anthony Jones and Jim. Network Programming for Microsoft Windows. s.l. :
Microsoft Press, 2002.
63. TCP/IP Raw Sockets. [Online] MSDN. [Citação: 25 de Junho de 2008.]
http://msdn.microsoft.com/en-us/library/ms740548.aspx.
64. Beej's Guide to Network Programming - Using Internet Sockets. [Online] [Citação: 25 de
Junho de 2008.] http://beej.us/guide/bgnet/.
68
65. Client / Server Programming with TCP/IP Sockets. [Online] [Citação: 25 de Junho de 2008.]
http://devmentor.org/articles/network/Socket%20Programming.pdf.
66. Server Sockets. [Online] [Citação: 25 de Junho de 2008.]
http://www.cafeaulait.org/course/week12/24.html.
67. Open Source Flash. [Online] RED 5. http://osflash.org/red5.
68. Gupta, Sunil Kumar. How to create a sample application using Red5 and Flash. [Online]
http://sunil-gupta.blogspot.com/2007/03/how-to-create-sample-application-using.html.
69. Affonso, Rafael. Protocolo RTMP. [Online]
http://rafow.wordpress.com/2008/05/26/protocolo-rtmp/.
70. FFmpeg Project Description. [Online] http://ffmpeg.mplayerhq.hu/.
71. Video Learning Guide for Flash CS4 Professional. [Online] Adobe.
http://www.adobe.com/devnet/flash/articles/video_guide.html.
72. Encode, Deliver, Design: Getting a Grip on Flash Video. [Online] Adobe Developer.
http://www.adobe.com/devnet/flash/articles/flv_howto.html.
73. FLV/F4V Technology Center. [Online] Adobe. http://www.adobe.com/devnet/flv/.
74. Learn flv files and flv knowlegde. [Online] AUNsoft. http://www.aunsoft.com/what-is-flv/.
75. MySQL - The world's most popular open source database. [Online] Sun Microsystems, Inc.
http://www.mysql.com/.
76. Structured Query Language (SQL). [Online]
http://databases.about.com/od/sql/a/sqlbasics.htm.
77. Webyog Software. [Online] http://www.webyog.com/en/.
78. Subversion is an open source version control system. Tigris.org - Open Source Software
Engineering Tools. [Online] http://subversion.tigris.org/.
79. TortoiseSVN. [Online] http://tortoisesvn.tigris.org/.
80. Security Solutions for Business Acceleration. RSA, The Security Division of EMC. [Online]
http://www.rsa.com/.
81. The MD5 Message-Digest Algorithm. [Online] http://tools.ietf.org/html/rfc1321.
82. World Wide Web Consortium (W3C). [Online] [Citação: 19 de Janeiro de 2010.]
http://www.w3.org/.
83. The WAVE File Format. [Online] [Citação: 25 de Junho de 2008.]
http://www.lightlink.com/tjweber/StripWav/WAVE.html.
84. Microsoft WAVE soundfile format. [Online] [Citação: 25 de Junho de 2008.]
http://ccrma.stanford.edu/courses/422/projects/WaveFormat/.
69
85. Spectrogram Reading. [Online]
http://cslu.cse.ogi.edu/tutordemos/SpectrogramReading/spectrogram_reading.html.
86. Truax, Barry. Spectrogram. Handbook for Acoustic Ecology . [Online] [Citação: 28 de
Janeiro de 2010.] http://www.sfu.ca/sonic-studio/handbook/Spectrograph.html.
87. Smith, Julius O. The Short-Time Fourier Transform. [Online] [Citação: 28 de Janeiro de
2010.] http://www.dsprelated.com/dspbooks/sasp/Short_Time_Fourier_Transform.html.
88. A. V. Oppenheim, R. W. Schafer e J. R. Buck. Discrete-Time Signal Processing, 2nd edition.
s.l. : Prentice-Hall, 1999.
89. Paolo Prandoni, Martin Vetterli. Signal Processing for Communications. s.l. : EPFL Press,
2008.
No documento
Sistema web semi-automático para anotação colaborativa de média H.264 e flash vídeo
(páginas 77-83)