5. IMPLEMENTAÇÃO E RESULTADOS DO PROTÓTIPO
5.1 C ARACTERIZAÇÃO DO PROTÓTIPO
5.2.4 Teste 4
A imagem seguinte, Figura 46, mostra uma cena interior, onde podemos ver uma pessoa a subir as escadas. O objectivo deste teste seria obter os contornos da pessoa que sobe as escadas através do algoritmo de segmentação.
Figura 46 – Imagem 4 de teste
5.2.4.1 Segmentação sem recorrer à imagem em disparidade
A Figura 47 mostra o resultado da segmentação da imagem 4 de teste sem recorrer à informação em disparidade.
Figura 47 – Segmentação da imagem 4 de teste sem informação em disparidade.
Após a segmentação o cluster 3 apresenta os objectos que têm a cor mais escura na imagem rectificada.
Figura 48 – Cluster 3
Neste cluster a informação da pessoa é representada com os restantes objectos com níveis de cinzento mais escuros que compõem a cena, o corrimão, a parede do lado direito da imagem e a parte mais distante da imagem.
Os restantes clusters apresentam a informação por tonalidades dos níveis de cinzento, tal como se observou também nas imagens anteriores.
5.2.4.2 Segmentação recorrendo à imagem em disparidade
A Figura 49 apresenta a imagem 4 de teste e a correspondente imagem em disparidade.
Figura 49 – (a) Imagem 4 de teste. (b) imagem em disparidade
Na Figura 49 (b) podemos ver que a pessoa que faz parte da imagem se encontra mais perto, uma vez que o nível de cinzento apresentado é mais claro que o nível de cinzento do fundo da imagem.
A Figura 50 mostra o resultado da segmentação da imagem 4 de teste recorrendo à informação em disparidade. Onde se pode observar que a construção dos clusters é também, nesta cena influenciada pela informação em disparidade.
Relativamente à segmentação da pessoa que sobe as escadas, objectivo principal deste teste, pode ser observada no cluster 5 (Figura 51).
Figura 51 – Cluster 5
Na segmentação da imagem sem informação em disparidade o corrimão, o fundo e a pessoa aparecem no mesmo cluster. Na segmentação recorrendo à informação em disparidade aparece de forma clara os contornos de uma pessoa, uma vez que esses contornos se encontram bem definidos na imagem em disparidade.
5.3 Conclusão
Após a realização dos testes podemos concluir que em determinadas situações, o facto de o algoritmo de segmentação ser realizado recorrendo à informação em disparidade contribui para que a segmentação apresente melhores resultados.
Como pudemos ver no teste 1, na segmentação recorrendo apenas à informação relativa ao nível de cinzento dos pixéis da imagem rectificada, apenas no cluster 4 é apresentado o candeeiro, porém este encontra-se misturado com o resto dos objectos que estão contidos em plano de fundo.
Recorrendo à imagem em disparidade surgem alterações significativas no resultado. Através do cluster 4, podemos ver os contornos do candeeiro, o que permitirá mais tarde, através de algoritmos de reconhecimento, identificar o objecto como sendo um candeeiro.
O teste 2 apresenta uma imagem que contém apenas o monitor de um computador, a mesa e uma garrafa de água. Apesar de podermos pensar que esta seria uma óptima imagem a segmentar, a imagem em disparidade contém pouca informação, sendo composta apenas pelos contornos do objecto (monitor). A imagem a segmentar é muito igual entre si, sendo constituída por uma parede branca e um monitor que apresenta o ecrã todo no mesmo nível de cinzento. A falta de textura faz com que a imagem em disparidade contenha pouca informação, uma vez que não é possível realizar a correspondência entre pixéis, o que prejudica o resultado da segmentação recorrendo à informação em disparidade.
A qualidade da imagem em disparidade afecta bastante o resultado final da segmentação, uma vez que o peso dado aos valores dos pixéis da imagem em disparidade é da mesma ordem do peso dado aos valores dos pixéis da imagem rectificada. A qualidade da imagem em disparidade é afectada por alguns factores, entre os quais, a luminosidade da área a capturar, a textura dos objectos que constituem a cena, entre outros.
No teste 3 a passadeira e o céu são mais claros que os outros objectos, logo são bem segmentados tanto quando se utiliza informação em disparidade quer quando não é utilizada essa informação.
Por fim no teste 4 a imagem em disparidade contribuiu fortemente para a segmentação da pessoa que sobe as escadas, uma vez que esta se encontra mais próxima do sistema de visão estéreo.
Assim, e depois de estudados os resultados obtidos, podemos dizer que nos casos em que a imagem rectificada não contém os contornos bem definidos a imagem em disparidade representa um papel deveras importante na segmentação.
A aquisição da imagem em disparidade tem que ser um método bastante bem controlado, uma vez que da qualidade da imagem em disparidade depende o resultado da segmentação da imagem em questão.
Concluindo este estudo verificamos que a utilização da imagem em disparidade, desde que esta contenha informação suficiente e de qualidade, acrescenta uma mais-valia aos algoritmos de segmentação de imagem.
A informação resultante da segmentação da imagem pode, mais tarde, ser utilizada na realização do reconhecimento de objectos. Os resultados obtidos do reconhecimento de objectos poderão ser disponibilizados a pessoas com deficiências visuais. Desta forma, poder-se-á colmatar um pouco a carência de informação que os deficientes visuais apresentam nos dias de hoje, uma vez que, os meios de que dispõem não fornecem informação sobre o ambiente que os rodeia.
Capítulo 6
6. Conclusão
Este capítulo encontra-se dividido em três subcapítulos distintos. O primeiro apresenta a síntese do trabalho realizado, passando pelos capítulos conceptuais, até ao capítulo de discussão de resultados.
No subcapítulo de trabalho futuro, serão apresentadas algumas sugestões quanto a, onde é que os resultados deste projecto possam vir a ser aplicados futuramente.
Por fim, será apresentado o subcapítulo de considerações finais.
6.1 Síntese do trabalho
A visão estéreo é uma vasta área em desenvolvimento nos dias correntes. Através de duas imagens de um mesmo objecto, capturadas pelos nossos olhos e combinando-as, podemos obter uma percepção do que nos rodeia de forma tridimensional.
Tal como o ser humano consegue estimar distâncias aos objectos utilizando os dois olhos, a distância a determinados objectos pode ser calculada utilizando duas câmaras, estas câmaras podem constituir um sistema de visão estéreo. Através da junção de duas imagens captadas pelas câmaras, e utilizando a diferença (disparidade) existente entre as duas imagens é possível obter uma noção de profundidade. A visão estéreo é nos dias de hoje, uma
técnica vastamente utilizada e divulgada, quando se tem por objectivo obter informação do mundo circundante através de duas ou mais câmaras.
A segmentação de imagens tem como principal objectivo a divisão de uma imagem nas suas várias partes ou objectos que a compõem, sendo que uma das mais importantes aplicações da segmentação de imagens é na medicina. Os sistemas de segmentação automática podem simplificar o processo de exame em várias situações, como por exemplo, contagem de células, classificação de células, etc.
Após um estudo do que é a visão estéreo, como é que esta é formada e após a análise de algumas técnicas de segmentação de imagem, procedeu-se à elaboração de um protótipo que permite recolher imagens em disparidade, e proceder à segmentação destas através de uma técnica de clustering.
Para realizar a recolha de imagens foi utilizada a câmara bumblebee2
produzida pela empresa Point Grey, que permite capturar imagens que contêm já a informação em disparidade, como algoritmo de clustering foi utilizado o algoritmo Fuzzy c-Means, que permite segmentar uma imagem com base em técnicas fuzzy.
Após o estudo chegamos à conclusão que a utilização de informação da imagem em disparidade beneficia o resultado da segmentação de imagens. A disparidade permite utilizar mais informação além do nível de cinzento dos pixéis da imagem a segmentar, pois esta contém informação relativamente à distância dos objectos à câmara, sendo essa informação mapeada através do nível de cinzento dos pixéis da imagem em disparidade. É essa informação que é adicionada ao algoritmo de segmentação, e que permite que os resultados da segmentação sejam melhorados.
Para que a junção da informação em disparidade possa ter os resultados esperados no algoritmo de segmentação, é necessário que os parâmetros estéreo, que ajudam a obter a imagem em disparidade estejam correctamente definidos, caso contrário a utilização da imagem em disparidade não trará nenhuma vantagem à segmentação de imagens.
Assim, e uma vez terminado o nosso estudo podemos dizer que a utilização das imagens em disparidade ajuda a melhorar a qualidade da segmentação de imagens, tornando a segmentação mais precisa e fidedigna à cena em análise.
6.2 Trabalho futuro
Este projecto foi criado com o intuito de obter um sistema que permita adquirir informação do meio e disponibilizar essa informação para apoiar os deficientes visuais, na difícil tarefa que lhes é imposta todos os dias, orientarem-se sem recorrer a um dos sentidos tão importantes para essa tarefa como a visão.
Através da imagem em disparidade pode-se adquirir informação quanto à distância do objecto à câmara. Essa informação pode também ser utilizada para que o deficiente visual possa ter não só informação a nível de quais os objectos que o rodeiam, mas ainda qual a distância a que esses objectos se encontram.
À aplicação criada pode-se adicionar uma funcionalidade extra que tem como objectivo melhorar a qualidade das imagens em disparidade capturadas. Essa funcionalidade, teria como objectivo detectar a luminosidade do ambiente a captar e ajustar os parâmetros conforme a luminosidade, uma vez que, os parâmetros estéreo dependem da cena a capturar.
No seguimento deste trabalho testes exaustivos devem ser efectuados variando os pesos dados à informação proveniente dos níveis de cinzento e também da informação em disparidade de cada pixel. Deveria também ser testado o mesmo algoritmo sem a informação espacial uma vez a sua utilização contribuiu muito pouco para a segmentação dos objectos, dado que o seu peso foi significativamente reduzido na operação do cálculo dos clusters.
6.3 Considerações finais
Ao longo do estudo aqui realizado a nossa atenção centrou-se sobre a visão estéreo e sobre os algoritmos de clustering de imagens, mais propriamente o algoritmo Fuzzy c-Means.
Através do estudo efectuado, podemos concluir que a utilização da imagem em disparidade, em certas situações traz uma mais-valia ao processo de segmentação aqui apresentado, Fuzzy c-Means, quando a imagem a segmentar apresenta níveis de cinzento muito semelhantes entre si. A segmentação simples tem em conta a posição espacial do pixel, porém a tonalidade do pixel apresenta maior relevância no cálculo dos centros dos
clusters. Se os valores de cinzento se encontram muito próximos o algoritmo de segmentação simples apresenta resultados muito fracos.
Esperamos que este estudo seja o mote para a criação de um sistema maior e mais complexo que permita auxiliar os deficientes visuais na difícil tarefa que lhes é apresentada no dia-a-dia. [Weng, Cohen et al. 1992]
Referências
Aliyazicioglu, Z., K. Hayden, et al. (2006). "Stereo vision on a smart rover." 2006 ASEE Annual Conference & Exposition: Excellence in Education.
Anderberg, M. R. (1973). "Cluster analysis for applications." New York.
Anderson, J. D., D. J. Lee, et al. (2007). "Embedded stereo vision system providing visual guidance to the visually impaired." Life Science Systems and Applications Workshop, 2007. LISA 2007. IEEE/NIH: 229-232.
bbc.co.uk/history. (2008). "Charles Darwin (1809 - 1882)." from
http://www.bbc.co.uk/history/historic_figures/darwin_charles.shtml.
Bertozzi, M. and A. Broggi (1998). GOLD: a parallel real-time stereo vision system for genericobstacle and lane detection. 7: 62-81.
Bezdek, J. C. (1981). Pattern Recognition with Fuzzy Objective Function Algorithms. New York, Plenum.
Bezdek., J. C., J. Keller., et al. (2005). Fuzzy models and algorithms for pattern recognition and image processing.
Biesiadecki, J. J. and M. W. Maimone (2006). "The Mars Exploration Rover surface mobility flight software: driving ambition."
Blind, N. F. o. t. (2008). "National Federation of the Blind." from
http://www.nfb.org/nfb/Default.asp.
Bovik, A. C. (2000). Handbook of Image and Video Processing Academic Press. Brink, A. D. (2000) "Thresholding of digital images using two-dimensional histogram and fuzzy entropy principle."
Broggi, A. (1999). Automatic Vehicle Guidance: The Experience of the ARGO Autonomous Vehicle, World Scientific.
Broggi., A., M. Bertozzi., et al. (2000). "The Argo autonomous vehicle's vision and control systems."
Bruno M. Carvalho, G. T. H., and T. Yung Kong (2003). "Simultaneous Fuzzy Segmentation of Multiple Objects."
Burschka D. , C. D., Dodds Z. , Hager G. , Jagersand M., Yerex K. (2003). "Recent methods for Image-BasedModeling and Rendering." IEEE Virtual reality 2003 tutorial.
Chaira, T. and A. K. Ray (2004). "Threshold selection using fuzzy set theory." Pattern Recognition Letters 25(8): 865-874.
Chuang, K. S., H. L. Tzeng, et al. (2006). "Fuzzy c-means clustering with spatial information for image segmentation." Computerized Medical Imaging and Graphics 30(1): 9-15.
Cox, E. (1998). The Fuzzy Systems Handbook, Academic Press/Morgan Kaufmann.
CPUC. (2008). "Clube Português de Utilizadores de cães guias." from
http://www.cpuc.org.pt/escrevemos.html.
Cucchiara, R., E. Perini, et al. (2007). "Efficient Stereo Vision for Obstacle Detection and AGV Navigation." Image Analysis and Processing, 2007. ICIAP 2007. 14th International Conference on: 291-296.
Dijkstra, E. W. (1959). "A note on two problems in connection with graphs." Numerische Mathematik 1(5): 269-271.
Forsyth, D. A. and J. Ponce (2002). Computer Vision: A Modern Approach, Prentice Hall Professional Technical Reference.
Frigui, H. and R. Krishnapuram (1999). "A Robust Competitive Clustering Algorithm With Applications in Computer Vision." IEEE TRANSACTIONS ON PATTERN AND MACHINE INTELLIGENCE: 450-465.
Goldberg, S. B., M. W. Maimone, et al. (2002). "Stereo Vision and Rover Navigation Software for Planetary Exploration." Proceedings of the 2002 IEEE Aerospace Conference: 2025-36.
Grey, P. (2008). "Point Grey Research® Inc." from http://www.ptgrey.com/.
Grey, P. (2008) "Stereo Vision Introduction and Applications." Technical Application Note TAN2008005
Hartley, R. and A. Zisserman (2003). Multiple View Geometry in Computer Vision, Cambridge University Press.
Hedberg, H. (1996). "A Survey of Various Image Segmentation Techniques." I. K. Kitsas, K. J. P., V. E. Kosmidou, S. A. Taplidou, C. D. Saragiotis,L. J. Hadjileontiadis, and S. M. Panas (2006). "Smart eyes:an efficient mobile phone/navigator for blind or visually impaired people." Dept. of Electrical and Computer Engineering, School of Polytechnics Aristotle University of Thessaloniki.
Ik-Hwan Kim, D.-E. K., You-Sung Cha, Kwang-hee Lee, Tae-Yong Kuc (2007). "An Embodiment of Stereo Vision System for Mobile Robot for Real-time Measuring Distance and Object Tracking."
Inc., P. G. R. (2003) "Triclops StereoVision System Manual Version 3.1."
Jawahar, C. and A. Ray (1999). "Techniques and Applications of Fuzzy Statistics in Digital Image Analysis." Fuzzy Theory Systems: Techniques and Applications.
Jawahar, C. V., P. K. Biswas, et al. (2000). "Analysis of fuzzy thresholding schemes." Pattern Recognition 33(8): 1339-1349.
Jawahar, C. V. and A. K. Ray (1996). "Fuzzy statistics of digital images." Signal Processing Letters, IEEE 3(8): 225-227.
Keen, S. (2008). "Point Grey Research® Unveils the Bumblebee®2." from
http://www.machinevisiononline.org/buyers_guide/newproducts/details.cfm?id=1097.
Klir, G. J., U. S. Clair, et al. (1997). Fuzzy set theory: foundations and applications, Prentice-Hall, Inc. Upper Saddle River, NJ, USA.
Kosko, B. (1993). Fuzzy Thinking, HarperCollinsPublishers.
Likas, A., N. Vlassis, et al. (2003). "The global k-means clustering algorithm." Pattern Recognition 36(2): 451-461.
Lu, J., X. Yuan, et al. (2007). "A Method of Face Recognition Based on Fuzzy c- Means Clustering and Associated Sub-NNs." IEEE TRANSACTIONS ON NEURAL NETWORKS 18(1): 150.
M.Bertozzi, A. B., A.Fascioli, S.Nichele (2000). Stereo Vision-Based Vehicle Detection. IEEE Intelligent Vehicles Symposium.
MacQueen, J. (1967). "Some methods for classification and analysis of multivariate observations." Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability 1(281-297): 14.
Maimone, M. W., P. C. Leger, et al. (2007). "Overview of the Mars Exploration Rovers’ Autonomous Mobility and Vision Capabilities." IEEE International Conference on Robotics and Automation (ICRA).
Mallat, S. G. (1989). "A theory for multiresolution signal decomposition: the waveletrepresentation." Pattern Analysis and Machine Intelligence, IEEE Transactions on 11(7): 674-693.
Marola, G. (1989). Using symmetry for detecting and locating objects in a picture, Academic Press Professional, Inc. San Diego, CA, USA. 46: 179-195.
Meijer, P. B. L. (2008). "Stereoscopic Vision for the Blind - Binocular vision support for The vOICe auditory display." from
http://www.seeingwithsound.com/binocular.htm.
Mingoti, S. A. and J. O. Lima (2006). "Comparing SOM neural network with Fuzzy c-means, K-means and traditional hierarchical clustering algorithms." European Journal of Operational Research 174(3): 1742-1759.
Nagao, M. and T. Matsuyama (1980). A structural analysis of complex aerial photographs. New York, Plenum Press.
Nikolaos Trichakis, S. T., Eleni Korkontzila, Dimitrios Bisias, (2003). "Smart Eyes: An enhanced orientation and navigation system for blind or visually impaired people." Computer Society International Design Competition.
Ohlander, R., K. Price, et al. (1985). "Picture Segmentation Using A Recursive Region Splitting Method." Digital Image Processing and Analysis.
Olivier Faugeras, Q.-T. L. (2001). The Geometry of Multiples Images. Cambridge, The MIT Press.
Organization, W. H. (2008). "Magnitude and causes of visual impairment." from
http://www.who.int/mediacentre/factsheets/fs282/en/.
Pal, N. R., K. Pal, et al. (2005). "A Possibilistic Fuzzy c-Means Clustering Algorithm." Fuzzy Systems, IEEE Transactions on 13(4): 517-530.
Pornphan Dulyakarn, Y. R. (2001). Fuzzy C-Means Clustering Using Spacial Information With Application to Remote Sensing. 22nd Asian Conference on Remote Sensing. Singapore.
Puzicha, J., T. Hofmann, et al. (1999). "Histogram clustering for unsupervised image segmentation." Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2: 602-608.
Rastislav Lukak, K. N. P. (2006). Color Image Processing Methods and Applications, CRC.
Research, P. G. (2006) "Bumblebee®2 Stereo Vision System."
Shamir, L. (2007). "A proposed stereo matching algorithm for noisy sets of color images." Computers & Geosciences.
Tinku Acharya, A. K. R. (2005). Image Processing Principles and Applications, Wiley-Interscience.
Trucco, E. and A. Verri (1998). Introductory Techniques for 3-D Computer Vision, Prentice Hall PTR Upper Saddle River, NJ, USA.
V. Tsioukas and P. Patias (1999). "A New Approach Image Matching Techniques for the Automatic Production of DTM in Terrestrial Photogrammetry." International Archives of Photogrammetry and Remote Sensing 32: 89-94.
Weng, J., P. Cohen, et al. (1992). "Camera calibration with distortion models and accuracy evaluation." Transactions on Pattern Analysis and Machine Intelligence 14(10): 965-980.
Wilson, A. and N. Oliver (2003). "GWindows: robust stereo vision for gesture- based control of windows." Proceedings of the 5th international conference on Multimodal interfaces: 211-218.
Zadeh, L. A., & Klir, George J (1996). "Fuzzy sets, fuzzy logic, and fuzzy systems: selected papers by Lotfi A. Zadeh." World Scientific Series In Advances In Fuzzy Systems; Vol. 6: 826.
Zahed, A. L. (1965). Fuzzy Sets. Information and Control.
Zhang, Y. J. (1996). "A survey on evaluation methods for image segmentation." Pattern Recognition 29(8): 1335-1346.