Fully Convolutional Neural Network for Occular Iris Semantic Segmentation
IV. E XPERIMENTOS E R ESULTADOS
Nesta sec¸˜ao, s˜ao descritos os experimentos, conduzidos nas imagens disponibilizadas na competic¸˜ao NICE.I (subconjunto da base de dados UBIRIS.v2) [40], e os resultados obtidos com o m´etodo proposto em comparac¸˜ao com os m´etodos da literatura apresentados na Sec¸˜ao II. Esses experimentos foram executados no sistema operacional Ubuntu 14.04.4, Intel Xeon CPU E5-2620, 32GB RAM, placa de v´ıdeo NvidiaR
GeForce GTX TITAN Black 6gb. A implementac¸˜ao ocorreu em Python 2.7 e TensorFlow. O treinamento foi realizado com 400 imagens e a validac¸˜ao com 100. O teste foi executado nas 500 imagens restantes.
A. Resultados Obtidos
Algumas m´etricas n˜ao s˜ao reportadas pelos autores dos m´etodos, pois, o foco principal da NICE.I ´e apenas o erro m´edio de segmentac¸˜ao E. O m´etodo [33] est´a dispon´ıvel para download3, tornando poss´ıvel calcular todas as m´etricas. Os resultados obtidos, seguindo os protocolos de avaliac¸˜ao da (Sec¸˜ao III-B), s˜ao apresentados na Tabela II.
O m´etodo proposto alcanc¸ou um erro de segmentac¸˜ao de 0, 0082 ou 0, 82%. Esse erro foi menor que o erro reportado pelo m´etodo vencedor da NICE.I [30] e que o m´etodo padr˜ao utilizado na MICHE-II [33]. Na Tabela II tamb´em ´e poss´ıvel observar que o m´etodo proposto obteve melhores resultados em todas as outras m´etricas (precision, recall, f-score, acur´acia e intersecc¸˜ao pela uni˜ao) em comparac¸˜ao com [33].
3http://biplab.unisa.it/MICHE/MICHE-II/PRL Haindl Krupicka.zip
Tabela II: Comparac¸˜ao dos resultados de segmentac¸˜ao com outros m´etodos da literatura. Prec: precision; Rec: recall; F1: f-score; Acc: acur´acia; IoU: intersecc¸˜ao pela uni˜ao; E: erro.
M´etodo Prec Rec F1 Acc IoU E
Tan et al., 2010 [30] - - - 0, 0131 Sankowski et al. [31] - - - 0, 0162
Almeida [32] - - - 0, 0180
Haindl & Krupiˇcka [33] 0, 7460 0, 8100 0, 7767 0, 9655 0, 6350 0, 0344 Proposto 0, 9365 0, 9530 0, 9447 0, 9917 0, 8953 0, 0082
A Figura 3 ilustra os resultados de segmentac¸˜ao do m´etodo proposto. ´E poss´ıvel observar, com base no ground-truth, algumas pequenas falhas de segmentac¸˜ao nas Figuras 3a e 3b devido a armac¸˜ao do ´oculos. Nas Figuras 3d e 3e, o m´etodo proposto “confunde” partes dos c´ılios e da pele com a ´ıris, principalmente nos casos em que a cor da pele ou da ´ıris ´e mais escura (Figura 3f). Acredita-se que esse problema seja ocasionado pelos tipos diferentes de ´ıris no conjunto de treinamento da base de dados. Essa diferenc¸a pode causar um desbalanceamento das amostras intra-classe (´ıris), durante o treinamento do m´etodo, ocasionando as “confus˜oes” entre ´ıris e c´ılios ou ´ıris e pele. Apesar das falhas de segmentac¸˜ao, o m´etodo proposto consegue identificar, com grande precis˜ao, os reflexos presentes na ´ıris, como pode ser observado na Figura 3i por exemplo. Uma segmentac¸˜ao precisa pode ser observada nas Figuras 3k e 3l.
Para representar o desempenho do m´etodo proposto no conjunto de dados UBIRIS.v2, as curvas Precision-Recall (PR) e Receiver Operator Characteristic (ROC) s˜ao apresentadas. A curva PR ´e comumente utilizada em problemas de classificac¸˜ao bin´aria, representando a relac¸˜ao entre precision e recall [41]. A Figura 4 ilustra a curva PR do m´etodo proposto, onde ´e poss´ıvel observar o excelente resultado do m´etodo, com base na ´area sob a curva 0, 9893.
J´a a curva ROC representa a relac¸˜ao entre a taxa de verdadeiros positivos (True Positive Rate) e falsos positivos (False Positive rate). A curva ROC do m´etodo proposto ´e apresentada na Figura 5, com ´area sob a curva de 0, 9989.
V. CONCLUSOES˜
Neste artigo, apresentou-se um m´etodo que usa transfer learning e fine-tunning para a segmentac¸˜ao de ´ıris ocular. A metodologia utilizada combina um modelo de rede convolu- cional pr´e-treinado, no conjunto de dados da ImageNet [24], com uma arquitetura Fully Convolutional Network [26] voltada
(a) (b) (c) (d) (e) (f) (g) (h) (i) (j) (k) (l)
Fig. 3: Resultados de segmentac¸˜ao do m´etodo proposto com seus respectivos ground-truth (originais).
para segmentac¸˜ao semˆantica. Essa combinac¸˜ao permitiu que o m´etodo proposto alcanc¸asse resultados promissores de segmentac¸˜ao, superando v´arios m´etodos da literatura. Al´em disso, esse m´etodo ´e menos sens´ıvel a variac¸˜oes de ru´ıdos, iluminac¸˜ao e n˜ao necessita das etapas de pr´e e p´os pro- cessamento. At´e o presente momento (no que se conhece na literatura), o menor erro de segmentac¸˜ao das imagens disponibilizadas na competic¸˜ao NICE.I (subconjunto da base de dados UBIRIS.v2) foi obtido pelo m´etodo proposto 0, 82%, o que permite concluir que o m´etodo proposto estabelece o estado-da-arte.
Vale a pena ressaltar que n˜ao foram feitas alterac¸˜oes na arquitetura da rede utilizada (conforme descrito na Sec¸˜ao III). Portanto, acredita-se que ´e poss´ıvel melhorar os resultados com a alterac¸˜ao na arquitetura da rede, como por exemplo (n´umero de camadas, tamanho do kernel de convoluc¸˜ao, func¸˜ao de perda, etc.). Essas alterac¸˜oes, demais testes com
0.0 0.2 0.4 0.6 0.8 1.0 Recall 0.0 0.2 0.4 0.6 0.8 1.0 Precision Precision-recall Curve
área sob a curva = 0.9893
Fig. 4: Curva Precision-Recall do m´etodo proposto.
0.0 0.2 0.4 0.6 0.8 1.0
False Positive Rate 0.0 0.2 0.4 0.6 0.8 1.0 T
rue Positive Rate
Receiver Operator Characteristic - ROC
área sob a curva = 0.9989
Fig. 5: Curva ROC do m´etodo proposto.
outros modelos de rede e outras bases de dados ser˜ao realiza- dos em trabalhos futuros.
AGRADECIMENTOS
Os autores agradecem a Coordenac¸˜ao de Aperfeic¸oamento de Pessoal de Nivel Superior (CAPES), pelo apoio financeiro concedido para a realizac¸˜ao deste trabalho e ao Conselho Nacional de Desenvolvimento Cient´ıfico e Tecnol´ogico (CNPq
- Processos # 307010/2014-7 & 428333/2016-8). Os autores tamb´em agradecem a NVIDIA pela doac¸˜ao de duas GPU Titan Black e uma GPU Titan X.
REFERENCIASˆ
[1] M. Turk and A. Pentland, “Eigenfaces for recognition,” Journal of Cognitive Neuroscience, vol. 3, no. 1, pp. 71–86, 1991, impact Factor: 3.559.
[2] J. Daugman, “High confidence visual recognition of persons by a test of statistical independence,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 15, no. 11, pp. 1148–1161, 1993.
[3] R. P. Wildes, “Iris recognition: an emerging biometric technology,” Proceedings of the IEEE, vol. 85, no. 9, pp. 1348–1363, 1997, impact Factor: 5.629.
[4] A. K. Jain, A. Ross, and S. Prabhakar, “An introduction to biometric recognition,” IEEE Transactions on circuits and systems for video technology, vol. 14, no. 1, pp. 4–20, 2004, qualis A1.
[5] A. K. Jain, L. Hong, and R. Bolle, “On-line fingerprint verification,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19, no. 4, pp. 302–314, 1997, qualis A1.
[6] S. Crihalmeanu, A. Ross, S. Schuckers, and L. Hornak, “A protocol for multibiometric data acquisition, storage and dissemination,” Dept. Comput. Sci. Elect. Eng., West Virginia Univ., Morgantown, WV, USA, Tech. Rep, 2007.
[7] R. Jillela and A. A. Ross, “Segmenting iris images in the visible spectrum with applications in mobile biometrics,” Pattern Recognition Letters, vol. 57, pp. 4–16, 2015, mobile Iris {Challenge} Evaluation part I (MICHE I). Qualis A1.
[8] ——, Methods for Iris Segmentation. London: Springer London, 2016, pp. 137–184.
[9] S. J. Pundlik, D. L. Woodard, and S. T. Birchfield, “Non-ideal iris segmentation using graph cuts,” in IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops - CVPRW, 2008, pp. 1–6.
[10] F. Jan, “Segmentation and localization schemes for non-ideal iris bio- metric systems,” Signal Processing, pp. 192–212, 2016.
[11] G. Santos, E. Grancho, M. V. Bernardo, and P. T. Fiadeiro, “Fusing iris and periocular information for cross-sensor recognition,” Pattern Recognition Letters, vol. 57, pp. 52 – 59, 2015, mobile Iris {CHallenge} Evaluation part I (MICHE I).
[12] J. Daugman, “How iris recognition works,” IEEE Transactions on circuits and systems for video technology, vol. 14, no. 1, pp. 21–30, 2004.
[13] D. M. Rankin, B. W. Scotney, P. J. Morrow, D. R. McDowell, and B. K. Pierscionek, “Dynamic iris biometry: a technique for enhanced identification,” Biology and Medicine Central Research Notes, vol. 3, no. 1, pp. 1–7, 2010.
[14] X. Liu, K. W. Bowyer, and P. J. Flynn, “Experiments with an improved iris segmentation algorithm,” in Workshop on Automatic Identification Advanced Technologies (AutoID’05). IEEE, 2005, pp. 118–123. [15] H. Proenca and L. A. Alexandre, “Iris segmentation methodology for
non-cooperative recognition,” IEE Proceedings - Vision, Image and Signal Processing, vol. 153, no. 2, pp. 199–205, April 2006. [16] P. Podder, T. Z. Khan, M. H. Khan, M. M. Rahman, R. Ahmed, and
M. S. Rahman, “An efficient iris segmentation model based on eyelids and eyelashes detection in iris recognition system,” in International Conference on Computer Communication and Informatics - ICCCI, 2015, pp. 1–7.
[17] D. F. Vera, D. M. Cadena, and J. M. Ram ˜Arez, “Iris recognition algo- rithm on beaglebone black,” in International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications - IDAACS, vol. 1, Sept 2015, pp. 282–286.
[18] S. Shah and A. Ross, “Iris segmentation using geodesic active contours,” IEEE Transactions on Information Forensics and Security, vol. 4, no. 4, pp. 824–836, 2009.
[19] T. F. Chan and L. A. Vese, “Active contours without edges,” IEEE Transactions on Image Processing - TIP, vol. 10, no. 2, pp. 266–277, Feb 2001.
[20] Y. Bengio, A. Courville, and P. Vincent, “Representation learning: A re- view and new perspectives,” Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 35, no. 8, 2013.
[21] Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,” Nature, vol. 521, no. 7553, pp. 436–444, 2015.
[22] K. Ahuja, R. Islam, F. A. Barbhuiya, and K. Dey, “Convolutional neural networks for ocular smartphone-based biometrics,” Pattern Recognition Letters, vol. 91, pp. 17 – 26, 2017, mobile Iris {CHallenge} Evaluation (MICHE-II).
[23] V. Dumoulin and F. Visin, “A guide to convolution arithmetic for deep learning,” arXiv preprint arXiv:1603.07285, 2016.
[24] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” in Advances in Neural In- formation Processing Systems 25. Curran Associates, Inc., 2012, pp. 1097–1105.
[25] M. Thoma, “A survey of semantic segmentation,” CoRR, vol. abs/1602.06541, 2016. [Online]. Available: http://arxiv.org/abs/1602. 06541
[26] E. Shelhamer, J. Long, and T. Darrell, “Fully convolutional networks for semantic segmentation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 4, pp. 640–651, April 2015. [27] M. Teichmann, M. Weber, M. Zoellner, R. Cipolla, and R. Urtasun,
“Multinet: Real-time joint semantic reasoning for autonomous driving,” arXiv preprint arXiv:1612.07695, 2016.
[28] Z. Tian, L. Liu, and B. Fei, “Deep convolutional neural network for prostate mr segmentation,” Proc. SPIE, vol. 10135, pp. 101 351L– 101 351L–6, 2017.
[29] P. Brandao, E. Mazomenos, G. Ciuti, R. Cali`o, F. Bianchi, A. Menciassi, P. Dario, A. Koulaouzidis, A. Arezzo, and D. Stoyanov, “Fully convo- lutional neural networks for polyp segmentation in colonoscopy,” Proc. SPIE, vol. 10134, pp. 101 340F–101 340F–7, 2017.
[30] T. Tan, Z. He, and Z. Sun, “Efficient and robust segmentation of noisy iris images for non-cooperative iris recognition,” Image and Vision Computing, vol. 28, no. 2, pp. 223 – 230, 2010.
[31] W. Sankowski, K. Grabowski, M. Napieralska, M. Zubert, and A. Napieralski, “Reliable algorithm for iris segmentation in eye image,” Image and Vision Computing, vol. 28, no. 2, pp. 231 – 237, 2010. [32] P. de Almeida, “A knowledge-based approach to the iris segmentation
problem,” Image and Vision Computing, vol. 28, no. 2, pp. 238 – 245, 2010.
[33] M. Haindl and M. Krupiˇcka, “Unsupervised detection of non-iris occlu- sions,” Pattern Recognition Letters, vol. 57, pp. 60 – 65, 2015, mobile Iris CHallenge Evaluation part I (MICHE I).
[34] M. Haindl, Visual Data Recognition and Modeling Based on Local Markovian Models. London: Springer, 2012, pp. 241–259.
[35] K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” CoRR, vol. abs/1409.1556, 2014. [36] H. Proenca and L. A. Alexandre, “The nice.i: Noisy iris challenge
evaluation - part i,” in 2007 First IEEE International Conference on Biometrics: Theory, Applications, and Systems, Sept 2007, pp. 1–4. [37] J. Fritsch, T. K¨uhnl, and A. Geiger, “A new performance measure and
evaluation benchmark for road detection algorithms,” in 16th Interna- tional IEEE Conference on Intelligent Transportation Systems (ITSC 2013), Oct 2013, pp. 1693–1700.
[38] F. Ge, S. Wang, and T. Liu, “Image-segmentation evaluation from the perspective of salient object extraction,” in 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’06), vol. 1, June 2006, pp. 1146–1153.
[39] H. Proenca and L. A. Alexandre, UBIRIS: A Noisy Iris Image Database. Berlin, Heidelberg: Springer, 2005, pp. 970–977.
[40] H. Proenca, S. Filipe, R. Santos, J. Oliveira, and L. Alexandre, “The UBIRIS.v2: A database of visible wavelength images captured on-the- move and at-a-distance,” IEEE Trans. PAMI, vol. 32, no. 8, pp. 1529– 1535, August 2010.
[41] J. Davis and M. Goadrich, “The relationship between precision-recall and roc curves,” in Proceedings of the 23rd International Conference on Machine Learning, ser. ICML ’06. New York, NY, USA: ACM, 2006, pp. 233–240.