SISTEMA AUTOMÁTICO PARA RECONHECIMENTO DE PLACAS DE AUTOMÓVEIS BASEADO EM PROCESSAMENTO DIGITAL DE IMAGENS E REDES PERCEPTRON DE MÚLTIPLAS CAMADAS

SISTEMA AUTOM ´ATICO PARA RECONHECIMENTO DE PLACAS DE

AUTOM ´OVEIS BASEADO EM PROCESSAMENTO DIGITAL DE IMAGENS E

REDES PERCEPTRON DE M ´ULTIPLAS CAMADAS Juan Camilo Fonseca-Galindo1- juankmilofg@ufmg.br

Cristiano Leite de Castro1_{- ccastro@dcc.ufla.br}

Antonio de Padua Braga1_{- apbraga@ufmg.br}

1_{Universidade Federal de Minas Gerais, Belo Horizonte, MG, Brazil}

Resumo. Este trabalho apresenta um sistema de reconhecimento de caracteres num´ericos em placas de autom´oveis. O sistema cont´em trˆes m´odulos principais: o primeiro m´odulo ´e res-pons´avel pela localizac¸˜ao da placa a partir da aplicac¸˜ao de um conjunto de operadores mor-fol´ogicos, tais como as transformadas White Top-Hat e aguc¸amento extremo (TAEX) e, filtros de eros˜ao e expans˜ao. O segundo m´odulo faz a segmentac¸˜ao dos caracteres da placa com base na sua projec¸˜ao horizontal e vertical. Finalmente, o terceiro m´odulo realiza o reconhecimento de caracteres com classificadores Perceptrons de M´ultiplas Camadas (MLP). O sistema proposto foi avaliado sobre uma base dados composto por imagens de carros brasileiros, com diferentes condic¸˜oes de captura. Os resultados obtidos, em termos de acur´acia e an´alise de curvas ROC (do inglˆes Receiver Operating Characteristic), mostram que a metodologia ´e promissora. Palavras-chave: Operadores Morfol´ogicos de Imagens, Perceptron de M´ultiplas Camadas, Descritores de Caracteristicas, An´alise ROC.

INTRODUC¸ ˜AO

Sistemas computacionais para o reconhecimento autom´atico de caracteres em placas de au-tom´oveis tˆem atra´ıdo o interesse de muitos pesquisadores nos ´ultimos anos. Isso ocorre devido a sua aplicabilidade no controle de tr´afego, estacionamento automatizado, radar de controle de velocidade, vigilˆancia, entre outros. No entanto, embora avanc¸os tˆem sido reportados e novas soluc¸˜oes tˆem sido propostas, o reconhecimento autom´atico de placas ´e ainda considerado um problema complexo Zhao et al. (2015), Nguyen et al. (2015), Bolotova et al. (2014), Chen et al. (2013), Deb et al. (2012), Zhang et al. (2011), ¨Ozt¨urk and ¨Ozen (2012). Quest˜oes ineren-tes ao processo de captura das imagens, tais como a variedade de formatos e cores nas placas, condic¸˜oes de iluminac¸˜ao ao ar livre, velocidade dos autom´oveis e a distˆancia entre o autom´ovel e a cˆamera, s˜ao grandes obst´aculos para o desenvolvimento de um sistema robusto de reconhe-cimento de placas.

Este trabalho apresenta um prot´otipo de um sistema de reconhecimento de caracteres em placas de autom´oveis. O sistema cont´em trˆes m´odulos principais: o primeiro m´odulo ´e res-pons´avel pela localizac¸˜ao da placa a partir da aplicac¸˜ao de um conjunto de operadores mor-fol´ogicos, tais como a transformada White Top-Hat, a transformada de aguc¸amento extremo (TAEX) e filtros de eros˜ao e expans˜ao. O segundo m´odulo faz a segmentac¸˜ao dos caracteres da placa com base na sua projec¸˜ao horizontal e vertical. Finalmente, o terceiro m´odulo realiza o reconhecimento de caracteres com base em classificadores do tipo Perceptron de M´ultiplas Ca-madas (MLP). As etapas de localizac¸˜ao e segmentac¸˜ao fazem, portanto, a extrac¸˜ao dos vetores de caracter´ısticas a serem usados como entrada da rede MLP. A camada de sa´ıda do classi-ficador fornece a representac¸˜ao bin´aria de cada um dos caracteres considerados na etapa de aprendizagem.

O sistema proposto foi avaliado sobre uma banco de dados composto por imagens de car-ros brasileicar-ros, com condic¸˜oes adversas de luminosidade, distˆancias e formatos. Os resultados obtidos, em termos de acur´acia e an´alise de curvas ROC (do inglˆes Receiver Operating Cha-racteristic), mostram que a metodologia ´e promissora.

O restante do artigo est´a organizado da seguinte forma. A Sec¸˜ao 2 apresenta apresenta uma breve revis˜ao sobre outros sistemas de reconhecimento de placas baseados em processamento digital de imagens e Redes Neurais propostos na literatura. A Sec¸˜ao 3 detalha o sistema de reconhecimento implementado neste trabalho. A Sec¸˜ao 4 descreve os experimentos realizados e os resultados obtidos. Finalmente, a Sec¸˜ao 5 traz as conclus˜oes do trabalho.

TRABALHOS RELACIONADOS

Alguns dos trabalhos desenvolvidos na literatura para o reconhecimento de caracteres em placas de autom´oveis s˜ao resumidos no restante da sec¸˜ao. Para cada um dos artigos ´e apresen-tada a tem´atica desenvolvida, as t´ecnicas implemenapresen-tadas e a acur´acia obtida.

Chen et al. (2013) propuseram um sistema de reconhecimento de placas para autom´oveis em movimento. O sistema utiliza o m´etodo de detecc¸˜ao de bordas e binarizac¸˜ao baseado em gradiente como filtragem na imagem. T´ecnicas de projec¸˜ao horizontal, distribuic¸˜ao de cantos e processamento Sobel vertical foram usados para a localizac¸˜ao da regi˜ao da placa. Para a segmentac¸˜ao de caracteres utilizou-se o m´etodo weighted − binarization. Como classificador, foi utilizada uma rede neural probabil´ıstica. O sistema obteve uma acur´acia de 91, 7% para a localizac¸˜ao da placa e 88.5% para o reconhecimento de caracteres.

Deb et al. (2012) apresentaram um m´etodo de reconhecimento de placas em autom´oveis na Coreia. Foram implementadas t´ecnicas de segmentac¸˜ao chamadas Sliding Concentric W indows (SCW). A correc¸˜ao do ˆangulo da placa foi feita com o ajuste de m´ınimos quadrados com deslocamentos perpendiculares (LSFPO). Para o reconhecimento de caracteres, os autores usaram uma rede neural sem camadas intermediarias. O artigo apresenta uma acur´acia de 89% para a localizac¸˜ao da plana na imagem e 99% para o reconhecimento de caracteres.

¨

Ozt¨urk and ¨Ozen (2012), por sua vez, estabeleceram um sistema de reconhecimento de placas baseado em uma rede neural probabil´ıstica. O sistema reconhece placas em distintos ˆangulos, ´areas e horas do dia. A placa ´e localizada com o m´etodo de limiar Otsu’s. O histograma horizontal e o histograma vertical s˜ao utilizados para fazer a segmentac¸˜ao de caracteres. O sistema obteve uma acur´acia do 98.5% para localizac¸˜ao da placa e, 96.5% no reconhecimento dos caracteres.

Kocer and Cevik (2011) implementaram um sistema reconhecedor baseado em uma rede MLP. O sistema usa o filtro Canny e o m´etodo blob coloring para localizac¸˜ao da placa. O m´etodo blob coloring foi implementado para a segmentac¸˜ao de caracteres. O sistema oteve uma acur´acia de 98% para o reconhecimento de caracteres.

Ganapathy and Lui (2008) propuseram um sistema de reconhecimento de placas na Mal´asia. Em seu sistema foram implementados t´ecnicas morfol´ogicas e a transformada Hough para a localizac¸˜ao da placa. O classificador ´e baseado em uma rede MLP. O sistema obteve uma acur´acia do 98% para o reconhecimento de caracteres.

Finalmente, Trentini et al. (2010) propuseram um sistema autom´atico de reconhecimento de placas que implementa filtros de processamento de imagens para a localizac¸˜ao da placa e segmentac¸˜ao de caracteres. Para o reconhecimento de caracteres foi implementada uma rede MLP para cada um dos d´ıgitos. A acur´acia neste artigo ´e de 95% para a localizac¸˜ao das placas e 53% para o reconhecimento de caracteres.

METODOLOGIA PROPOSTA

O sistema de reconhecimento de placas proposto neste trabalho ´e formado por 3 m´odulos principais, compreendendo desde a captura da imagem at´e o reconhecimento dos caracteres. O primeiro m´odulo ´e respons´avel por localizar dentro da imagem a placa do autom´ovel. O segundo m´odulo possui o papel de extrair os caracteres dentro da imagem da placa, que foi obtida no primeiro m´odulo. Finalmente, terceiro m´odulo ´e respons´avel pelo reconhecimento do caractere, ou seja, a atribuic¸˜ao do caractere a uma das poss´ıveis categorias.

Esta sec¸˜ao descreve as t´ecnicas implementadas em cada um dos m´odulos do sistema de reconhecimento.

Localizac¸˜ao da placa

No conjunto de imagens utilizadas neste trabalho s˜ao identificados dois tipos de placas. Logo, a localizac¸˜ao da placa ´e realizada em duas etapas. Na primeira, s˜ao procuradas as placas brancas, e na segunda as pretas. As duas etapas utilizam as mesmas t´ecnicas morfol´ogicas para a localizac¸˜ao da placa por´em, na segunda etapa, trabalha-se com o negativo da imagem. Maiores detalhes das t´ecnicas morfol´ogicas implementadas podem ser encontradas em Gonzalez and Woods (2010).

A Figura 1 apresenta os passos implementados nas etapas para a localizac¸˜ao da placa. O primeiro passo ´e a implementac¸˜ao da transformada white T op − Hat. A transformada ´e uma combinac¸˜ao da subtrac¸˜ao de imagens com aberturas e fechamentos. Uma das principais aplicac¸˜oes da transformada est´a na remoc¸˜ao de objetos claros sobre fundos escuros. Ela ´e normalmente utilizada para correc¸˜ao dos efeitos da iluminac¸˜ao n˜ao uniforme na imagem. Em seguida, o segundo passo ´e a binarizac¸˜ao da imagem. Para isso foi utilizado um fator de 50%, transformando a imagem em uma imagem preto e branco.

No terceiro e quarto passos s˜ao implementados filtros de eros˜ao e expans˜ao com diferen-tes m´ascaras para remover linhas, pontos e objetos menores `a dimens˜ao da placa. Ap´os da implementac¸˜ao das diferentes t´ecnicas morfol´ogicas, a imagem pode conter objetos com di-mens˜ao maior que a placa. Por esse motivo, no quinto passo, ´e utilizado uma filtragem compa-rando todos objetos presentes na imagem com uma dimens˜ao m´axima do poss´ıvel candidato `a localizac¸˜ao da placa, removendo os objetos de dimens˜ao maior. Finalmente, no ´ultimo passo, ´e realizada uma segmentac¸˜ao da placa com a localizac¸˜ao obtida na imagem.

Figura 1- Operados aplicados para a localizac¸˜ao da placa.

Segmentac¸˜ao de caracteres

O resultado do primeiro m´odulo ´e a localizac¸˜ao da placa. Neste m´odulo, ´e feita a segmentac¸˜ao dos caracteres da placa. A segmentac¸˜ao ´e realizada em duas etapas. Na primeira, a imagem ´e pr´e-processada para uma melhor identificac¸˜ao dos caracteres e, na segunda etapa, ocorre a segmentac¸˜ao dos n´umeros da placa.

Na primeira etapa ´e realizado o pr´e-processamento da imagem mediante a implementac¸˜ao de t´ecnicas morfol´ogicas. O pr´e-processamento ´e apresentado na figura 2 e desenvolvido em 5 passos. O primeiro passo ´e a implementac¸˜ao da transformada TAEX para a recuperac¸˜ao de bordas danificadas. O segundo passo ´e a binarizac¸˜ao da imagem, Aplicando-se um fator de 65%, e transformando a imagem em uma imagem preto e branco. A eros˜ao ´e implementada no terceiro passo para melhorar a qualidade dos n´umeros removendo buracos que possam existir. No quarto passo, ´e implementado o esqueleto morfol´ogico dos objetos da imagem. Finalmente, a imagem de sa´ıda ´e uma imagem em preto e branco e os n´umeros podem ser segmentados, para seu posterior reconhecimento.

A segunda etapa ´e a segmentac¸˜ao dos caracteres. Para a segmentac¸˜ao e a extrac¸˜ao de ca-racteres s˜ao implementadas a projec¸˜ao horizontal e a projec¸˜ao vertical da placa. Conforme ilustrado pela Figura 3, as linhas punteadas delimitam os caracteres para a extrac¸˜ao. Cada um dos caracteres s˜ao matrizes binarias de dimens˜ao 20x22.

Reconhecimento de caracteres

Cabe ressaltar que, devido ao numero reduzido de imagens dispon´ıveis, o sistema foi trei-nado apenas para o reconhecimento de caracteres numericos. No entanto, isso n˜ao invalida a metodologia proposta, a qual poderia ser tamb´em aplicada para o reconhecimento das letras

Figura 2- Processamento da imagem da placa para segmentac¸˜ao.

Figura 3- Segmentac¸˜ao dos caracteres da placa.

nas placas caso t´ıvessemos uma base de dados maior dispon´ıvel. Para o reconhecimento de caracteres, cada um dos n´umeros representados por matrizes de dimens˜ao 20x22 foram trans-formadas em vetores de dimens˜ao 440x1, como ´e mostrado na Figura 4, obtendo-se assim, 440 caracter´ısticas de entrada para a rede neural MLP.

A Figura 5 apresenta a rotulac¸˜ao de cada um dos n´umeros. O processo de rotulac¸˜ao de cada vetor entrada se deu com o uso de sua pr´opria representac¸˜ao binaria como r´otulo, representando a sa´ıda desejada para cada entrada da rede neural MLP.

Finalmente, o reconhecimento de caracteres foi desenvolvido com uma rede neural MLP, de forma similar a rede MLP adotada em Deb et al. (2012). Implementou-se uma topologia de uma camada de entrada de 440 neurˆonios, uma camada intermediaria de 20 neurˆonios com

Figura 4- Dados de entrada. a) Representac¸˜ao do caractere na imagem .b)Representac¸˜ao do caractere de forma matricial com dimens˜ao 20x22 .c)Representac¸˜ao do caractere de forma vetorial 1x440

Figura 5- Dados de sa´ıda

func¸˜ao de ativac¸˜ao sigmoidal, e uma camada de sa´ıda de 4 neurˆonios com func¸˜ao de ativac¸˜ao linear. A topologia ´e apresentada na Figura 6. O algoritmo de treinamento utilizado foi o Levenberg − M arquardt, com erro de tolerancia de 1x10−10, taxa de atualizado de 1.0, taxa de aprendizado de 1.0 e taxa de decremento de 0.01.

EXPERIMENTOS E RESULTADOS

Os testes desenvolvidos neste trabalho foram realizados no conjunto imagens em escala de cinza extra´ıdas do projeto de reconhecimento de placas realizado pelo laborat´orio de proces-samento digital de sinais e imagens do Centro Brasileiro de Pesquisas F´ısicas, dispon´ıvel em GNSS (2016). O conjunto cont´em 100 imagens, das quais 21 imagens n˜ao contˆem placas, 25 imagens contˆem placas mas cont´em caracteres ileg´ıveis e as imagens restantes podem ser implementadas para o reconhecimento. A dimens˜ao das imagens ´e de 640x240.

O sistema desenvolvido conseguiu localizar a placa em 68 imagens e rejeitar 18 imagens nas quais n˜ao havia placa de autom´ovel. No entanto, o sistema localizou placa em 3 imagens que n˜ao possuem placas e, n˜ao conseguiu localizar a placa em 11 imagens contendo placas. Logo, a acur´acia do m´odulo de localizac¸˜ao de placas foi de 86%, conforme aplicac¸˜ao da Equac¸˜ao 1.

Acur´acia1 =

Placas Corretamente Localizadas

Total de Imagens (1)

A rede neural MLP implementada foi treinada em 7 iterac¸˜oes, sendo o tempo total para uma ´epoca de treinamento igual a a 1 minuto e 34 segundos. Para a avaliac¸˜ao do desempenho de reconhecimento da rede MLP, foi utilizada a an´alise ROC. Esta apresenta o compromisso entre as taxas de acertos (verdadeiros positivos) e erros (falsos positivos) referentes `a categoria de interesse, considerando todos os poss´ıveis limiares de classificac¸˜ao. A Figura 7 mostra a curva ROC obtida pela rede MLP. O limiar de sa´ıda do classificador foi escolhido como aquele mais pr´oximo do ponto (0,1), sendo este igual a 0,52. Para avaliar a qualidade dos classificadores foi utilizada a ´area abaixo da curva ROC (do inglˆes Area Under the ROC Curve ou AUC), sendo o valor m´aximo obtido de 0,68.

Figura 7- Curva ROC.

O classificador conseguiu reconhecer 37 de 43 placas, alcanc¸ando uma acur´acia para o reco-nhecimento das placas de 76%. Cabe ressaltar, no entanto, que o sistema logrou reconhecer 165 de 172 caracteres num´ericos, tal que sua acur´acia para reconhecimento de n´umeros foi de 96%. Para o c´alculo das acur´acias referentes ao reconhecimento das placas e e caracteres num´ericos foram foram adotadas as Equac¸˜oes 2 e 3, respectivamente.

Acur´acia2 =

N´umero AcertosP lacas

N´umero TotalP lacas

Acur´acia3 =

N´umero AcertosCaracteres

N´umero TotalCaracteres

(3)

CONCLUS ˜OES

A implementac¸˜ao de um sistema para reconhecimento de placas utilizando operadores mor-fol´ogicos para a localizac¸˜ao e segmentac¸˜ao da placa na imagem e, uma rede MLP para re-conhecimento de caracteres mostrou-se eficaz. O sistema obteve uma acur´acia de 86% para a localizac¸˜ao da placa na imagem, uma acur´acia de 76% para o reconhecimento de todos os n´umeros em cada placa, e uma acur´acia de 96% para o reconhecimento individual dos caracte-res num´ericos. Al´em disso, pode-se observar, pelo gr´afico da curva ROC (vide Figura 7), uma boa relac¸˜ao dos benef´ıcios (verdadeiros positivos) e custos (falsos positivos), fornecendo um valor de AUC de 68%. Tais resultados s˜ao compat´ıveis com aqueles apresentados nos trabalhos correlatos descritos na Sec¸˜ao 2, o que reforc¸a a capacidade de nosso sistema de reconhecimento. Como propostas de continuidade deste trabalho, pretende-se testar outros modelos de RNA, tais como redes RBF e redes probabilisticas, al´em da aplicacao de t´ecnicas de Deep Learning. Agradecimentos

O presente trabalho foi realizado com o apoio fi- nanceiro da CAPES - Brasil.

REFER ˆENCIAS

Bolotova, Y. A., Druki, A. and Spitsyn, V. G. (2014), “License plate recognition with hierarchical tem-poral memory model”, Strategic Technology (IFOST), 2014 9th International Forum on, 136–139. IEEE.

Deb, K., Khan, I., Saha, A. and Jo, K.-H. (2012), “An efficient method of vehicle license plate recog-nition based on sliding concentric windows and artificial neural network”, Procedia Technology, 4: 812–819.

Chen, C.-H., Chen, T.-Y., Wu, M.-T., Tang, T.T. and Hu, W.-C. (2013), “Intelligent Information Hi-ding and Multimedia Signal Processing, 2013 Ninth International Conference on, IEEE”, Procedia Technology, 4: 497-500. IEEE.

Ganapathy, V. and Lui, W. L. D. (2008), “A malaysian vehicle license plate localization and recognition system”, Journal of Systemics, Cybernetics and Informatics, 6(1).

Gonzalez, R. C. and Woods, R. E. (2010), “Pocessamento digital de imagens”, Pearson Prentice Hall Kocer, H. E. and Cevik, K. K. (2011), “Artificial neural networks based vehicle license plate

recogni-tion”, Procedia Computer Science, 3: 1033–1037.

Chen, C.-H., Chen, T.-Y., Wu, M.-T., Tang, T.T. and Hu, W.-C. (2013)Nguyen, C. T., Nguyen, T. B. and Chung, S.-T. (2015) “Reliable detection and skew correction method of license plate for ptz camera based license plate recognition system”, Information and Communication Technology Convergence (ICTC), 2015 International Conference on, IEEE, 1013–1018. IEEE.

Chen, C.-H., Chen, T.-Y., Wu, M.-T., Tang, T.T. and Hu, W.-C. (2013)Nguyen, C. T., Nguyen, T. B. and Chung, S.-T. (2015) “Reliable detection and skew correction method of license plate for ptz camera based license plate recognition system”, Information and Communication Technology Convergence (ICTC), 2015 International Conference on, IEEE, 1013–1018. IEEE.

¨

Ozt¨urk, F. and ¨Ozen, F. (2012) “A new license plate recognition system based on probabilistic neural networks”, Procedia Technology, 1: 124–128.

Trentini, V. B., Godoy, L. A. T. and Marana, A. N. (2010) “Reconhecimento autom´atico de placas de ve´ıculos”, VI Workshop de Vis˜ao Computacional.

Zhang, X., Xu, F. and Su, Y. (2011) “Research on the license plate recognition based on matlab”, Pro-cedia Engineering, 15: 1330–1334.

Zhao, J.-L., Min, H.-G., Li, X.-C. and Pan, Y. (2015) “A license plate recognition algorithm under low illumination environment”, Smart Cities Conference (ISC2), 2015 IEEE First International, 1–6. IEEE.

Brazilian License Plate Recognition System. Acessado 12/08/2016

http://www.cbpf.br/cat/pdsi/lpr/lpr.html.

APPENDIX A

Automatic system for recognizing license plates based on digital image processing and network perceptron multiple layers

Abstract. This paper presents a recognition system of characters on vehicle license plates. The system is composed by three modules: the first one is responsible for the plate position estimate by using morphological operators such as Top Hat transform, erosion and expasion filters. The role of the second module is character segmentation, which is mainly achieved via the horizontal and vertical projection of the plate. Finally, the third module performs character recognition with a Multilayer Perceptron classifier (MLP). The proposed system was evaluated on a image database of Brazilian vehicles containing different image acquisition conditions. The results achieved, in terms of accuracy and ROC (Receiver Operating Characteristic) analysis, show that our approach is promising.

Palavras-chave: Image Morphological Operators, Multilayer Perceptron, Feature extraction, ROC Analysis.