Detecção de inclinação em imagens de documentos

Texto

(1)Universidade Federal de Pernambuco Centro de Informática. Pós-gradua¸cão em Ciência da Computa¸cão. ˜ DE INCLINAC ˜ EM IMAGENS DETECC ¸ AO ¸ AO DE DOCUMENTOS Angélica Alcoforado Mascaro ˜ DE MESTRADO DISSERTAC ¸ AO. Recife 09 de fevereiro de 2010.

(2) Universidade Federal de Pernambuco Centro de Informática. Angélica Alcoforado Mascaro ˜ DE INCLINAC ˜ EM IMAGENS DE DOCUMENTOS DETECC ¸ AO ¸ AO. Trabalho apresentado ao Programa de P´ os-gradua¸ c˜ ao em Ciˆ encia da Computa¸ c˜ ao do Centro de Inform´ atica da Universidade Federal de Pernambuco como requisito parcial para obten¸ c˜ ao do grau de. Mestre em Ciˆ encia da Com-. puta¸ c˜ ao.. Orientador: Prof. Dr. George Darmiton da Cunha Cavalcanti Co-orientador: Prof. Dr. Carlos Alexandre Barros de Mello. Recife 09 de fevereiro de 2010.

(3) Mascaro, Angélica Alcoforado Detecção de inclinação em imagens de documentos / Angélica Alcoforado Mascaro. - Recife: O Autor, 2010. xiii, 59 folhas : il., fig., tab. Dissertação (mestrado) – Universidade Pernambuco. CIn. Ciência da computação, 2010.. Federal. de. Inclui bibliografia. 1. Ciência da computação. 2. Computação inteligente. 3. Processamento de imagens. I. Título. 004. CDD (22. ed.). MEI2010 – 0100.

(4)

(5) AGRADECIMENTOS. Obrigada aos professores George Darmiton e Carlos Mello pela excelente parceria na orienta¸cão deste trabalho. Obrigada aos amigos pela companhia ao longo deste per´ıodo. Obrigada à fam´ılia pelo apoio ao mestrado. E obrigada a Tiago por cada detalhe compartilhado nos u ´ltimos anos.. iii.

(6) I’m on the nightrain —GN’R.

(7) RESUMO. A digitaliza¸cão de documentos contribui para a preserva¸cão da informa¸cão evitando a sua perda devido à degrada¸cão f´ısica do papel. Atualmente, Sistemas de Reconhecimento Automático de Documentos são empregados para converter automaticamente a informa¸cão contida nas imagens em texto editável de forma rápida e sem a necessidade da presen¸ca de um indiv´ıduo, tornando essa informa¸cão pesquisável através, por exemplo, de palavras-chave. A inclina¸cão em documentos é um problema freq¨ uente nesses sistemas e, em geral, é imposta durante a digitaliza¸cão, quando o papel é posicionado com um ângulo diferente de 0 grau sobre o eixo do scanner. No caso de documentos manuscritos, a inclina¸cão pode surgir durante a escrita do próprio documento, principalmente quando o escritor não tem uma linha de pauta como guia. A corre¸cão da inclina¸cão é essencial para o bom desempenho desses sistemas de reconhecimento automático. Este trabalho aborda o problema da deteçcão de inclina¸cão em documentos impressos e manuscritos, trazendo uma revisão dos principais métodos para deteçcão de inclina¸cão. Dois novos algoritmos para deteçcão de inclina¸cão que se baseiam na modelagem de um documento como um conjunto de objetos retangulares são apresentados: um destinado à deteçcão do ângulo de um documento com caracteres impressos e outro destinado à deteçcão de m´ ultipla inclina¸cão em documentos manuscritos. O algoritmo para documentos impressos apresentado visa superar problemas comuns nas técnicas já divulgadas na literatura, como o alto custo computacional e a vulnerabilidade à presen¸ca de figuras, tabelas e ru´ıdo no documento. O desempenho dos algoritmos propostos é avaliado sobre várias bases de imagens contendo diversos tipos de documentos. Resultados experimentais comparando a técnica proposta para documentos impressos com outros métodos clássicos mostram o desempenho superior em termos de taxa de acerto da deteçcão do ângulo de inclina¸cão e em termos de tempo computacional da técnica proposta. Experimentos com o algoritmo destinado à deteçcão de m´ ultipla inclina¸cão em texto manuscrito mostram que este av.

(8) vi. RESUMO. presentou resultados bastante satisfatórios na deteçcão do ângulo de documentos reais escritos por vários indiv´ıduos. Palavras-chave:. Deteçcão de Inclina¸cão em Documentos; Documentos Manuscritos;. Processamento de Imagens.

(9) ABSTRACT. Scanning documents contributes to preserving information, avoiding losses due to paper physical degradation. Nowadays, Automatic Document Recognition Systems are used to convert the information contained in images to editable text, in a fast way and without the presence of an individual. So this information can, for example, be searchable through keywords. Skew is a frequent problem in these systems and is commonly introduced during scanning, when the paper is aligned in a angle different of 0 degrees upon the scanner axis. In the case of handwritten documents, the skew can appear during writing, especially when the person does not have a baseline to be guided by. The skew correction is essential for the good performance of such automatic recognition systems. This work deals with the problem of skew estimation of printed and handwritten documents and brings a revision of the main methods of skew estimation. Two new algorithms for skew estimation are presented based on the idea that a document is formed by a set of rectangular objects: one for skew estimation of a document containing printed characters and another for multiple skew of handwritten documents. The algorithm for printed documents aims to overcome common problems in previous presented techniques, such as high computational cost and vulnerability in the presence of figures, tables and noise in the document. The performance of proposed algorithms is evaluated over several image datasets containing various document types. Experimental results comparing the proposed approach for printed documents with other classic methods, show that the proposed algorithm achieved better performance in terms of error detection rates of skew angle and in terms of computational cost. Experiments with the algorithm for multiple skew estimation of handwritten text show that it presented satisfactory results in the skew detection of real documents written by several individuals. Keywords: Document Skew Estimation; Handwritten Documents; Image Processing vii.

(10) ´ SUMARIO. Cap´ıtulo 1—Introdu¸c˜ ao. 1. 1.1. Contextualiza¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 1. 1.2. Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 5. 1.3. Organiza¸cão da Disserta¸cão . . . . . . . . . . . . . . . . . . . . . . . . .. 6. Cap´ıtulo 2—Revis˜ ao da Literatura. 7. 2.1. Introdu¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7. 2.2. Técnicas Baseadas em Análise de Proje¸cão . . . . . . . . . . . . . . . . .. 8. 2.3. Técnicas Baseadas na Transformada de Hough . . . . . . . . . . . . . . .. 11. 2.4. Técnicas Baseadas em Agrupamento de Vizinhos Mais Próximos . . . . .. 12. 2.5. Técnicas Baseadas em Correla¸cão-Cruzada . . . . . . . . . . . . . . . . .. 14. 2.6. Técnicas Baseadas em Paralelogramos. . . . . . . . . . . . . . . . . . . .. 16. 2.7. Outros Métodos para Deteçcão de Inclina¸cão . . . . . . . . . . . . . . . .. 16. 2.8. Técnicas para Deteçcão de Inclina¸cão em Documentos Manuscritos . . .. 17. Cap´ıtulo 3—Algoritmos Propostos. 19. 3.1. Introdu¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 3.2. Novo Algoritmo para Estimativa de Inclina¸cão em Imagens de Documentos 21. 3.3. 19. 3.2.1. Análise da área do plano de fundo . . . . . . . . . . . . . . . . . .. 21. 3.2.2. Reduzindo o Espa¸co de Busca . . . . . . . . . . . . . . . . . . . .. 23. 3.2.3. Evitando a Interferência de Ru´ıdo e de Separadores Verticais . . .. 27. Deteçcão de M´ ultipla Inclina¸cão em Documentos Manuscritos . . . . . .. 30. 3.3.1. 33. Reduzindo o Espa¸co de Busca . . . . . . . . . . . . . . . . . . . .. Cap´ıtulo 4—Experimentos. 35. viii.

(11) ix. ´ SUMARIO. 4.1. Introdu¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 35. 4.2. Testes com Documentos Impressos. . . . . . . . . . . . . . . . . . . . . .. 35. 4.2.1. Bases de Imagens . . . . . . . . . . . . . . . . . . . . . . . . . . .. 36. 4.2.2. Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 38. 4.2.3. Tempo Computacional . . . . . . . . . . . . . . . . . . . . . . . .. 44. Testes com Documentos Manuscritos . . . . . . . . . . . . . . . . . . . .. 46. 4.3.1. Bases de Imagens . . . . . . . . . . . . . . . . . . . . . . . . . . .. 46. 4.3.2. Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 47. 4.3. Cap´ıtulo 5—Conclus˜ ao. 53. 5.1. Considera¸cões Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 53. 5.2. Contribui¸cões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 53. 5.2.1. Algoritmo para deteçcão de inclina¸cão em documentos impressos .. 54. 5.2.2. Algoritmo para deteçcão de m´ ultipla inclina¸cão em documentos. 5.3. manuscritos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 54. Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 55.

(12) LISTA DE FIGURAS. 1.1. Documento que sofreu degrada¸cão f´ısica com o tempo. . . . . . . . . . .. 1.2. As etapas de um sistema de reconhecimento de documentos: captura; processamento da imagem; reconhecimento dos caracteres e gera¸cão da sa´ıda.. 1.3. 1 2. (a) Um documento com inclina¸cão global de 9 graus no sentido antihorário. (b) Um documento contendo linhas com inclina¸cão diferentes. (c) Por¸cão de texto com inclina¸cão variável dentro da linha. . . . . . . .. 2.1. ` esquerda um documento com 8◦ Exemplo de corre¸cão da inclina¸cão. A ` direita, o mesmo documento com a inclina¸cão corrigida de inclina¸cão. A (contendo 0◦ ).. 2.2. 4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 8. a) Imagem com 0◦ e b) Imagem com 5◦ de inclina¸cão no sentido antihorário. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 9. 2.3. Perfis de proje¸cão das imagens da Figura 2.2. 9. 2.4. Algoritmo de Baird: apenas o ponto médio inferior do bouding box é projetado.. 2.5 2.6. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 10. Transforma¸cão das coordenadas cartesianas para o plano de Hough. . . ´ Agrupamento em linhas do algoritmo de Avila e Lins: (a) deteçcão dos. 11. blocos dos componentes conexos e (b) constru¸cão da linha imaginária.. 13. .. 2.7. Exemplo de imagem ruidosa que pode interferir na deteçcão de inclina¸cão.. 2.8. Cálculo do ângulo de inclina¸cão θ a partir do deslocamento que resulta em maior correla¸cão entre as faixas.. 3.1 3.2. . . . . . . . . . . . . . . . . . . . . . .. (a) Uma imagem com −6◦ de ângulo de inclina¸cão. (b) Paralelogramos. constru´ıdos a −6◦ . (c) Paralelogramos constru´ıdos a 1◦ .. . . . . . . . . .. 15 15. 20. (a) Uma imagem com +8◦ de ângulo de inclina¸cão. (b) Paralelogramos. constru´ıdos a +8◦ . (c) Paralelogramos constru´ıdos a −2◦ .. x. . . . . . . . .. 21.

(13) LISTA DE FIGURAS 3.3. xi. (a) Um documento com scan lines desenhadas a 0◦ . (b) As scan lines desenhadas a um ângulo diferente de 0◦ . O n´ umero total de scan lines cresce com as linhas pequenas extras.. 3.4. . . . . . . . . . . . . . . . . . . .. 23. ◦. (a) Um documento digitalizado com um ângulo próximo de 0 . (b) Varia¸cão do tamanho da região branca do documento sendo medida através do n´ umero de se¸cões brancas, como foi proposto por Chou et al. (c) Varia¸cão do tamanho da região branca do documento sendo medida através da área. (d) Varia¸cão do tamanho da região branca do documento inclinado a +7◦ sendo medida através da área.. . . . . . . . . . . . . . . . . . . . . . . .. 3.5. Espa¸co pesquisado na busca pelos ângulos γ e δ.. . . . . . . . . . . . . .. 3.6. Exemplos de documentos com elementos não-textuais que podem atrapa-. 25 26. lhar a estimativa do ângulo de inclina¸cão proposta por Chou et al. (a) Um cheque bancário brasileiro com ru´ıdo, componentes manuscritos e um carimbo (algumas informa¸cões foram ocultadas para fins de preserva¸cão de identidade). (b) Um documento contendo muitos separadores verticais. . 3.7. 29. Linha de texto manuscrito e um paralelogramo cobrindo uma aproxima¸cão do seu formato retangular.. . . . . . . . . . . . . . . . . . . . . . . . . .. 3.8. Ascendentes e descendentes no texto.. . . . . . . . . . . . . . . . . . . .. 3.9. Exemplo de como ascendentes e descendentes podem atrapalhar a deteçcão. 30 30. correta da inclina¸cão usando paralelogramos. A linha tracejada representa a correta inclina¸cão do texto. . . . . . . . . . . . . . . . . . . . . . . . .. 31. 3.10 Exemplo de constru¸cão dos paralelogramos sobre linhas manuscritas: (a) Um documento contendo linhas manuscritas com uma inclina¸cão positiva, (b) paralelogramos constru´ıdos a 0◦ e (c) paralelogramos constru´ıdos a 4◦ .. 32. 3.11 Exemplo de cálculo da altura do paralelogramo. A altura é calculada eliminando intervalos brancos causadas pela aplica¸cão do limiar T.. . . .. 32. 3.12 Exemplo de segmenta¸cão de linhas pelo método de Basu et al. . . . . . .. 33. 4.1. Exemplos de imagens da base sintética.. 37. 4.2. Parte de um documento da base com ru´ıdo sal e pimenta com densidade. . . . . . . . . . . . . . . . . . .. 0,01. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 38.

(14) LISTA DE FIGURAS 4.3. xii. Exemplos da base composta por imagens reais de documentos digitalizados. (a) Um boleto bancário, (b) uma folha de pagamento, (c) um formulário (d) um cheque bancário brasileiro (dados do cliente e do banco foram ocultados para preserva¸cão de indentidade). . . . . . . . . . . . . . . . .. 4.4. 39. Exemplos da base disponibilizada por Chou et al. (a) categoria Inglês, (b) categoria Chinês e Japonês, (c) categoria Figuras, (d) categoria Tabelas e (e) categoria Estrangeiro.. 4.5. . . . . . . . . . . . . . . . . . . . . . . . . . .. 40. Exemplo da corre¸cão de imagens reais. (a) Um documento digitalizado da categoria “Formulários”. (b) Resultado da corre¸cão de (a) através do ângulo encontrado pelo algoritmo de Chou et al. — o método de Chou et al. detectou uma inclina¸cão de −17◦ . A técnica proposta detectou 0◦ . (c). Um cheque bancário brasileiro. (d) Resultado da corre¸cão de (c) através do ângulo encontrado pelo algoritmo de Chou et al. — o método de Chou et al. detectou uma inclina¸cão de −17◦ , enquanto a técnica proposta detectou 0, 3◦ .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 43. 4.6. Exemplos de imagens da base sintética manuscrita. . . . . . . . . . . . .. 47. 4.7. Exemplos das bases reais. Acima, três exemplos da primeira base real. Abaixo, exemplos da base da competi¸cão do ICDAR. . . . . . . . . . . .. 4.8. 48. Corre¸cão da inclina¸cão de um documento sintético. Em (a) um documento que contém m´ ultipla inclina¸cão ao longo das linhas e em (b) o respectivo documento com as inclina¸cões das linhas corrigidas.. 4.9. . . . . . . . . . . .. 50. Exemplos da corre¸cão da inclina¸cão da primeira base real. . . . . . . . .. 51. 4.10 Exemplos da corre¸cão da inclina¸cão da base do ICDAR. Em (b) um caso de falha devido ao erro na fase prévia de segmenta¸cão: a região envolvida pelo tracejado não foi segmentada. . . . . . . . . . . . . . . . . . . . . .. 52.

(15) LISTA DE TABELAS. 2.1. Classifica¸cão dos principais algoritmos para deteçcão de inclina¸cão. . . .. 18. 4.1. Distribui¸cão das imagens em cada base . . . . . . . . . . . . . . . . . . .. 38. 4.2 4.3 4.4 4.5 4.6. ◦. Taxas de erros em graus ( ) das imagens da base sintética. x¯ representa o erro médio e s é o desvio padrão . . . . . . . . . . . . . . . . . . . . . . .. 41. Varia¸cão do limiar T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 41. ◦. Taxas de erros em graus ( ). Imagens da base sintética com ru´ıdo sal-epimenta. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 42. Diferen¸ca para 0◦ . Imagens da base real. . . . . . . . . . . . . . . . . . .. 43. ◦. Taxas de erros em graus ( ). Imagens da base disponibilizada por Chou et al. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 4.7. 44. Ganho no tempo computacional (em %) usando o espa¸co de busca reduzido comparado com a técnica de Chou et al. . . . . . . . . . . . . . . . . . .. 45. 4.8. ◦. Erro médio de estimativa em graus ( ) utilizando T =5% . . . . . . . . .. 47. 4.9. Varia¸cão do limiar T. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 49. xiii.

(16) CAPÍTULO 1. ˜ INTRODUC ¸ AO. 1.1. ˜ CONTEXTUALIZAC ¸ AO. O papel ainda é um dos meios mais comuns para armazenamento e distribui¸cão de informa¸cões. No entanto, o papel é frágil e suscet´ıvel ao envelhecimento. A digitaliza¸cão de documentos têm sido amplamente utilizada como forma de preserva¸cão da informa¸cão em formato eletrônico [1], evitando a perda das informa¸cões contidas nesses acervos devido à degrada¸cão f´ısica do papel. A Figura 1.1 exibe um exemplo de documento que sofreu degrada¸cão com o tempo. A digitaliza¸cão também torna poss´ıvel o acesso a bibliotecas e acervos em meio digital — como a Internet — distribuindo a informa¸cão de forma facilitada.. Figura 1.1 Documento que sofreu degrada¸cão f´ısica com o tempo.. Além da vantagem de não sofrer com degrada¸cão causada pelo tempo, as informa¸cões 1.

(17) ˜ 1.1 CONTEXTUALIZAC ¸ AO. 2. passadas para um meio digital também ocupam menos espa¸co f´ısico. Informa¸cões em meio digital podem ser armazenadas em vários tipos de m´ıdias, tais como CDs, DVDs e, também, vários tipos de armazenamento magnéticos, como HDs, evitando a necessidade do grande espa¸co f´ısico ocupado por livros, documentos, relatórios, etc. Além disso, arquivos em um computador são localizados mais facilmente do que um pequeno documento em uma grande biblioteca ou acervo. No entanto, na maioria das vezes deseja-se que a informa¸cão contida em tais documentos seja pesquisável através, por exemplo, de palavras-chave. Ou seja, deseja-se que seja feita a extra¸cão do texto da imagem. A extra¸cão do texto pode ser feita manualmente através de um indiv´ıduo que transcreve a informa¸cão contida nos documentos. No entanto, esse é um processo é lento. Sistemas de Reconhecimento Automático de Documentos (SRAD) são empregados para converter automaticamente a informa¸cão contida nas imagens em texto editável de forma rápida e sem a necessidade de um indiv´ıduo. A digitaliza¸cão e posterior reconhecimento de documentos também são u ´teis para acelerar atividades que seriam custosas para serem realizadas manualmente e auxiliam organiza¸cões que desejam automatizar algum processo. Sem um SRAD é necessário que um indiv´ıduo observe o texto de um documento e o digite no computador. Por exemplo, o uso de um SRAD acelera o processamento de cheques no banco, sem que seja necessário uma pessoa ler e digitar cada campo do cheque. A Figura 1.2 ilustra um esquema com as etapas de um SRAD. São elas:. Figura 1.2 As etapas de um sistema de reconhecimento de documentos: captura; processamento da imagem; reconhecimento dos caracteres e gera¸cão da sa´ıda.. 1. Captura: o documento é digitalizado através de um scanner ou máquina fotográfica. 2. Processamento da Imagem: a imagem capturada é preparada para a fase de classifica¸cão. Isto inclui, por exemplo, a conversão da imagem para dois tons—.

(18) ˜ 1.1 CONTEXTUALIZAC ¸ AO. 3. binariza¸cão — que converte para preto os pixels correspondentes à tinta do papel e para branco os pixels do plano de fundo. Nesta fase também faz-se a análise de diagrama¸cão (layout) da imagem, em que se realiza a identifica¸cão e segmenta¸cão das regiões de interesse no documento. Nesta etapa ainda estão inclusas a remo¸cão de ru´ıdos através de filtros, a corre¸cão da inclina¸cão da imagem, etc. 3. Reconhecimento de Caracteres: também conhecida como fase de classifica¸cão. Nesta fase ocorre a identifica¸cão de cada caractere através de um classificador. Esses classificadores são popularmente conhecidos como ferramentas OCR (Optical Character Recognition) [2]. 4. Gera¸c˜ ao do Arquivo de Sa´ıda: os caracteres reconhecidos na etapa anterior são agrupados na ordem correta e enviados a um arquivo de sa´ıda. Nesses sistemas, a qualidade da imagem de entrada é crucial para o desempenho final. Há uma variedade de aspectos que interferem no processo, como ru´ıdo e inclina¸cão, que danificam a imagem e reduzem o desempenho do sistema. O ru´ıdo pode ocorrer devido à degrada¸cão do documento e devido ao processo de binariza¸cão, que pode, por exemplo, converter para preto os pixels do plano de fundo caso o papel esteja sujo ou degradado. Já a inclina¸cão é um problema freq¨ uente e, em geral, é adquirida durante a digitaliza¸cão, quando o documento é posicionado com um ângulo diferente de 0 grau sobre o eixo do scanner. A Figura 1.3(a) mostra um exemplo de documento digitalizado com inclina¸cão. Para documentos manuscritos, a inclina¸cão aparece não apenas devido à fase de digitaliza¸cão, mas também pode ser adquirida durante a escrita do documento, especialmente ´ o caso em que o escritor geralquando o escritor não tem uma linha base como guia. E mente não percebe que está escrevendo as linhas do texto com inclina¸cão. Em geral, podemos observar três tipos de inclina¸cão em um documento: 1. Uma inclina¸cão global, quando toda a área de texto possui a mesma inclina¸cão (Figura 1.3(a)); 2. Uma inclina¸cão m´ ultipla, quando certas áreas de texto possuem inclina¸cões distintas de outras áreas de texto na imagem (Figura 1.3(b)); 3. Uma inclina¸cão não-uniforme dentro de uma linha de texto, quando a orienta¸cão “flutua”dentro de uma linha, i.e., uma linha se “entorta”em uma ou em ambas as extremidades, ou a linha contém um formato de “onda”(Figura 1.3(c))..

(19) ˜ 1.1 CONTEXTUALIZAC ¸ AO. 4. O primeiro caso citado ocorre em documentos impressos e manuscritos, enquanto que os dois u ´ltimos são mais comuns em documentos manuscritos. O foco desse trabalho está na identifica¸cão dos dois primeiros casos. A corre¸cão de inclina¸cão tem um importante papel no pré-processamento da imagem, pois interfere nas etapas subseq¨ uentes. Uma pequena inclina¸cão no documento pode interferir na análise da diagrama¸cão e conseq¨ uentemente no restante do processo. Ou seja, fases importantes do processo, tais como segmenta¸cão e classifica¸cão, ficam prejudicadas. Para corre¸cão da inclina¸cão é necessário o uso de um algoritmo para estimar o ângulo da inclina¸cão dos documentos. O desenvolvimento desse tipo de algoritmo ainda é uma área ativa no processamento de imagens e enfrenta desafios, tais como redu¸cão do custo computacional e capacidade de lidar com diversos tipos de diagrama¸cões e componentes não-textuais na imagem.. Figura 1.3 (a) Um documento com inclina¸cão global de 9 graus no sentido anti-horário. (b) Um documento contendo linhas com inclina¸cão diferentes. (c) Por¸cão de texto com inclina¸cão variável dentro da linha.. A corre¸cão da inclina¸cão para o caso de documentos manuscritos é ainda mais proble-.

(20) 1.2 OBJETIVO. 5. mática que o caso dos documentos impressos. O texto manuscrito não tem uma aparência uniforme, mudando de pessoa para pessoa. Além disso, como ilustrado na Figura 1.3, é comum encontrar documentos contendo m´ ultipla inclina¸cão ao longo das linhas de texto, isto é, um ângulo diferente para cada linha no documento ou mais de uma inclina¸cão dentro de uma u ńica linha. Esse problema torna a estimativa da inclina¸cão mais dif´ıcil. 1.2. OBJETIVO. O principal objetivo deste trabalho é o desenvolvimento de algoritmos para deteçcão da inclina¸cão de documentos impressos e manuscritos. As metas para atingir estes objetivos são: Estudo do estado-da-arte da área de algoritmos de deteçcão de inclina¸cão de documentos impressos e manuscritos, com suas diferentes técnicas e aplica¸cões; Constru¸cão de uma base de imagens impressas sintética com ângulos de inclina¸cão conhecidos; Constru¸cão de bases de imagens impressas reais; Constru¸cão de uma base de imagens manuscritas sintética com ângulos de inclina¸cão diferentes em cada linha; Constru¸cão de bases de imagens manuscritas real, com texto escrito por diferentes indiv´ıduos; Evolu¸cão da técnica de deteçcão de inclina¸cão baseada em paralelogramos [3] para a deteçcão mais robusta da inclina¸cão de imagens impressas ruidosas e que contenham separadores verticais com redu¸cão do tempo computacional; Compara¸cão da técnica proposta para documentos impressos com outros métodos clássicos da literatura; Desenvolvimento de um algoritmo para deteçcão de m´ ultipla inclina¸cão em documentos manuscritos..

(21) ˜ DA DISSERTAC ˜ 1.3 ORGANIZAC ¸ AO ¸ AO. 1.3. 6. ˜ DA DISSERTAC ˜ ORGANIZAC ¸ AO ¸ AO. Este trabalho está organizado da seguinte forma: apresenta-se no Cap´ıtulo 2 uma revisão do estado da arte da deteçcão de inclina¸cão de documentos impressos e manuscritos; o Cap´ıtulo 3 apresenta uma metodologia para deteçcão da inclina¸cão global de documentos impressos baseada na modelagem de um documento em um conjunto de paralelogramos. No Cap´ıtulo 3 apresenta-se ainda uma abordagem para identifica¸cão da inclina¸cão de linhas de documentos manuscritos contendo m´ ultipla inclina¸cão. No Cap´ıtulo 4 expõe-se diversos experimentos com a técnica destinada a texto impresso abordada no Cap´ıtulo 3. Seus resultados são apresentados e comparados com os de outras técnicas. O desempenho das técnicas é avaliado em diversas bases de imagens, contendo documentos com diversos layouts, diversos tamanhos de fontes, presen¸ca de ru´ıdo e mistura entre regiões de texto e figuras. A técnica destinada a documentos manuscritos é testada sobre diferentes bases, contendo texto manuscrito de diferentes indiv´ıduos e diversos exemplos são expostos. Finalmente, é comentado no Cap´ıtulo 5 as técnicas apresentadas no Cap´ıtulo 3 e discute os resultados obtidos nos experimentos..

(22) CAPÍTULO 2. ˜ DA LITERATURA REVISAO. 2.1. ˜ INTRODUC ¸ AO. Para resolver o problema da inclina¸cão em imagens de documentos muito esfor¸co foi empregado para desenvolver técnicas capazes de eliminar a inclina¸cão presente na imagem. Sistemas de reconhecimento automático de texto precisam de algoritmos de préprocessamento para estimar e corrigir a inclina¸cão das imagens a fim de alcan¸car uma alta taxa de acerto. Grande parte dos algoritmos que trabalham com estimativa de inclina¸cão lidam com documentos contendo uma u ńica inclina¸cão na imagem. Apenas poucos trabalhos lidam com documentos com m´ ultiplas inclina¸cões dada a complexidade do tema. Além disso, a deteçcão e corre¸cão de inclina¸cão de documentos manuscritos permanece pouco explorada. Vários algoritmos foram desenvolvidos para estimar o ângulo de inclina¸cão de documentos impressos digitalizados [4, 5]. Depois de estimar o ângulo de inclina¸cão, um algoritmo de corre¸cão deve ser utilizado para ajustar o documento, rotacionando-o [6]. A Figura 2.1 apresenta um exemplo da corre¸cão da inclina¸cão de um documento. Na Tabela 2.1 apresenta-se um resumo do estado-da-arte inicialmente constru´ıda por ´ Cattoni et al. [4], posteriormente complementada por Avila e Lins [7] e atualizada neste trabalho. Nela, é apresentada uma categoriza¸cão dos principais algoritmos de deteçcão de inclina¸cão separados em 8 classes, além das caracter´ısticas dos documentos testados pelos autores de cada técnica. Para técnicas testadas com vários tamanhos e estilos de fonte, diferentes diagrama¸cões e presen¸ca de elementos gráficos, a tabela rotula as caracter´ısticas dos documentos como “documentos complexos”. Os métodos mais comuns são baseados em análise de proje¸cão, transformada de Hough, agrupamento por vizinhos-mais-próximos (nearest neighbor clustering) ou correla¸cão-cruzada (cross-correlation). No entanto, técnicas baseadas em outras estratégias também foram desenvolvidas. As se¸cões a seguir expõem as principais técnicas desenvolvidas até o presente momento, comentando suas vantagens e limita¸cões.. 7.

(23) ´ ´ ˜ 2.2 TECNICAS BASEADAS EM ANALISE DE PROJEC ¸ AO. 8. ` esquerda um documento com 8◦ de inFigura 2.1 Exemplo de corre¸cão da inclina¸cão. A ` direita, o mesmo documento com a inclina¸cão corrigida (contendo 0◦ ). clina¸cão. A. 2.2. ´ ´ ˜ TECNICAS BASEADAS EM ANALISE DE PROJEC ¸ AO. Métodos baseados em análise de proje¸cão assumem que uma imagem é formada por regiões de texto organizadas em linhas paralelas. A deteçcão do ângulo é feita projetando essa região de texto em vários ângulos e decidindo dentre esses qual a real inclina¸cão do documento. Para cada ângulo testado, a quantidade de pixels pretos em cada linha é projetada e uma fun¸cão objetivo é calculada para esse perfil de proje¸cão. O ângulo escolhido é aquele que otimiza essa fun¸cão objetivo, comumente chamada de fun¸cão premium. As Figuras 2.2 e 2.3 ilustram a diferen¸ca no perfil de proje¸cão de uma imagem com texto a 0◦ e com texto a 5◦ de inclina¸cão. O perfil de proje¸cão possui máximas amplitude e freq¨ uência quando o texto está a 0◦ . Métodos baseados em proje¸cão assumem que o documento é predominantemente constitu´ıdo de linhas de texto e geralmente são vulneráveis à presen¸ca de outros elementos, como figuras, tabelas ou ru´ıdo. Evolu¸cões na técnica tentam eliminar componentes gráficos, mas assumem que o documento possui uma região m´ınima de linhas paralelas de texto. Originalmente, a análise de proje¸cão possui um grande custo computacional e os trabalhos publicados nessa linha tentam minimizar a quantidade de dados envolvidos na computa¸cão do ângulo, ou tentam melhorar a estratégia de busca. O grau de precisão.

(24) ´ ´ ˜ 2.2 TECNICAS BASEADAS EM ANALISE DE PROJEC ¸ AO. 9. Figura 2.2 a) Imagem com 0◦ e b) Imagem com 5◦ de inclina¸cão no sentido anti-horário.. Figura 2.3 Perfis de proje¸cão das imagens da Figura 2.2. do ângulo pode ser controlado com a mudan¸ca do tamanho do intervalo entre os ângulos testados. Para avalia¸cões mais precisas, maior tempo computacional é demandado para que mais ângulos possam ser testados. No trabalho de Postl [8], é utilizada uma outra abordagem para reduzir o volume de dados processados: os pontos a serem projetados são previamente filtrados por uma “grade”, e apenas alguns pontos nessa grade são usados para computar o perfil de proje¸cão. Baird [9] propôs uma técnica para selecionar os pontos a serem projetados: inicialmente a imagem é rotulada em componentes conectados, em que os pixels com conectividade de 8 são agrupados em grupos de componentes. Para cada componente conectado,.

(25) ´ ´ ˜ 2.2 TECNICAS BASEADAS EM ANALISE DE PROJEC ¸ AO. 10. apenas o ponto médio da parte superior do menor retângulo contendo o componente (bounding box ) é projetado, como exemplificado na Figura 2.4. A análise da inclina¸cão continua a partir da proje¸cão desses prontos. A fun¸cão objetivo a ser otimizada é calculada como a soma dos quadrados dos valores do perfil de proje¸cão. Para acelerar a busca pelo ângulo, Baird propôs um método iterativo: na primeira itera¸cão todo o intervalo é percorrido com uma precisão mais grosseira; a cada itera¸cão posterior a busca é restrita a uma vizinhan¸ca do melhor ângulo até então encontrado e o resolu¸cão da busca é refinada, mas restringe seu intervalo de busca a no máximo ±15◦ . Baird afirma que seu método. funciona para uma variedade de layouts, incluindo tabelas, m´ ultiplos estilos e tamanhos de fontes.. Figura 2.4 Algoritmo de Baird: apenas o ponto médio inferior do bouding box é projetado.. Ciardiello el al. [10] propuseram filtrar a quantidade de dados a serem processados através da sele¸cão de uma sub-região no documento que contenha alta densidade de pixels pretos por linha e projetar essa região. A fun¸cão a ser maximizada para descobrir o ângulo real é o desvio médio quadrático do perfil projetado. A técnica proposta por Li et al. [13], usa a transformada Wavelet [32] para decompor a imagem e encontrar o ângulo de inclina¸cão através de análise de proje¸cão. A influência do filtro base Wavelet no resultado é avaliada variando entre as bases ”Daubechies“, ”Symlets“ e ”biortogonal“. A matriz com os coeficientes das sub-bandas horizontais é rotacionada em vários ângulos e, aquele ângulo que maximiza uma dada fun¸cão objetivo, é admitido como o ângulo de inclina¸cão do documento. Ishitani [12] propôs uma técnica baseada em mapas de transi¸cões que são projetados horizontalmente. Essa pode ser considerada uma varia¸cão da análise de proje¸cão em que, ao invés de projetar a quantidade de pixels pretos em cada linha, a quantidade de transi¸cões de preto para branco são projetadas. O trabalho de Ishitani lida com documentos contendo mistura de áreas de texto, fotografias, figuras ou tabelas..

(26) ´ 2.3 TECNICAS BASEADAS NA TRANSFORMADA DE HOUGH. 11. ´ TECNICAS BASEADAS NA TRANSFORMADA DE HOUGH. 2.3. A transformada de Hough [32] é uma técnica bastante utilizada para deteçcão de linhas em imagens e essa funcionalidade têm sido muito explorada por autores para deteçcão de inclina¸cão em documentos. Técnicas baseadas na transformada de Hough, admitem que uma caracter´ıstica comum às regiões textuais é o alinhamento dos caracteres (lado-a-lado, formando uma linha) e o paralelismo das linhas de texto. A transformada converte coordenadas cartesianas (x, y) em curvas nas coordenadas polares (ρ,θ) utilizando a transforma¸cão. ρ = xcos(θ) + ysen(θ) ( . ) e um vetor auxiliar é utilizado como acumulador para computar a quantidade de vezes que cada combina¸cão de ρ e θ aparece na imagem (Figura 2.5). Pixels pretos alinhados (formando linhas) na imagem geram picos no plano de Hough e permitem identificar o ângulo (θ) dessas linhas, ou seja, a inclina¸cão do documento.. Figura 2.5 Transforma¸cão das coordenadas cartesianas para o plano de Hough.. A granularidade da busca pelo ângulo depende da resolu¸cão do eixo θ, enquanto que a complexidade depende da quantidade de pontos a serem transformados e da resolu¸cão de θ. Métodos baseados na transformada de Hough são bastante populares pela robustez na deteçcão do ângulo de inclina¸cão de linhas em uma imagem, mas demandam alto tempo e espa¸co computacional para encontrar o pico no plano de Hough. Além disso, a maioria das técnicas desenvolvidas assumem que o documento contém uma região m´ınima de texto impresso..

(27) ´ ´ 2.4 TECNICAS BASEADAS EM AGRUPAMENTO DE VIZINHOS MAIS PROXIMOS. 12. Devido a tais problemas, vários trabalhos baseados na transformada de Hough tentam melhorar a eficiência computacional do algoritmo reduzindo a quantidade de pontos a serem mapeados para o plano de Hough. Essa redu¸cão acontece selecionando subconjuntos representativos da imagem ou restringindo a análise a partes do documento. Le et al. [15] descreveram um algoritmo para identifica¸cão da inclina¸cão e também da orienta¸cão (retrato ou paisagem) do documento. A deteçcão da orienta¸cão é obtida dividindo a imagem em sub-regiões e cada uma é classificada como contendo componentes textuais ou não-textuais. Em seguida, essas regiões são classificadas como “retrato”ou “paisagem”de acordo com uma análise de proje¸cão vertical e horizontal. A deteçcão de inclina¸cão é realizada então, aplicando a transformada de Hough aos pixels pretos da u ´ltima linha de cada componente conectado. Por utilizar-se de transforma¸cão no plano de Hough e análise de componentes conectados, a técnica de Le et al. sofre com alto custo computacional. Amin e Fischer [18] aplicaram transformada de Hough à u ´ltima linha pertencente a blocos segmentados de texto e agrupam pixels em componentes conectados para reduzir o custo computacional. Singh et al. [6] elaboraram um estudo sobre a complexidade de métodos de deteçcão de inclina¸cão baseados na transformada de Hough. Eles apresentam uma proposta de algoritmo para acelerar o cálculo da transformada de Hough que seleciona apenas alguns pontos de contornos dos componentes conectados na imagem para aplica¸cão da transformada. A transformada de Hough é eficiente mesmo em casos de imagens ruidosas. No entanto, a aplica¸cão de etapas prévias utilizando algoritmos para extra¸cão de componentes conectados (com a finalidade de reduzir a complexidade computacional da técnica) torna a deteçcão de inclina¸cão vulnerável a ru´ıdo. Para as técnicas descritas acima, os problemas inerentes ao uso da transformada permanecem, como a expectativa de haver texto no documento. 2.4. ´ ´ TECNICAS BASEADAS EM AGRUPAMENTO DE VIZINHOS MAIS PROXIMOS. Os métodos baseados em agrupamento de vizinhos-mais-próximos formam uma outra categoria de métodos para deteçcão de inclina¸cão que também explora os componentes textuais da imagem. Métodos nessa categoria assumem que os caracteres em uma linha.

(28) ´ ´ 2.4 TECNICAS BASEADAS EM AGRUPAMENTO DE VIZINHOS MAIS PROXIMOS. 13. encontram-se alinhados e próximos uns aos outros. Técnicas nessa categoria come¸cam o processo de deteçcão da inclina¸cão através do agrupamento dos pixels pretos na imagem em componentes conectados para identifica¸cão dos caracteres e, depois, agrupam esses caracteres em blocos maiores, de acordo com alguma caracter´ıstica de similaridade. Por fim, o ângulo de inclina¸cão é calculado baseando-se em distâncias e outros relacionamentos espaciais entre as linhas de texto. ´ O algoritmo de Avila e Lins [7] inicialmente busca os menores retângulos (blocos) que envolvem os caracteres e desenha linhas imaginárias que acompanham as linhas de texto desses blocos, como exemplificado na Figura 2.6. Essas linhas são usadas para detectar ambas inclina¸cão e orienta¸cão (retrato/paisagem). Os principais passos desse algoritmo podem ser resumidos da seguinte forma: 1. Rotule os componentes conectados; 2. Para cada bloco B : (a) Localize o bloco N que é vizinho mais próximo do bloco B ; (b) Agrupe uma linha de texto partindo dos blocos B e N ; (c) Detecte o ângulo de inclina¸cão e a orienta¸cão da linha de texto; (d) Detecte a orienta¸cão cima-baixo da linha de texto; 3. Detecte a inclina¸cão total do documento.. ´ Figura 2.6 Agrupamento em linhas do algoritmo de Avila e Lins: (a) deteçcão dos blocos dos componentes conexos e (b) constru¸cão da linha imaginária.. Lu et al. [20] propuseram uma técnica para estimar o ângulo de inclina¸cão observando “corredores de pixels brancos”que percorrem o espa¸camento entre-linhas do texto..

(29) ´ ˜ 2.5 TECNICAS BASEADAS EM CORRELAC ¸ AO-CRUZADA. 14. A orienta¸cão do documento é também detectada através da análise de ascendentes e descendentes. O algoritmo de Shivakumara e Kumar [2] detecta regiões de texto na imagem com o agrupamento dos caracteres na imagem através do chamado “crescimento de bordas”(boundary-growing). Nessa técnica os retângulos contendo os caracteres (bounding boxes) são expandidos em uma largura calculada a partir da altura média dos caracteres. A interseçcão dessas expansões agrupam os caracteres em palavras. Linhas imaginárias para encontrar o ângulo de inclina¸cão são tra¸cadas seguindo os caracteres agrupados através de regressão linear. Saragiotis e Papamarkos [22] utilizaram regras para filtrar os caracteres da imagem baseando-se no tamanho e em caracter´ısticas geométricas, como densidade de pixels pretos, área e propor¸cão entre altura e largura dos componentes conectados. Dessa forma, apenas os caracteres são utilizados no cálculo da inclina¸cão e componentes que não representem texto, como componentes gráficos, devem ser eliminados. Em seguida, os caracteres são agrupados em palavras de acordo com a distância entre eles para então serem agrupados em linhas de texto. Linhas imaginárias são tra¸cadas na base das linhas de texto através de regressão linear. O ângulo de inclina¸cão é calculado a partir dessas linhas. A novidade no trabalho de Saragiotis é a possibilidade de detectar mais de um ângulo na imagem, um ângulo diferente para cada grupo de palavras. Técnicas nesta categoria exigem a existência de uma região m´ınima de linhas de texto na imagem. Além disso, é importante ressaltar que a efetividade desse tipo de técnica é dependente da qualidade da binariza¸cão utilizada e do n´ıvel de ru´ıdo presente na imagem. Imagens ruidosas — como o exemplo da Figura 2.7 — podem sofrer interferência durante a deteçcão da inclina¸cão. Já o custo computacional é associado à etapa de deteçcão dos componentes conectados e não é necessário testar vários ângulos para encontrar a inclina¸cão correta. 2.5. ´ ˜ TECNICAS BASEADAS EM CORRELAC ¸ AO-CRUZADA. As técnicas baseadas em correla¸cão partem do princ´ıpio que o texto sem inclina¸cão possui uma estrutura horizontal homogênea. No geral, as técnicas nessa categoria fazem a divisão da imagem em faixas verticais e calculam alguma medida de correla¸cão entre faixas adjacentes para encontrar o ângulo de inclina¸cão do documento. Na técnica descrita por Akiyama e Hagita [23], a imagem é dividida em diversas.

(30) ´ ˜ 2.5 TECNICAS BASEADAS EM CORRELAC ¸ AO-CRUZADA. 15. Figura 2.7 Exemplo de imagem ruidosa que pode interferir na deteçcão de inclina¸cão.. faixas verticais de mesma largura e um perfil de proje¸cão horizontal é computado para essas faixas. Calcula-se a correla¸cão entre proje¸cões adjacentes e, cada faixa é deslocada verticalmente até que a melhor correla¸cão entre as faixas seja encontrada. Na Figura 2.8, F 1, F 2 e F 3 são as faixas verticais do documento, L é o deslocamento que atinge maior correla¸cão. O ângulo de inclina¸cão θ é calculado como o arco-tangente da razão entre o deslocamento médio e a largura da faixa.. Figura 2.8 Cálculo do ângulo de inclina¸cão θ a partir do deslocamento que resulta em maior correla¸cão entre as faixas.. Gatos et al. [25] propuseram a extra¸cão da correla¸cão das faixas verticais extra´ıdas de uma imagem pré-processada por um filtro de emba¸camento (smoothing) horizontal. A largura das faixas foi determinada experimentalmente sendo igualmente espa¸cadas e para cada faixa uma “assinatura”é gerada, atribuindo valor 1 para linhas que contenham pelo menos 1 pixel preto. A seguir, a correla¸cão é extra´ıda de um par de assinaturas. No trabalho desenvolvido por Avanindra [26], ao invés da correla¸cão ser calculada para a imagem inteira, ela é calculada sobre pequenas regiões selecionadas aleatoriamente, sem a necessidade de uma segmenta¸cão prévia para distinguir as regiões textuais de figuras..

(31) ´ 2.6 TECNICAS BASEADAS EM PARALELOGRAMOS. 16. Avanindra utilizou a amostragem de Monte Carlo para selecionar regiões sobre as quais devem se realizar o cálculo da correla¸cão. Técnicas baseadas em correla¸cão-cruzada geralmente exigem a existência de uma região m´ınima de texto para o bom funcionamento da técnica, que garantem a homogeneidade horizontal da imagem e são sens´ıveis a diagrama¸cões muito complexas. 2.6. ´ TECNICAS BASEADAS EM PARALELOGRAMOS. A técnica baseada em paralelogramos foi recentemente introduzida por Chou et al. [3] e baseia-se na idéia de que um documento é composto por uma combina¸cão de componentes retangulares, tais como linhas de texto, figuras, tabelas, etc. A idéia de Chou et al. é tra¸car linhas em vários ângulos e encontrar aquele que forma paralelogramos que melhor se adaptem aos componentes da imagem. A deteçcão de inclina¸cão através do método dos paralelogramos é o foco deste trabalho, sendo detalhado nos cap´ıtulos seguintes. Um novo algoritmo baseado no método dos paralelogramos é apresentado na Se¸cão 3.2 e foi publicado no Simpósio Brasileiro de Computa¸cão Gráfica e Processamento de Imagens (SIBGRAPI 2008) [27]. A vantagem do uso de paralelogramos é a capacidade de lidar com diversos tipos de diagrama¸cões, sendo independente também do idioma existente no texto, pois não se baseia na análise minuciosa de caracter´ısticas dos caracteres. Além disso, não exige a existência de uma área m´ınima de texto plano, podendo encontrar a inclina¸cão de documentos contendo pouco (ou nenhum) texto. Na Se¸cão 3.3 uma modifica¸cão da técnica dos paralelogramos é apresentada para deteçcão de m´ ultiplas inclina¸cões em imagens de documentos manuscritos. 2.7. ´ ˜ DE INCLINAC ˜ OUTROS METODOS PARA DETECC ¸ AO ¸ AO. Outros métodos são ainda divulgados na literatura sem que perten¸cam a uma das classes listadas anteriormente. Sauvola e Pietikainen [28] propuseram uma técnica para deteçcão de inclina¸cão tratando a imagem do documento como regiões de textura e analisando a dire¸cão do gradiente de sub-regiões da imagem. Chen e Haralick [30] apresentaram um algoritmo em opera¸cões morfológicas de abertura e fechamento [32]. Uma opera¸cão recursiva de fechamento com elementos estruturantes de 2x2 ou 3x3 pixels é executada com a finalidade de conectar caracteres, palavras.

(32) ´ ˜ DE INCLINAC ˜ EM DOCUMENTOS MANUSCRITOS 2.8 TECNICAS PARA DETECC ¸ AO ¸ AO. 17. e outros componentes. Aghajan et al. [31] propuseram uma interpreta¸cão do problema de inclina¸cão como um problema da determina¸cão da dire¸cão de ondas eletromagnéticas. O algoritmo de Aghajan é capaz de detectar m´ ultiplos ângulos de inclina¸cão na imagem, sendo robusto à presen¸ca de fórmulas ou diagramas no documento. 2.8. ´ ˜ DE INCLINAC ˜ EM DOCUMENTOS MATECNICAS PARA DETECC ¸ AO ¸ AO NUSCRITOS. Embora a deteçcão de inclina¸cão de documentos impressos tenha sido vastamente explorada, a deteçcão de inclina¸cão de documentos manuscritos continua pouco investigada. Chin et al. [33] investigaram algumas técnicas, tais como a transformada de Hough e análise de proje¸cão de histogramas, para determinar qual método é mais adequado para lidar com trechos de texto manuscrito. O autor concluiu que a transformada de Hough é o método mais eficaz para aplica¸cão em documentos manuscritos, mas que técnicas mais rápidas podem ser empregadas na deteçcão da inclina¸cão de manuscritos. Kapoor et al. [34] utilizaram a transformada de Radon confrontando-a com a transformada de Hough para análise da inclina¸cão em palavras manuscritas de vários escritores diferentes. Analisou que a transformada de Hough detecta mais picos no plano de Hough mas que é mais custosa em termos de tempo computacional. Além disso, a transformada de Radon apresentou melhor desempenho sobre imagens com ru´ıdo. O trabalho de Kavallieratou et al. [35] apresenta um método baseado no perfil de proje¸cão horizontal do documento e em sua distribui¸cão de Wigner-Ville. O objetivo é lidar com documentos impressos e manuscritos simultaneamente e detectar um ângulo global na imagem. Roy et al. [36] propuseram uma abordagem para corre¸cão da inclina¸cão utilizando uma prévia segmenta¸cão do texto manuscrito. Roy et al. avaliam algumas caracter´ısticas, tais como algumas distâncias medidas dentro de um u ńico caractere e distância entre os caracteres e utiliza palavras Bangla como um estudo de caso de caracteres cursivos. O segundo método proposto por Postl em [37] calcula a transformada de Fourier bidimensional [32] da imagem do documento e analisa o espectro de potência para calcular o ângulo de inclina¸cão do documento..

(33) ´ ˜ DE INCLINAC ˜ EM DOCUMENTOS MANUSCRITOS 2.8 TECNICAS PARA DETECC ¸ AO ¸ AO. 18. Tabela 2.1 Classifica¸cão dos principais algoritmos para deteçcão de inclina¸cão.. M´ etodo. Proje¸cão. Transformada de Hough. Autores Postl [8] Baird [9] Ciardiello et al. [10] Bagdanov e Kanai [11] Ishitani [12] Li et al. [13] Hinds et al. [14] Le et al. [15] Min et al. [16] Pal e Chaudhuri [17] Amin e Fischer [18] Vailaya et al. [19] Singh et al. [6] Pal e Chaudhuri [17]. Caracter´ısticas documentos complexos predominância de regiões textuais documentos complexos (revistas) documentos sem (ou pouco) texto documentos complexos vários layouts documentos complexos documentos complexos documentos com tabelas documentos complexos documentos complexos documentos complexos documentos contendo texto documentos complexos. ´ Avila e Lins [7] Lu et al. [20] Smith [21] Shivakumara e Kumar [2] Saragiotis e Papamarkos [22]. documentos documentos documentos documentos documentos. Akiyama e Hagita [23] Yan [24] Gatos et al. [25] Avanindra [26]. m´ ultiplas inclina¸cões documentos contendo texto predominância de texto mistura de texto e figuras mistura de texto e figuras, diver-. Chou et al. [3]. sos idiomas documentos complexos, diversos. Mascaro e Cavalcanti [27]. idiomas documentos complexos, diversos. Sauvola e Pietikainen [28] Sun e Si [29]. idiomas, presen¸ca de ru´ıdo documentos complexos documentos complexos, contendo. Agrupamento de vizinhos mais próximos. Correla¸cão-Cruzada. Paralelogramos. Gradiente. contendo texto contendo texto contendo texto contendo texto contendo texto com. texto e com intervalo entrelinhas maior que intervalo entreMorfologia SLIDE. Chen e Haralick [30] Aghajan et al. [31]. caracteres documentos complexos documentos com algumas regiões não textuais.

(34) CAPÍTULO 3. ALGORITMOS PROPOSTOS 3.1. ˜ INTRODUC ¸ AO. O método proposto por Chou et al. [3] citado no Cap´ıtulo 2 como a técnica que introduziu o método baseado em paralelogramos, baseia-se na idéia de que um documento pode ser considerado uma combina¸cão de objetos retangulares dispostos separadamente na imagem. Esse objetos retangulares são, por exemplo, as linhas de texto, as figuras, os separadores de um formulário ou tabela, etc. A idéia do algoritmo de deteçcão de inclina¸cão proposto por Chou et al. é construir paralelogramos em vários ângulos e decidir qual dentre eles melhor se adapta aos objetos na imagem. Para construir os paralelogramos, linhas paralelas são desenhadas sobre a imagem (as scan lines) em um dado ângulo θ tendo como referencial o eixo horizontal da imagem. Uma scan line é uma linha com um pixel de espessura que cruza a imagem em um ângulo da esquerda para a direita. A imagem é ainda verticalmente dividida em regiões de tamanho fixo, chamadas slabs, conforme a Figura 3.1(a) exemplifica. Ao dividir a imagem em slabs, também se divide as scan lines formando as se¸cões. Chou et al. sugerem o uso de um slab de 450 pixels de largura para imagens produzidas a uma resolu¸cão de 300dpi. Como esperado, o slab mais à direita pode ser menor que os demais (em uma leitura da esquerda para a direita), caso a largura da imagem não seja um valor m´ ultiplo do tamanho do slab. Na fase de constru¸cão dos paralelogramos, cada se¸cão é examinada em um determinado ângulo. Se essa section contiver pelo menos um pixel preto, ela é pintada de cinza, caso contrário, permanece branca. Sections cinza adjacentes formam os paralelogramos. As scan lines são tra¸cadas em diferentes ângulos e o tamanho da região não coberta por paralelogramos é calculada. Como exposto na Figura 3.1(a)-(c), quando as linhas são tra¸cadas no mesmo ângulo da ˆ inclina¸cão do documento, a região branca no plano de fundo é maior. Angulos positivos rotacionam as linhas no sentido anti-horário e ângulos negativos rotacionam as linhas no sentido horário. 19.

(35) ˜ 3.1 INTRODUC ¸ AO. 20. Figura 3.1 (a) Uma imagem com −6◦ de ângulo de inclina¸cão. (b) Paralelogramos constru´ıdos a −6◦ . (c) Paralelogramos constru´ıdos a 1◦ .. Dessa maneira, o ângulo que apresentar a maior região branca é considerado o ângulo de inclina¸cão do documento. A Figura 3.1(b) mostra as scan lines desenhadas a −6◦ ,. que é o mesmo ângulo de inclina¸cão do documento (Figura 3.1(a)). Figura 3.1(c) mostra os paralelogramos com as scan lines a 1◦ . Como pode ser observado, a região branca de fundo a −6◦ é maior que a +1◦ .. A Figura 3.2 apresenta mais exemplos da constru¸cão de paralelogramos. Pode ser. observado que, quando o ângulo de inclina¸cão está próximo ao ângulo real, os paralelogramos se adaptam melhor aos componentes da imagem e a região branca de plano de fundo é maior. O algoritmo de Chou et al., realiza uma busca completa por ângulos entre −15◦ e +15◦ ,. mas a maioria dos documentos digitalizados no dia-a-dia possuem uma pequena inclina¸cão em torno de 0◦ . Esse algoritmo é ainda vulnerável a ru´ıdo e a outros componentes, tais como grandes quantidades de barras verticais e componentes manuscritos que podem estar presentes na imagem. Essas duas caracter´ısticas mostram a necessidade de uma melhoria no algoritmo proposto por Chou et al. a qual será apresentada na se¸cão a.

(36) ˜ EM IMAGENS DE DOCUMENTOS21 3.2 NOVO ALGORITMO PARA ESTIMATIVA DE INCLINAC ¸ AO. Figura 3.2 (a) Uma imagem com +8◦ de ângulo de inclina¸cão. (b) Paralelogramos constru´ıdos a +8◦ . (c) Paralelogramos constru´ıdos a −2◦ .. seguir. 3.2. ˜ EM IMAGENS NOVO ALGORITMO PARA ESTIMATIVA DE INCLINAC ¸ AO DE DOCUMENTOS. As modifica¸cões no algoritmo de Chou et al. descritas nesta se¸cão estão relacionadas a três aspectos: 1. Na forma de medir a região branca (Se¸cão 3.2.1); 2. Na forma de percorrer o espa¸co de busca pelo melhor ângulo de inclina¸cão (Se¸cão 3.2.2); 3. Uma modifica¸cão para evitar a indesejada interferência de ru´ıdo e de separadores verticais (Se¸cão 3.2.3). 3.2.1. An´ alise da ´ area do plano de fundo. No algoritmo original de Chou et al., para detectar o ângulo de um documento calcula-se a maior área branca dentre os ângulos testados. Para medir o tamanho da região branca em um dado ângulo θ, Chou et al. propuseram contar o n´ umero de se¸cões brancas encontradas nesse ângulo θ. O cálculo do tamanho da região branca é realizado da seguinte maneira:.

(37) ˜ EM IMAGENS DE DOCUMENTOS22 3.2 NOVO ALGORITMO PARA ESTIMATIVA DE INCLINAC ¸ AO. Se um pixel preto for detectado em uma se¸cão Ent˜ ao pule essa se¸cão e mova para a próxima Sen˜ ao incremente o contador de se¸cões brancas de um. No entanto, quando o valor do ângulo aumenta (positiva ou negativamente), o n´ umero total de se¸cões cobrindo a imagem é alterado, sendo um problema para o algoritmo. Como ilustrado na Figura 3.3(a), a 0◦ tem-se n scan lines, que coincide com o n´ umero de linhas na imagem. Na Figura 3.3(b), as scan lines são rotacionadas e o n´ umero total de scan lines agora é igual a n+a, sendo a é o n´ umero de scan lines extras. Para fazer uma avalia¸cão justa, espera-se que o n´ umero total de se¸cões permane¸ca constante para cada ângulo testado. Em outras palavras, se o total de se¸cões em certo ângulo θ é 1.000, por exemplo, o total de se¸cões deve ser 1.000 para todos os demais ângulos. Como mostrado na Figura 3.3(b), uma parte da imagem precisa ser ignorada para garantir que o total de se¸cões permane¸ca constante. De forma que apenas a parte superior (ou inferior) da imagem deve ser considerada. Isso é um problema já que as partes desconsideradas podem conter componentes para ajudar na estimativa de inclina¸cão do documento. Por outro lado, devido à divisão por slabs, mesmo ignorando a parte superior ou inferior, um n´ umero diferente de se¸cões por ângulo é produzido. Isso ocorre porque na parte superior e inferior da imagem as linhas são menores que aquelas no meio do documento — representadas na Figura 3.3(b) pelas linhas pontilhadas. Por exemplo, na Figura 3.3(a) há 3 slabs, então o n´ umero total de se¸cões é 3 ∗ n. Na Figura 3.3(b). o n´ umero total é mudado por causa das linhas menores (linhas pontilhadas); algumas se¸cões desaparecem e outras têm o tamanho reduzido. Outro problema com a abordagem de Chou et al. é o fato de que o procedimento de. contar o n´ umero de se¸cões brancas atribui o mesmo peso para se¸cões com n´ umero de pixels diferentes. Assim, se¸cões pequenas contendo apenas uma pequena quantidade de pixels têm, na fase de análise, peso equivalente a se¸cões com o tamanho completo do slab. Isso ocorre na parte inferior (ou superior) da imagem e também nas se¸cões do u ´ltimo slab à direita (novamente, considerando uma leitura da esquerda para a direita). Baseado nisso, ao invés de usar o n´ umero de se¸cões brancas, uma alternativa mais eficiente para medir a região branca é usada nesta disserta¸cão (e publicada em [27]) avaliando a região branca através da sua área. Assim, ao invés de contar o n´ umero de se¸cões brancas, conta-se o n´ umero de pixels brancos (i.e., o n´ umero de pixels que não é coberto por paralelogramos)..

(38) ˜ EM IMAGENS DE DOCUMENTOS23 3.2 NOVO ALGORITMO PARA ESTIMATIVA DE INCLINAC ¸ AO. Figura 3.3 (a) Um documento com scan lines desenhadas a 0◦ . (b) As scan lines desenhadas a um ângulo diferente de 0◦ . O n´ umero total de scan lines cresce com as linhas pequenas extras.. Uma forma eficiente de medir essa área evitando a constru¸cão da imagem com paralelogramos é dada por:. Se nb Ent˜ ao wc = wc + ss ( . ) Sabendo que nb significa que nenhum pixel preto foi detectado na se¸cão em questão, wc é um contador que armazena o n´ umero de pixels brancos e ss é o tamanho da se¸cão. Essa estratégia naturalmente atribui um peso à se¸cão proporcional ao seu tamanho. Um benef´ıcio de usar a área do plano de fundo é que não é necessário preocupar-se em fixar o n´ umero total de se¸cões; essa informa¸cão é preservada pela área total (n´ umero de pixels) do documento em todos os ângulos. Assim, a imagem inteira pode ser usada para estimar o ângulo e nenhuma região precisa ser ignorada. 3.2.2. Reduzindo o Espa¸co de Busca. Para encontrar o ângulo de inclina¸cão da imagem, Chou et al. propuseram varrer vários ângulos e escolher, dentre eles, aquele que apresentasse uma região branca maior. Para isso, a busca pelo ângulo de inclina¸cão correto ficou limitada ao intervalo [−15◦ ,+15◦ ]..

(39) ˜ EM IMAGENS DE DOCUMENTOS24 3.2 NOVO ALGORITMO PARA ESTIMATIVA DE INCLINAC ¸ AO. Usar um intervalo de busca é uma prática comum em outras técnicas [9, 38, 39, 30] sem perda na taxa de precisão porque documentos digitalizados reais geralmente têm um ângulo de inclina¸cão pequeno. Para reduzir o tempo de processamento, ao invés de procurar dentre todos os ângulos entre −15◦ e +15◦ , Chou et al. propuseram a seguinte estratégia: 1. Busque pelo melhor ângulo β entre [−15◦ ,+15◦ ] com um passo de 2◦ ; 2. Busque o melhor ângulo γ dentre os três ângulos: β − 1, β e β + 1; 3. Finalmente, busque pelo melhor ângulo δ dentre [γ − 1,γ + 1] com um passo de 0, 1◦ . O melhor ângulo em cada passo acima é aquele que atinge o maior n´ umero de se¸cões brancas (na nossa abordagem, seria a maior área branca) e δ é o ângulo de inclina¸cão final estimado para o documento. Para exemplificar a significância de um ângulo de 0, 1◦ na corre¸cão de inclina¸cão, um documento de tamanho A4 digitalizado a 300dpi difere 4 pixels a cada 0, 1◦ . Uma alternativa para acelerar o primeiro dos três passos citados é observar a varia¸cão no tamanho da região branca calculada a cada ângulo. Esse tamanho cresce à medida que o ângulo das scan lines aproxima-se da inclina¸cão real do documento e decresce à medida que o ângulo das scan lines se distancia da inclina¸cão real. No entanto, esse comportamento desejado não é seguido quando o n´ umero de se¸cões é utilizado para medir o tamanho da região branca. Por outro lado, a área da região branca é uma op¸cão que apresenta esse comportamento desejado. Na Figura 3.4 é mostrado o comportamento da medida da região branca no primeiro passo do algoritmo — quando se busca o ângulo β entre [−15◦ ,+15◦ ] com um passo de 2◦ . Na Figura 3.4(a) mostra-se um documento digitalizado com um ângulo de inclina¸cão próximo de 0◦ (algumas regiões da imagem foram ocultadas para fins de preserva¸cão de identidade). Na Figura 3.4(b) mostra-se o comportamento do contador de brancos ´ poss´ıvel observar que utilizando o n´ umero de se¸cões brancas, proposto por Chou et al. E o método original de Chou et al. falhou, pois os ângulos próximos de −15◦ e +15◦ têm. os maiores valores da curva. Isso ocorre devido ao tamanho e à varia¸cão no n´ umero de se¸cões brancas, como discutido anteriormente. A Figura 3.4(c) apresenta o comportamento da varia¸cão do tamanho da região branca medida através da área, como é proposto aqui. Pode-se observar que, próximo de 0◦ , o.

(40) ˜ EM IMAGENS DE DOCUMENTOS25 3.2 NOVO ALGORITMO PARA ESTIMATIVA DE INCLINAC ¸ AO. contador assume seu maior valor e decresce quando as scan lines se distanciam de 0◦ . A Figura 3.4(d) mostra a curva da medida da área branca do mesmo documento, agora inclinado em 7◦ . Pode-se observar que o pico da curva ocorre justamente em +7◦ . O comportamento da curva pode ser u ´til para parar a busca pelo ângulo β mais cedo. Em outras palavras, se for detectado que o contador de brancos está decrescendo, pode-se parar a busca pelo ângulo β e pular para o próximo passo. Outro ponto a ser considerado nos casos reais é que a maioria dos documentos digitalizados possui um ângulo de inclina¸cão próximo de 0◦ . Assim, a proposta neste trabalho é come¸car a busca avaliando primeiramente o ângulo 0◦ e observar o comportamento da curva.. Figura 3.4 (a) Um documento digitalizado com um ângulo próximo de 0◦ . (b) Varia¸cão do tamanho da região branca do documento sendo medida através do n´ umero de se¸cões brancas, como foi proposto por Chou et al. (c) Varia¸cão do tamanho da região branca do documento sendo medida através da área. (d) Varia¸cão do tamanho da região branca do documento inclinado a +7◦ sendo medida através da área..

(41) ˜ EM IMAGENS DE DOCUMENTOS26 3.2 NOVO ALGORITMO PARA ESTIMATIVA DE INCLINAC ¸ AO. Definindo B(θ) como a medida da região branca (no caso proposto: a área do plano de fundo) uma alternativa proposta neste trabalho para acelerar a busca pelo ângulo de inclina¸cão é: testar inicialmente os ângulos 0◦ , +2◦ e −2◦ para verificar se B(0◦ ) é maior que B(+2◦ ) e B(−2◦ ). Se for maior, a busca por β encerra e 0◦ é atribu´ıdo a β. Caso contrário, a busca continua no sentido positivo ou negativo, de acordo com o ângulo (+2◦ ou −2◦ ) que apresentar maior área branca, com um passo de 2◦ . Nesse caso, a busca por. β encerra quando o valor de B(θ) come¸car a decrescer. A busca por γ ocorre de forma análoga à proposta por Chou et al. pesquisando entre os três ângulos β − 1, β e β + 1.. Por fim, a busca por δ ocorre entre o intervalo [γ − 0, 6◦ ; γ + 0, 6◦ ] com um passo de 0, 1◦ .. Diferentemente da busca por δ proposta de Chou et al., que pesquisa o intervalo. [γ − 1◦ , γ + 1◦ ], a busca pelo ângulo δ, na nova proposta, é acelerada pesquisando apenas. o intervalo [γ − 0, 6◦ ; γ + 0, 6◦ ]. Isso é feito para evitar a busca em ângulos que não estão. próximos ao pico, evitando redundância.. Na Figura 3.5 apresenta-se um esquema com o espa¸co de busca percorrido durante a busca pelos ângulos γ e δ. Supondo que o ângulo γ escolhido seja β, o ângulo real de inclina¸cão estará nas vizinhan¸cas de β, mas, numa distância não maior que β ± 0, 5, pois. este espa¸co está mais próximo aos outros ângulos do espa¸co de busca por γ. A proje¸cão em cinza representa o intervalo coberto pelo ângulo β. Assim, não é necessário percorrer este espa¸co no u ´ltimo passo do algoritmo — a busca por δ. No entanto, para evitar interferência de m´ınimos locais que poderiam ser causados por ru´ıdo, ao invés de usar o intervalo [γ − 0, 5◦ ; γ + 0, 5◦ ], propõe-se utilizar o intervalo [γ − 0, 6◦ ; γ + 0, 6◦ ].. Figura 3.5 Espa¸co pesquisado na busca pelos ângulos γ e δ.. O algoritmo descrito acima é resumido da seguinte forma: 1. Busque pelo melhor ângulo dentre 0◦ ,2◦ ,−2◦ . Se B(0◦ ) > B(−2◦ ) e B(0◦ ) > B(+2◦ ).