5 Metodologia dos Experimentos
6.1.1 Resultados Trabalhos Preliminares ICANN e ICMLA
Os resultados apresentados nas Tabelas 10, 11 e 12, respectivamente, exibem o nível de precisão e desvio padrão dos sistemas de classificação (classificadores individuais - Ind
e sistemas do conjunto combinadas com Soma (Somatória), votação por maioria - MV, k -NN e SVM). Cada tabela apresenta os resultados para comitês compostos por 3, 6 e 12 classificadores.
Tabela 10: Resultado Comitês para a Base Original Base Original
Tamanho 3 Ind Soma Voto k-NN SVM
Het 82.55 ± 5.9 87.8 ±5.1 86.56±5.96 85.47± 4.26 88.56 ± 2.24 Hom 81.41 ±7.21 83.47±5.32 82.1±6.83 79.13± 8.3 83.37 ± 5.77
Tamanho 6 Ind Soma Voto k-NN SVM
Het 81.66±5.57 88.29±6.26 86.14±6.86 87.26±4.82 89.5±2.55 Hom 80.59±7.70 84.03±5.18 81.30±6.51 79.54±6.94 83.43±5.82
Tamanho 12 Ind Soma Voto k-NN SVM
Het 81.49±5.99 88.04±6.17 87.46±6.78 87.46±4.74 89.09±2.49 Hom 81.19±8.22 83.90±5.67 82.83±6.51 79.77±7.49 82.37±6.75
A Tabela 10 mostra que os resultados foram satisfatórios no conjunto de dados original. Pode-se observar que a utilização de comitês foi positivo para o nível de precisão dos sistemas de classificação, aumentando o desempenho, em comparação com os classificadores individuais.
Em relação as bases protegidas, mais precisamente sobre a base transformada, os resultados vistos na Tabela 11, apresentam diminuição drástica no desempenho em todos os casos. No entanto, ainda é possível utilizar a base de dados de transformada para obter um resultado satisfatório de classificação. O conjunto que apresentou o melhor resultado, por exemplo, foi o conjunto heterogêneo utilizando SVM como métodos de combinação com 79.33 ± 4.25%. Este grau de precisão pode ser considerado como excelente resultado em uma base "encriptada"(transformada).
Tabela 11: Resultado dos Comitês Aplicados para TransBase TransBase
Tamanho 3 Ind Soma Voto k-NN SVM
Het 74.01±5.18 76.41±9.57 75.23±8.65 74.49±6.81 78.47±4.12 Hom 72.67±5.51 74.33±7.00 72.97±5.89 69.33±10.18 73.43±7.76
Tamanho 6 Ind Soma Voto k-NN SVM
Het 73.25±5.01 76.66±9.44 74.84±9.09 75.74±6.62 79.33±4.25 Hom 71.92±5.21 74.37±7.04 72.00±5.24 69.07±8.05 73.33±7.85
Tamanho 12 Ind Soma Voto k-NN SVM
Het 72.35±5.19 76.63±8.82 75.99±9.81 75.88±6.60 79.02±3.53 Hom 72.02±11.33 74.50±12.33 73.30±11.61 68.93±16.25 72.50±13.77
Um dos principais princípios da segurança dos dados é que um método do modelo de proteção deve garantir a difusão e confusão entre os textos de cifras e texto não
criptografado. A classificação correta da base de dados transformados é relevante para fins de classificação, mas esta classificação mostra a fragilidade do método de transformação utilizado neste processo. Neste caso, os dados transformados ainda mantém uma forte relação entre eles. Este processo de transformação também permitiu um nível aceitável de classificação, no entanto, por ser uma função de transformação simples, os dados ainda encontram-se vulneráveis a alguns tipos de ataques, como a força bruta ou criptoanálise diferencial, pois ainda é pertinente nos dados encriptados a relação existente encontrada nos dados originais.
Em uma outra perspectiva de proteção, ao se utilizar o algoritmo Papílio de maneira isolada, ou seja, aplicado exclusivamente sobre os dados biométricos, não consegue manter um nível aceitável de inter-relação nos dados criptografados, de modo que os comitês de classificadores, tenham um desempenho razoável. A Tabela 12 prova que um algoritmo de criptografia é muito mais forte do que a função transformada, quando se analisa o nível de precisão desses sistemas, ou seja, o algoritmo de criptografia consegue quebrar a relação existente entre os dados originais de forma mais forte que a função de transformação. Estes resultados caminham no mesmo sentido dos resultados apresentados para os métodos Fuzzy em relação as bases de dados criptografadas, onde as mesmas apresentaram um desempenho consideravelmente pior em relação as bases biométricas originais ou mesmo as bases transformadas.
Tabela 12: Resultados dos Comitês Aplicados para CryptBase BaseCrypt
Tamanho 3 Ind Soma Voto k-NN SVM Het 5.59±2.26 7.61±2.87 4.30±2.00 5.23±1.00 5.89±1.52 Hom 5.41±1.92 5.43±1.98 5.00±1.80 4.53±2.75 5.90±3.46 Tamanho 6 Ind Soma Voto k-NN SVM Het 5.42±2.02 8.18±2.80 5.86±2.15 5.87±1.34 6.44±1.50 Hom 5.36±1.82 5.70±2.20 4.90±1.51 4.73±2.26 4.80±2.86 Tamanho 12 Ind Soma Voto k-NN SVM Het 5.28±1.89 6.43±2.95 5.97±2.27 5.37±1.37 6.80±1.67 Hom 5.42±1.93 5.40±2.00 5.57±2.11 7.20±2.43 4.97±3.78
No mesmo sentido, utilizou-se algumas funções hashes mais conhecidas como por exemplo, o MD5 Message-Digest Algorithm [Rivest 1992], SHA-1[Eastlake e Jones 2001], e do SHA-2/3 [Eastlake e Hansen 2006] e o Whirlpool [Stallings 2006], sobre as bases biométricas. A Tabela 13 apresenta uma breve comparação das funções hashes utilizadas em função do tamanho da palavra, tamanho da mensagem (saída), etc. Desta forma apesar de todas as funções hashes apresentarem variações quanto sua complexidade, as
mesmas apresentaram resultados semelhantes quanto as suas respectivas bases biométricas criptografadas.
Tabela 13: Características do algoritmos MD5, SHA-1, SHA-2, SHA-3 e Whirlpool. Algoritmo Palavra Tamanho da Mensagem Bloco Digest
SHA-1 32 < 264 512 224
SHA-2 32 < 264 512 256
SHA-3 64 < 2128 1024 384
MD5 32 < 2128 512 128
WHIRLPOOL 64 < 2128 512 512
Os resultados para cada base utilizando comitês de classificadores sobre as bases criptografadas por SHA-1, SHA-2, SHA-3, Whirpool são respectivamente apresentados nas Tabelas 14, 15, 16, 17 e 18. Os resultados dos comitês aplicados sobre estas bases, mostram que em ambos os tipos de funções (Algoritmos Criptográficos e Funções Hashes), existe uma quebra na relação entre os dados criptografados, que existia previamente nos dados originais. Esta quebra também pode ser observada quando foram aplicados os métodos FVO, FVP, FCO e o FCP sobre as bases criptografadas. Deste modo, os resultados expressam a coerência dos experimentos, partindo do ponto em que, seria contraditório, se as bases criptografadas tivessem resultados significantemente positivos nos experimentos com os sistemas Fuzzy.
Tabela 14: Resultados dos Comitês Aplicados para MD5Base MD5Base
Tamanho 3 Ind Soma Voto k-NN SVM Het 5.26±1.65 7.06±1.88 4.16±1.47 4.86±2.18 5.77±2.79 Hom 4.93±1.51 5,39±1.61 4.70±1.26 3.60±2.13 4.23±3.02 Tamanho 6 Ind Soma Voto k-NN SVM Het 4.79±1.50 7.54±1.91 5.20±1.51 4.83±1.77 5.41±2.83 Hom 4.65±1.44 5.30±1.62 4.40±1.05 3.70±2.51 4.10±2.86 Tamanho 12 Ind Soma Voto k-NN SVM Het 4.91±1.55 7,37±1.75 5.96±1.79 4.54±2.43 5.69±2.91 Hom 4.96±1.57 5.49±1.69 5.29±1.52 6.57±3.50 4.40±3.29
Os resultados referentes as bases criptografadas refletem sempre em uma diminuição drástica da acurácia dos comitês utilizados. Na próxima seção, serão apresentados os resultados obtidos para cada esquema fuzzy utilizado nesta tese.
Tabela 15: Resultados dos Comitês Aplicados para SHA-1Base SHA-1Base
Tamanho 3 Ind Soma Voto k-NN SVM Het 4.19±1.84 5.93±2.54 3.37±1.66 3.56±1.87 4.31±2.39 Hom 4.19±1.84 2.05±1.99 3.76±1.67 3.73±3.44 3.70±3.38 Tamanho 6 Ind Soma Voto k-NN SVM Het 4.14±1.75 6.60±2.53 4.37±1.91 3.39±1.74 4.31±2.49 Hom 4.20±1.76 4.23±1.88 4.00±1.49 3.70±3.40 3.63±3.70 Tamanho 12 Ind Soma Voto k-NN SVM Het 4.19±1.82 6.25±2.44 4.76±2.12 3.40±1.70 4.23±2.67 Hom 5.59±2.03 5.75±2.13 5.15±1.78 6.23±3.99 4.85±4.45
Tabela 16: Resultados dos Comitês Aplicados para SHA-2Base SHA-2Base
Tamanho 3 Ind Soma Voto k-NN SVM
Het 4.32 ± 1.99 5.59 ±52.16 3.18±1.57 3.29± 1.81 3.91 ± 1.87 Hom 4.32 ±1.92 4.33±2.04 4.20±1.88 3.10± 2.02 3.70 ± 3.42
Tamanho 6 Ind Soma Voto k-NN SVM
Het 4.28±1.98 6.02±2.28 4.51±1.80 3.56±1.83 4.22±1.77 Hom 4.25 ±1.84 4.23±2.03 4.20±1.88 3.20±2.60 3.57±2.67
Tamanho 12 Ind Soma Voto k-NN SVM
Het 4.26±1.95 5.88±2.20 4.85±1.98 3.46±1.76 4.13±1.94 Hom 4.27±1.98 4.37±2.07 4.47±1.90 4.15 ± 1.80 4.39± 2.01
Tabela 17: Resultado dos Comitês Aplicados para SHA-3Base SHA-3Base
Tamanho 3 Ind Soma Voto k-NN SVM
Het 3.86 ± 1.93 5.27 ±2.56 2.74±1.64 3.54± 1.74 4.34 ± 2.94 Hom 3.99 ±2.03 3.73±1.78 3.70±2.02 3.23± 2.82 3.40 ± 2.97
Tamanho 6 Ind Soma Voto k-NN SVM
Het 4.05±1.88 5.73±2.72 3.77±1.82 2.81±1.22 3.50±1.67 Hom 4.13 ±1.86 3.86±2.84 3.80±2.11 3.17±2.63 3.60±3.48
Tamanho 12 Ind Soma Voto k-NN SVM
Het 4.38±1.99 6.10±2.82 4.28±2.00 3.80±2.19 5.00±2.62 Hom 4.32 ±1.96 4.14±1.89 4.46±1.99 4.23±1.87 4.14±1.95
6.2
Resultados do Métodos Fuzzy Desenvolvidos
Os resultados apresentados nesta seção foram obtidos com a aplicação do Fuzzy Vault Original, Fuzzy Vault Papílio, Fuzzy Commitment Original e Fuzzy Commitment Papílio. Para cada método, existe uma tabela que apresenta os resultados em função da acurácia e do desvio padrão para cada base utilizada. Neste caso, foram utilizadas as bases biométricas originais (Voz Original e Impressão Original), as bases transformadas
Tabela 18: Resultados dos Comitês Aplicados para WhirlpoolBase WhirlpoolBase
Tamanho 3 Ind Soma Voto k-NN SVM
Het 3.69 ±1.66 4.18 ±1.66 3.08±1.47 3.33± 0.62 3.87 ± 0.78 Hom 3.82 ±1.55 3.80±1.71 3.53±1.556.83 3.53± 1.30 3.80 ± 0.95
Tamanho 6 Ind Soma Voto k-NN SVM
Het 3.83±1.83 4.96±2.28 3.79±1.65 3.40±1.13 3.77±1.00 Hom 3.50±1.52 3.30±1.68 3.50±1.38 3.51±1.49 3.55±1.91
Tamanho 12 Ind Soma Voto k-NN SVM
Het 4.13±1.69 5.22±2.03 4.77±1.97 3.49±1.20 4.27±1.29 Hom 4.28±1.77 4.45±2.03 4.20±1.81 4.30±1.79 4.22±1.86 (Voz Trans. e Impressão Trans), bases multibiométricas, que representam a utilização das características de Voz e Impressão Digital na mesma base biométrica (multibiométrica modal - ver subseção 3.3). Desta forma, realizaram-se as devidas permutações de linhas e colunas de forma a gerar 8 bases multibiométricas. Por exemplo, a base multibiométrica FVCO, indica que a base é composta das instâncias na respectiva ordem de Impressão Digital (Finger - F) e Voz (V) e que a permutação foi realizada entre colunas (C) e que os dados utilizados para compor esta nova base, são dados biométricos originais (O). Neste mesmo sentindo, as bases multibiométricas a partir de dados transformados também foram desenvolvidas para verificar a viabilidade de utilização de dados multibiométricos transformados.