Para a avaliação dos desempenhos das métricas de autofoco definiu-se três tipos de análises:
1. Análise semiquantitativa; 2. Análise quantitativa;
3. Análise ROC (Receiver Operating Characteristics)
Definição da melhor métrica Reavaliação das
A seguir apresenta-se os passos metodológicos realizados em cada uma das análises. A despeito do fato de na literatura, as análises realizadas com vistas a avaliação de desempenho de métricas restringirem-se as duas primeiras, realizou-se, adicionalmente a análise ROC. A motivação para tal deve-se ao fato de que, enquanto o resultado das duas primeiras nos fornece a informação da melhor métrica a ser utilizada na busca sistemática da imagem em foco ao longo do eixo Z, a qual consiste em um segundo passo para a automatização do foco, na análise ROC buscamos avaliar as métricas e a possibilidade de obtenção de um valor de limiar para o qual uma imagem em análise seria considerada em foco.
3.5.1 ANÁLISE SEMIQUANTITATIVA
As nove métricas em análise, através de suas respectivas curvas de foco, são caracterizadas pelos valores de acurácia, faixa, largura, pico falso e tempo. Na análise semiquantitativa, obtém-se para cada um desses critérios, uma lista das métricas numericamente ordenada. Em cada uma dessas listas, o valor 1 é designado a métrica que apresenta o melhor resultado relativo ao critério ao qual a lista ordenada se refere, enquanto que o valor 9 será designado a métrica com o pior resultado relativo ao critério ao qual a lista ordenada se refere. No caso de haver mais de uma métrica com o mesmo valor do critério, as mesmas serão ranqueadas na mesma posição.
O resultado global do desempenho de cada métrica é dado pela somatória dos valores correspondentes nas listas ordenadas relativa aos 5 critérios.
A métrica que obtiver a menor pontuação (ou a melhor posição no ranque) é considerada a melhor.
3.5.2 ANÁLISE QUANTITATIVA
Conforme citado no Capítulo II, na análise quantitativa para a obtenção do desempenho de cada uma das métricas, pondera-se os resultados apresentados por cada um dos cinco critérios. Essa ponderação consiste na obtenção da distância euclidiana de cada métrica em relação ao seu valor ideal. Para tal, realizam-se os seguintes passos metodológicos adicionais:
1- Com o fim de se realizar uma comparação entre critérios, realiza-se a normalização desses valores:
a. Obtêm-se os valores médios e o desvio padrão de cada critério para cada uma das métricas;
b. Subtraem-se os valores de cada critério das respectivas médias e divide-se o resultado obtido pelos respectivos desvios padrões.
2- Após esse procedimento todos os valores dos critérios possuem média igual a zero e desvio padrão unitário;
3- Em cada uma das métricas e para cada critério, a distância euclidiana do valor normalizado para o valor ideal é calculada. Para calcular esse valor a diferença entre o valor de cada critério e do valor ideal é obtida. Em seguida a raiz quadrada da adição dos quadrados desses resultados é calculada;
4- Com o intuito de obter o resultado global para cada métrica, a média das distâncias euclidianas dos critérios é encontrada.
A métrica de melhor desempenho corresponde a que apresenta a menor média geral.
3.5.3 ANÁLISE ROC (RECEIVER OPERATING CHARACTERISTIC)
O resultado final de uma análise ROC de decisão de desempenho se expressa através de um gráfico denominado curva ROC. Essencialmente, uma curva ROC descreve o compromisso entre a sensibilidade e a especificidade de um sistema, quando um limiar de decisão é variado. Convencionalmente, uma curva ROC é um gráfico da taxa de VP (verdadeiro positivo), isto é, a sensibilidade, em função da taxa de FP (falso positivo), isto é, 1-especificidade (COSTA, 1996). Particularmente nesse estudo busca-se, através da curva ROC, avaliar o poder de uma dada métrica de detectar se a imagem está ou não em foco. Antes de iniciar a teoria de análise ROC é necessário rever alguns conceitos como sensibilidade e especificidade, pois esses são a base para a geração da curva ROC.
No desenvolvimento do projeto, a taxa VP, verdadeiro positivo, corresponde ao percentual de imagens em foco classificadas corretamente na análise; a taxa VN (verdadeiro negativo) consiste no percentual de imagens fora de foco classificados corretamente; a taxa FP corresponde ao percentual de imagens fora de foco classificadas erroneamente como em foco e, por último, a taxa FN (falso negativo) corresponde ao percentual de imagens em foco classificadas erroneamente como fora de foco.
A Figura 26 mostra uma tabela de contingência ilustrando os conceitos de verdadeiros positivos, verdadeiros negativos, falsos positivos e falsos negativos.
Figura 26 - Verdadeiros Positivos, Verdadeiros Negativos, Falsos Positivos e Falsos Negativos
A casuística utilizada nessa análise envolveu os grupos CF (CFAAD+CFABD+CFBAD +CFBBD) e SF (SFAD+SFBD). Para cada um dos grupos foi obtida uma curva ROC para cada métrica, variando o limiar de decisão. Cada ponto da curva corresponde ao par (VP, FP) obtido com um dado limiar.
A figura de mérito usual dessa análise é a área sob a curva ROC resultante. Através dessa medida, denotada de AUC (Area Under Curve), o desempenho das métricas será avaliado. De acordo com Slaby et al. (2007) quanto maior for o valor da área sob essa curva melhor o desempenho. A métrica que apresentar o maior valor de AUC é, segundo a análise ROC, a de maior desempenho.
Nessa curva a melhor combinação de (VP, FP), ou seja, o ponto mais a esquerda (menor valor de FP) e mais alto (maior valor de VP) da curva denota o melhor valor de limiar para a métrica em estudo. Esse limiar é definido como sendo o limiar de autofoco da métrica.
CAPÍTULO IV
RESULTADOS
Neste capítulo serão apresentados os principais resultados do presente trabalho, tal como o desempenho das análises semiquantitativa, quantitativa e ROC das métricas de autofoco avaliadas em imagens de campos de lâminas de baciloscopia de tuberculose, tanto na casuística de treinamento como na de teste.