6.2 Comparação entre as Estratégias de Poda
6.2.2 Precisão (precision) Orientada à Categoria
A métrica precisão (precision) orientada à categoria (precisionic) avalia a fração de documentos de teste categorizados sob a categoria c que são verdadeiramente associados i
a c . A formulação é apresentada na Equação (6.2). i
| ˆ | ˆ | | | | j j C j j C j c i C C C precision ∩ = 6.2)
A métrica precision orientada à categoria também pode ser computada utilizando a tabela de contingência da categoria c (Tabela 6-6), de acordo com a Equação (6.3). i
i i i c i FP TP TP precision + = 6.3) onde FPi (falsos positivos para ci) é o número de documentos de teste que foram incorretamente categorizados sob ci; TNi (verdadeiros negativos para ci) é o número de documentos de teste que foram corretamente não categorizados sob ci; TPi (verdadeiros
positivos para ci) é o número de documentos de teste que foram corretamente categorizados sob ci; e FNi (falsos negativos para ci) é o número de documentos de teste que foram incorretamente não categorizados sob ci.
Tabela 6-6 – Tabela de contingência da categoria ci.
Categoria ci Julgamentos do especialista S SIM N NÃO Julgamentos do categorizador SIM TP i TP FPi NÃO i FN TN i TN
O desempenho global de precision orientada à categoria pode ser computado pelo método macroaveraging (macro− precisionc) e microaveraging (micro− precisionc), Equação (6.4) e Equação (6.5), respectivamente [Sebatiani2002]. O método macroaveraging reporta o desempenho global sobre a soma dos resultados de precisionic (Equação (6.4)), e o
microaveraging sobre a soma das decisões individuais em termos da tabela de contingência, ) ( i i i FP TP TP
+ (Equação (6.5)), para cada categoria ci.
C precision precision macro C i c i c =
∑
= − 1 6.4)(
)
∑
∑
= = + = − C i i i C i i c FP TP TP precision micro 1 1 6.5)Os métodos macroaveraging e microaveraging podem dar resultados bastante diferentes, especialmente se as generalidades das categorias são desiguais [Manning08; Sebastiani02]. A habilidade de um categorizador de se comportar bem mediante categorias com baixa generalidade é evidenciada muito mais por macroaveraging e do que por
microaveraging. O método macroaveraging dá peso igual para cada categoria, enquanto
microaveraging dá peso igual para cada decisão de categorização [Manning08]. Desta forma, categorias com alta generalidade dominam aquelas com baixa generalidade em
microaveraging.
Quanto maior o valor de macro−precisionc e micro−precisionc melhor o desempenho do categorizador. O desempenho é perfeito quando macro− precisionc =1 e
1
=
− c
precision
micro .
A Figura 6-2 mostra de forma gráfica o impacto do uso de estratégias de poda no
ranking de categorias avaliadas pela métrica macro−precisionc segundo os categorizadores
ML- k NN e VG-RAM WNN-COR para a base AT100 (Figura 6-2(a)) e EX100 (Figura 6-2(b)) respectivamente. Esta figura segue o mesmo formato da Figura 6-1.
(a)
(b)
Figura 6-2 - Resultado da métrica macro−precisionc para as bases (a) AT100 e (b) EX100. Quanto maior, melhor.
Conforme as barras do gráfico da Figura 6-2 mostram, o valor de macro−precisionc
do categorizador ML- k NN com a base AT100 (Figura 6-2(a)) é impactado pelo uso de estratégias de poda no ranking de categorias. O valor da macro− precisionc ao usar a estratégia de poda de ranking PCut é significativamente maior do que os resultados obtidos ao
usar as estratégias RCut, RTCut, PCut*, SCut, SCut*, BCut e PBCut. O resultados obtidos com o categorizador VG-RAM WNN com a base de dados AT100 (Figura 6-2(a)) mostram um equilíbrio parcial entre as estratégias de poda RCut, RTCut, BCut e PBCut. O valor de
c precision
macro− com a estratégia de poda SCut* é significativamente maior do que com a estratégia de poda SCut (tradicional) com o categorizador ML- k NN com a base AT100 (Figura 6-2(a)). O mesmo ocorre com o categorizador VG-RAM WNN-COR com a base de dados AT100 (Figura 6-2(a)). O valor de macro− precisionc com a estratégia de poda PCut* é significativamente menor do que com a estratégia de poda PCut (tradicional) com o categorizador ML- k NN com a base AT100 (Figura 6-2(a)). O mesmo ocorre com o categorizador VG-RAM WNN-COR com a base de dados AT100 (Figura 6-2(a)).
Como o apresentado na Figura 6-2, as barras do gráfico mostram o valor de
c precision
macro− do categorizador ML- k NN com a base EX100 é impactado pelo uso de estratégias de poda no ranking de categorias. O valor de c
precision
macro− ao usar as estratégias de poda de ranking BCut e PBCut são significativamente maiores do que os resultados obtidos ao usar as estratégias RCut, RTCut, PCut, PCut*, SCut e SCut*. O mesmo ocorre com o categorizador VG-RAM WNN-COR com a base de dados EX100 (Figura 6-2(a)). O valor de macro− precisionccom a estratégia de poda SCut* é significativamente maior que com a estratégia de poda SCut (tradicional) com o categorizador ML- k NN com a base EX100 (Figura 6-2 (b)). O mesmo ocorre com o categorizador VG-RAM WNN-COR com a base de dados EX100 (Figura 6-2(b)). O valor de macro− precisionc com a estratégia de poda PCut* é menor do que com a estratégia de poda PCut (tradicional) com o categorizador ML- k NN com a base AT100 (Figura 6-2(B)). O mesmo ocorre com o categorizador VG-RAM WNN-
COR com a base de dados EX100 (Figura 6-2 (b)).
A análise do desempenho dos resultados obtidos com os categorizadores ML- k NN e
VG-RAM WNN-COR para a métrica macro−precisioncmostram que as estratégias de poda BCut e PBCut melhoram o desempenho desses categorizadores para a base de dados EX100, como visto na, Figura 6-2(b). Isso acontece porque a estratégia BCut poda o ranking com base na probabilidade da categorização estar correta e a estratégia PBCut poda o ranking com base na probabilidade da categorização estar correta em cada posição do ranking, observando o decremento da medida de certeza a medida que a posição da categoria no ranking aumenta. Desta forma, as estratégias de poda BCut e PBCut são mais efetivas para otimizar o
desempenho do sistema em termos da métrica macro− precisionc do que as estratégias RCut, RTCut, PCut, PCut*, SCut e SCut* para estes categorizadores e para a base EX100.
A Figura 6-3 mostra de forma gráfica o impacto do uso de estratégias de poda no
ranking de categorias avaliadas pela métrica micro− precisionc segundo os categorizadores
ML- k NN e VG-RAM WNN-COR para a base AT100 (Figura 6-3(a)) e EX100 (Figura 6-3(b))
respectivamente. Esta figura segue o mesmo formato da Figura 6-1.
(a)
Figura 6-3 - Resultado da métrica micro− precisionc para as bases (a) AT100 e (b) EX100. Quanto maior, melhor.
Conforme as barras do gráfico da Figura 6-3 mostram, o valor de micro− precisionc
do categorizador ML- k NN com a base AT100 é impactado pelo uso de estratégias de poda no
ranking de categorias. Os valores de micro− precisionc ao usar a estratégia de poda de
ranking BCut e PBCut são maiores do que os resultados obtidos ao usar as estratégias RCut, RTCut, PCut, PCut*, SCut e SCut*. O mesmo ocorre com o categorizador VG-RAM WNN com a base de dados AT100 (Figura 6-3(a)). O valor de c
precision
micro− com a estratégia
de poda SCut* é significativamente maior do que com a estratégia de poda SCut (tradicional) com o categorizador ML- k NN com a base AT100 (Figura 6-3(a)). O mesmo ocorre com o categorizador VG-RAM WNN-COR com a base de dados AT100 (Figura 6-3(a)). O valor de
c precision
micro− com a estratégia de poda PCut* é significativamente menor do que com a estratégia de poda PCut (tradicional). O mesmo ocorre com o categorizador VG-RAM WNN-
COR com a base de dados AT100 (Figura 6-3(a)).
Com apresentado na Figura 6-3, as barras do gráfico mostram o valor de
c precision
micro− do categorizador ML- k NN com a base EX100 é impactado pelo uso de estratégias de poda no ranking de categorias. O valor de c
precision
micro− ao usar as estratégias de poda de ranking BCut e PBCut são significativamente maiores do que os resultados obtidos ao usar as estratégias RCut, RTCut, PCut, PCut*, SCut e SCut*. O mesmo ocorre com o categorizador VG-RAM WNN-COR com a base de dados EX100 (Figura 6-3(b)). O valor de micro− precisionccom a estratégia de poda SCut* é significativamente maior di que com a estratégia de poda SCut (tradicional) com o categorizador ML- k NN com a base EX100 (Figura 6-3(b)). O mesmo ocorre com o categorizador VG-RAM WNN-COR com a base de dados EX100 (Figura 6-3(b)). O valor de micro− precisionc com a estratégia de poda PCut* é menor do que com a estratégia de poda PCut (tradicional). O mesmo ocorre com o categorizador VG-RAM WNN-COR com a base de dados EX100 (Figura 6-3(b)).
A análise do desempenho dos resultados obtidos com os categorizadores ML- k NN e
VG-RAM WNN-COR para a métrica micro− precisioncmostram que as estratégias de poda BCut e PBCut melhoram o desempenho desses categorizadores para ambas bases, como visto na Figura 6-3(a)(b). Isso acontece porque a estratégia BCut poda o ranking com base na probabilidade da categorização estar correta e a estratégia PBCut poda o ranking com base na
probabilidade da categorização estar correta em cada posição do ranking, observando o decremento da medida de certeza a medida que a posição da categoria no ranking aumenta. Desta forma, as estratégias de poda BCut e PBCut são mais efetivas para otimizar o desempenho do sistema em termos da métrica micro− precisionc do que as estratégias RCut, RTCut, PCut, PCut*, SCut e SCut*.