4.4
Visualiza¸c˜ao de experimentos
A visualiza¸c˜ao de experimentos permite que sejam vistos todos os experimentos j´a re- alizados e tamb´em que se acompanhe o progresso de experimentos em andamento (ver Figura 4.5). Al´em disso, ´e poss´ıvel analisar os resultados de cada experimento. Os resulta- dos que est˜ao dispon´ıveis para todos os experimentos s˜ao: tempos de extra¸c˜ao, tempos de distˆancia e exibi¸c˜ao de resultados de consultas. A possibilidade de realizar uma avalia¸c˜ao de efic´acia com usu´arios s´o ´e poss´ıvel quando o experimento utiliza uma lista pr´e-definida de imagens de consulta.
Figura 4.5: Tela de exibi¸c˜ao dos experimentos realizados e experimentos em andamento. Abaixo s˜ao detalhados como s˜ao disponibilizados os resultados dos experimentos.
4.4.1
Tempos e progresso do experimento
Os tempos calculados pela ferramenta podem ser visualizados por uma tela espec´ıfica da interface. Esta tela exibe, al´em dos tempos calculados, algumas informa¸c˜oes para identifica¸c˜ao do experimento e o progresso das rotinas de extra¸c˜ao e de distˆancia. Os tempos calculados s˜ao exibidos em duas tabelas contendo o identificador do descritor, o
60 Cap´ıtulo 4. Ferramenta para automatiza¸c˜ao de testes comparativos
tempo m´edio e o desvio padr˜ao. Uma tabela exibe os tempos de extra¸c˜ao e a outra exibe os tempos de distˆancia.
4.4.2
Diret´orio de resultados
A interface disponibiliza um link para o diret´orio de resultados do experimento. Desta forma, ´e poss´ıvel acessar todos os arquivos gerados durante a realiza¸c˜ao do experimento, como o arquivo de log. Al´em disso, caso tenha sido solicitada a gera¸c˜ao de curvas de Precision × Recall, os arquivos contendo os valores destas curvas tamb´em poder˜ao ser acessados.
4.4.3
Resultados de consultas
Para cada experimento, ´e poss´ıvel ver as imagens retornadas em cada uma das consultas realizadas. A tela exibe em destaque a imagem de consulta e em seguida uma grade contendo os resultados ordenados em ordem crescente de distˆancia (ver Figura 4.6).
Figura 4.6: Tela de exibi¸c˜ao de resultados de consultas.
Os resultados exibidos correspondem aos resultados de um ´unico descritor. O usu´ario pode escolher, dentre os descritores usados no experimento, o descritor para o qual ele
4.4. Visualiza¸c˜ao de experimentos 61
desejar ver os resultados.
Se o experimento calculou distˆancias entre todas as imagens da base usada, cada imagem exibida nos resultados possui um link. Se este link for acionado, a imagem selecionada passa a ser a imagem de consulta. Caso o experimento tenha usado uma lista pr´e-definida de consultas, n˜ao existem links nas imagens de resultado. A troca da imagem de consulta ´e feita por uma lista que exibe apenas as imagens de consulta utilizadas.
Sempre que um descritor diferente ´e selecionado, a imagem de consulta atual se mant´em. E, da mesma forma, sempre que uma nova imagem de consulta ´e selecionada, o descritor atual se mant´em.
4.4.4
Avalia¸c˜ao de efic´acia com usu´arios
Quando um experimento ´e executado usando-se uma lista pr´e-definida de imagens de consulta, a ferramenta fornece uma interface para realizar uma avalia¸c˜ao de efic´acia com usu´arios reais (ver Figura 4.7).
Figura 4.7: Tela para avalia¸c˜ao de efic´acia com usu´arios.
O objetivo da interface para avalia¸c˜ao de efic´acia com usu´arios reais ´e permitir que um usu´ario indique na lista de imagens retornadas quais imagens ele considera relevantes.
62 Cap´ıtulo 4. Ferramenta para automatiza¸c˜ao de testes comparativos
Baseando-se nas imagens selecionadas pelo usu´ario, s˜ao calculados valores que indicam a efic´acia dos descritores avaliados.
Os procedimentos para se configurar a avalia¸c˜ao de efic´acia s˜ao semelhantes aos re- alizados em [37]. Para cada descritor do experimento a ser avaliado, foram recuperadas as 30 imagens mais relevantes para cada consulta. Portanto, para cada consulta, existe uma lista com 30 imagens de cada descritor. Estas listas foram unidas em uma ´unica lista, removendo-se as poss´ıveis imagens duplicadas e mantendo-se a referˆencia para o descritor que recuperou cada imagem e a referˆencia da posi¸c˜ao de cada imagem na lista do descritor. A lista final foi embaralhada antes de ser exibida ao usu´ario.
A avalia¸c˜ao ´e feita com uma imagem de consulta por vez. A exibi¸c˜ao das imagens para o usu´ario ´e feita numa tela bastante semelhante `a usada para a visualiza¸c˜ao de resultados de consultas. A imagem de consulta ´e exibida em destaque e abaixo dela s˜ao exibidas as imagens da lista embaralhada. O usu´ario n˜ao tem a informa¸c˜ao de quais descritores foram usados para recuperar aquelas imagens. Ele deve apenas marcar quais imagens ele considera relevantes em rela¸c˜ao `a imagem de consulta. Assim que ele terminar a avalia¸c˜ao da consulta atual, ele clica em um bot˜ao no final da tela para avan¸car para a pr´oxima imagem de consulta.
Assim que o usu´ario clica no bot˜ao, os valores de efic´acia s˜ao calculados baseados nas imagens selecionadas como relevantes. A ferramenta calcula as medidas de P10, P20 e P30
(detalhadas na Se¸c˜ao 5.1.3).
O processo de avalia¸c˜ao se repete at´e que todas as imagens de consulta tenham sido avaliadas. As medidas de efic´acia s˜ao calculadas para cada usu´ario avaliador em cada imagem de consulta e para cada descritor. Portanto, ´e poss´ıvel saber a efic´acia de cada descritor em cada imagem de consulta.