• Nenhum resultado encontrado

Refinamento de Consultas

N/A
N/A
Info
Descarregar agora
Protected

Academic year: 2021

Share "Refinamento de Consultas"

Copied!
39
0
0

Carregando.... (Ver texto completo agora)

Descarregar agora ( 39 páginas )

Texto

(1)

Refinamento de Consultas

Prof. Luciano Barbosa

(Parte do material retirado dos slides dos livros

adotados)

(2)

Consultas com Keywords

•  Simples: qualquer pessoa é capaz de usar

•  Em geral: engenhos de busca não tratam consultas em linguagem natural

•  Curtas:

–  Tamanho médio das consultas: 2,3 palavras (30 palavras em CQA)

(3)

Dificuldade do Usuário para Formular Consultas

•  Ex: considere uma consulta q: “carro” e um documento d contendo “automóvel” mas não contendo “carro”

–  Um sistema simples de RI não retorna d como resultado de q –  Mesmo que d seja o documento mais relevante para q

•  Solução:

–  Sugerir consultas relacionadas

–  Recuperar documentos ainda se não há termos que casam com a

consulta -> melhora a cobertura (recall)

(4)

Estatégias de Refinamento

•  Spell checking: recomendação para erros de ortografia

•  Query expansion: termos relacionados com a consulta é usada para expandi-la

•  Relevance feedback: usuários provêem informação sobre

documentos relevantes para uma consulta

(5)

Spell Checking

•  10-15% de todas consultas têm erro de ortografia

•  Vários tipos de erros:

(6)

Spell Checking

•  Abordagem básica: sugerir correções para palavras não encontradas no dicionário

•  Sugestões: palavras mais similares no dicionário

•  Medida de similaridade de string: edit distance

–  Número de operações necessárias para transformar uma palavra na

outra

(7)

Edit Distance: Damerau- Levenshtein

•  Calcula o número mínimo de inserções, deleções e

substituições de caracteres necessários para transformar uma string em outra

•  Ex: distância 1

•  Ex: distância 2

(8)

Edit Distance

•  Problema: muito custoso verificar para todo dicionário

•  Técnicas usadas para aumentar velocidade do cálculo

–  Começando com o mesmo caracter –  Mesmo ou tamanho próximo

–  Pronúncia parecida

•  Podem existir vários strings no dicionário próximos à consulta

(9)

Escolher Melhor Sugestão

•  Depende do contexto

–  Ex: lawers -> lowers, lawyers, layers, lasers, lagers –  Ex: trial lawers -> trial lawyers

•  Language model

–  Objetivo: ranquear sugestões

–  Estima probabilidade de uma consulta candidata ser bem formada –  Usa corpus de texto e log de consulta

–  Ex: consulta: fish tink

•  Possíveis correções: tank ou think

•  P(tank|fish) > P(think|fish)

(10)

Spell Checking: Funcionamento

consulta [fish tink]

Checa Dicion.

Módulo de Busca Sim

Edit Distance

Não Language

Model Consultas

Candidatas [fish think, fish tank]

Candidatas

Ranqueadas

[fish tank,

fish think]

(11)

Query Expansion

•  Refinamento baseado em algum recurso global

•  Recurso: palavras associadas (ex. sinônimos)

•  Mais usado: thesaurus

(12)

Thesaurus: Tipos

•  Manual: mantido por editores

•  Automático:

–  Baseado em estatísticas

(13)

Thesaurus Manual

•  Expandir a consulta com palavras semanticamente relacionadas a ela segundo o thesaurus

–  Ex: neck pain -> cervical pain

•  Geralmente aumenta cobertura

•  Pode diminuir precisão

•  Usado em engenhos de busca espcializados (ex: ciência e engenharia)

–  Ex: https://www.ncbi.nlm.nih.gov/mesh

•  Muito caro para criar e manter

(14)

Construção Automática de Thesaurus

•  Analisar a distribuição das palavras em documentos

•  Dois tipos:

–  Duas palavras são similares se elas ocorrem em contextos semelhantes

•  “carro” ≈ “motocicleta” por terem como contexto palavras como: “estrada”,

“gasolina” etc

–  Duas palavras são similares se elas co-ocorrem

•  Ex: “honda” co-ocorre com “carro”

•  Co-ocorrência é mais fácil de extrair

(15)

•  Mede quanto duas

palavras estão associadas baseado em co-ocorrência em documento

•  Se o termos forem

independentes: P(x,y) = P(x)*P(y)

Mutual Information

(16)

Thesaurus baseado em Co-

Ocorrências

(17)

Thesaurus baseado em

Hiperlinks

(18)

Relevance Feedback

(19)

Relevance Feedback

•  Usuário ajuda no processo de refinamento

•  Com feedback explícito

•  Feedback é custoso pro

usuário

(20)

Relevance Feedback

•  Com clique de usuário

•  Clique indica interesse do

usuário, não necessariamente

que o documento é relevante

(21)

Relevance Feedback

•  Principal ideia

–  Selecionar termos importantes em documentos relevantes –  Aumentar a importância desses termos em uma nova consulta

•  Efeito esperado: a nova consulta vai se mover em direção aos documentos relevantes e mais distante dos não relevantes

•  Esconde do usuário detalhes do refinamento

(22)

Relevance Feedback: Exemplo1

(23)

Resultado para a Consulta Inicial

(24)

Feedback do Usuário: Seleciona

o que é Relevante

(25)

Resultado depois do Feedback

(26)

Exemplo em Texto

•  Consulta inicial: new space satellite applications

(27)

Consulta Expandida depois do

Relevance Feedback

(28)

Resultados para a Consulta

Expandida

(29)

Algoritmo Rocchio

•  Implementa relevance feedback no vector space model

•  Assume: vetores dos documentos relevantes são similares e não relevantes não são similares

•  Ideia: reformular a consulta para que

–  Se aproxime dos documentos relevantes

–  Se afaste dos não relevantes

(30)

Algoritmo Rocchio

•  Formula:

•  Centroide: vetor médio

Centroide

dos relevantes Centroide

dos não relevantes

(31)

Algoritmo Rocchio

•  Formula:

•  Novas consultas se movem em direção aos documentos

relevantes e se distanciam dos não relevantes

(32)

Algoritmo Rocchio

•  Formula:

•  Novas consultas movem em direção aos documentos relevantes e longe do não relevantes

•  Coloca pesos nos termos negativos

•  Feedback positivo é mais valioso

•  Por exemplo: . β=0.75 e γ=0.25 dá maior peso ao feedback positivo

•  A maioria dos sistemas usa apenas o feedback positivo

(33)

Relevance Feedback: Limitações

•  Suposição: usuário sabe os termos na coleção para criar a consulta inicial

–  Violação: usuário usa vocabulário diferente do da coleção –  Ex: macaxeira / aipim

•  Problema

–  Cria consultas longas

–  Usuários são relutantes de prover feedback explícito

(34)

Pseudo-relevance Feedback

•  Automatiza a parte manual da avaliação dos resultados

•  Algoritmo

–  Recupera uma lista de resultados ranqueados –  Assume que os top k resultados são relevantes –  Executa relevance feedback

•  Funciona bem na média

•  Problema: top k de baixa qualidade

–  Query drift: saindo do tópico

–  Após várias iterações pode haver query drift

(35)

Pseudo-relevance Feedback na TREC4

•  Cornell SMART system

•  Número de documentos relevantes do top 50

(36)

Pseudo-Relevance Feedback para Focused Crawlers

Query

Search Engine

Docs Results

Page Classifier

Page Repository

Rocchio

[Pos,Neg]

Initial

Query

(37)

Refinamento baseado em Log

de Consultas

(38)

Baseado em Log de Consultas

•  Exemplo 1: após procurar por “ervas”, usuários frequentemente procuram por “ervas medicinais”

•  Exemplo 2:

–  Usuários buscando por “flower pix” frequentemente clicam na URL:

photobucket.com/flower

–  Usuários buscando por “flower clipart” também

(39)

Cliques em Grafo Bipartido

•  Consulta representada por um vetor de pesos de acordo com as URLS

Q 1 =[1, 0, 0.019, 0, 0]

Q =[0, 0, 0.981, 1, 0]

Referências

Descarregar agora ( PDF - 39 páginas - 2.08 MB )

Documentos relacionados

GRUPO GERADOR DIESEL MANUAL DE INSTALAÇÃO

TUBULAÇÃO PARA SAÍDA DOS GASES DE ESCAPE DIMENSÕES VARIÁVEIS CONFORME MODELO DO GERADOR − VERIFICAR TABELA 15 PAGINA 31 DUTO EM LONA CHAPA DE ACABAMENTO VENEZIANA SAÍDA DE AR

UNIVERSIDADE FEDERAL DE SERGIPE CAMPUS UNIVERSITÁRIO PROFESSOR ANTÔNIO GARCIA FILHO

A dor foi avaliada através da escala visual analógica (0 – 10) e a funcionalidade através do questionário DASH em que observado que ambos os grupos obteve

EDITAL N 010 DE 04 DE AGOSTO 2016

O DIRETOR-GERAL DO INSTITUTO FEDERAL GOIANO - Campus CERES, no uso de suas atribuições conferidas pela Portaria nº 23, publicada no DOU, de 14 de janeiro de 2016, torna público e

Modulo I - Florais De Saint Germain - Catalogo: adicionar aos " meus florais "

Esta essência floral vem libertar também, os que não percebem que estão aprisionados, pela sintonia, em egrégoras de grupos espirituais com própósitos

Discriminative Auditory Fear Learning Requires Both Tuned and Nontuned Auditory Pathways to the Amygdala

To test this hypothesis we assessed the effect of electrolytic lesions to the ventral, or medial, division of the medial geniculate nucleus (MGv or MGm, which correspond,

IMPLANTAÇÃO DE SISTEMA DE GESTÃO ESPORTIVA NA MILTON FELKER ASSESSORIA ESPORTIVA

O objetivo geral deste projeto é implantar um Sistema de Gestão Esportiva, que tornará mais ágil o controle e obtenção de informações financeiras, assim como

Departamento de Ciências Biológicas, Faculdade de Ciências, Universidade Estadual Paulista. Caixa Postal 473, Bauru, São Paulo, Brasil.

O estudo da riqueza de espécies, da abundância e conse- qüentemente da diversidade na mata do Rincão da Fazenda Rio Claro mostrou que: 1) a diferença encontrada no número total

Confira a autenticidade no endereço

As empresas concederão mensalmente e até o dia 15 (quinze) de cada mês, aos seus empregados, inclusive no período de férias, Auxílio Cesta Alimentação Refeição, no valor único