Os diferentes valores poss´ıveis para cada um dos aspectos ambientais, bem como os di- ferentes componentes dos modelos de C&R, geram um n´umero infinito de cen´arios pass´ıveis de adapta¸c˜ao. Embora um plano possa ser aplicado a v´arios desses cen´arios, seu impacto pode variar de um para outro. Por isso, o agente deve aprender a selecionar os planos mais adequados para um dado cen´ario. O agente pode fazer a avalia¸c˜ao de um plano ap´os utiliz´a- lo, conforme a avalia¸c˜ao dos custos apresentada na Se¸c˜ao 4.6.2, ou fazer uma estimativa desses custos em uma abordagem de aprendizagem offline (Zimmerman e Kambhampati, 2003).
Neste trabalho, a aprendizagem offline dos planos de adapta¸c˜ao tem como objetivo estimar o seu impacto em configura¸c˜oes diversas do ambiente e do modelo de C&R. A Figura 4.21 apresenta a arquitetura de aprendizagem proposta. Com base nas diferentes configura¸c˜oes v´alidas para cada modelo, discutidas na Se¸c˜ao 4.6.1, um conjunto de planos candidatos ´e elaborado para um determinado objetivo de adapta¸c˜ao. Com base nas cren¸cas do ambiente e do modelo de C&R, o mecanismo de aprendizagem avalia o plano segundo o crit´erio especificado. Essas cren¸cas definem o conjunto de diferentes configura¸c˜oes para cada aspecto do ambiente e de aspectos relacionados `a C&R como, por exemplo, a con- fiabilidade dos parceiros e das fontes de informa¸c˜ao. Como resultado, uma estimativa da utilidade do plano em diversas configura¸c˜oes ´e obtida e utilizada na sele¸c˜ao de planos. Essa estimativa corresponde `a fun¸c˜ao f : Env′∪ m′ →R, apresentada na defini¸c˜ao de um plano
(Express˜ao 4.10). ´
E importante notar que o mecanismo de aprendizagem apresentado na Figura 4.21 ´e um componente abstrato que pode ser instanciado com abordagens diversas propostas na literatura, tais como aprendizagem por refor¸co, heur´ısticas e redes neurais (Russell e Norvig, 2002; Wooldridge, 2009). Isso permite que v´arias formas de aprendizagem para um modelo ou componente espec´ıfico possam ser incorporados no modelo, uma vez que, para a delibera¸c˜ao do agente durante o PSP, a utilidade estimada do plano, segundo os crit´erios de avalia¸c˜ao estabelecidos, ´e mais importante que a forma de aprendizagem em si.
Uma das dificuldades da aprendizagem ´e a delimita¸c˜ao do n´umero de cen´arios a serem testados, dado o n´umero de vari´aveis envolvidas e dos seus valores poss´ıveis. Para reduzir
Figura 4.21: Aprendizagem de planos de adapta¸c˜ao
a dimens˜ao do espa¸co de busca, Raja e Lesser (2007) prop˜oem a restri¸c˜ao das vari´aveis do processo de aprendizagem a caracter´ısticas independentes entre si, consideradas apenas em um conjunto limitado de valores. Em sua proposta, que utiliza aprendizagem por refor¸co para pol´ıticas de agendamento de tarefas (scheduling), apenas trˆes valores s˜ao considerados para as vari´aveis num´ericas: baixo, m´edio e alto.
Nesta pesquisa, para limitar o espa¸co de busca, alguns aspectos ambientais, enumerados na Se¸c˜ao 4.4, s˜ao representados em termos de outros. Por exemplo, os custos s˜ao expressos em rela¸c˜ao `a utilidade obtida pelo agente, que por sua vez ´e expresso em rela¸c˜ao `a utilidade ofertada no sistema. Assim, os agentes n˜ao aprendem planos para valores espec´ıficos, mas para intervalos (muito baixo, baixo, m´edio, alto, muito alto) da raz˜ao entre esses valores. Esses intervalos tamb´em s˜ao definidos como cren¸cas da aplica¸c˜ao. A Tabela 4.3 apresenta as caracter´ısticas do ambiente utilizadas na aprendizagem e suas dependˆencias de outros fatores para determinar seu valor.
Tabela 4.3: Caracter´ısticas do ambiente e suas dependˆencias Caracter´ıstica Dependˆencia
Custo operacional Utilidade oferecida Utilidade obtida Utilidade oferecida Custo de comunica¸c˜ao Utilidade oferecida Custo da informa¸c˜ao Utilidade oferecida Frequˆencia transa¸c˜oes Aplica¸c˜ao (tempo) Disponibilidade de parceiros Aplica¸c˜ao (popula¸c˜ao) Disp. de fontes de informa¸c˜ao Aplica¸c˜ao (popula¸c˜ao) Disp. da fonte espec´ıfica Aplica¸c˜ao (popula¸c˜ao)
No caso das cren¸cas do modelo de C&R, como os agentes e as fontes de informa¸c˜ao, bem como sua confiabilidade, podem variar muito, apenas valores agregados, como m´aximo e m´ınimo, s˜ao considerados no processo de aprendizagem. Assim, o tamanho da popula¸c˜ao
e a confian¸ca em cada agente n˜ao s˜ao utilizados individualmente como entrada do processo de aprendizagem.
O mapeamento de valores reais em intervalos tamb´em depende da aplica¸c˜ao. Por exem- plo, se duas fontes de informa¸c˜ao est˜ao dispon´ıveis em um sistema, essa quantidade pode representar um valor alto de disponibilidade para um tipo de aplica¸c˜ao e baixo para outra. Essa correspondˆencia ´e realizada na medida de similaridade, apresentada na Se¸c˜ao 4.7.1, que identifica a configura¸c˜ao atual do ambiente com base nos intervalos definidos nas cren¸cas da aplica¸c˜ao. Al´em disso, a aprendizagem pode ser realizada considerando um subconjunto de caracter´ısticas, de forma a reduzir a dimensionalidade do problema, mas arriscando um impacto negativo devido aos aspectos n˜ao considerados.
Embora cada caracter´ıstica possa ser limitada inicialmente a uma quantidade reduzida de valores, ´e poss´ıvel refinar a aprendizagem aumentando essa quantidade. Uma faixa de valor baixo para credibilidade, por exemplo, poderia ser dividida em outra faixa para obter uma maior aproxima¸c˜ao das condi¸c˜oes da simula¸c˜ao para o valor real encontrado no sistema.
4.7.1
Medida de similaridade
Mesmo ap´os a aprendizagem, ´e poss´ıvel que um agente n˜ao possua uma estimativa da utilidade de um plano em um determinado cen´ario. Nesse caso, por meio de uma medida de similaridade, ele pode procurar por planos que foram avaliados em condi¸c˜oes semelhantes. O conjunto de express˜oes 4.15 ilustra um cen´ario cen = Env′∪ m′ definido por trˆes aspectos:
maior valor da confian¸ca (max(t)), confiabilidade da avalia¸c˜ao da reputa¸c˜ao (rel(ar)) e custo de comunica¸c˜ao (ccom). O cen´ario cenO representa o cen´ario observado atualmente
no sistema. Os cen´arios cenA e cenB apresentam dois cen´arios aprendidos para os quais
existem planos com estimativas de utilidade, mas que n˜ao s˜ao exatamente iguais a CenO.
No caso de cenA, a aprendizagem n˜ao considerou o aspecto ccom.
cen ={max(t), rel(ar), ccom} (4.15)
cenO={alto, alto, alto}
cenA={alto, baixo, h?i}
cenB ={baixo, alto, alto}
Elementos n˜ao definidos no cen´ario aprendido podem ser substitu´ıdos por outras esti- mativas para fins de c´alculo da similaridade. Nesse caso, o valor indefinido de ccomem cenA
poderia ser substitu´ıdo, em uma abordagem otimista, pelo valor encontrado em cenO, o que
n˜ao prejudicaria a medida de similaridade de cenA em rela¸c˜ao a cenO. Da mesma forma,
ao m´aximo a similaridade. Considerando apenas a contagem de aspectos de igual valor, na primeira abordagem, cenAe cenB teriam a mesma similaridade em rela¸c˜ao a cenO, enquanto
na segunda, cenB teria uma similaridade maior.
Liao et al. (1998) enumeram diversas medidas de similaridade que podem ser utilizadas na compara¸c˜ao de dois cen´arios. Nesta se¸c˜ao ´e utilizada a distˆancia euclidiana, na qual a distˆancia d entre dois vetores X e Y ∈ Rn ´e obtida pela Express˜ao 4.16. A Tabela 4.4
apresenta um exemplo de c´alculo dessa distˆancia entre X e outras configura¸c˜oes do ambi- ente. Todos os valores est˜ao representados no intervalo [0, 1]. A configura¸c˜ao com maior similaridade em rela¸c˜ao a X ´e, portanto, aquela que apresenta a menor distˆancia d (nesse caso, Y3). d(X, Y ) = n X i=1 |xi− yi|2 !1/2 (4.16)
Tabela 4.4: Similaridade entre caracter´ısticas de ambientes
Caracter´ıstica Vetor X Vetor Y1 Vetor Y2 Vetor Y3
Utilidade obtida 0,10 0,50 0,60 0,11 Frequˆencia 0,35 0,41 0,23 0,4 Custo operacional 0,70 0,90 0,90 0,66 Custo de comunica¸c˜ao 0,10 0,30 0,25 0,02 Custo da informa¸c˜ao 0,02 0,05 0,00 0,01 Disponibilidade de parceiros 0,40 0,20 0,00 0,40 Disp. de fontes de informa¸c˜ao 0,20 0,60 0,00 0,20
Distˆancia euclidiana de X – 0,667 0,726 0,103
Como os valores est˜ao representados no mesmo intervalo, eles tˆem o mesmo peso no c´alculo da distˆancia. Logo, caso deseje-se dar uma ˆenfase maior a uma dada caracter´ıstica, pesos podem ser utilizados para multiplicar cada elemento do vetor, diferenciando seu im- pacto no resultado. Nesse exemplo, foram utilizados valores num´ericos cont´ınuos, sem a atribui¸c˜ao de intervalos. No caso da aplica¸c˜ao de intervalos, o uso de uma f´ormula num´e- rica requer a convers˜ao dos intervalos para os valores num´ericos correspondentes. Para fins do processo de aprendizagem, o uso de intervalos reduz a dimensionalidade do espa¸co de busca, mas, conforme o agente aprende novos cen´arios (seja offline ou durante sua execu¸c˜ao) torna-se necess´ario distinguir entre dois cen´arios que, apesar de serem iguais em termos de intervalos, s˜ao numericamente diferentes.