Cen´ario sem Esquema de Reputa¸c˜ao

Neste cen´ario, o sistema conta com apenas um ´unico UC (Ultra-Confi´avel), que poder´a ser o pr´oprio gatekeeper de um site da grade. Este UC ´e a entidade respons´avel pela aplica¸c˜ao dos testes sobre todos os outros n´os. Os experimentos assumem uma grade

5.2. Cen´arios Estudados 54

composta de 10 mil jobs distribu´ıdos entre 200 n´os executores. Esses valores permitem que o cen´ario seja avaliado em um tempo razo´avel, n˜ao mais que 30 horas de simula¸c˜ao. Para inserir um n´o na blacklist, foi adotado o valor de 3% como parˆametro T ENmax(Taxa m´axima de Erros Naturais). Ao ultrapassar esse limite, o n´o malicioso

´e inclu´ıdo na blacklist e deixa de receber jobs para processar. Esse valor permite que n´os maliciosos n˜ao tomem parte na blacklist logo nas primeiras rodadas. Al´em disso, o benef´ıcio de valores inferiores a 3% ´e m´ınimo.

A Figura 5.1 ilustra a estrat´egia de diagn´ostico neste cen´ario: um n´o UC envia test-jobs diferentes para os n´os executores da grade (a), recebe os resultados destes jobs e compara com os resultados esperados (b). No caso de disparidade entre o resultado rece- bido e o esperado, o n´o UC considera que aquele n´o executor que forneceu um resultado divergente ´e um n´o suspeito. N´os suspeitos com taxa de erro superior ao valor estipulado pelo administrador s˜ao considerados maliciosos. No exemplo da Figura 5.1 (c), os n´os executores D e E agiram maliciosamente e, portanto, s˜ao inseridos na blacklist. Tais n´os deixam de receber jobs comuns e n˜ao ser˜ao mais testados na pr´oxima rodada.

Figura 5.1 Estrat´egia de diagn´ostico sem reputa¸c˜ao

Variando o percentual de n´os maliciosos na grade, a freq¨uˆencia e a quantidade de test-jobs, ´e poss´ıvel avaliar o benef´ıcio do uso da blacklist, a quantidade de rodadas de testes necess´arias para a detec¸c˜ao dos n´os de mau comportamento e o custo introduzido com o uso do esquema de verifica¸c˜ao focalizada. Como a quantidade de jobs ´e fixa e limitada, a temporalidade ´e negligenciada e, portanto, aspectos de reputa¸c˜ao n˜ao s˜ao considerados neste cen´ario. A fim de obter resultados consistentes, para cada um dos experimentos foram realizadas 100 simula¸c˜oes, onde os valores m´edios s˜ao apresentados nas se¸c˜oes seguintes.

5.2. Cen´arios Estudados 55

Impacto do Uso da Blacklist

Para conhecer a eficiˆencia da blacklist, foi analisado o comportamento do ambiente des- crito anteriormente, comparando a quantidade de resultados de jobs manipulados em diversas rodadas de teste, com diferentes percentagens de n´os maliciosos. O impacto da blacklist pode ser mensurado atrav´es da acur´acia de todos os jobs processados na grade. Essa informa¸c˜ao ´e dada pelos gr´aficos das Figuras 5.2, 5.3 e 5.4, que mostram a quantidade de jobs processados corretamente com e sem o uso de blacklist.

Figura 5.2 Acur´acia obtida com 1/6 dos n´os maliciosos

Figura 5.3 Acur´acia obtida com 1/3 dos n´os maliciosos

Os resultados demonstram que em todos os gr´aficos o n´umero de resultados de jobs processados corretamente sem o uso de blacklist permanece praticamente igual, mesmo

5.2. Cen´arios Estudados 56

variando a quantidade de rodadas de testes. Al´em disso, `a propor¸c˜ao que dobra o n´umero de n´os maliciosos na grade, tamb´em dobra o n´umero de resultados manipulados sem o uso de blacklist: aproximadamente 400 resultados corrompidos com 1/6 da grade com- prometida, 800 com 1/3 e 1600 com 2/3, o que conduz a uma acur´acia de 96%, 91,7% e 83,2%, respectivamente.

Figura 5.4 Acur´acia obtida com 2/3 dos n´os maliciosos

Em contrapartida, ao utilizar blacklist, nota-se uma redu¸c˜ao do total de resultados manipulados, de modo que em todos os casos o uso da blacklist possibilita uma maior acur´acia nos processos. Isso torna-se mais evidente `a medida que mais rodadas de testes s˜ao aplicadas ao modelo. No gr´afico da Figura 5.4, por exemplo, com 20 rodadas de teste, o n´umero de resultados manipulados sem utilizar blacklist ´e quase 3 vezes maior do que o n´umero de resultados manipulados com a blacklist, ou seja, o uso da blacklist permite um aumento na acur´acia de 83,2% para 96,5%.

No entanto, ao comparar o grau de eficiˆencia da blacklist no diagn´ostico entre os trˆes gr´aficos, ´e observada uma ligeira queda no desempenho com mais n´os maliciosos compondo o ambiente. Por exemplo: com 8 rodadas de teste e 1/6 de n´os maliciosos, o uso da blacklist proporciona uma acur´acia de 97,9%. Para a mesma quantidade de rodadas, esse valor cai para 95,3% com 1/3 de n´os maliciosos e cai ainda mais para 89,2% com 2/3 dos n´os agindo maliciosamente. Comportamento semelhante acontece para qualquer quantidade de rodadas empregadas. Isso denota que quanto maior o n´umero de n´os comprometidos na grade, menor a eficiˆencia da blacklist.

5.2. Cen´arios Estudados 57

´e suficiente para evitar a manipula¸c˜ao de resultados dos jobs processados. Desta forma, faz-se necess´ario um esquema que leve em conta as informa¸c˜oes de reputa¸c˜ao de cada n´o, permitindo, inclusive, que n´os com alta reputa¸c˜ao possam aplicar testes sobre n´os com reputa¸c˜ao inferior. Essa estrat´egia distribu´ıda de testes n˜ao s´o aumenta o ´ındice de n´os maliciosos detectados, como tamb´em desafoga o custo de processamento do n´o UC.

Detec¸c˜ao de N´os Maliciosos

A varia¸c˜ao da m´edia da quantidade de n´os maliciosos detectados em fun¸c˜ao do n´umero de rodadas de teste ´e mostrada na Figura 5.5. Como esperado, a curva de n´os maliciosos detectados tende a crescer com uma maior a quantidade de rodadas de testes empregadas. Segundo o gr´afico, independente do n´umero de n´os maliciosos no sistema, a percentagem de n´os detectados ´e praticamente a mesma em cada rodada de teste. Por exemplo: en- quanto s˜ao detectados aproximadamente 57,8% dos n´os comprometidos com 3 rodadas de teste, com 20 rodadas s˜ao encontrados 99,7% dos n´os agindo maliciosamente, qualquer que seja a quantidade de n´os maliciosos no sistema.

Figura 5.5 Quantidade de n´os inseridos na blacklist

O uso do esquema de verifica¸c˜ao focalizada em conjunto com a blacklist mostra que praticamente todos os n´os maliciosos podem ser reconhecidos com 15 rodadas de testes. Acima de 15 rodadas, o benef´ıcio obtido ´e m´ınimo, pouco mais de 1,5%. Esta constata¸c˜ao ´e corroborada pelas Figuras 5.6, 5.7 e 5.8, que apresentam a quantidade de n´os maliciosos detectados em cada uma das 100 simula¸c˜oes. Para melhor visualiza¸c˜ao, s˜ao mostrados apenas os experimentos realizados com 3, 8, 15 e 20 rodadas de teste.

5.2. Cen´arios Estudados 58

Estes gr´aficos revelam ainda que com 3 rodadas, o esquema mostra-se relativa- mente inst´avel. Por exemplo: de acordo com a Figura 5.6, s˜ao detectados, no melhor caso, 26 n´os maliciosos, enquanto no pior somente 12. Por´em, `a medida que mais ro- dadas de teste s˜ao empregadas, a variˆancia da quantidade de n´os maliciosos detectados tende a diminuir. O esquema tamb´em mostra-se robusto quando utiliza uma quantidade razo´avel de rodadas de testes.

Figura 5.6 N´os maliciosos detectados com 1/6 da grade comprometida

Figura 5.7 N´os maliciosos detectados com 1/3 da grade comprometida

A Tabela 5.1, obtida a partir desses trˆes gr´aficos, apresenta a percentagem apro- ximada de n´os maliciosos detectados no pior e no melhor caso, para 3, 8 e 15 rodadas de teste.

5.2. Cen´arios Estudados 59

Figura 5.8 N´os maliciosos detectados com 2/3 da grade comprometida

3 Rodadas 8 Rodadas 15 Rodadas N´os Maliciosos Pior Caso Melhor Caso Pior Caso Melhor Caso Pior Caso Melhor Caso 1/6 (33 n´os) 37% 79% 75% 100% 87% 100% 1/3 (66 n´os) 42,5% 73% 80% 98,5% 92,5% 100% 2/3 (133 n´os) 51% 67% 83,5% 94,5% 95,5% 100%

Tabela 5.1 N´os maliciosos detectados no pior e no melhor caso

Os resultados da Tabela 5.1 demonstram que o esquema de verifica¸c˜ao focalizada com blacklist ´e ineficiente com apenas 3 rodadas de testes. Resultados melhores s˜ao ob- tidos somente a partir de 8 rodadas, onde, no pior caso, s˜ao detectados 75% do total de n´os maliciosos. Ainda de acordo com a Tabela 5.1, a percentagem de n´os maliciosos detectados no pior caso tende a aumentar `a medida que a grade possui mais n´os compro- metidos. Em contrapartida, no melhor caso acontece justamente o inverso. Isso denota que quanto maior o n´umero de rodadas e o n´umero de n´os maliciosos, menor ´e a diferen¸ca entre o pior e o melhor caso e, portanto, o sistema tende a se tornar mais est´avel. Vale ressaltar que com 15 rodadas no melhor caso, todos os n´os maliciosos foram devidamente detectados.

Custo

Como mencionado, 15 rodadas de teste permitem obter um alto ´ındice de n´os malici- osos detectados. Embora essa quantidade de rodadas permita detectar e isolar quase todos os n´os maliciosos, o custo (overhead ) inserido no sistema ´e muito alto. Obvia- mente, a quantidade de rodadas implica em mais jobs de teste e, portanto, maior o custo

5.2. Cen´arios Estudados 60

introduzido. Os gr´aficos das Figuras 5.9, 5.10 e 5.11 ilustram essa situa¸c˜ao.

Figura 5.9 Custo introduzido com 1/6 dos n´os maliciosos

Figura 5.10 Custo introduzido com 1/3 dos n´os maliciosos

Como observado na Figura 5.9, com 15 rodadas, dos 10.000 jobs distribu´ıdos, mais de 2.500 s˜ao destinados apenas para testes, incorrendo em um overhead de aproximada- mente 25%. Acredita-se que 8 rodadas ofere¸cam um compromisso (trade-off ) aceit´avel entre custo e seguran¸ca, pois, comparando com o gr´afico da Figura 5.5, 8 rodadas de tes- tes s˜ao suficientes para detectar, por exemplo, 30 dos 33 n´os agindo maliciosamente (1/6 da grade comprometida), ou seja, o modelo permite detectar mais 90% dos n´os maliciosos com um custo adicional de aproximadamente 15%. Vale ressaltar que as simula¸c˜oes deste

5.2. Cen´arios Estudados 61

Figura 5.11 Custo introduzido com 2/3 dos n´os maliciosos

cen´ario n˜ao consideram os aspectos de reputa¸c˜ao, o que pode aumentar ainda mais o ´ındice de n´os maliciosos detectados sem aumentar o overhead de processamento.

Comparando-se os 3 gr´aficos das Figuras 5.9, 5.10 e 5.11, percebe-se ainda que a quantidade de test-jobs diminui com o aumento de n´os. Enquanto, por exemplo, com 1/6 de n´os maliciosos e 20 rodadas de teste, obt´em-se aproximadamente 3.500 test-jobs, com 2/3 o n´umero de test-jobs reduz para menos de 2.500 para a mesma quantidade de rodadas. Este comportamento deve-se ao uso da blacklist.

Com mais n´os maliciosos na grade, maior a blacklist e menor a quantidade de n´os restantes no ambiente. Se o sistema possui menos n´os para testar, menor tamb´em a quantidade de test-jobs disparados. Em outras palavras, com um esquema de blacklist, quanto mais contaminado o ambiente, menor o custo em termos de jobs de teste.