5.1 APRIMORAMENTO DA PRIVACIDADE
5.1.1 Observador externo
Esta seção apresenta os resultados para o aprimoramento na privacidade em relação a um
observador externo a uma residência. Como o propósito da estratégia de preenchimento
proposta é inibir a identificação dos dispositivos IoT, quanto menor o desempenho dos
algoritmos analisados, melhor. Os mesmos resultados foram obtidos para as métricas
acurácia, recall e F1-score. As Figuras 13, 14 e 15 apresentam os resultados para esse
cenário em cada um dos três conjuntos de dados analisados. Os resultados mostrados
nestas figuras sugerem que, o número de bytes inseridos nos pacotes influencia o nível de
aprimoramento na privacidade, como discutido nesta tese. Nos datasets disponibilizados
pelos autores de (
SIVANATHAN et al., 2018) e (
REN et al., 2019) (dados capturados no testbed
US), em que os resultados são apresentados nas Figuras 13 e 14, respectivamente, a solução
de preenchimento foi capaz de proporcionar uma melhoria na privacidade superior àquela
assegurada pela estratégia MTU.
Figura 13 – Desempenho dos algoritmos de aprendizado de máquina analisados no apri-
moramento da privacidade nos dados disponibilizados por (
SIVANATHAN et al.,
2018).
O nível preenchimento(𝑚 = 900) foi capaz de reduzir a acurácia do Random Forest na
identificação de dispositivos IoT de 96% para 3,92% (tráfego disponibilizado pelos autores
de (
SIVANATHAN et al., 2018)) e de 89% para 2,09% (considerando os dados disponibilizados
pelos autores de (
REN et al., 2019) capturados no testbed US). Mesmo no pior cenário,
dados disponibilizados pelos autores de (
REN et al., 2019) capturados no testbed UK, a
solução reduziu a acurácia do Random Forest de 88% para 10,12%, uma significativa
degradação no desempenho. A partir dos resultados apresentados nas Figuras 13, 14 e
15, é possível observar que o desempenho das estratégias de preenchimento varia entre os
datasets analisados. Esses resultados sugerem que a eficácia do preenchimento varia entre
diferentes ambientes de rede doméstica, como esperado.
Ao alterar o tamanho dos pacotes gerados por diferentes dispositivos para os mesmos
valores, a solução de preenchimento contribui para eclipsar as particularidades aos di-
ferentes equipamentos IoT. Dessa forma, os algoritmos treinados com os dados gerados
pelos dispositivos IoT, que contêm tamanhos característicos aos equipamentos analisados,
Figura 14 – Desempenho dos algoritmos de aprendizado de máquina no aprimoramento
da privacidade a partir do tráfego disponibilizado pelos autores de (
REN et al.,
2019), capturado no testbed US.
Figura 15 – Desempenho dos algoritmos de aprendizado de máquina no aprimoramento
da privacidade a partir do tráfego disponibilizado pelos autores de (
REN et al.,
2019), capturado no testbed UK.
encontram dificuldade para diferenciar os dispositivos a partir do tráfego ofuscado pela
solução.
Um dos fatores que pode contribuir para a degradação no desempenho dos algoritmos
avaliados consiste na gradual uniformidade dos tamanhos de pacotes ofuscados do nível
100 a 900. Quanto mais elevado o nível da estratégia, mais uniformes são os tamanhos. Por
exemplo, no nível 100 da estratégia, no mínimo, aproximadamente 64% dos pacotes têm
seus tamanhos modificados para 300 bytes, enquanto no nível 900 por volta de 70% dos
tamanhos são iguais a 900 bytes. Assim, quando o nível de preenchimento é incrementado,
um classificador enfrenta um cenário mais desafiador para identificar os padrões aprendidos
a partir do tráfego IoT original.
A sensibilidade dos algoritmos para aprendizado de máquina em relação ao preenchi-
mento pode estar relacionada ao tamanho do pacote original. Como discutido anteriormente,
o preenchimento é apropriado para tamanhos pequenos (próximos a 100 bytes), logo, valores
superiores a 1000 bytes podem ser pouco sensíveis às modificações conduzidas. Por isso, os
resultados para o testbed UK apontam para uma menor variabilidade entre os níveis da
solução de preenchimento, quando comparado aos outros datasets.
Presumivelmente, o desempenho da solução de preenchimento foi superado pela estra-
tégia MTU nos dados provenientes do testbed UK (Figura 15) porque nesse conjunto de
dados, 26,96% dos tamanhos encontram-se acima de 900 bytes (essa proporção é de 16,48%
e 9,80% para o testbed US e os dados disponibilizados por (
SIVANATHAN et al., 2018),
respectivamente). Assim, 26,96% dos pacotes capturados no testbed UK foram submetidos
a uma diminuta alteração em seus tamanhos, mesmo no nível mais elevado da solução.
A Figura 16 apresenta uma comparação entre as distribuições do tamanho original e
ofuscado no nível 900. As Figuras 16(a) e 16(b) ilustram a distribuição do tamanho do
pacote original disponibilizado pelos autores de (
SIVANATHAN et al., 2018) e sua contraparte
ofuscada, respectivamente. A Figura 16(c) apresenta o histograma para o tamanho dos
pacotes disponibilizados pelos autores de (
REN et al., 2019) capturados no testbed US,
enquanto a Figura 16(d) mostra os valores ofuscados a partir destes dados. As Figuras 16(e)
e 16(f) apresentam a distribuição de probabilidade para o tamanho original e ofuscado
proveniente do testbed UK, nesta ordem. A Figura 16 mostra que, em todos os datasets
analisados, a maioria dos tamanhos são modificados para 900 bytes. A Figura 16(e) mostra
que o tráfego capturado no testbed UK apresenta uma maior concentração de tamanhos
acima dos 900 bytes que os outros datasets. Dessa forma, os dados provenientes do testbed
UK estão menos suscetíveis ao preenchimento que os outros conjuntos de dados.
É factível que essa significativa degradação no desempenho dos algoritmos analisados
seja decorrente da distribuição do tamanho do pacote que, concentra-se majoritariamente
abaixo de 900 bytes. Dessa forma, elevar os tamanhos para 900 bytes garante que a maioria
dos pacotes compartilhem o mesmo tamanho, argumento adotado para justificar a suposta
eficiência da estratégia MTU (
UDDIN; NADEEM; NUKAVARAPU, 2019), sem incrementar
Figura 16 – Comparação entre a distribuição do tamanho do pacote original e ofuscado
no nível 900.
(a) Distribuição do tamanho original. (b) Histograma do tamanho ofuscado.
(c) Tamanho original. (d) Tamanho ofuscado.