Caracterizac¸˜ao da medic¸˜ao

Para caracterizar o procedimento de medic¸˜ao, os valores medidos s˜ao comparados com o va- lor verdadeiro do mensurando. Como descrito no Cap´ıtulo 4, uma vez que o valor verdadeiro do mensurando ´e desconhecido, valores de referˆencia s˜ao adotados como uma aproximac¸˜ao. H´a duas maneiras populares para obter essas aproximac¸˜oes: i) realizar medic¸˜oes com um m´etodo de referˆencia (um m´etodo com erros conhecidos e menores do que os erros do m´etodo sob avaliac¸˜ao); e ii) realizar medic¸˜oes com objetos de referˆencia (objetos com pro- priedades definidas, por exemplo pesos-padr˜ao mantidos por entidades de metrologia legal). Em nossa prova de conceito, ilustrada na Figura 5.3, os valores de referˆencia s˜ao obtidos usando um instrumento de medic¸˜ao de referˆencia para medir um objeto de referˆencia. N´os adotamos como objeto de referˆencia um micro-benchmark que gera chamadas ao sistema relacionadas com o sistema de arquivos em um n´ıvel de carga espec´ıfico. O n´ıvel de carga ´e dado pelo n´umero de threads ativas no micro-benchmark que geram as chamadas ao sistema. Cada thread executa um n´umero configur´avel de requisic¸˜oes continuamente e manipula um

5.1 M´etodo 39

arquivo diferente de 10GB. N´os usamos arquivos que s˜ao ao menos 4 vezes maiores do que a quantidade de mem´oria principal dispon´ıvel; isso reduz a probabilidade de que requisic¸˜oes consecutivas para posic¸˜oes aleat´orias de um arquivo sejam atendidas pela mesma p´agina da mem´oria em cache [65].

Figura 5.3: As ferramentas de captura interceptam cargas de trabalho geradas por micro- benchmarks. Os dados capturados s˜ao armazenados em um disco r´ıgido diferente daquele envolvido com a carga de trabalho gerada. As medic¸˜oes s˜ao comparadas com medic¸˜oes de referˆencia, colhidas sem a necessidade da ferramenta de captura.

Para gerar as cargas de trabalho, consideramos 4 n´ıveis de carga e 4 tipos de carga. Os n´ıveis de carga variam de 1 at´e 4. Os tipos de carga s˜ao definidos pela chamada ao sistema requisitada pelas threads de trabalho do micro-benchmark: i) random read (chamada ao sistema pread); ii) random write (chamada ao sistema pwrite); iii) sequential read (chamada ao sistema read); e iv) sequential write (chamada ao sistema write). Cada requisic¸˜ao lˆe ou escreve em blocos de 4096 bytes. Cada thread executa uma sequˆencia de 5000 requisic¸˜oes sem espera entre elas.

O sistema de medic¸˜ao de referˆencia simplesmente coleta as marcac¸˜oes de tempo para a execuc¸˜ao das requisic¸˜oes no n´ıvel da aplicac¸˜ao (adicionamos chamadas para a func¸˜ao de coleta de tempo clock gettime ao micro-benchmark), sem a necessidade de executar as instruc¸˜oes de interceptac¸˜ao presentes quando o sistema de arquivos ´e instrumentado. Essa abordagem fornece medic¸˜oes mais pr´oximas do tempo de resposta do sistema de arquivos percebido pelas aplicac¸˜oes, portanto mais pr´oximos do valor verdadeiro do mensurando do

5.1 M´etodo 40

que as medic¸˜oes realizada com as ferramentas de captura SystemTap e strace. Note que, na pr´atica, n˜ao ´e fact´ıvel coletar as marcac¸˜oes de tempo no n´ıvel da aplicac¸˜ao em ex- perimentos de captura de rastros; uma vez que as aplicac¸˜oes podem n˜ao ser conhecidas de antem˜ao, portanto n˜ao ´e poss´ıvel modific´a-las para adicionar o c´odigo de coleta de marcac¸˜oes de tempo.

Determinac¸˜ao da precis˜ao da medic¸˜ao

Para contabilizar a precis˜ao da medic¸˜ao, conduzimos 10 medic¸˜oes replicadas usando cada ferramenta de captura de rastros, em todas as combinac¸˜oes de n´ıvel de carga de trabalho e tipos de carga de trabalho. Consideramos 4 n´ıveis de carga de trabalho, variando de 1 at´e 4. O resultado do experimento ´e a m´edia do tempo de resposta para todas as operac¸˜oes executadas no experimento.

Analisamos a precis˜ao dos m´etodos de captura, comparando-a com a precis˜ao do m´etodo de referˆencia. Em outras palavras, nosso objetivo foi verificar se as ferramentas SystemTap e strace aumentam a variabilidade dos resultados medidos em comparac¸˜ao ao m´etodo de referˆencia. Para isso, aplicamos um teste F para comparar a precis˜ao dos m´etodos de captura: para um m´etodo de medic¸˜ao A, seja u(RA

w) a precis˜ao do m´etodo, ou seja, a componente da

incerteza devida aos erros aleat´orios. Segundo esse teste, h´a evidˆencia que um m´etodo B ´e menos preciso do que um m´etodo A se Fr > Fα,NB−1,NA−1, em que Fr ´e a raz˜ao entre as

variˆancias dos m´etodos de medic¸˜ao:

Fr=

u(RB w)2

u(RA w)2

e Fα,NB−1,NA−1 ´e o valor cr´ıtico da distribuic¸˜ao F com NB− 1 e NA− 1 graus de liberdade

ao n´ıvel de significˆancia α [12].

Determinac¸˜ao da tendˆencia da medic¸˜ao

A tendˆencia de medic¸˜ao ´e a diferenc¸a entre os valores medidos e os valores de referˆencia. Para analisar a tendˆencia de medic¸˜ao, comparamos as medic¸˜oes de captura e os valores de referˆencia obtidos nos experimentos conduzidos para determinar a precis˜ao da medic¸˜ao, descritos na sec¸˜ao anterior, para as mesmas combinac¸˜oes de n´ıvel da carga de trabalho e tipo da carga.

5.1 M´etodo 41

Decidir se a tendˆencia de medic¸˜ao ´e aceit´avel ou n˜ao ´e uma quest˜ao qualitativa espec´ıfica do prop´osito pretendido para o m´etodo de medic¸˜ao. De qualquer maneira, existe uma regra pr´atica que pode servir de guia, independente de prop´osito, para decidir se a tendˆencia ´e significativa, e portanto, os valores medidos devem ser corrigidos por calibrac¸˜ao. De acordo com essa regra, a tendˆencia ´e significativa caso a sua magnitude seja maior que o dobro da incerteza [37]: |¯x − ref | > 2 · r u(Rw)2 n + u(Cref) 2

em que ¯x ´e a m´edia dos valores medidos, ref ´e o valor de referˆencia adotado, u(Rw) ´e a

componente de precis˜ao descrita no Cap´ıtulo 4, n ´e o n´umero de experimentos replicados conduzidos e u(Cref) ´e a incerteza dos valores de referˆencia, tamb´em descrita no Cap´ıtulo 4.

5.1.5

Calibrac¸˜ao

Tanto quanto sabemos, n˜ao h´a um estudo anterior que descreva os padr˜oes de erros esperados para as medic¸˜oes de captura de rastros. Por essa raz˜ao, n˜ao podemos adotar antecipadamente m´etodos mais simples de calibrac¸˜ao, tais como os m´etodos de ponto ´unico e dois pontos; no lugar destes adotamos o m´etodo de calibrac¸˜ao de m´ultiplos pontospor regress˜ao linear. Felizmente, em nosso cen´ario, preparar m´ultiplos objetos de referˆencia n˜ao ´e um problema: a ´unica desvantagem ´e o tempo extra necess´ario para executar um n´umero maior de experimentos.

Para construir a curva de calibrac¸˜ao, aplicamos a mesma metodologia descrita na Sec¸˜ao 5.1.4, que foi usada para aferir as caracter´ısticas dos m´etodos de captura. Execu- tamos 10 experimentos replicados, dessa vez considerando uma faixa mais larga para o n´ıvel da carga de trabalho, variando de 1 at´e 8. Para quantificar os erros do procedimento de calibrac¸˜ao, usamos o m´etodo descrito na Sec¸˜ao 4.2, baseado nos intervalos de predic¸˜ao da regress˜ao linear.