Selecionar métricas

A forma como os requisitos de avaliação e seus atributos são apresentados, mesmo tendo as características e subcaracterísticas de qualidade da NBR 9126-1 definidas, ainda não é o suficiente para realizar uma medição direta. Assim, a partir da especificação de requisitos da avaliação deve-se identificar os itens quantificáveis de cada atributo, o qual deve interagir com o ambiente e se correlacionar com pelo menos uma das características ou subcaracterísticas, estabelecendo-se a métrica.

A especificação dos atributos e itens deve conter as métricas a serem aplicadas em todo o produto, em pelo menos um de seus componentes. A métrica deve estar correlacionada ao objetivo de cada componente na avaliação e deve cobrir todos os requisitos de avaliação, incluindo instruções de apresentação das medidas como resultado para o adquirente.

A seguir são apresentadas as diferentes concepções das métricas definidas para cada fase da estratégia de avaliação a serem aplicadas nos itens a serem medidos.

Na fase de pré-avaliação, a abordagem utilizada é de caráter exploratório, semelhante à proposta de James Bach sobre “Testes Exploratórios”, descrita em: General Functionality and

Stability Test Procedure (2000 a), Exploratory Testing and the Planning Myth (2000 b) e What is Exploratory Testing? – And How it Differs from Scripted Testing (2000 c).

As instruções desta fase de pré-avaliação devem ser construídas de tal forma que, inicialmente, conduzam o avaliador a obter uma visão geral do produto de software e a conhecê-

lo por meio de operações que reflitam o conjunto de funções essenciais a serem avaliadas. As instruções devem levar o avaliador a se sentir à vontade, para navegar aleatoriamente pelo produto, e estar apto para executar operações que verifiquem a presença dos requisitos mínimos esperados do produto.

Sugere-se que o conjunto de instruções seja definido após a construção das métricas da fase 2, quando, então, será possível contar com informações precisas de quais são os requisitos essenciais e o que, de fato, é relevante para que se tenha certeza de que o produto tem condições de passar para a fase seguinte.

Cada instrução deve ser elaborada de forma que o resultado a ser fornecido possa ser:

• “OK”, caso não tenha sido observada nenhuma impropriedade; ou

• “IO” (Impropriedade Observada), no caso de a impropriedade impedir a avaliação da

respectiva instrução.

Assim, atendo-se ao objetivo de orientar o avaliador a registrar ocorrências de instabilidade do produto observadas durante a execução das instruções, é possível definir as métricas desta fase, as quais são facilmente explicitadas porque as ocorrências a serem identificadas são claras, podendo algumas vezes prejudicar, ou até mesmo impossibilitar, o uso do produto.

Ao lado do resultado, deve ser possível registrar o procedimento executado em detalhe. O registro da impropriedade deve ser de tal clareza, que os passos executados pelo avaliador até a obtenção do resultado “IO” declarado possam ser facilmente reproduzidos na presença do fornecedor.

Na fase de avaliação por requisito, as métricas devem ser elaboradas para todos os requisitos, seus atributos e itens. Devem ser formalmente estruturadas e recomenda-se que o conjunto de métricas de avaliação seja divido em duas partes:

• Conjunto de requisitos, atributos e itens que avaliam a funcionalidade dos componentes

interface do software e funções do software, incluindo o conjunto de ações, baseado nas regras e atividades às quais o produto se aplica;

software são selecionados apenas os que abordam uma visão geral da qualidade do produto, e todas as métricas do componente documentação do usuário. Para esse grupo de atributos de avaliação, não é necessário definir procedimentos, apenas uma lista de itens a serem respondidos.

Muitas vezes, na construção da métrica são percebidos novos requisitos, atributos e itens. Uma vez identificados, esses novos elementos devem ser classificados e considerados para avaliação.

As condições do processo de aquisição devem influenciar a decisão final da classificação a ser feita nesses novos elementos. Recomenda-se que eles sejam classificados como “recomendados”, exceto quando forem normativos. Essa linha de raciocínio pode evitar a necessidade de divulgação de novas versões da especificação de requisitos de aquisição aos fornecedores e, ao mesmo tempo, estabelecer uma hierarquia de requisitos que respeita as normas e acolhe as contribuições dos adquirentes e especialistas.

Para obter o resultado desta fase da avaliação, todas as medidas obtidas devem ser consideradas. A avaliação do atendimento ou não de cada requisito deve utilizar os seguintes critérios:

• Apenas os requisitos desejáveis declarados como “implementados” são testados; os não

declarados são considerados como “não implementados”;

• Um requisito de avaliação deve ser considerado "atendido" se todas as exigências da

aquisição, nele traduzidas, estiverem conformes; caso contrário, o requisito é considerado “não atendido”;

• Os requisitos “não atendidos” devem ter as falhas identificadas classificadas em: “falha

grave” ou “falha não grave”, podendo esta última também ser descrita como “sem falha grave” .

Para cada produto final avaliado, deve ser fornecido um único resultado. Assim, a interpretação das métricas a partir das respostas obtidas, em cada item, deve ser única e seguir

uma abordagem bottom-up2 , partindo dos itens para os atributos e chegando aos requisitos.

Primeiramente, de cada item medido obtém-se um dos seguintes resultados: Atendido; sem falha grave; ou com falha grave.

Além desses resultados, podem obter-se respostas para casos especiais, como:

"NI" = Não Implementado, para um item que se relaciona a um requisito desejável, declarado como não implementado pelo fornecedor;

"NA" = Não se Aplica, para um item que não se enquadra no produto.

Quando a avaliação de um item é prejudicada, ou não foi possível avaliar por falta de recurso do laboratório ou desconhecimento do avaliador, este deverá tentar eliminar os obstáculos, suprindo os recursos que faltam ou absorvendo o novo conhecimento através de apoio do especialista. Em última instância, quando nem a coordenação do laboratório, nem o especialista ou o adquirente conseguirem resolver o impasse, o item recebe a informação de “PP" = Procedimento Prejudicado e tratado da mesma forma que o resultado “NA”.

Depois, o conjunto dos resultados dos itens de um atributo converge para uma síntese, que será o resultado do atributo, podendo adquirir um dos seguintes rótulos:

• Atendido, se todos os itens do atributo avaliados são atendidos sem falha;

• Sem falha grave, se pelo menos um dos itens do atributo contém falha, mas nenhum

item apresenta falha grave;

• Com falha grave, se dentre os itens do atributo houver pelo menos um com falha grave.

"NA" = Não se Aplica, para um atributo que não se enquadra no produto; isto é, quando todos os seus itens estão com o resultado “não se aplica”;

"NI" = Não Implementado, para um atributo que se relaciona a um requisito desejável, declarado como não implementado pelo fornecedor;

Seguindo o mesmo raciocínio, para definir o resultado de um requisito, os resultados possíveis são:

• Atendido, se todos os atributos do requisito forem considerados sem falha;

• Sem falha grave, se pelo menos um atributo do requisito contém falha, mas nenhum

com falha grave;

• Com falha grave, se pelo menos um atributo está avaliado com falha grave;

"NI" = Não Implementado, para requisito desejável não implementado.

O resultado da avaliação de um produto deve conter os resultados de todos os requisitos avaliados.

Os itens correspondentes aos requisitos desejáveis não implementados recebem, antes do início da avaliação, a resposta "NI", de acordo com a relação de desejáveis implementados disponibilizados pelo fornecedor. Os requisitos em que todos os itens obtiverem “NA” ou “Prejudicados” como resposta devem receber um tratamento diferenciado, pois esse tipo de resposta pode prejudicar a avaliação do produto.

Não é considerada a possibilidade de um requisito de avaliação não se aplicar a um produto. Se tal ocorrer o caso deverá ser ponderado criteriosamente, podendo levar a um reajuste dos atributos e itens do método, ou a uma revisão mais ampla que, em conjunto com o adquirente, altere os requisitos de avaliação ou mesmo os de aquisição.

Na fase 3 – reavaliação, as métricas são construídas de forma bem diferente das anteriores. Não está prevista uma atividade individual do avaliador, não existindo instruções ou itens de avaliação a serem fixados. As métricas são definidas a partir dos resultados obtidos na fase anterior, incluindo todos os requisitos com falha grave e atributos e itens correspondentes. Como resultado da avaliação, cada requisito pode receber como resultado possível:

• Atendido, se todos os atributos e itens graves a ele relacionados forem atendidos;

• Não Atendido, se pelo menos um item ou atributo grave do requisito não foi atendido.

Para se chegar a um resultado conclusivo sobre a reavaliação, deve-se, na interpretação das métricas a partir das respostas obtidas, considerar todas as observações feitas no decorrer da reunião, tanto quanto a consistência da correção apresentada e as percepções do avaliador e do especialista. É necessário um julgamento rápido, não detalhado, como na fase anterior.