Sede: Rio de Janeiro
Av. Treze de Maio, 13 28º andar CEP 20003-900 – Caixa Postal 1680 Rio de Janeiro – RJ Tel.: PABX (021) 210-3122 Fax: (021) 220-1762/220-6436 Endereço eletrônico: www.abnt.org.br
ABNT – Associação
Brasileira de
Normas Técnicas
Copyright © 2001, ABNT–Associação Brasileira de Normas Técnicas Printed in Brazil/ Impresso no Brasil Todos os direitos reservadosAGO 2001
NBR ISO/IEC 14598-5
Tecnologia de informação - Avaliação
de produto de software
Parte 5: Processo para avaliadores
Origem: Projeto 21:101.01-007:2000
ABNT/CB-21 - Comitê Brasileiro de Computadores e Processamento de Dados
CE-21:101.01 - Comissão de Estudo de Qualidade de Software
NBR ISO/IEC 14598-5 - Information technology - Software product evaluation
Part 5: Process for evaluators
Descriptors: Software. Quality. Information technology
Esta Norma é equivalente à ISO/IEC 14598-5:1998
Válida a partir de 30.09.2001
Palavras-chave: Qualidade. Tecnologia da informação.
Software
27 páginas
Sumário Prefácio 0 Introdução 1 Objetivo 2 Conformidade 3 Referências normativas 4 Definições 5 Conceitos de avaliação6 Requisitos de processo de avaliação ANEXOS
A Modelo de relatório de avaliação B Níveis de avaliação
C Componentes de produto de software D Interações entre requisitante e avaliador E Contrato de avaliação
F Bibliografia Prefácio
A ABNT - Associação Brasileira de Normas Técnicas - é o Fórum Nacional de Normalização. As Normas Brasileiras, cujo conteúdo é de responsabilidade dos Comitês Brasileiros (ABNT/CB) e dos Organismos de Normalização Setorial (ABNT/ONS), são elaboradas por Comissões de Estudo (CE), formadas por representantes dos setores envolvidos, delas fazendo parte: produtores, consumidores e neutros (universidades, laboratórios e outros).
Os Projetos de Norma Brasileira, elaborados no âmbito dos ABNT/CB e ABNT/ONS, circulam para Consulta Pública entre os associados da ABNT e demais interessados.
A NBR ISO/IEC 14598 consiste nas seguintes partes, sob o título geral “Tecnologia de informação - Avaliação de produto de software”1):
Parte 1 - Visão geral;
Parte 2 - Planejamento e gestão;
Parte 3 - Processo para desenvolvedores; Parte 4 - Processo para adquirentes;
________________ 1)
Parte 5 - Processo para avaliadores;
Parte 6 - Documentação de módulos de avaliação.
Esta Norma contém o anexo A, de caráter normativo, e os anexos B, C, D, E e F, de caráter informativo.
0 Introdução
Os produtos de software têm se tornado cada vez mais importantes em todas as áreas da indústria e de serviços. Portanto, é necessário que se possa avaliar a qualidade desses produtos de software.
Os produtos de software são extremamente variados. Eles são produzidos para atender requisitos muito diversificados. Como exemplo, pode-se citar a diversidade de requisitos de funcionalidade. O contexto para seu uso também pode variar muito, como, por exemplo, no caso de software aplicativo em um sistema de informações gerenciais, de software embutido em outros produtos, ou de software de jogos.
Os potenciais benefícios de avaliação são:
- o desenvolvedor pode usar os resultados da avaliação de seu produto para identificar ações corretivas, com o objetivo de melhorá-lo ou de tomar decisões sobre a estratégia de evolução do produto;
- para os fornecedores de um produto, o benefício de uma avaliação pode ser obter confiança no valor do produto; além disso o relatório de avaliação pode ser usado com finalidades comerciais;
- para adquirentes de produtos de software, resultados de avaliação podem ser usados como dados objetivos para decisões de aquisição;
- para negócios em geral, a disseminação da avaliação de produto de software pode ajudar no uso da qualidade como argumento de marketing.
O objetivo principal de avaliação de produto de software é fornecer resultados quantitativos sobre a qualidade de produto de software que sejam compreensíveis, aceitáveis e confiáveis por quaisquer das partes interessadas.
O processo de avaliação é descrito como um procedimento passo-a-passo, de tal forma que os requisitos de avaliação possam ser expressos em termos de características de qualidade, como definido na NBR ISO/IEC 9126. A avaliação leva em consideração vários documentos que podem ser considerados como parte do produto de software, por exemplo, documentos de projeto, relatórios de teste e validação, código fonte e documentação de usuário. É aconselhável que o avaliador utilize uma biblioteca de módulos de avaliação que definam métodos de avaliação. Esses módulos de avaliação poderiam ser padronizados, entretanto esta Norma não se propõe a tratar deste assunto. A avaliação leva à elaboração de um relatório de avaliação pelo avaliador.
Este processo de avaliação é um processo abstrato e genérico que segue o modelo definido na ISO/IEC 9126. Portanto, este processo é aplicável a todos os processos fundamentais do ciclo de vida definidos na NBR ISO/IEC 12207. Alguns processos de apoio de ciclo de vida definidos na NBR ISO/IEC 12207 estão relacionados diretamente ao processo de avaliação. São eles: garantia da qualidade, verificação, validação, revisão conjunta e auditoria.
O processo de adaptação definido na NBR ISO/IEC 12207 está embutido no processo de avaliação definido nesta Norma, permitindo ao usuário especificar e projetar as atividades de avaliação.
O processo de avaliação descrito aqui pode ser utilizado para verificar conformidade a normas como a NBR ISO/IEC 12119.
1 Objetivo
Esta parte da NBR ISO/IEC 14598 fornece requisitos e recomendações para a implementação prática de avaliação de um produto de software, quando várias partes envolvidas necessitam entender, aceitar e confiar nos resultados da avaliação. Em especial, ela pode ser usada na aplicação dos conceitos descritos na ISO/IEC 9126.
O processo descrito nesta parte da NBR ISO/IEC 14598 define as atividades necessárias para analisar os requisitos de avaliação, para especificar, projetar e executar as ações de avaliação, e concluir a avaliação de qualquer tipo de produto de software.
O processo de avaliação pode ser usado para avaliar produtos já existentes, caso os componentes do produto necessários estejam disponíveis, ou para avaliar produtos em desenvolvimento.
NOTA - Para avaliação de um produto em desenvolvimento, o processo de avaliação necessita estar sincronizado com o processo de desenvolvimento de software e os produtos componentes são avaliados à medida que sejam liberados.
Esta parte da NBR ISO/IEC 14598 pode ser utilizada por:
- avaliadores de laboratórios de teste, quando estiverem fornecendo serviços de avaliação de produtos de software, - fornecedores de software, quando estiverem planejando avaliação de seus produtos de software, incluindo execução de avaliação por prestadores independentes de serviços de teste,
- adquirentes de software, quando requisitarem informações de avaliações do fornecedor ou de prestadores de serviços de teste,
- usuários de software, quando estiverem avaliando produtos, ou quando estiverem usando relatórios de avaliação fornecidos por laboratórios de teste,
- entidades de certificação na definição de novos procedimentos de certificação para produtos de software.
2 Conformidade
Devido à liberdade de escolha permitida ao usuário, pela natureza geral destas recomendações, uma simples declaração de conformidade em relação a esta parte da NBR ISO/IEC 14598 não é válida. Qualquer organização impondo esta parte NBR ISO/IEC 14598 como condição de negócio é responsável por especificar e tornar público um conjunto de requisitos que constituem os termos de conformidade para uma dada aplicação desta parte da NBR ISO/IEC 14598. Convém que a aplicabilidade de todos os requisitos da seção 6 seja considerada.
3 Referências normativas
As normas relacionadas a seguir contêm disposições que, ao serem citadas neste texto, constituem prescrições para esta parte NBR ISO/IEC 14598. As edições indicadas estavam em vigor no momento desta publicação. Como toda norma está sujeita a revisão, recomenda-se àqueles que realizam acordos com base nesta que verifiquem a conveniência de se usarem as edições mais recentes das normas citadas a seguir. A ABNT possui a informação das normas em vigor em um dado momento.
NBR ISO/IEC 14598-1:2001, Tecnologia de informação - Avaliação de produto de software - Parte 1: Visão geral ISO/IEC 9126:1991, Information technology - Software product evaluation - Quality characteristics and guidelines for
their use
ISO/IEC 14598-6, Information technology - Software product evaluation - Part 6: Evaluation modules1)
4 Definições
Para os efeitos desta parte da NBR ISO/IEC 14598, aplicam-se as seguintes definições:
4.1 método de avaliação: Procedimento que descreve as ações a serem realizadas pelo avaliador para obter o resultado
da medição ou verificação especificadas, quando aplicadas num produto ou em componentes especificados de um produto.
4.2 relatório de avaliação: Documento que apresenta os resultados da avaliação e outras informações relevantes a uma
avaliação.
4.3 registros de avaliação: Evidências objetivas documentadas de todas as atividades realizadas e resultados alcançados
no processo de avaliação.
4.4 requisitante da avaliação: Pessoa ou organização que requisita uma avaliação.
4.5 ferramenta de avaliação: Instrumento que pode ser usado durante a avaliação para coletar dados, fazer interpretação
de dados ou automatizar parte da avaliação.
NOTA - Analisadores de código-fonte para computar métricas do código, ferramentas CASE (Computer Aided Software Enginneering) para produzir modelos formais, ambientes para testar programas executáveis, listas de verificação para coletar dados de inspeção ou planilhas para sintetizar medidas são exemplos de tais ferramentas.
4.6 avaliador: Organização que executa uma avaliação.
NOTA - Um avaliador pode ser, por exemplo, um laboratório de teste, o departamento de qualidade de uma organização de desenvol-vimento de software, um órgão governamental ou um usuário.
________________
1)
4.7 desenvolvedor de produto de software: Pessoa ou organização que produz um produto de software.
4.8 avaliação de produto de software: Operação técnica que consiste em elaborar um julgamento de uma ou mais
características de um produto de software de acordo com um procedimento definido.
NOTAS
1 Esta definição é muito similar à definição de teste do ISO/IEC Guide 2. Para evitar confusão com o conceito de teste, largamente aceito na área de engenharia de software e que possui um significado mais restrito, nesta parte da NBR ISO/IEC 14598 foi adotado o termo avaliação.
2 Avaliação de produto de software não é necessariamente teste de conformidade (como definido no ABNT ISO/IEC Guia 2 13.3.2) no contexto de um esquema de certificação. Entretanto, teste de conformidade pode fazer parte de uma avaliação.
5 Conceitos de avaliação 5.1 Aspectos gerais
A qualidade de um produto de software pode ser descrita em termos de características de qualidade como definidas na ISO/IEC 9126. Entretanto, o estado da arte em medição de software é tal que, em geral, a medição direta dessas ca-racterísticas não é prática. Uma possibilidade é julgar essas caca-racterísticas baseando-se na medição de atributos do produto obtidos em níveis mais baixos de abstração.
Nesse contexto, o avaliador pode usar sua experiência pessoal em engenharia de software para fazer o julgamento. Isto pode reduzir a objetividade da avaliação. Outro aspecto a ser considerado é a possibilidade de usar métodos de avaliação não-determinísticos; apesar de bem definidos, tais métodos podem requerer que o avaliador faça escolhas que podem não estar predefinidas.
NOTA - Um exemplo de método de avaliação não-determinístico pode ser a tradução de um componente de especificação de produto em um modelo formal, efetuando a avaliação de desempenho ou confiabilidade deste modelo; a fase de tradução envolve muitas opções a serem feitas pelo avaliador.
Portanto, esta parte da NBR ISO/IEC 14598 fornece orientações para manter o nível de objetividade da avaliação o mais alto possível em todas as circunstâncias. Essas orientações se baseiam na organização de revisões dos resultados das avaliações intermediárias e finais e no armazenamento de registros do processo de avaliação
5.2 Ponto inicial da avaliação 5.2.1 Acordo inicial
A avaliação de um produto de software ocorre quando o requisitante da avaliação solicita a um avaliador a avaliação deste produto de software.
NOTA - Quando a avaliação é solicitada, o requisitante descreve os requisitos da avaliação, os quais serão analisados pelo avaliador. Em seguida, o requisitante e o avaliador acordam quanto à especificação de avaliação.
5.2.2 Partes envolvidas na avaliação
Os potenciais requisitantes de avaliações podem ser: - desenvolvedores de software,
- fornecedores de software, - adquirentes de software, - usuários de software,
- integradores de sistemas atuando como adquirentes de software. Os potenciais avaliadores podem ser:
- laboratórios de testes de terceira parte,
- equipes de testes integrantes de organizações de produção ou distribuição de software, - equipes de testes integrantes de organizações compradoras ou usuárias de software, - equipes de testes integrantes de organizações integradoras de sistemas,
- organizações que fazem comparações entre produtos.
Em alguns casos, o desenvolvedor de produto de software está envolvido na avaliação, mesmo que ele não seja o requisitante da avaliação.
5.3 Características do processo de avaliação
O objetivo principal do processo de avaliação descrito nesta parte da NBR ISO/IEC 14598 é promover as seguintes caracte-rísticas desejáveis em um processo de avaliação:
- repetibilidade: convém que avaliações repetidas do mesmo produto, com a mesma especificação de avaliação, pelo mesmo avaliador, produzam resultados que possam ser aceitos como sendo idênticos,
- reprodutibilidade: convém que avaliações do mesmo produto, com a mesma especificação de avaliação, por avaliadores diferentes, produzam resultados que possam ser aceitos como sendo idênticos,
- imparcialidade: convém que a avaliação não seja tendenciosa com relação a algum resultado particular,
- objetividade: convém que os resultados das avaliações sejam baseados em fatos, isto é, desprovidos de sentimentos ou opiniões do avaliador.
NOTA - Avaliações de um mesmo produto podem ser conduzidas com diferentes especificações de avaliação. Assim sendo, não são comparáveis e podem levar a resultados diferentes.
5.4 Processo de avaliação
O processo de avaliação (ver seção 6) consiste em um conjunto de atividades que são conduzidas pelo requisitante e pelo avaliador cooperativamente. As atividades do processo usam como base os dados fornecidos pelo requisitante, pelo avaliador, ou produzidos por outras atividades do conjunto. Elas produzem dados que são os resultados do processo de avaliação e que também podem ser utilizados por outras atividades do processo.
As atividades são projetadas considerando os seguintes pontos:
- os objetivos variam de uma avaliação para outra, pois os produtos são desenvolvidos para cumprir uma variedade de requisitos e cada requisitante pode contratar requisitos de avaliação específicos (ver 6.2.1),
- os produtos de software são constituídos por componentes cujos formatos e naturezas dependem dos métodos de desenvolvimento, que podem ser muito diferentes entre si,
- as técnicas de avaliação possíveis são numerosas e a sua seleção precisa levar em consideração os objetivos da avaliação e a constituição do produto.
Todas estas considerações impõem uma alta flexibilidade ao processo.
5.4.1 Atividades de avaliação
O processo de avaliação (ver seção 6) é composto de cinco atividades, relacionadas a seguir: - estabelecimento dos requisitos de avaliação (ver 6.2.1),
- especificação da avaliação baseada nos requisitos de avaliação e na descrição do produto fornecida pelo requisitante (ver 6.2.1);
- projeto da avaliação que resulta num plano baseado na especificação de avaliação. Esta atividade leva em consideração os componentes do produto de software a serem avaliados e os métodos de avaliação propostos pelo avaliador;
- execução do plano de avaliação consistindo em inspeção, modelagem, medição e teste dos produtos e de seus componentes de acordo com o plano de avaliação. Estas ações podem ser executadas utilizando-se ferramentas de
software (normalmente fornecidas pelo avaliador). As ações executadas pelo avaliador são registradas e os resultados
obtidos são apresentados numa versão preliminar do relatório de avaliação,
- conclusão da avaliação, que consiste na liberação do relatório de avaliação e na devolução pelo avaliador do produto avaliado e de seus componentes.
5.4.2 Entradas para o processo de avaliação
O requisitante fornece os seus requisitos, que são uma versão inicial dos requisitos de avaliação. O requisitante fornece, durante a avaliação, as seguintes entradas ao processo de avaliação: - a descrição do produto,
- os componentes do produto.
A descrição do produto identifica o produto de software, assim como seus componentes submetidos à avaliação.
NOTAS
1 O produto pode incluir os documentos relacionados ao planejamento, processo ou métodos de desenvolvimento utilizados na sua produção. O documento de planejamento pode incluir cronograma, estrutura organizacional e estimativa de custos.
2 Se o requisitante é um usuário, convém que ele entre em acordo com o desenvolvedor para dar o apoio necessário ao avaliador e pode também requerer que o desenvolvedor entregue ao avaliador a descrição do produto de software a ser avaliado e de seus componentes.
O avaliador fornece as seguintes entradas ao processo de avaliação: - especificações de avaliação predefinidas,
- métodos de avaliação, e - ferramentas de avaliação.
5.4.3 Saídas do processo de avaliação
Durante o processo de avaliação, o avaliador fornece as seguintes saídas:
- registros de avaliação, incluindo plano de avaliação e registros das ações de avaliação,
- relatório preliminar de avaliação, incluindo requisitos de avaliação, especificação de avaliação e síntese dos resultados da avaliação,
- relatório de avaliação revisado.
Os requisitos, a especificação e o plano de avaliação são produtos intermediários do processo de avaliação. Os registros de avaliação e o relatório de avaliação são os produtos finais do processo de avaliação.
Os requisitos da avaliação descrevem os objetivos da avaliação. Particularmente são descritos os requisitos de qualidade do produto.
A especificação de avaliação define todas as análises e medições a serem realizadas no produto e em seus componentes. Os componentes do produto que serão analisados e medidos são identificados.
O plano de avaliação descreve os procedimentos operacionais necessários para implementar a especificação da avaliação. Particularmente todos os métodos e ferramentas a serem utilizados na avaliação são descritos.
Os registros de avaliação consistem no plano de avaliação e no detalhamento das ações realizadas pelo avaliador durante a execução do plano de avaliação. Estes registros são mantidos pelo avaliador.
NOTA 1 - Os registros da avaliação são mantidos de maneira que permitam a repetição ou reprodução da avaliação.
O relatório de avaliação contém os requisitos de avaliação, a especificação de avaliação, resultados das medições e das análises realizadas e qualquer outra informação necessária para permitir a repetição ou reprodução da avaliação. O rela-tório de avaliação é inicialmente emitido como uma versão preliminar para revisão. Quando na sua forma final, é entregue ao requisitante.
NOTA 2 - A figura 1 apresenta uma visão geral do processo descrito anteriormente. O fluxo de informações entre as atividades está iden-tificado. Estabelecimento dos requisitos da avaliação Especificação da avaliação Projeto da avaliação Execução da avaliação Conclusão da avaliação Entradas fornecidas pelo requisitante Componentes do produto Entradas fornecidas pelo avaliador Ferramentas de
avaliação Síntese dos resultados deavaliação
Relatório de avaliação
preliminar Relatório deavaliação
revisado Registros de avaliação Registro de ações de revisão Plano de avaliação Métodos de avaliação Descrição do produto Especificação de avaliação predefinida Especificação de avaliação Requisitos de avaliação Requisitos do requisitante
5.5 Relação entre avaliação e ciclo de vida
A avaliação de um produto de software pode ser realizada em qualquer um dos processos de ciclo de vida como definido na NBR ISO/IEC 12207. Particularmente, a avaliação pode ocorrer em um desses processos: aquisição, fornecimento, desenvolvimento, operação ou manutenção.
A decisão de submeter um produto de software para avaliação deve preferencialmente ser tomada o mais cedo possível no processo de desenvolvimento do produto. Se isto for feito logo no início do processo de desenvolvimento do software, é possível embutir neste processo as medições e testes a serem realizados para a avaliação. Isto asseguraria uma maior probabilidade de o produto satisfazer aqueles requisitos considerados no processo de avaliação, assim como minimizaria o risco de ocorrência de custos extras ou inesperados.
Quando o requisitante é o desenvolvedor do produto, contatos preliminares com o avaliador para discutir a intenção de submeter o produto à avaliação também poderiam ajudar ao desenvolvedor a antecipar quaisquer necessidades especiais que os avaliadores possam ter (tais como documentos específicos ou evidências que possam ser necessárias).
É possível que algumas, ou mesmo todas, ações de avaliação tenham que ser feitas no ambiente de operação e não no laboratório de testes. Neste caso, as ações ainda assim serão controladas pelo avaliador para garantir a imparcialidade dos resultados.
Para projetos de software muito grandes e complexos, pode ser melhor para o desenvolvedor ter uma cooperação contínua e próxima ao avaliador durante todo o desenvolvimento do produto, de forma a minimizar a duração e o custo do processo de avaliação. Convém que esta cooperação seja feita de tal forma que não reduza a imparcialidade do avaliador.
6 Requisitos de processo de avaliação 6.1 Requisitos gerais
6.1.1 Organização e sistema de qualidade
Para satisfazer as características expressas em 5.3, isto é, repetibilidade, reprodutibilidade, imparcialidade e objetividade dos resultados da avaliação, o avaliador deve atuar num contexto organizacional que forneça toda garantia necessária para obter qualidade suficiente em suas atividades. Para satisfazer este requisito, a organização da qual faz parte o avaliador pode buscar conformidade aos requisitos apresentados pelo ABNT ISO/IEC Guia 25.1)
6.1.2 Responsabilidades do requisitante
As responsabilidades do requisitante da avaliação devem ser:
- assegurar os direitos legais necessários sobre o produto de software com o propósito da avaliação, - fornecer informações necessárias para identificação e descrição do produto,
- estabelecer os requisitos iniciais de avaliação e negociar com o avaliador a fim de acordar os requisitos de avaliação; convém que estes requisitos estejam de acordo com normas e regulamentos relevantes,
- estabelecer requisitos de confidencialidade relativos às informações submetidas à avaliação, - agir, sempre que necessário como um intermediário entre o desenvolvedor e o avaliador,
- fornecer ao avaliador, sempre que necessário, acesso adequado aos computadores e outros equipamentos usados para o desenvolvimento e operação do produto de software,
- fornecer, sempre que necessário, apoio ao avaliador, incluindo treinamento e acesso às pessoas envolvidas no contexto de avaliação,
- assegurar o fornecimento do produto de software, sua descrição e seus componentes, incluindo documentação e outros materiais, em tempo hábil e sempre que necessário,
- informar ao avaliador, sempre que necessário, qualquer causa que possa invalidar o resultado da avaliação.
6.1.3 Responsabilidades do avaliador
As responsabilidade do avaliador devem ser:
- verificar se o requisitante tem direitos legais sobre o produto de software para a avaliação a ser executada; para isto o avaliador pode exigir um atestado do requisitante,
- manter a confidencialidade requerida das informações fornecidas pelo requisitante, incluindo, por exemplo, identificação do produto sob avaliação, registros da avaliação e respectivos relatórios,
- fornecer pessoal qualificado e treinado para conduzir a avaliação, - fornecer as ferramentas e tecnologias de avaliação,
- conduzir a avaliação de acordo com os requisitos de avaliação,
- manter o registro de qualquer trabalho realizado durante a avaliação que tenha impacto sobre os resultados da avaliação, - assegurar a entrega do relatório de avaliação ao requisitante em tempo hábil,
- proporcionar transparência sobre a condução da avaliação conforme o nível solicitado pelo requisitante.
________________ 1)
6.2 Estabelecimento dos requisitos de avaliação
6.2.1 Propósito do estabelecimento dos requisitos de avaliação
O propósito do estabelecimento dos requisitos de avaliação é descrever os objetivos da avaliação. Tais objetivos estão relacionados ao uso pretendido do produto de software e aos riscos associados (para exemplo, ver anexo B). Podem ser considerados pontos de vista diferentes de vários usuários do produto, tais como: adquirente, fornecedor, desenvolvedor, operador ou mantenedor do produto.
6.2.2 Elaboração dos requisitos de avaliação
A atividade de análise dos requisitos de avaliação é composta das seguintes subatividades: - proposta dos requisitos pelo requisitante da avaliação;
- estabelecimento pelo requisitante do nível de cobertura da avaliação;
- apoio ao requisitante, por parte do avaliador, na análise dos motivos para a avaliação e na descrição dos requisitos de avaliação;
- explicação, pelo avaliador, do nível de confiança e rigor da avaliação; - acordo sobre os requisitos de avaliação.
O requisitante da avaliação deve fornecer os seus requisitos, os quais constituem uma versão inicial dos requisitos de avaliação. Convém que o avaliador apoie o requisitante na análise do propósito da avaliação do produto e na descrição dos requisitos de avaliação.
Convém que seja considerado o domínio de aplicação e os objetivos gerais do produto submetido à avaliação. Questões críticas, tais como: segurança, segurança de acesso e aspectos econômicos ou ambientais podem ser levadas em conta. Convém que regulamentos e leis aplicáveis também sejam considerados.
O requisitante deve expressar nos seus requisitos o nível de cobertura da avaliação. Convém que o avaliador, por sua vez, garanta que a avaliação seja rigorosa o suficiente de modo a fornecer confiança na qualidade do produto de
software. Portanto, o avaliador e o requisitante devem estar de acordo em relação aos requisitos de avaliação como um
pré-requisito para a continuação do processo de avaliação.
NOTA - Para certificação de um produto de software ou de seus componentes, o requisitante da avaliação identifica o documento normativo contendo os requisitos para o produto.
6.2.3 Conteúdo dos requisitos de avaliação
Convém que os requisitos de avaliação contenham uma descrição geral do domínio de aplicação do produto submetido à avaliação. Convém também que os objetivos gerais do produto sejam fornecidos.
Os requisitos de avaliação devem também conter uma lista de requisitos de qualidade, fazendo referência, por exemplo, às características de qualidade conforme definidas na ISO/IEC 9126. Neste contexto, as subcaracterísticas podem também ser usadas. Quando um requisito se refere a uma característica não definida na ISO/IEC 9126, deve ser feita uma referência à literatura conceituada que a defina, e convém que o requisitante e o avaliador declarem explicitamente o entendimento mútuo desta característica.
Convém que a importância relativa de cada característica de qualidade seja estabelecida nos requisitos de avaliação. Isto se aplica quando partes do produto precisam ser avaliadas com requisitos de avaliação diferentes para a mesma característica de qualidade. Para expressar a importância relativa, pode ser usada a noção de nível de avaliação sugerida no anexo B.
Para cada requisito, nos requisitos de avaliação, deve ser fornecida a especificação da informação que o produto de
software e seus componentes a serem avaliados precisam conter. Convém que esta especificação, sempre que possível,
faça referência a uma norma de engenharia de software. Além disso, podem ser especificados o formalismo usado nos componentes ou os métodos de desenvolvimento de software usados para produzi-los.
NOTA - A extensão e a forma da informação requeridas para a avaliação podem estar relacionadas com o custo de avaliação, por um lado, ou com a importância de um requisito específico de qualidade do produto, por outro lado.
6.2.4 Aprovação e relato
Os requisitos de avaliação devem ser aprovados como resultado de uma revisão conjunta entre o requisitante e o avaliador.
6.3 Especificação da avaliação
6.3.1 Objetivos da especificação da avaliação
O objetivo de especificar a avaliação deve ser o de definir a abrangência da avaliação e das medições a serem realizadas sobre o produto submetido para avaliação e sobre seus vários componentes. Convém que o nível de detalhes na especificação de avaliação seja tal que, baseada nela, a repetibilidade e a reprodutibilidade da avaliação sejam ga-rantidas.
NOTA 1 - A avaliação especificada pode ser não-determinística. Neste caso, convém que os resultados obtidos de avaliações repetidas ou reproduzidas sejam consistentes.
Deste modo, convém que a especificação de avaliação não contenha conhecimento proprietário do avaliador.
NOTA 2- O relatório de avaliação, o qual contém a especificação de avaliação, é entregue ao requisitante que pode divulgá-lo para outras partes. Portanto, não seria conveniente ao avaliador tentar proteger algumas informações proprietárias.
6.3.2 Elaboração da especificação de avaliação
A atividade de especificar a avaliação é composta de três subatividades: - analisar a descrição do produto,
- especificar as medições a serem realizadas no produtos e seus componentes, - verificar a especificação produzida em relação aos requisitos de avaliação.
NOTA - A subatividade de verificação pode ser conduzida em paralelo com as outras, com o objetivo de identificar problemas potenciais o mais cedo possível.
6.3.2.1 Analisar a descrição do produto
O requisitante deve fornecer uma descrição do produto submetido à avaliação. O objetivo dessa descrição é:
- permitir a definição da abrangência da avaliação, isto é, a identificação dos componentes do produto de software que são considerados parte do produto e dos que não são, sendo apenas referidos para facilitar o entendimento do produto.
NOTAS
1 Tal identificação pode ser baseada na definição de quais partes dos documentos pertencem ao produto e quais funções são implementadas ou não pelo produto.
2 Definir a abrangência da avaliação é importante quando o produto de software submetido para avaliação é parte de um sistema composto de hardware, outros produtos de software, redes de computadores ou organizações, porque a separação entre esses produtos nem sempre é óbvia.
- fornecer ao avaliador a identificação dos componentes do produto submetido à avaliação, para que ele compreenda suas estruturas e identifique a informação fornecida, bem como a forma de acesso a esta informação.
Esta descrição deve conter a lista dos componentes do produto realmente submetidos à avaliação, a lógica da estrutura do produto e uma lista de documentos relacionados com o produto. Os componentes listados podem conter outros com-ponentes, os quais não precisam ser listados. Para cada item das listas (componente e documento), devem ser fornecidas as seguintes informações:
- descrição da natureza do item,
- informação sobre formalismos usados no item, - informação sobre o tamanho do item,
- relacionamento com outros itens,
- informação sobre a disponibilidade do item para o avaliador.
Em qualquer caso, convém que seja feita referência às normas de engenharia de software apropriadas.
O avaliador deve verificar se a descrição do produto está em conformidade com os requisitos mencionados anteriormente. O avaliador deve analisar a lógica da estrutura do produto, bem como a descrição dos componentes listados, para identificar o seu relacionamento com os componentes identificados nos requisitos de avaliação.
NOTAS
3 Nos requisitos de avaliação, os componentes podem ser especificados do ponto de vista teórico, com referência às características de qualidade a serem julgadas. Na descrição do produto estão listados os componentes reais. Pode ocorrer que alguns desses componentes reais contenham informações que os requisitos de avaliação indiquem como se estivessem presentes em vários componentes.
4 Esta informação é necessária para identificar qual avaliação pode ser realizada. Deverá ser usada em conjunto com os requisitos de avaliação, para elaborar a especificação de avaliação.
5 A análise da descrição do produto pode ser aprimorada com uma consulta ao desenvolvedor do produto. Isto forneceria uma oportu-nidade ao avaliador para verificar se a profundidade requerida para uma avaliação será possível, realizando um breve exame.
6.3.2.2 Especificar medições
O avaliador deve alocar os requisitos de avaliação ao próprio produto e aos vários componentes identificados na descrição do produto. Convém que isto induza a decomposição dos requisitos de avaliação em, por exemplo, subcaracterísticas. O resultado desta decomposição pode ser diferente para os diversos componentes submetidos à avaliação. Neste estágio, alguns componentes listados na descrição do produto poderão ser desconsiderados para a continuidade do processo de avaliação.
O avaliador deve, então, especificar as medições que pretende utilizar para julgar as características, as subcaracterísticas e atributos do produto e dos componentes selecionados. Convém que estas especificações sejam formuladas como uma combinação dos seguintes tipos de declarações:
- uma especificação formalizada de uma métrica a ser aplicada no produto ou em um conjunto identificado de com-ponentes, junto com instruções para apresentar as medidas resultantes no relatório de avaliação,
- uma referência às declarações no componente do produto que especificam os requisitos de software que serão veri-ficados e a especificação do procedimento a ser utilizado para verificar esses requisitos,
- a especificação de um requisito para o produto de software, que esteja faltando nos documentos de requisitos de software ou que necessite ser melhor detalhada para a avaliação, e a especificação do procedimento a ser utilizado para verificar esse requisito,
- uma referência às declarações em normas ou regulamentos identificados, onde requisitos adicionais de software são for-necidos, e a especificação do procedimento a ser utilizado para verificar esses requisitos.
Para cada uma dessas declarações, convém que seja feita referência à natureza dos componentes a serem medidos ou verificados e aos formalismos utilizados nestes componentes.
Para esta tarefa, o avaliador pode usar especificações de avaliação predefinidas. Convém que estas especificações elementares estejam na forma de especificações de módulo de avaliação, conforme recomendado na ISO/IEC 14598-6.
6.3.2.3 Verificar a especificação de avaliação
O avaliador deve realizar uma verificação da especificação de avaliação considerando os requisitos de avaliação. O avaliador deve verificar se os componentes listados na descrição do produto fornecem todas as informações necessárias para realizar a avaliação, de acordo com os requisitos de avaliação. O avaliador deve também verificar se as medições e as verificações especificadas são suficientes para atender aos objetivos da avaliação, expressos nos requisitos de avaliação. A primeira verificação pode levar à identificação da falta de informações nos componentes listados na descrição do produto. Isto pode ser resolvido das seguintes maneiras:
- uma referência a um componente do produto que tenha falta de informações deve ser acrescentada na descrição do produto; isto significa que o requisitante irá providenciar as informações faltantes deste componente, para a realização da avaliação;
- os objetivos da avaliação devem ser reduzidos, o que significa uma revisão dos requisitos de avaliação.
A segunda verificação objetiva confirmar que as medições e verificações propostas na especificação de avaliação são consistentes com o estado da arte técnico. Isto pode ser feito das seguintes maneiras:
- identificando as normas de medição que sejam relevantes,
NOTA - Tais normas podem ser módulos de avaliação conforme prescrito na ISO/IEC 14598-6.
- fornecendo uma justificativa de detalhada, referenciando literatura apropriada e com autoridade do tema; esta justificativa deve ser incluída na especificação avaliação.
6.3.3 Conteúdo da especificação de avaliação
A especificação de avaliação deve compreender:
- objetivo da avaliação, referenciando os componentes do produto, conforme identificados na descrição do produto, - uma referência cruzada entre os componentes do produto, a informação necessária para realizar a avaliação e outros documentos pertinentes listados na descrição do produto,
- uma especificação das medições e das verificações a serem realizadas e as referências aos componentes do produto sobre os quais elas serão realizadas,
- mapeamento entre a especificação das medições e das verificações, e os requisitos de avaliação, juntamente com a refe-rência a normas ou a justificativa para cada medição ou verificação listada.
6.3.4 Aprovação e relato
A especificação de avaliação deve ser aprovada como resultado de uma revisão conjunta entre o requisitante e o avaliador. A especificação de avaliação deve ser incluída no relatório de avaliação e nos registros de avaliação. Além disso, qual-quer modificação dos requisitos de avaliação, conforme especificado em 6.3.2.3, deve ser relatada nos registros de avaliação.
6.4 Projeto da avaliação
6.4.1 Objetivo de projetar a avaliação
O projeto de avaliação deve documentar os procedimentos a serem usados pelo avaliador para realizar as medições contidas na especificação de avaliação. O avaliador deve produzir um plano de avaliação que descreva os recursos ne-cessários para realizar a avaliação especificada, bem como a distribuição destes recursos entre as diversas ações a serem realizadas.
NOTA 1 - Os recursos considerados aqui podem ser, por exemplo, recursos humanos para executar as ações de avaliação, recursos computacionais ou espaço físico.
O nível de detalhes do plano de avaliação deve ser tal que assegure que as ações sejam realizadas de forma adequada.
NOTA 2 - O plano de avaliação geralmente contém algum conhecimento de propriedade do avaliador. 6.4.2 Elaboração do plano de avaliação
A atividade para produzir o plano de avaliação é composta de três subatividades: - documentar os métodos de avaliação e produzir um plano preliminar,
- otimizar o plano de avaliação,
- programar as ações de avaliação, tendo em consideração os recursos disponíveis.
6.4.2.1 Documentar os métodos de avaliação e produzir um plano preliminar
O objetivo desta atividade é combinar as medições ou verificações especificadas com as características dos vários componentes do produto a serem avaliados, de maneira a documentar os métodos detalhados. A aplicação destes métodos implementa nos componentes as medições ou verificações especificadas.
O avaliador deve analisar as restrições técnicas relacionadas com as medições ou verificações, especificadas na especificação de avaliação. Restrições técnicas podem incluir, mas não se limitam a:
- formalismos utilizados nos componentes do produto,
- fato de os componentes do produto estarem em forma eletrônica ou em papel, - existência de métodos de avaliação predefinidos,
NOTA 1 - Métodos predefinidos de avaliação podem ser documentados na forma de implementações de módulo de avaliação, conforme recomendado na ISO/IEC 14598-6. Convém que tais implementações de módulo de avaliação sejam relacionadas com as especificações de módulo de avaliação, utilizadas na especificação de avaliação.
- disponibilidade das ferramentas para suporte das técnicas de avaliação, - tamanho dos componentes do produto.
Para cada medição ou verificação especificada na especificação de avaliação, o avaliador deve documentar o método apropriado de avaliação.
Quando o método de avaliação descrito for baseado no uso de uma ferramenta de software, esta ferramenta deve ser identificada no plano de avaliação. Tal identificação deve consistir em pelo menos o nome da ferramenta, a identificação de sua versão e sua origem (por exemplo, seu fornecedor).
NOTA 2 - Quando os requisitos de avaliação fazem referência aos níveis de avaliação, o anexo B (informativo), seção B.2, fornece algumas orientações em relação à técnica de avaliação a ser usada, em função do nível de avaliação e das características de qualidade consideradas.
A descrição dos métodos de avaliação deve ser completada com a identificação de componentes do produto nos quais o método vai ser aplicado.
Quando a especificação de avaliação requer análise das medições por um especialista para interpretar os resultados, antes de eles serem incluídos no relatório de avaliação, o procedimento de interpretação deve ser especificado no plano de avaliação. Esta especificação deve conter instruções para incluir nos registros de avaliação um relato significativo da execução do procedimento.
Quando for planejada a execução do programa para o produto em avaliação, o ambiente necessário para a execução deve estar descrito, bem como a provisão da sua disponibilidade real.
6.4.2.2 Otimizar as medições
Neste estágio, os métodos de avaliação estão relacionados aos elementos citados na especificação de avaliação que, por sua vez, estão relacionados aos requisitos de avaliação. Cada um dos métodos elementares de avaliação é planejado para ser aplicado sobre os vários componentes do produto submetidos para avaliação. Pode acontecer que vários métodos de avaliação elementares sejam aplicados para o mesmo componente do produto, ou que os vários métodos elementares possuam partes comuns.
O plano preliminar de avaliação deve ser revisado a fim de evitar duplicação de ações do avaliador. Isto é necessário para diminuir o risco de erros e reduzir o esforço planejado para o avaliador.
6.4.2.3 Programar ações de avaliação
Uma vez que as duplicações das ações de avaliação tenham sido removidas, o avaliador deve programar as ações plane-jadas.
O avaliador deve levar em conta a disponibilidade de recursos, tais como pessoal, ferramentas de software e compu-tadores.
O avaliador deve acordar com o requisitante o cronograma de entrega do produto e de seus componentes. Devem ser es-pecificados o meio e o formato de entregas dos componentes do produto, bem como o número de cópias.
Devem ser identificados os requisitos para reuniões durante o período de avaliação. Quando o requisitante não é o desenvolvedor do produto de software, as relações entre o avaliador e o desenvolvedor devem ser identificadas. Em particular, deve ser especificado o apoio necessário do desenvolvedor. Tal apoio pode incluir, por exemplo, treinamento, discussões informais ou utilização de suas instalações.
Acesso aos ambientes de desenvolvimento e de operação, quando necessário, deve ser especificado juntamente com os demais recursos necessários.
6.4.3 Conteúdo do plano de avaliação
O plano de avaliação deve ser composto por duas partes, a documentação dos métodos de avaliação e o cronograma das ações do avaliador.
A documentação de um determinado método de avaliação existente no plano de avaliação pode ser uma referência a material particular do avaliador. Neste caso, convém que o avaliador seja capaz de justificar a pertinência do método em relação ao elemento correspondente da especificação de avaliação e a sua própria competência na aplicação do método.
6.4.4 Aprovação e relato
O plano de avaliação deve ser aprovado. A aprovação é o resultado de uma revisão conjunta entre o requisitante e o avaliador.
O plano de avaliação deve ser incluído nos registros de avaliação. Devem ser incluídas, no relatório de avaliação, a docu-mentação dos métodos de avaliação ou as referências a eles, bem como a identificação dos componentes do produto sobre os quais os métodos serão aplicados.
6.5 Execução da avaliação
6.5.1 Objetivo da execução de avaliação
O objetivo da execução de avaliação é obter resultados da execução das ações de medição e verificação do produto de
software de acordo com os requisitos de avaliação, como especificado na especificação de avaliação e planejado no plano
de avaliação.
A execução destas ações leva à finalização do relatório preliminar de avaliação e dos registros de avaliação.
6.5.2 Execução das ações pelo avaliador
Para executar as ações planejadas, o avaliador deve:
- gerenciar os componentes do produto fornecidos pelo requisitante,
- gerenciar os dados produzidos pelas ações de avaliação (incluindo relatório e registros), - gerenciar as ferramentas a serem usadas para executar as ações de avaliação.
Além disso, se houver condições específicas, o avaliador pode:
- gerenciar ações de avaliação executadas fora das instalações do avaliador, - gerenciar requisitos decorrentes do uso de técnicas específicas de avaliação.
6.5.2.1 Gerenciar os componentes de produto
Convém que o requisitante entregue ao avaliador os componentes do produto e os documentos relativos ao produto, de acordo com o cronograma definido no plano de avaliação.
O avaliador deve registrar todos os componentes do produto e os documentos relacionados com o produto. Quando o tamanho e a complexidade do produto justificarem, convém que se use uma gerência de configuração formal.
O registro de informação deve conter, no mínimo: - identificador único do componente ou do documento, - nome do componente ou título do documento,
- condição do documento (incluindo especialmente anomalias ou condições físicas), - informações de versão, configuração e data, conforme fornecido pelo requisitante, - data de recebimento.
A confidencialidade de todos os componentes do produto e de todos os documentos relativos ao produto deve ser protegida pelo avaliador, a menos que haja um outro tipo de entendimento com o requisitante.
NOTA - Os requisitos de confidencialidade afetam diversos aspectos do trabalho de avaliação, incluindo a recepção, o manuseio, o armazenamento e a liberação de todas as informações relacionadas ao produto.
6.5.2.2 Gerenciar dados de avaliação
A execução das ações de avaliação geralmente consiste na medição do produto e de seus componentes para obter dados intermediários e interpretar estes dados com o objetivo de produzir os resultados a serem incluídos no relatório de avaliação. Os dados intermediários podem ser de natureza diversa, tais como, números, figuras, diagramas, trechos de componentes ou modelos formalizados, produzidos na avaliação.
A confidencialidade dos dados intermediários deve ser protegida da mesma forma que os componentes e documentos originais. Além disso, o avaliador deve fazer todo o esforço necessário para prevenir qualquer modificação acidental ou intencional nestes dados. Em particular, quando o volume e a complexidade de dados intermediários forem grandes, convém que se use gerência de configuração formal, para manter a consistência entre os resultados intermediários de avaliação e o produto avaliado.
O avaliador deve incluir quaisquer dados intermediários sobre os quais estiver baseada alguma interpretação nos registros de avaliação. As decisões tomadas durante o processo de interpretação também devem ser incluídas nos registros de avaliação, conforme especificado no plano de avaliação.
6.5.2.3 Gerenciar a utilização de ferramentas
As ações de avaliação podem necessitar de ferramentas de software para coletar os dados brutos ou para interpretar os dados intermediários.
NOTA 1 - Exemplos de tais ferramentas são analisadores de código-fonte para calcular métricas de código, ferramentas CASE para produzir modelos formalizados, ambientes de teste para processar os programas executáveis ou planilhas eletrônicas para produzir sínteses de medidas.
Quando uma ferramenta é usada para executar uma ação de avaliação, deve-se incluir a referência à ferramenta no relatório de avaliação. A referência deve consistir na identificação da ferramenta e de seu fornecedor, além de sua versão. Uma referência mais detalhada à ferramenta usada deve ser incluída nos registros de avaliação. Deve-se incluir a configuração detalhada da ferramenta e qualquer informação pertinente que seja necessária para permitir a repetição da ação de avaliação, a fim de se obter o mesmo resultado intermediário.
NOTAS
2 Este requisito de repetibilidade é mais forte do que o expresso em 4.3, pois se refere aos resultados intermediários que não estão incluídos no relatório de avaliação.
3 Em certos casos, pode ser pertinente incluir uma cópia executável da ferramenta nos registros de avaliação.
Convém que o avaliador faça todo esforço necessário para assegurar que as ferramentas usadas realmente funcionem conforme o esperado.
Convém que o avaliador mantenha os registros das ações já realizadas para validar as ferramentas usadas no processo de avaliação.
NOTA 4 - Tais registros podem ser baseados, por exemplo, no número de instalações existentes do software ou no tempo durante o qual a ferramenta foi usada.
A equipe de avaliação deve ser treinada para usar as ferramentas de modo apropriado.
6.5.2.4 Avaliação fora das instalações do avaliador
Em certos casos ações de avaliação não podem ser executadas nas instalações do avaliador. Elas podem ser executadas, por exemplo, no ambiente do desenvolvedor ou no ambiente onde o produto esteja em operação.
Quando isto ocorre, o avaliador deve controlar todas as ações de avaliação executadas. Em particular, o avaliador deve evitar quaisquer circunstâncias que possam invalidar os resultados da avaliação.
O avaliador deve fazer todo o esforço necessário para assegurar que seja mantida a confidencialidade dos resultados intermediários e finais da avaliação.
6.5.2.5 Requisitos para técnicas específicas de avaliação
Quando o plano de avaliação requer que o programa executável do produto seja testado, a configuração em teste e o ambiente de teste devem ser registrados com precisão.
Quando uma ação de avaliação requer que um documento seja inspecionado, o uso de listas de verificação é recomendado.
6.5.3 Revisão e relato
Durante a execução da avaliação, são produzidos resultados intermediários e finais. Para se obter a máxima objetividade, convém que as ações de avaliação sejam conferidas por uma equipe de avaliadores diferente daquela que executou as ações.
Todos os resultados de avaliação devem ser revisados. O objetivo da revisão depende da natureza da ação de avaliação considerada. A revisão deve ter a participação de pelo menos uma pessoa não ligada diretamente à execução da ação de avaliação em questão. O relatório da revisão deve ser incluído nos registros de avaliação.
Uma vez revisados, os resultados da avaliação devem ser incluídos, conforme a aspecificação de avaliação, no relatório de avaliação. Além disso, quando especificado no plano de avaliação, alguns resultados intermediários ou decisões de inter-pretação devem ser incluídos no relatório de avaliação.
6.6 Conclusão da avaliação
6.6.1 Objetivos da conclusão de avaliação
Os objetivos da conclusão de avaliação consistem na revisão do relatório de avaliação e destino dos dados de avaliação.
6.6.2 Revisão conjunta do relatório de avaliação
O relatório preliminar de avaliação deve ser entregue ao requisitante da avaliação. Convém que seja organizada uma revisão conjunta pelo requisitante e avaliador e que seja dada ao requisitante a oportunidade de fazer comentários sobre o relatório de avaliação. Se os comentários forem feitos, convém que sejam incluídos em um capítulo específico do relatório de avaliação. O relatório de avaliação deve ser, então, entregue para o requisitante.
6.6.3 Destino dos dados e documentos de avaliação
Uma vez que o relatório de avaliação tenha sido formalmente entregue ao requisitante, o avaliador deve dar destino aos dados pertinentes à avaliação. Isto deve ser feito em um dos seguintes modos, dependendo do tipo de dados:
- os documentos submetidos à avaliação devem retornar ao requisitante ou ser arquivados por um tempo determinado ou ser destruídos de uma maneira segura,
- relatório de avaliação e os registros de avaliação devem ser arquivados por um tempo determinado, - todos os outros dados devem ser arquivados por um tempo determinado ou destruídos de maneira segura.
Quando expirar o tempo determinado de arquivamento para alguns dados, eles devem ser arquivados novamente por um tempo determinado ou destruídos de maneira segura.
Se houver uma concordância explícita do requisitante, os resultados intermediários de avaliação podem ser usados pelo avaliador, para estudar técnicas de avaliação e métricas de software.
________________
Anexo A (normativo) Modelo de relatório de avaliação
Este anexo orienta a estruturação e conteúdo do relatório de avaliação. Ele sintetiza os requisitos para elaboração do relatório, estabelecidos na seção 6 desta parte da NBR ISO/IEC 14598. Além disso, algumas informações adicionais necessitam ser incluídas ao relatório.
As subseções seguintes descrevem o conteúdo das seções de um relatório de avaliação.
A.1 Seção 1 - Identificações
Esta seção do relatório de avaliação contém as informações de identificação relativas à avaliação executada.
Identificação do avaliador
Esta subseção deve conter as seguintes informações sobre o avaliador: - nome da organização avaliadora,
- endereço da organização avaliadora,
- local(ais) onde a avaliação foi realizada (se diferente do endereço acima), - nome da pessoa responsável pela avaliação.
Identificação do relatório de avaliação
Esta subseção deve conter a identificação do relatório:
- identificação única do relatório (por exemplo, um número de série), - número de páginas do relatório.
Esta informação deve ser copiada em todas as páginas do relatório. Cada página deve ter identificação única, por exemplo usando o número da página.
Identificação do requisitante e fornecedor
Esta subseção deve conter as seguintes informações sobre o requisitante da avaliação e sobre o fornecedor do produto de
software avaliado:
- nome da organização requisitante, - endereço da organização requisitante,
- nome do fornecedor do produto de software (se diferente do nome acima), - endereço do fornecedor do produto de software (se diferente do endereço acima).
A.2 Seção 2 - Requisitos de avaliação
Esta seção do relatório deve conter os requisitos de avaliação como descrito em 6.2. Em particular, deve conter: - uma descrição geral do domínio de aplicação do produto,
- uma descrição geral do objetivo do produto,
- a lista dos requisitos de qualidade e as informações do produto avaliado, incluindo, sempre que possível, referência às características de qualidade e aos níveis de avaliação.
A.3 Seção 3 - Especificação de avaliação
Esta seção do relatório de avaliação deve conter a especificação de avaliação como descrita em 6.3. Em particular, deve conter:
- a abrangência da avaliação, fazendo referência à descrição do produto; quando a descrição do produto não for um documento publicamente disponível, ela deverá ser anexada ao relatório,
- a referência cruzada entre as informações solicitadas nos requisitos de avaliação e os componentes do produto, - a especificação de medições e verificações,
A.4 Seção 4 - Métodos de avaliação
Esta seção do relatório de avaliação deve conter a documentação dos métodos de avaliação utilizados para executar a avaliação como especificado em 6.4. Quando o método de avaliação está documentado em outro local, é permitido que se faça uma simples referência a esta documentação.
NOTA - A referência ao método de avaliação normalmente será usada quando for um padrão (um módulo de avaliação) ou quando ela for proprietária (patenteada).
Para cada método de avaliação incluído aqui, deve ser fornecida a identificação dos componentes do produto nos quais o método foi aplicado.
A.5 Seção 5 - Resultados de avaliação
Esta seção do relatório de avaliação deve conter os resultados de avaliação, como descrito em 6.5. Em particular, deve conter:
- os resultados de avaliação propriamente ditos,
- resultados intermediários ou decisões de interpretação, sempre que necessário, - referência às ferramentas usadas durante a avaliação.
________________
Anexo B (informativo) Níveis de avaliação
Como parece difícil obter consenso na especificação genérica das características de qualidade (de acordo com o estado da arte na época em que este documento foi escrito), incluindo a relação entre as subcaracterísticas e as métricas para o caso a ser avaliado, os requisitos de avaliação podem estabelecer níveis para as características de qualidade selecionadas. Os níveis de avaliação serão relacionados com os níveis de integridade de software como definido na ISO/IEC 15026
Information technology - System and software integrity levels. Se um nível de integridade for atribuído a um produto de software submetido a avaliação, este nível de integridade pode ser usado para selecionar requisitos de avaliação.
Em particular, o grau de rigor associado ao nível de integridade de software pode ser usado como guia para selecionar técnicas de avaliação.
Os níveis de avaliação são relacionados, por um lado, com a importância dada pelo requisitante a uma característica es-pecífica. Convém que o nível escolhido seja significativo com relação ao uso pretendido e ao ambiente do produto de
software (por exemplo, condições de segurança, restrições de segurança de acesso, riscos econômicos, restrições de
aplicação).
Por outro lado, um nível de avaliação define a profundidade ou a extensão da avaliação em termos de técnicas de avaliação a serem aplicadas e de resultados de avaliação a serem alcançados. Como conseqüência, avaliação em diferentes níveis fornece diferentes níveis de confiança na qualidade do produto de software. O nível pode ser escolhido independentemente para cada característica.
Este anexo propõe quatro níveis chamados de A, B, C e D. Os níveis constituem uma hierarquia onde A representa o nível mais alto e D o mais baixo. No nível A, as técnicas de avaliação mais rigorosas (levando em conta uma considerável quantidade de esforço e tempo) são aplicadas para dar mais confiança. Descendo para o nível D são gradualmente usados métodos menos rigorosos e conseqüentemente é usual que menos esforço seja dedicado para a avaliação.
O nível de avaliação para cada característica de software pode mudar para componentes diferentes de um produto de grande dimensão (por exemplo, é provável que componentes críticos com fortes requisitos de confiabilidade sejam man-tidos separados dos outros componentes de um sistema).
A primeira seção deste anexo propõe orientação para selecionar o nível de avaliação em função do contexto de uso do produto. A segunda seção orienta na seleção de técnicas de avaliação.
B.1 Seleção de níveis de avaliação
Os níveis de avaliação podem ser selecionados independentemente para cada característica de qualidade relevante. Quando da seleção dos níveis, convém que vários aspectos sejam considerados. Por exemplo, aspectos importantes são aqueles relacionados com segurança, economia, segurança de acesso, ambiente e mercado do produto, quando apropriado.
Para cada característica de qualidade relevante, convém que os riscos e conseqüências envolvidas pela não-conformidade do produto em relação aos requisitos da característica, assim como os benefícios da alta qualidade, sejam considerados para todos os aspectos relevantes. Para alguns destes aspectos, as tabelas a seguir fornecem a relação entre riscos e níveis a serem selecionados. Quando vários aspectos precisam ser considerados, convém que o nível mais rigoroso seja selecionado.
Para as questões de riscos econômicos e benefícios de mercado o custo da avaliação deve ser considerado.
Aspectos de segurança
Nível de avaliação Conseqüências
Nível D Pequenos danos materiais; sem
riscos de danos pessoais
Nível C Danos materiais; ameaça de
danos pessoais
Nível B Vidas humanas ameaçadas
Aspectos econômicos
Nível de avaliação Conseqüências
Nível D Perda econômica insignificante
Nível C Perda econômica significativa
(companhia afetada)
Nível B Grande perda econômica
(companhia em perigo)
Nível A Desastre financeiro (companhia
não sobreviverá)
Aspectos de segurança de acesso
Nível de avaliação Conseqüências
Nível D Nenhum risco específico
identificado
Nível C Proteção contra riscos de erro
Nível B Proteção a dados e serviços
críticos
Nível A Proteção a dados e serviços
estratégicos
Aspectos relacionados ao ambiente
Nível de avaliação Conseqüências
Nível D Nenhum risco ambiental
Nível C Poluição local
Nível B Dano ambiental recuperável
Nível A Dano ambiental irrecuperável
B.2.Selecionando técnicas de avaliação a partir de níveis de avaliação
A fim de elaborar uma especificação de avaliação para satisfazer alguns requisitos de avaliação, é necessário especificar métricas. As métricas são baseadas nas técnicas de avaliação que podem ser escolhidas de acordo com as caracte-rísticas de qualidade e níveis de avaliação. A seguir é proposta, para cada característica de qualidade na ISO/IEC 9126, uma lista de técnicas de avaliação, ordenadas em níveis crescentes de exigência.
Funcionalidade:
- teste funcional ou caixa-preta,
- inspeção de documentos de desenvolvimento, orientada por listas de verificação, - teste de unidade com critério de cobertura.
Confiabilidade:
- verificação do uso de facilidades de uma determinada linguagem de programação, - análise de construções tolerantes a falhas no projeto e implementação do software, - modelo de crescimento de confiabilidade.
Usabilidade:
- inspeção de documentação e de interface com o usuário, - verificação da conformidade aos padrões de interface, - execução de experimentos de uso com usuários reais.
Eficiência:
- medição de tempo de execução, - testes comparativos (benchmark),
- análise do projeto para determinar a complexidade algorítmica.
Manutenibilidade:
- inspeção de documentos de desenvolvimento orientada por listas de verificação, - verificação de métricas de código e regras de programação,
- análise de rastreabilidade entre elementos da documentação de desenvolvimento.
Portabilidade:
- análise dos procedimentos de instalação de software, - verificação de regras de programação,
- análise de projeto de software.
________________
Anexo C (informativo)
Componentes de produto de software
A lista proposta abaixo descreve os diferentes tipos de informações que podem ser utilizados numa avaliação. Este modelo de categorização de informação não requer uma estrutura particular de documentação de software. O único requisito é que diferentes tipos de informações possam ser retiradas das entidades em avaliação e mapeadas no modelo.
Especificação de requisitos de software: Documentação dos requisitos essenciais (funções, desempenho, restrições e
atributos de projeto) do software e de suas interfaces externas.
Descrição de projeto de software: Representação do software criada para análise, planejamento, implementação e tomada
de decisão. A descrição do projeto de software é usada como um meio para comunicar as informações do projeto de
software, e pode ser considerada como um modelo do sistema.
Descrição de programa: Informações necessárias para entender o programa-fonte.
Programa-fonte: Programa de computador (ou código) que precisa ser compilado, montado ou traduzido de alguma
maneira com o objetivo de ser executado por um computador.
Código executável: Programa de computador (ou código) que pode ser executado diretamente por um computador. Documentação de usuário: Documentação que descreve a maneira pela qual um programa é usado para obter os
re-sultados desejados.
Relatório de revisão de requisitos de software: Documentação de uma revisão dos requisitos especificados para um ou
mais componentes do software utilizada para avaliar sua capacidade de resposta e de interpretação dos requisitos do sistema, assim como para determinar se eles formam uma base satisfatória para a continuação da fase de projeto preliminar do componente.
Relatório de verificação de requisitos de software: Documentação dos resultados da avaliação da especificação de
requisitos para determinar se a mesma satisfaz as condições impostas. Esta pode ser uma prova formal de correção.
Plano de teste de programa: Documento que descreve a abrangência, enfoque, recursos e cronograma das atividades de
teste previstas. Ele identifica os itens de teste, as particularidades (features) a serem testadas, a tarefa de teste, quem fará cada tarefa, e quaisquer riscos que requeiram plano de contingência.
Relatório de medição de requisitos: Documentação do resultado da aplicação de métricas à especificação de requisitos de
software.
Relatório de revisão de projeto de software: Documentação dos resultados de um processo ou reunião durante a qual o
projeto de software é apresentado à equipe de projeto, gerentes, usuários, clientes ou outras partes interessadas, para comentários ou aprovação.
Relatório de verificação de projeto de software: Documentação dos resultados da avaliação do projeto de software para
determinar se este satisfaz as condições impostas pela especificação de requisitos de software. Esta pode ser uma prova de correção formal.
Relatório de medição de projeto: Documentação do resultado da aplicação de métricas na especificação do projeto de software.
Plano de teste de unidade: Documento que descreve a abrangência, enfoque, recursos e cronograma das atividades de
teste de unidade previstas. Ele identifica as particularidades (features) a serem testadas e descreve o projeto do conjunto de testes.
Relatório de revisão de programa: Documentação do processo ou reunião durante a qual o programa-fonte é apresentado à
equipe de projeto, gerentes e às outras partes interessadas para comentários ou aprovação.
Relatório de verificação de programa: Documentação da verificação de programa. Ela pode incluir a prova formal de
correção parcial e de término.
Relatório de teste de unidade: Documento que descreve a condução e os resultados dos testes executados para uma
unidade de teste.
Relatório de medição de programa: Documentação dos resultados da aplicação das métricas aos programas, em particular
