Avaliação in-company
Projudi – BH – TJMG
Agenda
• Agenda da avaliação Projudi BH
• Atividades no período da avaliação
• Pontos fortes
• Desafios durante a avaliação in-company
• Pontos de atenção / Mudanças necessárias
• Caracterização do perfil do avaliador
• Relatório de teste
• Trabalhos do OCS:
•
Relatório técnico
Agenda da avaliação Projudi BH
• Treinamento
•
Período: 24, 25 e 26/05
•
Local: EJEF (Escola Judicial Desembargador Edésio Fernandes)
•
Instrutores
• Kassiuscley Dreher • Diego Lima • Jadem Martins•
Participantes:
• Euline Rodrigues (CPqD) • Cláudia Macedo (CPqD) • Kátia Carvalho (CPqD) • Marieta Löw (JFRS) • Rafael Cividanes (CPqD) • Silvânia Ferreira (CPqD)Agenda da avaliação Projudi BH
• Avaliação
•
Período: 27, 28, 31/05, 01 e 02/06
•
Local: 09ª e 10ª Unidades Jurisdicionais Cíveis de BH (Juizado da UFMG)
•
Apoio: Jadem Martins
•
Avaliadores
• Euline Rodrigues (27 e 31/05) • Glauber Scorsatto (CNJ) (31/05, 01 e 02/06) • Kátia Carvalho • Marieta Löw • Rafael Cividanes • Silvânia FerreiraAtividades no período da avaliação
• 27/05
• Manhã: Visita às instalações do Juizado da UFMG
• Tarde: Início da avaliação – Sala da Turma Recursal (10º andar)
• 28/05 – Avaliação
• Manhã: Sessão de Julgamento da Turma Recursal
• Tarde: Avaliação
• 31/05 – Avaliação
• 01/06
• Manhã
• Visita às instalações do Centro Operacional do TJMG (CEOP)
• Avaliações - entrevistas técnicas Cândido Henrique Souza
Daniel Diego Lima Jadem Martins Kassiuscley Dreher • Tarde: Avaliação
• 02/06 – Avaliação
Pontos fortes
• Treinamento antes da avaliação essencial.
• Equipe técnica multidisciplinar para apoio durante a avaliação:
• Operação do sistema
• Negócio do judiciário
• Gestão documental
• Metodologia de avaliação
• Tecnologia da Informação
• Instrumentos estruturados apoiando o registro de todas as informações relevantes
durante a avaliação.
• Apoio do instrutor (operador do sistema) durante a avaliação.
Desafios durante a avaliação in-company
• Inserção da equipe de avaliação no ambiente operacional da instituição (duração da
avaliação: 5 dias X duração realizada: 3,5 dias).
• Avaliação dos requisitos identificados na revisão do GT como backlog
1do
MoReq-Jus, e a identificação de outros subjetividade, ausência de termos no glossário.
• Relatório de testes, coluna Procedimentos, procuramos descrever ações genéricas
sem relacioná-las diretamente ao sistema.
Ação de melhoria identificada inclusão de coluna onde deve ser registrado o caminho percorrido para atingir a funcionalidade.
• Operacionalização do relatório de testes) durante a avaliação. Alinhamento e
consenso da equipe quanto ao método de avaliação.
Desafios durante a avaliação in-company
Metadados
Pesquisa, localização e apresentação de documentos Funções administrativas
Captura
Segurança (65%)2
Avaliação e destinação
Tramitação e fluxo de trabalho Armazenamento1 Desempenho e escalabilidade1 Disponibilidade1 Interoperabilidade1 Preservação1 Áreas avaliadas remotamente (envio das questões por e-mail)
Usabilidade
Segurança (conclusão)
Organização dos documentos institucionais (conclusão)
Áreas avaliadas no CPqD com acesso remoto a BH
Organização dos documentos institucionais (62%)
Áreas avaliadas em BH
Avaliação por: 1 – Entrevista
2 – Operação no sistema e entrevista
Autodeclaração
• Avaliação por entrevista: recursos disponibilizados no CEOP não foram alocados por tempo suficiente para a realização das entrevistas e a coleta de evidências no ambiente.
Desafios durante a avaliação in-company
• Avaliação por entrevista: recursos disponibilizados no CEOP não foram
alocados por tempo suficiente para a realização das entrevistas e a coleta
de evidências no ambiente.
• Testes realizados:
1.
Diretamente no sistema, sem apoio.
2.
Diretamente no sistema, conduzido com apoio.
3.
Avaliação com entrevista com identificação de evidência (exemplo: análise do
código fonte).
4.
Avaliação com entrevista sem identificação de evidência.
Observação: Provavelmente, a coleta de evidências para alguns requisitos
não-sistêmicos nunca será possível.
Desafios durante a avaliação in-company
• Inexistência de laboratório dedicado. Algumas mudanças de equipamento durante a
avaliação (equipamentos da sala da Turma Recursal, equipamentos dos
Pontos de atenção / Mudanças necessárias
• Orientação/preparação para quem receberá a equipe de avaliadores
• Necessidade de coleta de evidências na avaliação por entrevista técnica
• O método de avaliação deverá contemplar/diferenciar as questões que devem ser avaliadas por meio de entrevistas.
• Infraestrutura dedicada à avaliação
• Avaliação do Projudi no CPqD
• Ausência da equipe multidisciplinar.
• Questões relacionadas a ambiente, infraestrutura mais uma vez ficam comprometidas • A falta de registro do caminho de acesso às funcionalidade pode comprometer a
produtividade
• Avaliação do PJE.
Priorizar:
• Questões relacionadas a ambiente, infraestrutura ou com necessidade de entrevista.
Caracterização do perfil do avaliador
Profissional que examina cuidadosamente o comportamento de um
software com o objetivo de averiguar se ele está de acordo com as
disposições estabelecidas previamente, se foram implementadas com
eficácia e se estão adequadas à consecução dos objetivos.
Auditor
Profissional com conhecimento e habilidades necessárias para operar
um determinado software.
Operador
Responsável pelo conjunto de atividades conduzidas com o objetivo
de encontrar erros no software.
Relatório de teste
• Áreas avaliadas:
• Organização dos documentos institucionais
• Captura
• Armazenamento
• Preservação
• Segurança
• Tramitação e fluxo de trabalho
• Avaliação e destinação
• Pesquisa, localização e apresentação de documentos
• Funções administrativas • Usabilidade • Interoperabilidade • Disponibilidade • Desempenho e escalabilidade • Metadados
Organização dos documentos institucionais
• Aderência Regular – 22%
• As tabelas de classificação utilizadas pelo sistema são incluídas
diretamente na sua base de dados.
• O sistema registra as datas de abertura e encerramento dos processos,
mas, como a política de gestão documental é inexistente, essas datas não
são utilizadas como parâmetros para aplicação dos prazos de guarda. Os
processos não são eliminados.
• O sistema possibilita a apensação e desapensação de processos.
• O sistema não utiliza o conceito de volumes para o processo eletrônico.
• O sistema trata apenas os processos digitais. Estão fora do sistema os
Captura
• Aderência Regular – 38%
• O sistema captura documentos digitais individuais produzidos interna
(XML) e externamente ao sistema (PDF).
• O sistema atribui automaticamente um número identificador a cada
processo capturado.
• Os documentos existentes no sistema estão sempre vinculados a um
processo.
• Não há captura de documentos em lote.
• Não há integração com outros sistemas (workflow, comunicação
eletrônica).
Armazenamento
•
Aderência Boa – 61%
•
As ações relacionadas ao Armazenamento não se apoiam em políticas internas,
mas sim nas iniciativas do próprio grupo de infraestrutura.
•
Os dispositivos de armazenamento são selecionados segundo padrões estáveis no
mercado e sua escolha é avaliada periodicamente.
•
A evolução tecnológica dos padrões no mercado é acompanhada para evitar a
obsolescência dos dispositivos.
•
Os dispositivos de armazenamento do sistema utilizam métodos de detecção de
erros de leitura e escrita.
•
A integridade dos dispositivos de armazenamento não é verificada periodicamente
de forma automática.
Preservação
• Aderência Média – 47%
• As ações relacionadas à Preservação não se apóiam em políticas
internas, mas sim nas iniciativas do próprio grupo de infraestrutura.
• Os suportes de armazenamento são acondicionados, manipulados e
utilizados em condições ambientais compatíveis com sua vida útil prevista
e/ou pretendida.
• O sistema utiliza suportes de armazenamento estáveis e amplamente
disponíveis no mercado.
• O sistema não controla a vida útil dos suportes para auxiliar no processo
de rejuvenescimento.
• O sistema não possui funcionalidades para verificação periódica dos
dados armazenados.
Segurança
• Aderência Regular – 36%
• Cópias de Segurança
• Procedimentos de backup e restore tradicionais de mercado.
• Não é integrado com o sistema.
• Realizado pela equipe de Infraestrutura (Candido).
• Controle de Acesso
• Realizado por perfis de acesso diferenciados.
• Cada perfil de acesso está autorizado à realizar operações específicas.
• Existe apenas o Perfil Administrador (acumula função de Gestor).
• Algumas funcionalidades são realizadas apenas pela equipe de desenvolvimento.
• Exemplo: mudança de tecnologias de credencial de autenticação, trilhas de auditoria.
• Não aborda o atributo credencial de segurança para usuários (acesso único e exclusivo pelos perfis de acesso).
• Grau de Sigilo: três opções: visibilidade da movimentação, segredo de justiça, bloqueio por decisão judicial ou incidência de vírus.
• Classificação da informação quanto ao grau de sigilo
• O Projudi utiliza internamente três parâmetros que representam graus de sigilo: "visibilidade de movimentação"; "segrede de justiça"; "situação bloqueado (vírus ou segredo de justiça)".
• Não é utilizado o atributo credencial de segurança de usuários para realizar o controle de acesso aos documentos.
• O acesso aos documentos definidos com grau de sigilo é realizado de acordo com o perfil dos usuários nos sistema (apenas).
• Existe o caso de importação de documentos enviados pelo STF via WebService, entretanto não é utilizado o atributo grau de sigilo.
• O grau de sigilo pode ser alterado não somente pelo perfil gestor, como também pelo perfil escrevente e juiz.
• Não são utilizadas técnicas de criptografia para armazenamento de informações com grau de sigilo estabelecido (tratamento igualitário – sempre sem criptografia).
• Trilha de Auditoria
• Procedimentos verificados diretamente no código com analista de desenvolvimento.
• Existem as informações, mas o acesso somente pode ser realizado pela equipe de desenvolvimento (junção de tabelas).
• Não é possível realizar acesso às informações de auditoria pelo sistema.
• Não existe a figura oficial de trilha de auditoria para acesso e controle do administrador.
• Assinaturas Digitais
• Utilização de assinatura digital obrigatória para inserir documentos no Projudi.
• Assinaturas não estão no formato ICP-Brasil (formato id.p12).
• O próprio Projudi emite os certificados para usuários internos e externos.
• Bloqueia a assinatura com certificados revogados.
• O administrador recebe solicitações de certificado e executa o desbloqueio.
• Criptografia
• Os documentos dos processos são armazenados em claro no arquivo de diretório.
• A transferência de documentos (caso único: STF) são enviados via WebService, sem criptografia.
• O Projudi utiliza apenas assinatura digital.
• Marcas d’água Digital
• Projudi não utiliza tecnologia de marcas d’água digital.
• Acompanhamento e Transferência
• Documentos digitais não são nunca transferidos, apenas para realização de backup (base de consulta permanece inalterada).
• São mantidos registros dos servidores onde os documentos digitais são armazenados.
• Processos em papel são armazenados indefinidamente em Contagem-MG.
• Autoproteção
• É executada a verificação de vírus antes de realizar a captura de documentos.
• Não existe mecanismos de tolerância a falhas.
• Na ocorrência de falhas, o sistema interrompe as conexões com usuários.
• Não é realizado teste de integridade de informações.
• Não existe limite máximo de tentativas de login mal sucedidas que resulte em bloqueio do usuário.
• Alteração, ocultação e exclusão de documentos institucionais
• Sistema permite a anulação em caso de erro do usuário (indica a invalidade do ato anterior sem necessariamente fazer com que o ato anterior tenha seu registro apagado).
• Não é oferecida a função de eliminação lógica de documentos eletrônicos.
• Não existe a opção de ocultamento de páginas ou partes do documento (apenas documento por inteiro).
Segurança: Exemplos de Testes
O controle de acesso é realizado mediante a utilização dos três atributos: (1)
identificador do usuário, (2) autorizações de acesso e (3) credenciais de
autenticação?
1. Verificar se o sistema utiliza um identificador de usuário para login no sistema; 2. Acessar o sistema com três usuários distintos; 3. Verificar se os acessos às operações são definidas de acordo com os diferentes tipos de perfil de usuário; 4. Verificar se o sistema utiliza alguma credencial para autenticar os usuários (ex: password).
O atributo identificador do usuário está relacionado a um e somente um usuário definido para acessar o sistema?
1. Fazer login com o usuário admin; 2. Acessar o menu cadastrar servidor judiciário; 3. Realizar o cadastro de um usuário "Diretor de Secretaria", login "luisfabiano"; 4. Repetir a operação de cadastro de usuário com login "luisfabiano"; 5. Verificar se o sistema permite a geração de um usuário com login já existente.
Segurança: Exemplos de Testes
Sempre que ocorrer a alteração dos direitos de acesso dos usuários é
realizada, também, a atualização automática do registro no sistema?
1. Realizar o login com o perfil "admin"; 2. Acessar a opção "habilitações->juízes em
turmas"; 3. Habilitar juiz em turma na qual ele não faz parte; 4. Fazer login com o
perfil juiz que foi habilitado em turma; 5. Verificar se a turma foi habilitada.
Existe uma ferramenta ou mecanismos para aumentar a produtividade das atividades do perfil gestor?
1. Realizar o login com o perfil "admin"; 2. Acessar o menu "Certificados"; 3. Realizar a liberação de vários certificados de usuários.
Segurança: Exemplos de Testes
O sistema oferece um mecanismo para restaurar o último estado seguro de
funcionamento?
1. Utilizar exaustivamente as funcionalidades do sistema para tentar resultar em
algum tipo de falha; 2. Verificar se alguma informação inválida ou inconsistente foi
armazenada.
Para todos os perfis de usuários do sistema existe um conjunto de operações permitidas preestabelecidas?
1. Realizar o login com cinco tipos de usuários; 3. Verificar se as operações disponibilizadas por perfil são diferenciadas, de acordo com cada perfil de acesso.
A trilha de auditoria registra a data e hora de captura de todos documentos?
Segurança: Desafios
• Exemplos de questões relacionadas a ambiente, processo ou infra-estrutura
• Pelo menos uma cópia de backup é armazenada remotamente (off-site)?
• Caso o limite de armazenamento das trilhas de auditoria seja ultrapassado, o sistema gera um alarme para os administradores informando o ocorrido?
• O sistema oferece um mecanismo para restaurar o último estado seguro de funcionamento?
• O sistema acessa relógios e carimbador de tempo oficiais para utilização com as tecnologias de certificação digital?
• O sistema possibilita a atualização de informações pertinentes aos padrões de assinatura digital (chaves criptográficas e certificados digitais)?
Segurança: Desafios
• Exemplos de questões relacionadas a ambiente, processo ou infra-estrutura
• São utilizados mecanismos de criptografia para realizar o armazenamento de documentos digitais sigilosos?
• Existem registros das informações sobre as transferências de processos/dossiês não digitais?
• Após a replicação de chaves criptográficas, há identidade entre os dados originais e os replicados?
• Em todos os documentos que utilizam a assinatura digital, o formato utilizado é o padrão ICP-Brasil?
• Dificuldade para realização de testes
• O sistema nega a efetivação da captura caso a verificação de vírus não seja bem sucedida ou inconclusiva?
• Ausência da camada de metadados;
Tramitação e fluxo de trabalho
•
Aderência Regular – 39%
•
Os fluxos são definidos pelas regras de negócio no momento da implementação.
•
Os passos do fluxo são operacionalizados no sistema por meio das
movimentações (ações) executadas nos processos.
•
Os participantes do fluxo são informados sobre as ações pendentes para o trâmite
dos processos.
•
A captura de documentos não desencadeia automaticamente fluxos de trabalho.
•
Não utiliza o conceito de status do documento (minuta ou via original).
Avaliação e destinação
• Aderência 0%
• A política de gestão documental é inexistente. Não são definidos
instrumentos de temporalidade e destinação. Assim, o sistema:
•
Não provê funcionalidades para definição e manutenção dos instrumentos de
classificação, temporalidade e destinação.
•
Não informa o usuário autorizado sobre os documentos ou processos/dossiês
que já cumpriram ou estão para cumprir o prazo de guarda previsto.
Pesquisa, localização e apresentação de
documentos
• Aderência Boa – 62%
• Oferece funcionalidades para pesquisa e apresentação dos documentos.
• Pesquisa e recuperação de processo por meio de: identificador, datas,
unidade origem/destino, produtor, classificação (classe, assunto).
• O sistema permite que processos apresentados em uma lista de
Funções administrativas
• Aderência Boa – 74%
• O sistema possui funcionalidades que possibilitam ao gestor recuperar,
identificar, visualizar e reconfigurar os parâmetros do sistema e os
atributos dos perfis de usuário.
• Ambiente de homologação para validação de novas versões e execução
de testes funcionais.
• Geração de relatórios estatísticos que apresentam as operações relativas
aos processos.
Usabilidade
• Aderência Regular – 21%
•
O sistema não possui documentação completa.
•
A interface gráfica do sistema é personalizada em relação aos conteúdos de
menus e aos formatos de telas.
•
A interface do sistema não segue padrões preestabelecidos.
•
Ausência de help on-line e ajuda sensível ao contexto.
•
Mensagens de erro do sistema: ausência de padrão.
•
A interface do sistema não prevê sua utilização por pessoas portadoras de
necessidades especiais e portadores de deficiências visuais.
Interoperabilidade
• Aderência Média – 42%
• Interopera com outros sistemas.
• Interopera com outros sistemas por intermédio de padrões abertos
e-Ping:
•
Transporte de mensagem eletrônica.
•
Navegadores aderentes aos padrões W3C.
•
Formato de intercâmbio de hipertexto.
Disponibilidade
• Aderência Alta – 83%
• Definição, pelo administrador do sistema, do período em que as operações
devem estar disponíveis.
• Na ocorrência de falhas nas operações do sistema são definidos
procedimentos a serem seguidos para solucionar as falhas.
• Não há uma equipe técnica disponível na instituição para seguir os
procedimentos definidos no caso de ocorrência de falhas.
Desempenho e escalabilidade
• Aderência Total – 100%
• Sistema expansível comportando o número máximo preestabelecido de
usuários simultâneos.
• O sistema permite o registro de atualização de versão da infraestrutura e
da versão do sistema
Metadados
• Aderência 0%
• Não há implementação de camada de metadados.
• Oferece relatórios pré-configurados no sistema, como, por exemplo:
•
Processos na vara
•
Audiências na vara
•
Citações / intimações / outros cumprimentos
•
Conclusões
•
Pré-análises de conclusões
Sumarização
100 Total Desempenho e escalabilidade 0 83 42 21 74 62 0 39 36 47 61 38 22 % --Metadados Alta Disponibilidade Média Interoperabilidade Regular Usabilidade Boa Funções administrativas Boa Pesquisa, localização e apresentação de documentos--Avaliação e destinação
Regular Tramitação e fluxo de trabalho
Regular Segurança Média Preservação Boa Armazenamento Regular Captura Regular Organização dos documentos institucionais
Semântica
Aderência - Escala Área avaliada
