No atendimento a este agrupamento metodológico, de maneira diferente aos anteriores não houve aplicação nos dois projetos citados anteriormente, havendo foco na avaliação do Projeto de Prototipação do Framework de Avaliação de Investimentos em Ativos de TI, objetivo de entrega desta dissertação de Mestrado.
Tendo os dados levantados para o Projeto de Gestão de O.S. como base para aplicação de um caso de uso, a proposta do framework foi submetida para validação por um Painel de Experts. A validação foi focada nos aspectos descritos no subcapítulo 3.3.1, executando uma simulação de avaliação a partir da utilização da proposta de framework desenvolvida no capítulo 4.
O Painel de Experts foi composto por gestores da área de desenvolvimento de produtos corporativos em TI, sendo um deles ligado ao desenvolvimento de cursos e a gestão do conhecimento no âmbito da Universidade Corporativa de órgão público e outro atuando como gestor de equipe de desenvolvimento de software direcionado ao
controle de assistência de saúde de uma grande empresa do setor financeiro. Os dois agentes avaliadores, além de sua experiência profissional de mais de 10 anos, são Mestres graduados, ministram ou ministraram aulas em cursos superiores de graduação e de pós-graduação lato sensu e ocupam ou já ocuparam postos de coordenação de equipes, executando as funções de tomadores de decisão.
Esta escolha metodológica foi feita por proporcionar a montagem de um cenário muito próximo do ambiente real de execução, dando suporte a uma avaliação aprimorada e que espelha a realidade de execuções em parte da sua totalidade.
Além destas razões, foi feita a opção por este método de avaliação de resultados em razão de a acuracidade poder ser aumentada pela diversidade de opiniões (YANIV, 2004) e por haver a tendência de redução estatística de erros de julgamento por não ser uma decisão individual (EINHORN et al, 1977).
3.3.1 Elaboração da Ferramenta de Avaliação Enviada aos Experts
Para dar agilidade ao processo de avaliação foram elaborados cinco quadros onde os especialistas deveriam preencher as colunas com a numeração mais adequada em relação as suas percepções. Foram avaliados quatro aspectos ligados ao Projeto de Prototipação do Framework de Avaliação de Investimentos em Ativos de TI, a saber:
- Ferramentas/Metodologias de apoio – avaliando a utilidade das técnicas metodológicas/ferramentas de gestão que estão sugeridas no framework, validando se foram prescritas de maneira correta e se atendem a necessidade apresentada.
- Usabilidade – avaliando se os artefatos estão adequadamente definidos para serem usados dentro das organizações, validando que este pode ser o padrão a ser usado nos diversos setores de uma organização;
- Resultados – avaliando os resultados apresentados, validando o processo que decide em executar ou não o investimento proposto pelo projeto em avaliação e se atende à necessidade apresentada junto ao processo de padronização e documentação.
- Fluxo – validando se o fluxo de execução representa a ordem correta de passos a serem executados.
Estes aspectos focaram na avaliação das regras e do fluxo de passos definidos no framework, servindo como base de levantamento de requisitos para a fase futura
de codificação em plataforma de software. Aconselha-se que ao início do processo de codificação seja feita uma nova rodada de verificação, validando se os requisitos definidos por este framework estão adequados as reais necessidades do momento.
Os formulários dos questionários enviados encontram-se representados no Apêndice A desta dissertação, descrevendo os itens a serem avaliados e apontando as respectivas formas de respostas a serem preenchidas.
Em relação aos quadros de avaliação que utilizam escalas numéricas definiu- se um critério de avaliação através da aplicação de cálculo de média simples entre as colunas para cada linha avaliada. O resultado médio foi comparado ao valor médio máximo das colunas, considerando-se válido o quesito que tivesse a sua nota média maior ou igual a oitenta por cento (80 %) do valor máximo. As fórmulas de cálculo seguem abaixo:
= 1 + 2 + ⋯ +
á = 1 + 2 + ⋯ +
Se:
≥ 80% =
Para o quadro de avaliação que solicitam respostas simples como ‘S’ ou ‘N’, utilizou-se o critério de se considerar válido todo o quesito que obtiver resposta ‘S’ e invalidando os quesitos com resposta ‘N’. Para padronização e aplicação nas fórmulas de cálculo propostas, foi estabelecido que a opção ‘S’ equivaleria ao valor numérico cinco (5,00) e a opção ‘N’ com equivalência ao valor numérico um (1,00).
Foram apresentados aos especialistas os capítulos contidos no referencial teórico, as definições de regras e fluxos de utilização deste framework e o desenvolvimento do caso de uso descrito através do business case desta dissertação. A apresentação foi feita desta forma para dar embasamento à validação solicitada, não tendo sido apresentada as fórmulas de cálculo na intenção de evitarem-se possíveis influências sobre o julgamento destes profissionais.
3.3.2 Avaliação das Respostas Obtidas do Painel de Experts
As respostas recebidas estão descritas no Apêndice B, demonstrando as avaliações realizadas e que serviram para a fase de tabulação de dados e apresentação dos resultados, embasando as conclusões e finalizando a etapa metodológica de validação dos artefatos propostos.
A partir das respostas dos especialistas foi feita a tabulação dos dados, aplicando as regras de validação e fórmulas de cálculo conforme descrito acima. Nos quadros a seguir a coluna denominada ‘Média’ (tanto E1 como E2) utiliza a fórmula de Mc para calcular a média de resposta de cada quesito. A coluna denominada ‘Percentual’ (tanto E1 como E2) utiliza a fórmula de Mmáx para calcular o percentual atingido por cada quesito em relação à pontuação máxima.
Quadro 11 – Resultados gerados por especialistas para Quadro de avaliação I Fonte: Elaborado pelo autor
Quadro 12 – Resultados gerados por especialistas para Quadro de avaliação II Fonte: Elaborado pelo autor
Quadro 13 – Resultados gerados por especialistas para Quadro de avaliação III Fonte: Elaborado pelo autor
Fonte: Elaborado pelo autor
Quadro 15 – Resultados gerados por especialistas para Quadro de avaliação V Fonte: Elaborado pelo autor
Após os resultados obtidos, conclui-se que o Projeto de Prototipação do Framework de Avaliação de Investimentos em Ativos de TI obteve graus de validação maiores ou iguais a 80% em todos os quesitos avaliados pelos especialistas e, sendo assim, considera-se uma proposta viável de uso no ambiente corporativo.
Igualmente, cabe ressaltar que o objetivo desta dissertação era construir a proposta que foi apresentada, não tendo sido feita sua codificação através de uma plataforma de software por carecer de avaliação e aprovação pelo CETIC (Comitê Executivo de Tecnologia de Informação e Comunicação), conforme descrito no subcapítulo 3.2.3 desta dissertação.
Soma-se a esta razão o fato de não haver tempo hábil para tal desenvolvimento, devendo ser feita como entrega de projeto para a Procempa ao final do Curso de Mestrado Profissional em Gestão e Negócios, para futura avaliação e desenvolvimento.