VALIDAÇÃO

Conforme descrito no Capítulo 4, o objetivo da validação de um protótipo de SBC, no sentido mais amplo, é determinar se o sistema realiza aquilo para o qual ele foi desenvolvido. No modelo incremental, a validação é a etapa que fecha um ciclo de desenvolvimento do protótipo. No caso do DALF-MCC, o processo de validação transcorreu de 3 maneiras distintas, a saber:

• Validação parcial do DALF-MCC e suas ferramentas complementares em seminários, congressos e palestras de apresentação deste trabalho de tese;

• Aplicação do DALF-MCC em campo em uma empresa da cidade industrial de Curitiba e sua comparação com os resultados obtidos pela metodologia proposta por Fuentes (2006);

• Validação por especialistas em MCC, os quais participaram do processo de aquisição do conhecimento do DALF-MCC.

Nos próximos parágrafos, cada um destes mecanismos de validação é explicitado para maior clareza dos procedimentos adotados e dos resultados obtidos.

Validação Parcial em Seminários, Congressos e Palestras

Esta etapa do processo se estendeu ao longo de todo o ciclo de desenvolvimento do DALF-MCC. A intenção foi aproveitar os eventos com profissionais da área, alunos dos cursos de graduação da Universidade Tecnológica Federal do Paraná (UTFPR) e de pós-graduação da Universidade Federal de Santa Catarina (UFSC), para obter resultados exploratórios preliminares e, assim, realimentar o processo de desenvolvimento do DALF-MCC. O objetivo focalizou a validação da estrutura e da interface com o usuário.

As primeiras interações com usuários do DALF-MCC, objetivando sua validação, ocorreram em Seminários, Aulas e Palestras na UTFPR. Neste caso, os envolvidos no processo de validação foram alunos do último ano dos cursos de Engenharia Industrial Elétrica, ênfase Eletrotécnica, e Tecnologia em Gestão Comercial do Departamento Acadêmico de Eletrotécnica (DAELT). Em ambos os cursos os alunos cursaram, no mesmo semestre ou no anterior, a disciplina de Gestão da Manutenção. Para inquirir a opinião dos participantes durante esta fase foi utilizado o questionário apresentado no Apêndice C deste trabalho, particularmente as questões relativas à Análise da Interface e parte das questões relativas aos Aspectos Gerais (questões 1 a 4). A Tabela 8.3 sintetiza os resultados deste procedimento.

Tabela 8.3 – Resultado do Questionário de Validação (Alunos - UTFPR).

Questões Respondidas (52 participantes)

Interface (%) Aspectos Gerais (%) Resposta

Q1 Q2 Q3 Q4 Q5 Q6 Q1 Q2 Q3 Q4

Sim 100 100 59,6 80,8 76,9 100 100 67,3 100 *

Não 0 0 28,9 0 0 0 0 0 0 *

Parcialmente 0 0 11,5 19,2 23,1 0 0 32,7 0 *

* Resposta discursiva facultativa.

Os resultados desta etapa do processo de validação (Tabela 8.3) apontam para a dificuldade dos alunos com relação a utilização da tela de Parametrização Fuzzy do DALF-MCC (Q3 da Análise da Interface). Esta dificuldade foi atribuída a inexperiência para inferir sobre a melhor parametrização dos termos primários e, a tentativa equivocada de configurar um determinado termo de forma não permitida pelo DALF-MCC. As respostas a Questão 4 dos Aspectos Gerais revelou a necessidade de treinamento na ferramenta e em MCC como sugestão de consenso.

Os comentários e opiniões dos participantes desta fase do processo de validação, permitiram, além da correção de diversos bugs, a identificação de melhorias estruturais e estéticas na interface com o usuário. Foi possível, também, identificar faltas e inconsistências até então imperceptíveis no arquivo de ajuda que, na sua versão atual está mais consistente e adequado, inclusive para usuários não especialistas em MCC ou lógica Fuzzy. Vale ressaltar que, para a utilização do DALF-MCC não é necessário conhecer os procedimentos para implantação da MCC, nem tão pouco a teoria sobre a lógica Fuzzy. No entanto, o DALF-MCC possui em seu arquivo de ajuda os subsídios para aprofundamento nestes dois domínios, se o usuário desejar. Outra oportunidade de validação do DALF-MCC ocorreu durante o 22º Congresso Brasileiro de Manutenção promovido pela Associação Brasileira de Manutenção (ABRAMAN) em Florianópolis, entre 17 e 21/09/2007. Nesta oportunidade, alguns especialistas interessados no tema deste trabalho foram convidados a utilizar e opinar sobre DALF-MCC e suas ferramentas complementares até então desenvolvidas. Foram avaliados, nesta ocasião, os seguintes itens: linguagem utilizada na interface; facilidade de aplicação e utilização do DALF-MCC e suas ferramentas complementares; suficiência e consistência das informações presentes na interface com o usuário e no help; habilidade e capacitação dos mantenedores, e demais envolvidos no processo de implantação da MCC, para responder aos questionamentos apresentados e a abrangência dos questionamentos com relação à análise dos pré-requisitos para implantação da MCC, lembrando que, nesta oportunidade, ainda não havia a intenção de incluir a Auditoria da MCC no DALF-MCC. Esta necessidade foi vislumbrada justamente neste evento, durante as entrevistas com os participantes do processo. Para inquirir a opinião dos participantes durante esta fase foi utilizado, na íntegra, o questionário apresentado no Apêndice C deste trabalho. A Tabela 8.4 sintetiza os resultados deste procedimento.

Tabela 8.4 – Resultado do Questionário de Validação (Especialistas - Congressos).

Questões Respondidas (15 participantes)

Interface (%) Processo de Inferência (%) Aspectos Gerais (%) Resposta

Q1 Q2 Q3 Q4 Q5 Q6 Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q1 Q2 Q3 Q4 Q5 Sim 100 86,7 66,7 80 80 100 100 93,3 93,3 100 80 100 100 100 80 100 * 86,8

Não 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 * 0

Parcialmente 0 13,3 33,3 20 20 0 0 6,7 6,7 0 20 0 0 0 20 0 * 13,3

* Resposta discursiva facultativa.

Os resultados desta etapa do processo de validação (Tabela 8.4) apontam para um percentual maior de dificuldade com relação a utilização da tela de Parametrização Fuzzy do DALF-MCC (Q3 da Análise da Interface), comparado com o caso da validação com alunos da UTFPR. A maior dificuldade neste caso foi a tentativa de impor uma determinada função de pertinência aos termos primários de forma não permitida pelo DALF-MCC. As respostas a

Questão 4 dos Aspectos Gerais revelou a necessidade de treinamento no DALF-MCC e suas ferramentas complementares.

Os comentários e opiniões dos participantes desta fase do processo de validação, permitiram, identificar: erros conceituais, tanto na interface quanto no arquivo de ajuda; a necessidade de acréscimo de critérios, até então ignorados, bem como melhorias na formulação dos quesitos. Também foi constatada a necessidade de se alterar a ordem de apresentação do relatório, aspecto este também observado posteriormente pelo orientador deste trabalho. Assim, o resultado final da avaliação da etapa foi inserido no início do relatório, antes dos resultados parciais do processo de inferência que culminou na avaliação da respectiva etapa, o que facilitou o acesso à informação almejada, evitando que o usuário tenha que percorrer todo o relatório para visualizá-la. Na versão atual, isso somente é necessário se o usuário desejar obter detalhes do processo da avaliação da etapa, o que inclui os resultados parciais da avaliação dos critérios e da ponderação dos quesitos relacionados.

Aplicação em Campo

A aplicação do DALF-MCC e suas ferramentas complementares em campo foi viabilizada, primeiramente, por intermédio do trabalho de conclusão de curso de GOBER et al (2008) orientado pelo autor, no DAELT da UTFPR. Neste trabalho, a seguinte estratégia foi adotada:

1) Em um grupo selecionado de empresas de Curitiba e região metropolitana, foi aplicada a Sistemática para Seleção da Concepção de Manutenção (SSCM) proposta por Fuentes (2006). Participaram deste processo, operadores e mantenedores das empresas selecionadas;

2) Em um dos casos, a SSCM revelou a aptidão da empresa em adotar a MCC como metodologia para gestão da manutenção. Mais especificamente, a aplicação da SSCM revelou que: 74% dos requisitos exigidos pela MCC poderiam ser atendidos pela empresa com facilidade e, destes, 50% seriam de atendimento imediato, isto é, o que a empresa já utilizava para gestão de sua manutenção já atenderia às necessidades da MCC;

3) Nesta empresa foi, então, aplicado o DALF-MCC (Etapa 0) para comparar seus resultados com àqueles sugeridos pela SSCM proposta por Fuentes (2006).

Na aplicação da SSCM, a avaliação mostrou, como pontos positivos, o envolvimento das pessoas nas mudanças e o espírito de equipe dos mantenedores. No DALF-MCC, os quesitos relacionados com estes itens (Critério 2, 3 e 4 da Etapa 0) obtiveram uma avaliação “Alta”.

Um ponto negativo revelado pela SSCM foi com relação à falta de atributos da empresa relacionados à gestão de projetos. Tais atributos também foram evidenciados pelo DALF-MCC

em quesitos específicos (Critério 5 da Etapa 0), resultando na conclusão de que este fato representa um “risco” para o sucesso do programa de MCC.

Com relação ao nível de cultura/maturidade para mudanças, a empresa recebeu da SSCM um conceito “bom e suficiente”. Na aplicação do DALF-MCC, os quesitos relacionados à cultura e maturidade da manutenção (Critério 4 da Etapa 0) obtiveram, na sua avaliação, um conceito “satisfatório” para a implantação da MCC.

As ferramentas complementares para implementação da MCC propostas pelo DALF- MCC, as quais não possuem equivalentes na SSCM, receberam do gerente de manutenção da empresa um parecer positivo. Neste caso, a ferramenta utilizada foi o OpenFMECA, uma vez que o gerente já tinha conhecimento da técnica FMECA e, deliberadamente, utilizou o referido software para comprovar suas funcionalidades.

Assim, a aplicação do DALF-MMC revelou, a partir da ponderação dos quesitos pelos mantenedores, que a empresa/sistema dispõe da maioria dos requisitos exigidos para iniciar a implementação da MCC. Tal resultado ratificou, portanto, a conclusão da SSCM proposta por Fuentes (2006), servindo como critério para a validação parcial do DALF-MCC.

Todos os usuários do DALF-MCC que participaram e/ou contribuíram com o trabalho de conclusão de curso, relatado neste item, também responderam ao questionário de validação do DALF-MCC apresentado no Apêndice C. A Tabela 8.5 sintetiza os resultados deste processo.

Tabela 8.5 – Resultado do Questionário de Validação (Aplicação em Campo).

Questões Respondidas (12 participantes)

Interface (%) Processo de Inferência (%) Aspectos Gerais (%) Resposta

Q1 Q2 Q3 Q4 Q5 Q6 Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q1 Q2 Q3 Q4 Q5 Sim 100 83,3 100 91,7 100 83,3 100 91,7 91,7 91,7 83,3 100 100 100 100 100 * 91,7

Não 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 * 0

Parcialmente 0 16,7 0 8,3 0 16,7 0 8,3 8,3 8,3 16,7 0 0 0 0 0 * 8,3

* Resposta discursiva facultativa.

A equipe que desenvolveu a aplicação em campo recebeu um treinamento prévio sobre o DALF-MCC, treinamento este repassados pela equipe, de maneira informal, para os membros da empresa que participaram da aplicação em campo. Isso se refletiu em um aumento do percentual de avaliações positivas com relação a utilização e entendimento da interface com o usuário. Das respostas obtidas e seus respectivos comentários foi possível sintetizar as seguintes observações:

• Nem todos os participantes conheciam a metodologia de gestão da manutenção proposta pela MCC. Neste aspecto, os comentários revelaram a importância do arquivo de ajuda propiciado pelo DALF-MCC, acessado a partir dos diversos hiperlinks disponíveis na interface com o usuário;

• Foram constatados alguns bugs na interface com o usuário, por exemplo: a tecla Tab estava selecionando os objetos da tela de maneira não seqüencial; na versão utilizada

havia permissão para se utilizar a vírgula para a separação de casa decimais, no caso da ponderação dos quesitos com uma Nota, gerando um erro no processo de inferência do FuzzyCLIPS; alguns hiperlinks não estavam funcionais ou, ao abrirem o arquivo de ajuda (.html), posicionavam o cursor em um ponto diferente do solicitado pelo usuário. Estes e outros bugs, constatados ao longo da aplicação em campo, foram corrigidos na versão atual do DALF-MCC;

• Foi solicitado que, na tela de parametrização Fuzzy, fosse possível anular 2 termos. A justificativa foi de que na ponderação dos quesitos se trabalharia com 3 termos (Baixa, Boa e Alta) referentes à aderência da empresa/sistema aos requisitos da MCC. Isso reduziria as dúvidas, durante a ponderação, agilizando o processo e contribuindo para a convergência dos resultados, quando o número de participantes é grande. Tal consideração foi julgada procedente pelo autor e sua implementação está sendo proposta como trabalho futuro. A proposta é que o usuário possa escolher o número e o nome dos termos primários que deseja utilizar (de 2 a 5). O campo (combo box) com a listagem dos termos primários, na ponderação dos quesitos, seria automaticamente atualizado de acordo com as escolhas do usuário. Os campos utilizados para ponderação dos quesitos (Nota e Conceito) poderiam, também, gravar os valores digitados no momento da perda do foco do referido campo. Na versão atual, estes valores são gravados somente após a avaliação do critério. Caso o usuário mude de tela, sem avaliar o critério, os valores são perdidos.

Com relação, especificamente, às ferramentas complementares OpenFMECA e FMECA- Delphi, estas foram utilizadas em campo no âmbito do projeto MitiSF6, desenvolvido no Núcleo de Desenvolvimento Integrado de Produtos (NeDIP) do Departamento de Engenharia Mecânica (EMC) da UFSC. Este projeto, patrocinado pela ELETROSUL, buscou estudar e sistematizar os processos de manutenção dos disjuntores que utilizam o Hexafluoreto de Enxofre (SF6), como

elemento dielétrico e de extinção do arco elétrico, com o objetivo de estabelecer um modelo de referência para utilização e manuseio do SF6. Com a aplicação no MitiSF6 foi possível constatar,

no caso do OpenFMECA, sua viabilidade e praticidade aliadas à sua facilidade de utilização devido a sua interface intuitiva, aspectos estes ratificados pelos diversos usuários que participaram do projeto e utilizaram o OpenFMECA. No caso do FMECA-Delphi, foram constatados alguns inconvenientes que dificultam sua operacionalidade frente a um volume de dados muito grande e onde a divergência de opiniões é muito acentuada. Neste caso, foi constatado nos testes de campo que: a grande quantidade de valores fora da faixa central resultou em um volume expressivo de informação na segunda iteração (acredita-se que este fato ocorreu devido ao conhecimento superficial que alguns participantes tinham do sistema avaliado); foi constatado que as informações presentes na interface com o usuário não foram suficientes para elucidar todas as dúvidas, ou os participantes não leram todas as informações (neste caso foi verificada a necessidade de um treinamento prévio dos participantes). Tais fatores, da forma como foi concebido o processamento da informação pelo moderador, tornam o processo lento, de difícil

convergência e muito dependente do tratamento manual dos dados. Esses inconvenientes foram também evidenciados por Campos (2004) e, sua melhoria, constitui objeto das propostas de trabalho futuro desta tese.

Validação por Especialistas em MCC

Diversos especialistas participaram direta ou indiretamente do processo de desenvolvimento e validação deste trabalho (membros da ABRAMAN, professores da UTFPR e da UFSC e colaboradores das empresas participantes das aplicações em campo). Entretanto, a etapa final do processo de validação do DALF-MCC, em sua versão atual coube, em grande parte, ao professor e especialista em MCC Iony Patriota de Siqueira1_{. O professor Iony, além de contribuir para a}

consecução desta tese com sua experiência e conhecimento de 30 anos em manutenção foi, também, o principal apoio externo a este trabalho, participando ativamente do processo de aquisição de conhecimento e validação do DALF-MCC. Os especialistas que participaram do processo de validação tiveram a sua disposição o texto da tese (Capítulos 1, 5, 6 e 7, em versões anteriores a atual) e um manual para instalação e execução do DALF-MCC (Apêndice D). As considerações e contribuições dos especialistas foram consolidadas a partir do questionário para validação apresentado no Apêndice C, onde foram avaliados: a interface com o usuário, a coerência e consistência da base de conhecimento do DALF-MCC, a partir dos relatórios resultantes do processo de inferência, bem como a completude dos questionamentos formulados ao usuário frete às exigências de um programa de MCC. A Tabela 8.6 sintetiza os resultados deste procedimento, e os pontos relevantes deste processo são relatados nos próximos parágrafos.

Tabela 8.6 – Resultado do Questionário de Validação (Especialistas em MCC).

Questões Respondidas (5 participantes)

Interface (%) Processo de Inferência (%) Aspectos Gerais (%) Resposta

Q1 Q2 Q3 Q4 Q5 Q6 Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q1 Q2 Q3 Q4 Q5 Sim 100 100 80 100 100 100 100 80 80 100 80 100 100 100 80 100 * 100

Não 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 * 0

Parcialmente 0 0 20 0 0 0 0 20 20 0 20 0 0 0 20 0 * 0

* Resposta discursiva facultativa.

1 _{Iony Patriota de Siqueira (SIQUEIRA, 2005) é mestre em Engenharia de Produção pela Universidade Federal}

de Pernambuco (UFPE), onde defendeu sua Dissertação sobre Manutenção Centrada na Confiabilidade. É pós- graduado em Informática pela Universidade Católica de Pernambuco, com especialização em Sistemas de Informações, e bacharelado em Engenharia Elétrica pela UFPE, com curso de extensão em Manutenção Centrada na Confiabilidade, pelo EPRI (Electric Power Research Institute) Solutions. É consultor, pesquisador e professor da UNIBRA TEC e UFPE / GPSID (Grupo de Pesquisa em Sistemas de Informação e Decisão do CNPq), onde ministra as cadeiras de Integração de Dados e Processos, Modelagem de Negócios e Engenharia de Requisitos, além de Manutenção Centrada na Confiabilidade, no Curso Superior em Tecnologia de Redes e Ambientes Operacionais, e no Curso de Pós-Graduação em Engenharia de Software e Gestão da Manutenção. No ano de 2003, recebeu o prêmio máximo (hors concours) do Seminário Internacional de Mantenimiento Y Servicios Asociados En Sistemas Eléctricos – SIMSE 2003, e o primeiro lugar (menção honrosa) do Grupo de Operações do Seminário Nacional de Geração e Transmissão de Energia, promovido pelo International Council on Electric Power Systems – CIGRÉ. (http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4796921U8)

Alguns especialistas divergiram quanto a necessidade da Etapa 0 do procedimento de referência, alegando que a MCC seria adequada para todas as empresas/sistemas em quaisquer circunstâncias. Neste ponto, o autor concorda que o nível de abrangência e profundidade das análises promovidas pela MCC pode se adaptar ao contexto da empresa/sistema, discordando, entretanto, que a equipe de implementação da MCC não deva se preocupar com as restrições técnicas e gerenciais impostas pelas especificidades da aplicação. Muitos programas de MCC, e casos de aplicações isoladas de suas ferramentas, citados na literatura (ANTONIETTI, 2002; BACKLUND, 2003; BLANCO, 2007; JOHNSTON, 2002; RAJOTTE e JOLICOEUR, 2001;

RIBEIRO e ALVES, 2005; VIZZONI et al, 1999; WALTRICH e TONDELLO, 2007),

fracassaram ou experimentaram dificuldades em sua implementação e execução por desconsiderarem a necessidade da aderência da empresa/sistema aos requisitos da MCC. Em tais circunstâncias, mudanças na estratégia inicial de implantação ou da própria metodologia MCC foram necessárias para minimizar os problemas experimentados, ratificando a necessidade de existência da Etapa 0, tanto no procedimento de referência quanto no DALF-MCC.

Algumas considerações, relativas à parametrização Fuzzy, indicaram que a mesma deve ser personalizada para o domínio da aplicação. Tal consideração, de certo modo, já tinha sido contemplada ao longo deste trabalho quando, no Capítulo 5, foi ressaltado que o processo de parametrização deve ser conduzido por um especialista em MCC e no domínio da aplicação. É este conhecimento/experiência que deve servir de base para a definição das funções de pertinência, as quais definirão os termos primários que compõem o conjunto Fuzzy de referência. É proposta desta tese, para trabalhos futuros, incorporar um método que utilize a técnica Delphi, tal qual o FMECA-Delphi, para elicitar os parâmetros do conjunto Fuzzy de referência. Dessa maneira, seria possível parametrizar os termos primários, de forma que os mesmos convergissem para um valor de consenso entre os especialistas, uma vez que tal parametrização é muito dependente das especificidades do domínio da aplicação. Outra hipótese seria incorporar ao DALF-MCC um banco de dados com valores padronizados e de consenso, para os termos primário, válidos para domínios de aplicação específicos.

Foi consenso entre os especialistas, como virtude do DALF-MCC, o embasamento normativo tanto para a fase de análise de pré-requisitos como para a auditoria. Esta característica foi planejada durante a fase de formulação do procedimento de referência, o qual, além da bibliográfia clássica da MCC, baseou-se também nas principais normas e guias (NOWLAN e HEAP, 1978; SMITH, 1993; SMITH e HINCHCLIFFE, 2004; MOUBRAY, 2001; NASA, 2000; IEC 60300-3-11, 1999; SAE JA 1011, 1999; SAE JA 1012, 2002; ABS, 2004). Vale ressaltar que o DALF-MCC não segue uma única norma, guia ou bibliografia, sendo aderente a todas aquelas referenciadas como base para concepção do procedimento de referência (Capítulo 5).

Outra característica positiva do DALF-MCC, relatada pelos especialistas, foi a inclusão das questões relativas à auditoria da MCC. A falta de auditoria no procedimento de implantação da MCC é um dos fatores que resultam no seu insucesso e, mesmo apesar disso, é um aspecto

pouco tratado na literatura e nos artigos científicos. Conforme relatado anteriormente, a idéia de tratar a auditoria da MCC surgiu durante a validação parcial, ocorrida durante o 22º Congresso Brasileiro de Manutenção promovido pela ABRAMAN. A decisão de incluir a auditoria no processo de inferência do DALF-MCC revelou-se um fator importante para sua credibilidade e completude, ratificado na validação pelos especialistas.

A decisão de se utilizar a lógica Fuzzy como mecanismo para tratamento das incertezas do processo decisório foi referendada de forma unânime pelos especialistas. Segundo os participantes do processo de validação, a falta de dados estatísticos e o alto grau de incerteza na ponderação dos quesitos inviabilizariam a utilização de métodos probabilísticos clássicos ou frequentistas. Nesta mesma linha de raciocínio, foi amparado o NPR-Fuzzy, uma das ferramentas complementares incorporadas ao DALF-MCC e, neste caso, foi apoiada a sugestão do autor para incorporá-lo como complemento (plugin) do OpenFMECA em trabalhos futuros.

Nos ciclos iniciais de validação do DALF-MCC, com os especialistas, foi vislumbrado os benefícios que um SBC-Fuzzy poderia trazer para a definição da significância da função, no correspondente diagrama de decisão da MCC. Esta sugestão resultou no desenvolvimento do DALF-Diagramas, uma das ferramentas complementares do DALF-MCC que, além de auxiliar a seleção e a caracterização das funções significantes, também pode ser utilizado para auxiliar a