Nesta seção serão apresentados os resultados das questões de 12 a 23. Estas questões têm o objetivo de verificar o grau de satisfação dos usuários com aspectos específicos e a satisfação geral em relação ao Sistema Acadêmico da Pós- Graduação da UFMG. Para algumas questões, foram listadas as observações dos usuários relacionadas ao item analisado. Estas observações foram retiradas da questão aberta com a intenção de ajudar na análise dos índices apresentados. Na maioria das vezes, refletem a alguma insatisfação do usuário.
Em relação aos gráficos apresentados foram consideradas no índice de satisfação as respostas “Muito satisfeito” e “Satisfeito”. No índice de insatisfação foram consideradas as respostas “Insatisfeito” e “Muito insatisfeito”.
• Questão 12: Treinamento realizado para utilização do sistema
Para analisar este item de satisfação, foram considerados os questionários dos usuários que utilizaram algum tipo de treinamento, ou seja, os 7 questionários dos usuários que responderam nenhum treinamento na questão 9 não foram computados na totalização da TAB. 13. Portanto, 45 foi o total de questionários considerados nesta questão.
Menos da metade dos usuários respondentes (46,67%), conforme a TAB. 13 e o GRAF. 1, se dizem satisfeitos com o treinamento realizado. Isto é um dado importante e preocupante, pois um treinamento adequado pode minimizar a resistência por parte dos usuários em utilizar uma nova ferramenta.
Tabela 13 - Nível de satisfação com relação ao treinamento realizado
Opções Frequência Percentual
Muito satisfeito 4 8,89% Satisfeito 17 37,78% Indiferente 11 24,44% Insatisfeito 8 17,78% Muito insatisfeito 5 11,11% Total 45 100,00%
Fonte: Dados da pesquisa
GRÁFICO 1 - Índice de satisfação com relação ao treinamento realizado
Fonte: Dados da pesquisa
Algumas observações relacionadas a esta questão:
“É necessário um novo treinamento para todos os usuários do sistema, pois do último treinamento até a data atual houve mudanças nos setores, como por exemplo: aposentadorias e novas contratações, havendo troca de secretários. As dúvidas vão aparecendo durante a inclusão dos dados no sistema, ficando difícil a realização do mesmo sem o treinamento.” (Questionário nº 14).
“Em relação ao item treinamento realizado respondi INSATISFEITO, uma vez que, para utilização de um sistema de tal porte, penso que seria valioso que o DRCA em conjunto com a PRPG oferecesse um treinamento assim que o usuário fosse cadastrado. Tal atitude evitaria erros de lançamento e ganho de qualidade na realização das atividades diárias.” (Questionário nº 19).
• Questão 13: Facilidade de uso do sistema
A TAB. 14 mostra que 21,15% dos respondentes estão muito satisfeitos e 48,08% estão satisfeitos, o que corresponde a 69,23% no índice de satisfação (GRAF. 2). Este índice de satisfação pode ser considerado muito bom levando-se em consideração que somente 46,67% se consideram satisfeitos com o treinamento realizado. O aspecto avaliado nesta questão diz respeito à usabilidade do sistema.
Tabela 14 - Nível de satisfação com relação à facilidade de uso
Opções Frequência Percentual
Muito satisfeito 11 21,15% Satisfeito 25 48,08% Indiferente 4 7,69% Insatisfeito 11 21,16% Muito insatisfeito 1 1,92% Total 52 100,00%
Fonte: Dados da pesquisa
GRÁFICO 2 - Índice de satisfação com relação à facilidade de uso
Fonte: Dados da pesquisa
“Seria importante a realização de um treinamento e se possível a criação de um manual de atividades que devem ser realizadas nos cursos de pós- graduação, como um passo a passo das atividades necessárias, para que possamos estar ciente de todos os procedimentos necessários e abertos no sistema.” (Questionário nº 32).
“Gostaria de ter um treinamento, pois sempre aprendo com os erros e na hora do sufoco. Imagino que o programa tem ferramentas que desconheço e que talvez possam facilitar minha vida..” (Questionário nº 28).
Vejamos uma declaração relacionada a esta questão:
• Questão 14: Mecanismos de atalho ou ajuda na utilização do sistema
Em relação a esta questão, que também está relacionada à usabilidade do sistema, o índice de satisfação é de apenas 44,23% (TAB. 15, GRAF 3), mostrando que é um ponto que deve ser melhorado para diminuir os índices de indiferença (28,85%) e insatisfação (26,92%) que podem ser considerados altos.
Tabela 15 - Nível de satisfação com relação aos mecanismos de ajuda
Opções Frequência Percentual
Muito satisfeito 7 13,46% Satisfeito 16 30,77% Indiferente 15 28,85% Insatisfeito 13 25,00% Muito insatisfeito 1 1,92% Total 52 100,00%
Fonte: Dados da pesquisa
GRÁFICO 3 - Índice de satisfação com relação aos mecanismos de ajuda
Fonte: Dados da pesquisa
“Aprendi a manusear o sistema acadêmico autodidaticamente e acho esse sistema muito bom, bem elaborado e creio que há maneiras de melhorá-lo mais ainda..” (Questionário nº 50).
• Questão 15: Clareza das mensagens de erro emitidas pelo sistema
Este é mais um ponto do sistema que deve ser melhorado. O índice de satisfação, conforme a TAB. 16 e o GRÁF. 4, indicam um percentual de 48,08% que pode ser considerado baixo e está bem próximo do índice de insatisfação que é de 40,38%. Segundo o item corretude, dentro do aspecto qualidade visto no capítulo 3, o sistema deve garantir mensagens completas, corretas e claras que permitam ao usuário reconhecer o problema e, desta forma, ter condições de tomar medidas para resolvê-lo.
Tabela 16 - Nível de satisfação com relação à clareza das mensagens de erro
Opções Frequência Percentual
Muito satisfeito 4 7,69% Satisfeito 21 40,39% Indiferente 6 11,54% Insatisfeito 17 32,69% Muito insatisfeito 4 7,69% Total 52 100,00%
Fonte: Dados da pesquisa
GRÁFICO 4 - Índice de satisfação com relação à clareza das mensagens de erro
Fonte: Dados da pesquisa
Algumas observações relacionadas a esta questão:
“Nem todas as mensagens de erro possuem clareza. Sugiro o detalhamento do erro (passo a passo).” (Questionário nº 7).
• Questão 16: Serviço de help desk como suporte ao sistema
No Sistema Acadêmico da Pós-Graduação existe uma opção de ajuda que funciona como serviço de help desk. Através desta opção, os usuários podem enviar mensagens com dúvidas, comunicação de erros, críticas ou sugestões diretamente à gerência do sistema (PRPG), que nem sempre tem como responder num tempo satisfatório. Este serviço tem como objetivo apoiar os usuários na sua interação com o sistema e deveria apresentar um alto índice de satisfação, mas neste caso este índice foi de apenas 44,23%, conforme pode ser visto na TAB. 17 e no GRÁF. 5. O índice de 46,15% de indiferença é elevado e pode significar que muitos usuários não estão utilizando este serviço, talvez por falta de conhecimento. Desta forma, não teriam como opinar. Se for este o caso, o índice de insatisfação é até relativamente baixo. Portanto, este é um ponto que deve ser investigado e melhorado, pois a qualidade do serviço de apoio ao usuário está relacionada à qualidade do próprio sistema.
Tabela 17 - Nível de satisfação com relação ao serviço de help desk
Opções Frequência Percentual
Muito satisfeito 2 3,85% Satisfeito 21 40,38% Indiferente 24 46,15% Insatisfeito 3 5,77% Muito insatisfeito 2 3,85% Total 52 100,00%
Fonte: Dados da pesquisa
“... Quanto às mensagens de erro, geralmente são muito técnicas e quando acontece tem que repassar ao help desk e às vezes é uma coisa simples que a gente mesmo pode resolver desde que saiba o que é.” (Questionário nº 8).
“... Faltam informações mais claras nas mensagens de aviso...” (Questionário nº 45).
“Nem sempre as mensagens de erro são claras de forma a me permitir corrigir o que está impedindo o lançamento a ser feito.” (Questionário nº 51).
GRÁFICO 5 - Índice de satisfação com relação ao serviço de help desk
Fonte: Dados da pesquisa
Algumas observações relacionadas a esta questão:
• Questão 17: Velocidade de operação do sistema
A velocidade de operação diz respeito à qualidade do sistema, especificamente nos fatores eficiência e tempestividade. O sistema deve garantir um desempenho de acordo com os interesses do usuário e que a informação estará disponível de forma rápida no momento certo. A TAB. 18 e o GRAF. 6 mostram um bom índice de satisfação nesta questão (63,46%). Mas, com o avanço tecnológico atual, é possível melhorar a velocidade de operação deste sistema e diminuir a insatisfação que chega a quase 27%.
Tabela 18 - Nível de satisfação com relação à velocidade de operação
Opções Frequência Percentual
Muito satisfeito 9 17,31% Satisfeito 24 46,15% Indiferente 5 9,62% Insatisfeito 12 23,08% Muito insatisfeito 2 3,84% Total 52 100,00%
Fonte: Dados da pesquisa
“... serviço de help mais claro e mais explicativo em texto no próprio sistema. O que tem hoje é uma tela para enviar dúvidas ao cecom...” (Questionário nº 20). “Achei um pouco falha a matricula help desk da matricula on-line. Tivemos problemas que demoram a ser resolvidos.” (Questionário nº 22).
GRÁFICO 6 - Índice de satisfação com relação à velocidade de operação
Fonte: Dados da pesquisa
• Questão 18: Disponibilidade e número de interrupções durante a utilização
do sistema
Esta é outra questão relacionada à qualidade do sistema, dentro do fator eficiência, e diz respeito à continuidade, ou seja, ininterrupção das funcionalidades do sistema para o usuário. As interrupções podem estar diretamente relacionadas ao sistema (por exemplo, paradas para manutenção, problemas na rede etc.) ou serem causadas por fatores externos (falta de energia). Pouco mais da metade dos usuários respondentes (51,92%), conforme pode ser visto na TAB. 19 e no GRÁF. 7, estão satisfeitos com esta questão enquanto que 25% estão insatisfeitos. Os responsáveis pelo sistema devem ficar atentos às possíveis causas das interrupções com a intenção de minimizá-las.
Tabela 19 - Nível de satisfação com relação à disponibilidade/interrupções
Opções Frequência Percentual
Muito satisfeito 2 3,84% Satisfeito 25 48,08% Indiferente 12 23,08% Insatisfeito 9 17,31% Muito insatisfeito 4 7,69% Total 52 100,00%
GRÁFICO 7 - Índice de satisfação com relação à disponibilidade/interrupções
Fonte: Dados da pesquisa
As observações referentes a esta questão às vezes se misturam com observações referentes à insatisfação com a velocidade de operação do sistema. Vejamos algumas delas:
• Questão 19: Exatidão dos cálculos gerados pelo sistema
Esta questão está ligada diretamente à confiança dos usuários e, também, diz respeito ao aspecto qualidade. Está relacionado com o nível de corretude, que é aquele que garante que o sistema disponibiliza informações completas e corretas, sem defeitos. Conforme os dados da TAB. 20 e do GRÁF. 8, podemos ver que a avaliação foi muito positiva. Quase 80% dos respondentes se disseram satisfeitos ou muito satisfeitos neste ponto. Dos 52 usuários 3 estão insatisfeitos, que apesar de ser um número pequeno, não pode ser desconsiderado. Inexatidão implica em
“Gostaria de enfatizar a frequência com que o sistema desativa em períodos de muito acesso (ex. matrículas).” (Questionário nº 16).
“Muitas vezes ele simplesmente parece que trava, fica buscando alguma coisa e para. Pode ser problema do navegador, não tenho certeza.” (Questionário nº 8).
“Algumas seções, como a de credenciamento, ficam dias com o Aviso "erro inesperado" e sem funcionar corretamente.” (Questionário nº 4).
“...as vezes, o sistema fica muito lento e além de várias interrupções diárias.” (Questionário nº 17).
“O sistema não avisa quando vai ser interrompido, com antecedência necessária. Ás vezes ele é interrompido bruscamente.” (Questionário nº 29).
ineficácia do sistema. Infelizmente a pesquisa não nos permitiu identificar o problema já que os respondentes não citaram o problema ocorrido na questão aberta.
Tabela 20 - Nível de satisfação com relação aos cálculos gerados pelo sistema
Opções Frequência Percentual
Muito satisfeito 19 36,54% Satisfeito 22 42,31% Indiferente 8 15,38% Insatisfeito 2 3,85% Muito insatisfeito 1 1,92% Total 52 100,00%
Fonte: Dados da pesquisa
GRÁFICO 8 - Índice de satisfação com relação aos cálculos gerados pelo sistema
Fonte: Dados da pesquisa
• Questão 20 - Informações e relatórios gerados pelo sistema
Outro item com avaliação bastante positiva e que também está ligado ao aspecto qualidade. De acordo com a TAB. 21 e o GRAF. 9, 76,92% dos usuários estão satisfeitos ou muito satisfeitos com as saídas geradas pelo sistema contra 11,54% de índice de insatisfação.
Tabela 21 - Nível de satisfação com relação às Informações e relatórios gerados
Opções Frequência Percentual
Muito satisfeito 11 21,15% Satisfeito 29 55,77% Indiferente 6 11,54% Insatisfeito 5 9,62% Muito insatisfeito 1 1,92% Total 52 100,00%
Fonte: Dados da pesquisa
GRÁFICO 9 - Índice de satisfação com relação Informações e relatórios gerados
Fonte: Dados da pesquisa
O índice de insatisfação pode está relacionado ao formato dos relatórios, conforme a declaração abaixo:
• Questão 21: Melhoria da qualidade de seu trabalho proporcionada pelo uso
do sistema
O sistema em foco foi desenvolvido para ajudar na administração e controle das atividades administrativas e acadêmicas da pós-graduação da UFMG. E, pelo nível de satisfação dos usuários (78,85%, TAB. 22 e GRÁF. 10), com relação à melhoria da qualidade de seu trabalho proporcionada pela utilização do sistema, podemos considerar que o objetivo está sendo alcançado. Sendo assim, o sistema apresenta
“Os relatórios deveriam ser mais agregados e não individuais, pelo CPF do discente. Isso possibilitaria à Coordenação e Colegiado dos Programas acompanharem a vida acadêmica dos discentes.” (Questionário nº 25).
um nível de eficácia satisfatório. Conforme já foi dito, a eficácia é a qualidade de um sistema que permite aos seus usuários atingirem seus objetivos.
Tabela 22 - Nível de satisfação com relação à melhoria da qualidade de trabalho
Opções Frequência Percentual
Muito satisfeito 17 32,69% Satisfeito 24 46,16% Indiferente 7 13,46% Insatisfeito 3 5,77% Muito insatisfeito 1 1,92% Total 52 100,00%
Fonte: Dados da pesquisa
GRÁFICO 10 - Índice de satisfação com relação à melhoria da qualidade de trabalho
Fonte: Dados da pesquisa
• Questão 22: Melhoria da produtividade ou economia de tempo na execução
de suas tarefas devido ao uso do sistema
O índice de satisfação com a melhoria da produtividade e economia de tempo na execução das tarefas também foi bastante positivo (75%, TAB. 23 e GRÁF. 11). Podemos considerar que o sistema apresenta, então, um nível de eficiência que atende aos interesses dos usuários. A eficiência é a qualidade que permite ao usuário realizar suas tarefas num tempo satisfatório.
Tabela 23 - Nível de satisfação com relação à melhoria da produtividade
Opções Frequência Percentual
Muito satisfeito 14 26,92% Satisfeito 25 48,08% Indiferente 6 11,54% Insatisfeito 6 11,54% Muito insatisfeito 1 1,92% Total 52 100,00%
Fonte: Dados da pesquisa
GRÁFICO 11 - Índice de satisfação com relação à melhoria da produtividade
Fonte: Dados da pesquisa
Os índices de insatisfação das questões 21 (7,69%) e 22 (13,46%) apesar de serem baixos merecem uma atenção especial. A insatisfação, neste caso, poderia representar queda na qualidade ou na produtividade dos usuários insatisfeitos, o que seria muito preocupante. Estes usuários reclamaram, através da questão aberta, principalmente da falta de treinamento, além da falta de clareza das mensagens, da lentidão e do serviço de help desk. Vejamos algumas observações de usuários que informaram estar insatisfeitos ou muito insatisfeitos em relação a alguma destas duas questões:
“Minha sugestão é que fosse feito um treinamento de uso do sistema com todas as secretárias, pois acho que facilitaria e muito.” (Questionário nº 34).
“A interface é lenta, as informações não chegam em tempo real aos usuários. Muitas vezes fica fora do ar. Entretanto, a pior situação é a falta de treinamento.” (Questionário nº 37).
• Questão 23 - Com relação ao sistema, de maneira geral
Na avaliação do sistema com um todo, o índice de satisfação de 76,93% representando 40 dos 52 questionários respondidos, conforme a TAB. 24 e o GRÁF. 12, indica que ele está atendendo aos objetivos para os quais foi concebido. Apesar de podermos considerar um número bastante satisfatório, não se deve esquecer que alguns dos itens analisados anteriormente apresentaram índices de insatisfação elevados. Ou seja, a satisfação do usuário com o sistema ainda pode melhorar significativamente.
Tabela 24 - Nível de satisfação com relação ao sistema, de maneira geral
Opções Frequência Percentual
Muito satisfeito 8 15,39% Satisfeito 32 61,54% Indiferente 4 7,69% Insatisfeito 7 13,46% Muito insatisfeito 1 1,92% Total 52 100,00%
Fonte: Dados da pesquisa
GRÁFICO 12 - Índice de satisfação com relação ao sistema, de maneira geral
Fonte: Dados da pesquisa
“Faltam informações mais claras nas mensagens de aviso. Entretanto, o principal problema é a falta de um treinamento sobre o Sistema, aliás, falta treinamento para os Secretários de Pós-Graduação que se chegam inexperientes, aprendem cometendo erros, o que prejudica muito a qualidade do trabalho..” (Questionário nº 45).
As observações a seguir confirmam o índice de satisfação geral com o sistema:
A seguir apresentamos o resultado do cruzamento dos dados de questões relativas ao perfil do usuário com a questão referente ao índice de satisfação geral.
A TAB. 25 mostra que o índice de satisfação cresce à medida que o usuário adquire experiência com o uso do sistema. Isto reforça a importância do treinamento para melhoria do índice de satisfação.
Tabela 25 - Nível de satisfação geral x experiência com o uso do sistema
Índice de Satisfação Indiferença Índice de Insatisfação Total Muita experiência 90,48% 0,00% 9,52% 100,00% Experiência Mediana 70,37% 11,11% 18,52% 100,00% Pouca Experiência 50,00% 25,00% 25,00% 100,00%
Fonte: Dados da pesquisa
A TAB. 26 confirma o que foi exposto no referencial teórico sobre a importância da participação do usuário no desenvolvimento do sistema. São os usuários que conhecem detalhadamente as tarefas que são executadas no dia-a-dia e serão eles que farão uso efetivo do sistema, se este atender às suas necessidades. Os usuários que participam do desenvolvimento tornam-se corresponsáveis, o que aumenta as chances de sucesso do sistema. Neste caso específico, apesar da
“O sistema trouxe agilidade no desempenho das atividades no setor de Pós- Graduação.” (Questionário nº 5).
“Como secretária, minha nota é 10 para o sistema acadêmico e para a PRPG.” (Questionário nº 10).
“No meu ponto de vista, de uma forma geral, o novo sistema acadêmico veio facilitar bastante; o sistema PLENUS já estava mesmo arcaico; os pontos que considerei insatisfatórios não dependem do criador do sistema e sim do apoio logístico da UFMG para o funcionamento” (Questionário nº 12).
“Como todo sistema novo, no começo foi um pouco difícil de adaptar, por causa da quantidade de dúvidas. Porém, à medida que vamos utilizando e aprendendo, conclui-se que o Sistema é muito bom e nos auxilia bastante.” (Questionário nº 48).
pequena participação, todos os 6 usuários (100%) respondentes que participaram do desenvolvimento estão satisfeitos com o sistema.
Tabela 26 - Nível de satisfação geral x participação no desenvolvimento
Participou? Índice de Satisfação Indiferença Índice de Insatisfação Total Sim 100,00% 0,00% 0,00% 100,00% Não 73,91% 8,70% 17,39% 100,00%
Fonte: Dados da pesquisa
A TAB. 27 mostra que mesmo os usuários que utilizam outro sistema no auxílio às suas atividades administrativas estão satisfeitos de maneira geral com o sistema. Como já foi dito, o sistema ainda não está completo. O desenvolvimento de novas funcionalidades poderá melhorar ainda mais a satisfação dos usuários.
Tabela 27 - Nível de satisfação geral x utilização de sistema complementar
Utiliza? Índice de Satisfação Indiferença Índice de Insatisfação Total Sim 76,92% 3,85% 19,23% 100,00% Não 76,92% 11,54% 11,54% 100,00%
Fonte: Dados da pesquisa
Finalmente a TAB. 28 apresenta os índices de satisfação por nível de pós- graduação com o qual os usuários respondentes trabalham. O sistema é o mesmo para toda a pós-graduação, mas existem algumas funcionalidades que são específicas de um determinado nível. Apesar disso, o índice de satisfação foi o mesmo. Portanto, podemos considerar que o sistema está atendendo igualmente aos colegiados, independente do nível do curso do qual ele é responsável.
Tabela 28 - Nível de satisfação geral x nível de pós-graduação
Índice de
Satisfação Indiferença
Índice de
Insatisfação Total
Lato sensu e stricto sensu 81,25% 6,25% 12,50% 100,00%
Lato sensu 75,00% 8,33% 16,67% 100,00%
Stricto sensu 75,00% 8,33% 16,67% 100,00% Fonte: Dados da pesquisa