RELATÓRIO DA I PESQUISA DE SATISFAÇÃO DO USUÁRIO DO

1 de 22

RELATÓRIO DA I PESQUISA DE

SATISFAÇÃO DO USUÁRIO DO SIG@

Sumário

2. Método de Pesquisa 3. Resultados

3.1. Parte 1: Caracterização dos respondentes 3.1. Parte 2: Questões fechadas

3.1.2. Questão 1: sobre a facilidade de utilização 3.1.3. Questão 2: sobre a velocidade de resposta 3.1.4. Questão 3: sobre a clareza das informações

3.1.5. Questão 4: sobre a clareza das mensagens de erro 3.1.6. Questão 5: sobre a disponibilidade do sistema 3.1.7. Questão 6: sobre a segurança dos dados 3.3. Parte 3: Questões Abertas

3.3.1. Categorias de Análise 3.3.2. Categorias de Ação 4. Conclusões

2 de 22

1. Introdução

O Núcleo de Tecnologia da Informação (NTI) tem como missão apoiar as atividades de Ensino, Pesquisa, Extensão e Gestão Institucional, definindo, gerenciando e executando com excelência serviços e políticas de Tecnologia da Informação e Comunicação (TIC) para a comunidade acadêmica e a sociedade. No intuito de cumprir com sua missão, o NTI elaborou, em 2011, o Plano de Diretrizes de Ação para o período de 2011 a 2015. A Pesquisa de Satisfação do Usuário SIG@ é uma das ações deste plano e teve como objetivo principal avaliar a satisfação do usuário quanto à usabilidade do Sistema de Informação e Gestão Acadêmica (SIG@). O SIG@ é um sistema de plataforma web, que vem sendo desenvolvido e aprimorado pela Universidade Federal de Pernambuco (UFPE) desde 2002. Está disponível na Internet para usuários autenticados, ou seja, discentes, docentes e técnicos administrativos, da UFPE e de suas instituições parceiras.

O objetivo deste relatório é disponibilizar à comunidade acadêmica as opiniões dos usuários do SIG@ a respeito do sistema. Os dados coletados servirão de base para identificar os problemas mais recorrentes, as oportunidades de melhorias, bem como os aspectos considerados como satisfatórios no sistema. Este relatório encontra-se organizado da seguinte forma: Seção 2, que apresenta o método de pesquisa; Seção 3, que mostra os resultados da pesquisa; e Seção 4, que possui uma conclusão.

2. Método de Pesquisa

A pesquisa de satisfação teve como objetivo conhecer a percepção dos usuários quanto à usabilidade do SIG@. Entre os aspectos avaliados estão: facilidade de utilizar o sistema, resposta a comandos, clareza das informações, clareza das mensagens de erro, disponibilidade do sistema e segurança das informações. Buscou-se ainda analisar aspectos positivos, sugestões e críticas sobre o sistema visando à elaboração de ações de melhoria do SIG@. Na Tabela 1, podem ser visualizados os dados da pesquisa, que esteve disponível 24 horas por dia, 7 dias por semana, para os usuários do SIG@. Na Figura 1, podem ser vistas as quantidades de respostas por data de acesso.

Tabela 1. Dados da pesquisa. Período de

Coleta

20/02/2013 e 05/04/2013 (45 dias corridos)

1 mês e 1 semana após da liberação da interface 3.0 do SIG@

Público-alvo Discentes, docentes e técnicos-administrativos (com diferentes perfis funcionais)

Instituições UFPE, UFRPE, UNIVASF, UPE e AEDA

3 de 22 Figura 1. Números de respostas por data de acesso.

As questões do formulário foram elaboradas com base no trabalho de graduação da servidora do NTI Yane Wanderley dos Santos Rodrigues, na época, estagiária deste órgão. A monografia, intitulada Uma Avaliação da Usabilidade de um Sistema de Informação e Gerenciamento Acadêmico, foi defendida no ano de 2010, no Centro de Informática da UFPE.

O questionário aplicado pelo NTI foi dividido em três partes. A primeira, de caracterização do respondente, foi composta pelos campos referentes à faixa etária, sexo, perfil funcional mais utilizado no SIG@ pelo usuário (discente, docente, técnico-administrativo ou outros) e instituição de ensino. A segunda parte apresentou seis questões fechadas através de declarações com opções de resposta de acordo com uma escala de tipo Likert1. Esse tipo de escala permite registrar o nível de concordância ou discordância com as declarações propostas. Cada declaração apresentou as seguintes opções de seleção: concordo totalmente, concordo parcialmente, indiferente, discordo parcialmente e discordo totalmente. A terceira parte contou com três perguntas abertas para o usuário indicar elogios, sugestões e críticas sobre o SIG@. As declarações analisadas foram:

1. Sinto facilidade ao utilizar o sistema.

2. O sistema responde rapidamente aos meus comandos (clicar em links, botões, opções de menu, etc).

3. As informações do sistema estão expostas de forma clara e compreensível.

4. As mensagens de erro informam claramente qual o erro cometido e o que fazer para corrigi-lo.

5. O sistema está disponível quando tento utilizá-lo.

6. Sinto segurança ao utilizar o sistema (meus dados são acessados apenas por pessoas autorizadas).

1

4 de 22

3. Resultados

Os resultados serão apresentados por parte do questionário e por questão. No período da pesquisa, foram respondidos 5.827 questionários. Nos campos abertos, foram contabilizados 899 elogios, 787 sugestões e 1345 críticas.

3.1. Parte 1: Caracterização dos respondentes

Na Figura 2, pode ser visto o número de respostas fornecidas por perfil funcional de cada instituição de ensino. Em todas as instituições de ensino, a maioria dos respondentes (85%) pertenceu ao perfil discente. No que se refere à idade (Figura 3), a maioria pertenceu às faixas etárias de 17 a 25 anos (56%) e 25 a 35 anos (24%). Considerando o contexto da UFPE, pode ser visto na Figura 4 que essa situação foi semelhante: 52% dos respondentes estão na faixa de 17 a 25 anos e 25% na de 25 a 35 anos.

5 de 22 Figura 3. Números de respostas por faixa etária do usuário.

6 de 22

3.1. Parte 2: Questões fechadas

3.1.2. Questão 1: sobre a facilidade de utilização

Na primeira questão fechada dessa parte, o usuário precisou responder sobre a declaração “Sinto facilidade ao utilizar o sistema”. A maioria dos usuários (78%) sente facilidade ao utilizar o sistema: 42% concordam parcialmente com a afirmação e 36% concordam totalmente. 17% dos respondentes indicou discordar da afirmativa: 12% discordou parcialmente e 7%, totalmente. Esses números podem ser observados na Figura 5.

Figura 5. Números de respostas sobre a facilidade de utilização.

Quando comparadas as respostas dos respondentes por perfil funcional, percebe-se que os dados permanecem os mesmos, com exceção do perfil de docente. No caso dos docentes, 44% concordam parcialmente, 21% concordam totalmente, 16% discordam parcialmente e 11% discordam totalmente, somando 27% de discordância, em contraste com o dado geral de 17% encontrado. Dados como esse apontam para a necessidade de um maior aprofundamento sobre que aspectos dificultam a utilização do sistema para o docente.

O próximo gráfico (Figura 6) apresenta o quantitativo de respostas desta questão por perfil funcional na UFPE.

7 de 22 Figura 6. Números de respostas sobre a facilidade de utilização

por perfil funcional para a UFPE.

3.1.3. Questão 2: sobre a velocidade de resposta

A maioria dos usuários (68%) afirmou que o sistema responde rapidamente aos seus comandos: 36% concordam parcialmente com a afirmação e 32% concordam totalmente. 28% do total de respondentes indicou discordar da afirmação: parcialmente 16% ou totalmente 12%. Este último dado é reforçado pelos dados das perguntas abertas, que apontam para a necessidade de melhorias no desempenho do sistema. A Figura 7 apresenta o quantitativo de respostas por instituição de ensino.

Quando comparadas as respostas por perfis funcionais, percebe-se que os dados permanecem os mesmos entre os discentes, mas se modificam entre os docentes, técnicos e outros perfis. O índice de discordância com a afirmativa desta questão sai de 25% entre os discentes para 41% entre docentes e 37% entre técnicos e outros perfis.

8 de 22 Figura 7. Números de respostas sobre a velocidade de resposta.

Figura 8. Números de respostas sobre a velocidade de reposta por perfil funcional para a UFPE.

9 de 22

3.1.4. Questão 3: sobre a clareza das informações

A maioria dos usuários (70%) afirmou que as informações do sistema estão expostas de forma clara e compreensível: 38% concordam parcialmente com a afirmação e 32% concordam totalmente. 24% do total de respondentes indicou discordar da afirmação: 17% parcialmente ou 7% totalmente. A Figura 9 apresenta o quantitativo de respostas desta questão por instituição de ensino.

Quando comparadas as respostas por perfis, percebe-se que os dados permanecem os mesmos entre os discentes, mas se modificam levemente entre os docentes, técnicos e outros perfis, que apresentam índices mais altos de discordância nesta questão.

A Figura 10 apresenta o quantitativo de respostas para a UFPE por perfil funcional.

10 de 22 Figura 10. Números de respostas sobre a clareza de informações

por perfil funcional para a UFPE.

3.1.5. Questão 4: sobre a clareza das mensagens de erro

A maioria dos usuários (56%) afirmou haver clareza nas mensagens de erro e indicação sobre o que fazer para corrigi-lo: 29% concordam parcialmente com a afirmação e 27% concordam totalmente. 25% do total de respondentes indicou discordar parcialmente (14%) ou totalmente com a afirmação (11%).

Quando comparadas as respostas por perfis, mais uma vez percebe-se que o grau de insatisfação cresce entre os docentes (40%) e técnicos administrativos (38%). A Figura 11 apresenta o quantitativo de respostas desta questão por instituição de ensino. Já a Figura 12 apresenta o quantitativo de respostas para a UFPE por perfil funcional.

11 de 22 Figura 11. Números de respostas sobre a clareza das mensagens de erro.

Figura 12. Números de respostas sobre a clareza das mensagens de erro por perfil funcional para a UFPE.

12 de 22

3.1.6. Questão 5: sobre a disponibilidade do sistema

No que se refere à disponibilidade do sistema, do total de respondentes, a maioria (58%) concordou com a afirmativa de que o sistema estava disponível quando tentou utiliza-lo e 35% discordou. No entanto, se analisamos os dados por perfis, notamos que os docentes e técnicos administrativos discordam, em sua maioria, da afirmativa, apresentando, respectivamente, 50% e 51% de respostas discordantes, em contraposição aos 32% encontrados entres os discentes. A Figura 13 apresenta o quantitativo de respostas desta questão por instituição de ensino. Já a Figura 14 apresenta o quantitativo de respostas para a UFPE por perfil funcional.

13 de 22 Figura 14. Números de respostas sobre a disponibilidade do sistema

por perfil funcional para a UFPE.

3.1.7. Questão 6: sobre a segurança dos dados

Esta foi a afirmativa com maior porcentagem de concordância. Do total de respondentes, 85% concordam com a afirmativa, 23% parcialmente e 62% totalmente. O dado representa que os usuários do SIG@ sentem que suas informações estão seguras no SIG@. Apenas 7% discordam da afirmativa e 8% são indiferentes. Quando comparados os perfis, os dados não se modificam. Mais de 50% dos usuários, independente do perfil, afirmam que concordam totalmente com a afirmativa e mais de 20% concordam parcialmente. A Figura 15 apresenta o quantitativo de respostas desta questão por instituição de ensino. Já a Figura 16 apresenta o quantitativo de respostas para a UFPE por perfil funcional.

14 de 22 Figura 15. Números de respostas sobre a segurança dos dados.

Figura 16. Números de respostas sobre a segurança dos dados por perfil funcional para a UFPE.

15 de 22

3.3. Parte 3: Questões Abertas

A terceira parte do questionário possuiu três campos abertos para a coleta de respostas subjetivas, resultando na coleta de 899 elogios, 787 sugestões e 1345 críticas dos usuários.

3.3.1. Categorias de Análise

Os dados de elogios, sugestões e críticas foram classificados em 15 categorias de análise. A Tabela 2 lista as categorias e apresenta uma breve explicação sobre cada item.

Tabela 2. Categorias dos dados.

Categoria Descrição

Acesso Formas de acessar o sistema: navegadores, utilização de senha, utilização de

Captcha, recuperação de senha, primeiro acesso ao sistema, entre outros.

Atendimento Mecanismos de suporte ao usuário: NTI@tende, FAQs, manuais de uso, entre outros.

Confiabilidade Validação do sistema por meio de testes.

Dados Integração de dados dentro do sistema e com outros sistemas; atualização dos dados; dados que precisam ser adicionados ou modificados no sistema.

Desempenho Rapidez do processamento das informações e disponibilidade do sistema. Email Funcionalidades de integração do SIG@ com o Webmail UFPE.

Instituição Modificações que dependem de definições institucionais. Matrícula Realização da matrícula.

Mobile Acesso via dispositivos móveis. Rede Acesso à Internet.

Segurança Proteção do conjunto de informações dos usuários. Sessão Tempo de sessão do usuário.

Sistema Funcionalidades necessárias; adaptações de funcionalidades existentes.

Usabilidade Aspectos que facilitam a utilização do sistema no que se refere à sua interface. Entre os fatores citados: layout, cor, fontes, ícones, estrutura, relação entre

16 de 22

elementos.

Versão antiga Predileção pela versão anterior do SIG@.

Quanto aos elogios, mais da metade foi relacionada à usabilidade do sistema, ou seja, ao novo layout, às cores, à clareza das informações e à remoção dos popups, por exemplo. A Tabela 3 apresenta a quantidade de elogios contabilizados por categoria.

Tabela 3. Números de elogios por categoria.

Quanto às sugestões, embora a categoria Usabilidade tenha sido a mais elogiada, 30% das sugestões estavam relacionadas ainda a esta categoria, o que aponta a necessidade de continuação das melhorias nesta questão. Desempenho e Sistema ocupam o segundo e o terceiro lugar, respectivamente. Juntas, estas 3 categorias representam quase 65% das sugestões, como pode ser visto na Tabela 4. Considerando apenas a UFPE, essas 3 categorias representam quase 62%. Essa tabela também mostra as quantidades de sugestões para cada instituição de ensino.

A Tabela 5 apresenta as quantidades de sugestões divididas pelos perfis funcionais avaliados para todas as instituições de ensino. Para os discentes, a três principais categorias de sugestão foram Usabilidade, Desempenho e Sistema, em ordem decrescente de sugestões. Para os técnicos-administrativos e outros, as três principais foram as mesmas que as dos discentes, mas em ordem inversa de quantidade de sugestões. Para os docentes, a categoria com mais sugestões foi a Sistema, seguida por Usabilidade e Atendimento, ambas em segundo lugar, e Desempenho em terceiro lugar.

17 de 22 Tabela 4. Números de sugestões por categoria e instituição.

Tabela 5. Números de sugestões por perfil funcional do usuário.

Quanto às críticas, a maior parte foi com relação ao Desempenho, sendo 32% do total e 28.6% para a UFPE. Os dados mostram que os usuários queixam-se da lentidão do sistema e

18 de 22 do seu congestionamento, especialmente em período de realização de matricula e na finalização do semestre, no período de inclusão e visualização de notas.

As categorias Sistema e Usabilidade ficaram em segundo (18.6%) e terceiro lugar (18.5%), respectivamente, considerando todas as instituições. Essas duas mesmas categorias ficaram na ordem inversa considerando apenas a UFPE: Usabilidade com 21.7% e Sistema com 18.3%. Esses dados podem ser vistos na Tabela 6.

As críticas enquadradas na categoria Sistema referem-se a funcionalidades do sistema que precisam ser aprimoradas ou que apresentam erros. Muitas das críticas nessa categoria geraram sugestões tais com a disponibilização de documentos certificados, a integração do sistema com o sistema da biblioteca e com o sistema Moodle, modificações no comprovante de matrícula, importação de documentos em planilhas do Excel, entre outras. As críticas à Usabilidade do sistema serão o alicerce para as próximas modificações na interface do SIG@, pois apresentam algumas das dificuldades enfrentadas pelos usuários.

Destacamos ainda as categorias Acesso e Sessão. As críticas relativas à primeira categoria apontaram para dificuldades no acesso ao SIG@ devido a problemas com a recuperação da senha, compatibilidade do SIG@ com diferentes versões dos navegadores, tempo de expiração das senhas, entre outros. Os dados relativos à categoria Sessão apontaram para dificuldades dos usuários, sejam eles discentes, docentes, técnicos ou outros perfis funcionais, com o tempo de expiração da sessão tido como curto.

19 de 22 A Tabela 7 mostra a distribuição de respostas para todas as instituições por perfil funcional. Para os discentes, docentes, técnicos-administrativos e outros, a categoria mais criticada foi a de Desempenho.

Tabela 7. Números de críticas por perfil funcional do usuário.

3.3.2. Categorias de Ação

Para direcionar as atividades do NTI frente aos resultados encontrados, foram definidas três categorias de ação: Aprofundar análise, Comunicar e Repassar para cliente. Apenas 2 sugestões não puderam ser classificadas por falta de clareza do texto.

As sugestões classificadas em Aprofundar Análise exigem uma análise minuciosa sobre a sua viabilidade e nível de impacto para os usuários. Essa análise será feita pela equipe técnica e gestora do NTI. A segunda categoria de ação, Comunicar, diz respeito à criação de mecanismos de divulgação de informações que podem facilitar a utilização do sistema por parte do usuário, em especial por meio do FAQ (Lista de Perguntas Frequentes) do SIG@. Sugestões nessa categoria já se encontram atendidas, mas pode ser que o usuário não esteja encontrando a funcionalidade ou sugestão no sistema. Por último, citamos a categoria de ação Repassar para cliente. Nesse caso, o cliente precisa determinar se a sugestão deve ser inserida no sistema e qual a prioridade em relação a outras demandas. O cliente é o responsável pelo módulo do sistema na instituição.

20 de 22 Na Tabela 8, estão os números de ações para as sugestões por instituiçao. Os dados gerais apontam que mais de 50% das sugestões precisa ter sua viabilidade técnica analisada pelo NTI. Em torno de 25% das sugestões serão repassadas aos clientes responsáveis para que tomem conhecimento e avaliem a pertinência; e 23% das respostas apresentam dados ou dúvidas que precisam ser esclarecidas aos usuários por meio de um FAQ, manuais ou informativos. O número total de ações (766) é diferente do número total de sugestões (787) pois algumas sugestões foram classificadas em mais de uma categoria e/ou em mais de uma ação.

Tabela 8. Números de ações para as sugestões por instituição.

Na Tabela 9, pode ser visto que os dados gerais apontam que 70% das críticas precisam passar por uma análise mais aprofundada para que seja avaliada a viabilidade de melhorias. Já as categorias de ação de Comunicar e Repassar para cliente representam, cada uma delas, 15% das respostas dadas. O número total de ações (1176) é diferente do número total de críticas (1345) pois algumas críticas foram classificadas em mais de uma categoria e/ou em mais de uma ação.

21 de 22

4. Conclusões

Os resultados obtidos com as respostas objetivas da I Pesquisa de Satisfação do SIG@ apontam que, de modo geral, os usuários estão satisfeitos com a usabilidade do sistema. Nos resultados referentes aos dados de todas as instituições, bem como aos dados referentes apenas à UFPE, a maioria dos usuários concordou total ou parcialmente com as afirmativas, indicando:

a. Sentir facilidade ao utilizar o sistema

i. Todas instituições = 78% (4.553) e UFPE = 78% (2.715); b. Que o sistema responde rapidamente aos comandos;

i. Todas instituições = 68% (3.963) e UFPE = 70% (2.410); c. Que há clareza das informações expostas no sistema;

i. Todas instituições =70% (4.098) e UFPE = 71% (2.422);

d. Que as mensagens de erro do sistema informam claramente o erro cometido; i. Todas instituições = 56% (3.230) e UFPE = 54% (1.861);

e. Que o sistema se mantem disponível;

i. Todas instituições = 58% (3.394) e UFPE = 59% (2.045); f. Que há segurança dos dados acessados;

i. Todas instituições = 85% (4.931) e UFPE = 86% (2.953).

As respostas dos usuários para os campos abertos permitiu que a equipe do NTI tomasse conhecimento dos aspectos positivos do sistema (899 elogios) bem como coletasse sugestões (787) e críticas (1345) essenciais para o processo de contínua melhoria do SIG@. Além de reforçar algumas das constatações oriundas das respostas objetivas (como, por exemplo, insatisfações com a disponibilidade e o desempenho do sistema), os dados subjetivos ajudaram a ilustrar os dados objetivos e permitiram o conhecimento de outros aspectos não contemplados nas perguntas objetivas, tais como insatisfações com a compatibilidade dos navegadores, com funcionalidades do sistema, formas de recuperação de senha, Webmail, entre outros aspectos.

Para facilitar o atendimento das solicitações dos usuários, foi feita a unificação das sugestões e críticas com teor semelhante. Deste mapeamento, foi possível agrupá-las em 374 solicitações. Estas estão sendo registradas na ferramenta de gerenciamento de atividades do NTI, de acordo com seu grau de prioridade e complexidade. A tabela abaixo (Tabela 10) apresenta as 374 sugestões/críticas distribuídas entre as categorias de análise e de ação, descritas na seção 3.3.2.

22 de 22 Tabela 10. Números de sugestões/críticas por categorias de ação

Os usuários serão notificados sobre as ações realizadas através dos emails enviados pela ASCOM da UFPE e através da área de notícias da tela de login do SIG@.

Para 2013, foram planejadas duas pesquisas de satisfação do usuário. No entanto, como foi alto o número de sugestões e críticas para serem analisadas e implantadas, o NTI avaliará a viabilidade de realizar uma segunda pesquisa em 2013. Caso não seja viável, a próxima pesquisa de satisfação será em fevereiro de 2014. Com base nas respostas fechadas e nos 374 itens, o NTI deve estabelecer metas a serem alcançadas na próxima pesquisa de satisfação do usuário.

1 de 2

RESUMO DO RELATÓRIO DA I PESQUISA DE

SATISFAÇÃO DO USUÁRIO DO SIG@

Período de Coleta

20/02/2013 e 05/04/2013 (45 dias corridos)

1 mês e 1 semana após da liberação da interface 3.0 do SIG@

Público-alvo Discentes, docentes e técnicos-administrativos (com diferentes perfis funcionais)

Instituições UFPE, UFRPE, UNIVASF, UPE e AEDA

Instrumento Questionário no Google Forms acessível através de um link na saída do SIG@

Dados 5.827 questionários respondidos

Percentuais de concordância total ou parcial com as 6 afirmações avaliadas: 1. “Sinto facilidade ao utilizar o sistema.”

○ Todas instituições = 78% (4.553) e UFPE = 78% (2.715).

2. “O sistema responde rapidamente aos meus comandos (clicar em links, botões, opções de menu, etc).”

○ Todas instituições = 68% (3.963) e UFPE = 70% (2.410).

3. “As informações do sistema estão expostas de forma clara e compreensível.” ○ Todas instituições = 70% (4.098) e UFPE = 71% (2.422).

4. “As mensagens de erro informam claramente qual o erro cometido e o que fazer para corrigi-lo.”

○ Todas instituições = 56% (3.230) e UFPE = 54% (1.861). 5. “O sistema está disponível quando tento utilizá-lo.”

○ Todas instituições = 58% (3.394) e UFPE = 59% (2.045).

6. “Sinto segurança ao utilizar o sistema (meus dados são acessados apenas por pessoas autorizadas).”

2 de 2 374 sugestões e críticas para a tomada de ações por parte do NTI e dos clientes dos módulos do sistema. Na Tabela 1, podem ser vistas as sugestões e críticas distribuídas entre as categorias de ação Aprofundar análise (viabilidade e nível de impacto), Comunicar (divulgação de informações importantes ao usuário) e Repassar para cliente (repasse de sugestões para responsáveis de módulos).

Tabela 1. Números de sugestões/críticas por categorias de ação

Os usuários serão notificados sobre as ações através dos emails enviados pela ASCOM da UFPE e através da área de notícias da tela de login do SIG@.