Métodos de avaliação de interface da Engenharia Semiótica

Para avaliar a qualidade da comunicação entre o usuário e o projetista, a Engenharia Semiótica foca na avaliação da propriedade de comunicabilidade do sistema. Os métodos de avaliação desta abordagem buscam compreender e analisar a capacidade da interface transmitir aos usuários as decisões e princípios que nortearam o design do sistema, como explicam Prates, Souza e Barbosa (2000), e também para avaliar como a mensagem está sendo comunicada e compreendida pelo usuário.

Segundo De Souza et al. (2010), um dos métodos propostos para avaliar a comunicabilidade é o Método de Inspeção Semiótica (MIS). Para isso o avaliador precisa ter conhecimento sobre IHC e Engenharia Semiótica para inspecionar o sistema com o objetivo de identificar as potenciais rupturas de comunicação na emissão da metamensagem projetista-usuário.

Assim como os outros métodos de avaliação, o MIS requer uma preparação inicial que precede a aplicação dos demais passos. Na preparação, o avaliador define os objetivos e o escopo da inspeção. Esta definição pode levar em consideração partes do sistema a ser avaliado que representem as principais funções que os usuários terão que executar ou ainda partes que a equipe de design defina como relevante. Em seguida, o

avaliador faz uma inspeção informal, com o objetivo de identificar quem são os principais usuários e as principais tarefas que estes podem realizar no sistema. Para executar esta inspeção, o avaliador recorre a informações como website, sistema de ajuda, dentre outros. Uma vez identificados os usuários e as principais tarefas que estes usuários podem realizar no sistema, o avaliador elabora os cenários de inspeção necessários para a análise da comunicabilidade. Finalizada a etapa de preparação, inicia-se a aplicação dos demais passos do MIS (OLIVEIRA, 2010, p. 33).

De acordo com Prates e Barbosa (2007), o Método de Inspeção Semiótica inspeciona a interface através de 05 etapas:

• Passo 1 – Inspeção dos signos de metacomunicação presentes na documentação e sistema de ajuda: com base no cenário, o avaliador inspeciona os signos metalinguísticos referentes ao escopo da avaliação e recria a metamensagem transmitida para os usuários através desses signos.

• Passo 2 – Inspeção dos signos estáticos: neste passo o avaliador inspeciona os signos estáticos da interface e novamente reconstrói a metamensagem designer-usuário baseando apenas nestes signos.

• Passo 3 – Inspeção dos signos dinâmicos: neste passo, o avaliador faz a reconstrução da metamensagem a partir da inspeção dos signos dinâmicos da interface.

• Passo 4 – Consolidação e contraste das mensagens de metacomunicação: analisando os diferentes tipos de signos dos passos 1, 2 e 3, o avaliador identifica potenciais rupturas e explora a possibilidade do usuário atribuir significados contraditórios aos signos que constituem as mensagens do projetista.

• Passo 5 – Apreciação da qualidade da metacomunicação: o avaliador apresenta a metamensagem completa do sistema e produz um relatório contendo a apreciação final discutindo os problemas de comunicabilidade encontrados na interface avaliada.

Neste método de inspeção, o avaliador fala em nome do usuário. Por isso, ele precisa conhecer a intenção e o contexto do usuário para definir caminhos plausíveis de interpretação e identificar problemas de comunicabilidade que ele poderia vivenciar durante a interação. Para aplicar o MIS não é necessário mais de um avaliador, já que todos os possíveis caminhos interpretativos são plausíveis. No entanto, a análise por mais de um avaliador permite que se identifique a repetição de interpretações e se enriqueça o relatório com visões distintas (PRATES; BARBOSA, 2007, p. 16).

Embora a aplicação científica do MIS não seja o foco do trabalho, vale ressaltar que esta aplicação consistiria em mais um passo, além dos mencionados. No contexto da pesquisa, a finalidade do MIS científico não é apenas identificar problemas na interação, mas também gerar novos conhecimentos e tratar de questões de interesse científico. De acordo com De Souza et al. (2010), a aplicação científica do MIS inclui todas as etapas da aplicação técnica, além de acrescentar também na fase da preparação, a questão científica a ser explorada e após a obtenção dos resultados, incluir a etapa da triangulação que tem por objetivo validar os resultados através da comparação dos dados obtidos.

Segundo Prates e Barbosa (2007), há outro método de avaliação baseado na Engenharia Semiótica diferente do MIS, denominado Método de Avaliação da Comunicabilidade (MAC). Este método que envolve a participação dos usuários em um ambiente controlado no qual um especialista acompanha e posteriormente analisa a interação do usuário com o sistema. A principal diferença do ponto de vista teórico entre o MIS e o MAC é que enquanto o MIS foca em como a mensagem é enviada pelo projetista através da interface, o MAC enfatiza em como esta mensagem está sendo recebida e entendida pelo usuário.

A partir do MAC torna-se possível identificar os problemas de comunicabilidade a partir da recepção e entendimento da metamensagem do designer diretamente pelo usuário. Conforme Capelão et al. (2011), estes usuários, a partir de um perfil pré-definido, são convidados a executar tarefas contextualizadas em cenários e pré-determinadas pelo avaliador, utilizando o sistema a ser avaliado. A partir da identificação e análise das rupturas de comunicação encontradas, podem-se sugerir melhorias que aumentem a qualidade da comunicação.

O MAC é realizado por meio de 03 etapas, apresentam De Souza (2005); Prates e Barbosa (2007):

• Etapa 1: preparação do teste - envolve a determinação dos objetivos do teste, seleção das tarefas para teste, seleção dos participantes, considerações sobre aspectos éticos, geração do material impresso para uso durante a avaliação, execução do teste piloto.

• Etapa 2: coleta de dados – deve ser feita em um ambiente controlado, para que o avaliador acompanhe a interação dos usuários com o sistema e faça as anotações necessárias. O avaliador repassa as tarefas que foram planejadas para avaliação do sistema para serem executadas pelo participante. Toda a interação do usuário com o sistema será gravada para análise posterior contempla a execução e a gravação das tarefas pelos participantes, as anotações durante o teste e a entrevista pós-teste.

• Etapa 3: análise dos dados - é composta de três passos: etiquetagem, interpretação e geração do perfil semiótico. Na etiquetagem, as gravações das interações são analisadas, identificando-se rupturas de comunicação às quais são associadas às respectivas etiquetas. As etiquetas são formas de expressar às rupturas de comunicação a partir da reação dos usuários durante o uso do sistema. Na etiquetagem são colocadas as seguintes expressões: Cadê?, O que é isto?, Epa!, Assim não dá, E agora?, Onde estou?, Por que não funciona?, Vai de outro jeito, Ué, o que houve?, Não, obrigado, Socorro!, Para mim está bom, Desisto. Na etapa de interpretação, a partir da etiquetagem, as classes de problemas de comunicação são identificadas e analisadas. Em seguida, segue- se para a geração do perfil semiótico, em que é feita a reconstrução da metamensagem do projetista ao usuário, apontando os problemas encontrados, mensagens que podem estar em contradição, ou até mesmo mensagens não intencionais.

Além do método de avaliação MIS e MAC, em 2010, foi desenvolvido na pesquisa de Oliveira (2010) um novo método baseado também na Teoria da Engenharia Semiótica denominado Método de Inspeção Semiótica Intermediado (MISI). O MISI também tem como foco avaliar a capacidade de um sistema transmitir ao usuário os princípios de interação e decisões que o guiaram, isto é, a qualidade de comunicabilidade.

Para obter a análise, de acordo com Oliveira, Luz e Prates (2008), o MISI combina passos do MIS, para definir o roteiro da interação, com alguns passos do Método de Explicitação de Discurso Subjacente (MEDS), segundo Nicolaci-da Costa, Leitão e Romão-Dias (2004), que é um método de entrevista semiestruturado. Por ser baseado no MIS e no MEDS, ambos são métodos qualitativos e interpretativos, o MISI também é qualitativo e interpretativo.

O MEDS é um método qualitativo de pesquisa originalmente utilizado nas ciências humanas e sociais. Em IHC, o seu principal objetivo é tornar visível às preferências, dificuldades, desejos, dentre outros aspectos; importantes para o desenvolvimento de sistemas interativos. Assim, sua maior utilidade para a área de IHC é a possibilidade de captar o que não é perceptível por outros métodos. O MEDS prevê um roteiro semiestruturado de perguntas abertas, ou seja, não é necessário ter perguntas prontas, mas sim um roteiro, para garantir que os mesmos pontos serão explorados com todos os entrevistados. O avaliador pode aprofundar mais ou menos, de acordo com o que é dito pelo entrevistado, explica Oliveira (2010).

Oliveira (2010) recomenda que a inspeção através do MISI conte com, no mínimo, três participantes para garantir uma análise aprofundada na visão de diferentes

participantes, sobre um mesmo sistema. Mesmo que os participantes possuam perfis similares, cada um deles tem uma maneira distinta de realizar suas atividades e podem ter uma visão diferente sobre um determinado sistema. Assim, essas visões distintas enriquecem a qualidade da inspeção.

As etapas do MISI são dividas em 04 etapas, segundo Oliveira (2010):

• Etapa de Preparação – que consiste em delinear delimitar a parte do sistema a ser inspecionada e os cenários a serem considerados, os objetivos da entrevista e recrutar os participantes, visando à homogeneidade entre eles. Em seguida, deve-se elaborar todo o material a ser utilizado durante a inspeção do sistema, que inclui tanto os passos da interação, quanto o roteiro da entrevista com as perguntas abertas.

• Etapa de Coleta dos Dados – é recomendado que se grave o áudio das entrevistas e o vídeo da interação para garantir a veracidade do que foi dito pelo entrevistado.

• Etapa de Preparação para Análise dos Dados - consiste na transcrição de todas as entrevistas. Deve-se ter o cuidado de incluir na transcrição pausas mais longas na fala ou hesitação, e também referências dêiticas ao sistema (e.g. apontou para determinado elemento do sistema).

• Etapa de Análise de Dados - a análise da transcrição deve ser feitas em duas etapas. A primeira etapa consiste em analisar cada entrevista separadamente (intra-sujeito) e identificar os pontos de maior importância por entrevistado. Na segunda etapa a análise é feita com os dados de todos os entrevistados (inter- sujeito), com o objetivo de encontrar pontos em comum entre eles. Assim, esta análise tem dois focos (1) identificação das categorias relevantes ao uso do sistema pelos participantes e (2) a metamensagem com base na sua visão. • Etapa da Interpretação dos Resultados – a partir da análise feita no passo

anterior, o avaliador faz a interpretação dos dados, identificando qual a visão que o usuário teve da metamensagem do projetista, e problemas identificados nesta metamensagem. Além disso, faz-se uma análise das categorias que surgiram e da caracterização da solução proposta do projetista de acordo com elas.

As diversas áreas de conhecimento e contextos possuem perspectivas distintas sobre a interação entre pessoas e sistemas, com diferentes experiências, estratégias de solução e conhecimentos estabelecidos. Cada área analisa os sistemas interativos de acordo com critérios particulares, assumindo diferentes graus de importância, de acordo com Barbosa e Silva (2010).

No próximo tópico será apresentada a discussão de autores sobre a integração e adaptação da Interação Humano-Computador com o campo de Recuperação da Informação e Comportamento de Busca da Informação em SRIs.