Nesta Seção, são discutidas as etapas de planejamento e elaboração dos ensaios de usabilidade a serem realizados para avaliação do sistema ICC pervasivo para o controle de dispositivos multimídia. O planejamento e a elaboração do teste foram realizados de acordo com o protocolo experimental desenvolvido no LIHM e discutido na Seção 3.9. Após a classificação do sistema quanto a fase de desenvolvimento em que ele se encontra, sua natureza e a natureza do teste, usou-se o guia para aplicação do protocolo para seleção de quais itens deveriam constar nos artefatos a serem gerados para a aplicação da avaliação. Os artefatos gerados incluem o plano geral do ensaio de avaliação, o plano de avaliação com usuário, o plano de coleta de dados, o roteiro de tarefa de testes, a ficha de observação, questionário pré-teste, questionário pós-teste, ficha de cadastro e o termo de aceitação das condições de realização do teste. Todos os artefatos podem ser encontrados no Apêndice A.
Nos ensaios de usabilidade para a avaliação do sistema desenvolvido no contexto deste tra- balho, tem-se o objetivo de detectar os fatores que colaboram para elevar o nível de dificuldade no uso do sistema, a ocorrência de erros, insatisfação e desconforto do usuário, avaliar a usabil- idade e a mobilidade do sistema. O levantamento dessas informações deve ser feito a partir da observação da interação entre o usuário e o sistema. O tempo disponível para realização dos testes é de sete semanas e os recursos disponíveis são os encontrados no Laboratório LIHM, além de um notebook, câmeras portáteis, microfone de lapela, equipamento de EEG, dispos- itivo móvel N810 e aplicação multimídia ICC pervasiva. A partir da realização dos testes, espera-se obter como resultados a identificação do nível de dificuldade e satisfação do usuário no uso do sistema. Além disso, espera-se identificar as falhas, os problemas de usabilidade e receber sugestões de melhorias para o software e verificar a mobilidade do hardware.
O sistema ICC pervasivo para o controle de dispositivos multimídia habilita usuários porta- dores de deficiência motora severa a interagir com dispositivos multimídia que estejam inseri- dos em seus ambientes. O controle dos dispositivos é realizado através da atividade cerebral do usuário. Esse sistema consiste de um equipamento de EEG para aquisição e parte do processa- mento dos sinais cerebrais e um dispositivo móvel responsável pela classificação dos sinais, exe- cução do arcabouço de software, acesso aos dispositivos multimídia, personalização de serviços de acordo com o perfil do usuário e execução de aplicação multimídia. No uso do sistema, os eletrodos do equipamento de EEG são colocados no escalpo (couro cabeludo) do usuário para monitoramento de seus sinais cerebrais. O usuário deve realizar tarefas pré-definidas para gerar um determinado estado cerebral que é usado para controlar dispositivos multimídia, ou seja, as intenções do usuário são traduzidas em sinais de comando para os dispositivos. Esse sistema pode ser usado em qualquer lugar e a qualquer hora onde exista uma rede local ou internet. Para que um usuário possa operá-lo é necessária a realização de uma etapa de treinamento. Uma
discussão sobre o treinamento realizado com os usuários é apresentada na Seção 4.3.
Após receber o treinamento necessário para aprender como interagir com o sistema, o usuário deve desempenhar tarefas de manipulação de conteúdo multimídia com arquivos de música, a partir de seus sinais cerebrais, que são enviados ao dispositivo móvel que contém o software responsável pela classificação e tradução desses sinais em sinais de comando para o dispositivo de mídia. Essas tarefas são realizadas individualmente pelo usuário do sistema e para que elas possam ser desempenhadas com sucesso é necessário que um dispositivo móvel esteja conectado a rede local ou internet, para que seja feita uma busca por dispositivos multi- mídia.
Os participantes dos ensaios como usuários, devem ser trinta pessoas saudáveis para os testes realizados em laboratório e dez pessoas portadoras de deficiência motora severa para os testes feitos em campo. Não é desejada a realização de testes com pessoas portadoras de deficiência motora leve, que possuem o movimento dos braços. Todos os usuários devem ser inexperientes no uso do sistema. No recrutamento dos usuários, os meios de contato a serem usados são telefone e email. Os usuários a serem recrutados devem possuir o perfil descrito anteriormente e devem ser informados que o propósito do ensaio é a avaliação da usabilidade de um produto para controle de dispositivos multimídia através da atividade cerebral por usuários portadores de deficiência motora severa. O contato com o usuários selecionados dever ser feito por telefone ou email.
O objetivo geral da avaliação é investigar o processo interativo de usuários com o sistema a fim de observar quais são os aspectos que mais dificultam o uso do sistema. A avaliação possui natureza qualitativa, quantitativa, objetiva, subjetiva e somativa. A análise qualitativa a ser realizada é baseada na observação do usuário, na aplicação de um questionário pós-teste e na realização de uma entrevista ao fim do ensaio. A linguagem corporal e a verbalização durante a realização de uma tarefa são umas das reações do usuário a serem observadas durante a realização do teste. O questionário a ser aplicado após o teste aborda questões a respeito da usabilidade do sistema. A entrevista a ser realizada ao fim do ensaio deve ser contextualizada com relação ao uso do sistema pelo usuário.
A avaliação quantitativa a ser realizada é baseada em um questionário aplicado após o teste. Esse questionário aborda questões a respeito da usabilidade do sistema e suas questões contêm escalas para medir o nível de satisfação do usuário. A análise objetiva a ser realizada é baseada em aspectos contáveis a serem observados pelo avaliador, como o número de erros que o usuário cometeu durante a realização de uma tarefa, quantas tarefas o usuário conseguiu finalizar com sucesso ou quantas tarefas o usuário não conseguiu finalizar, quanto tempo o usuário gastou para realizar uma tarefa, entre outros.
A avaliação subjetiva a ser realizada aborda aspectos com relação a opinião do usuário sobre o sistema. Exemplos disso incluem o que o usuário achou do sistema, se ele achou fácil
ou difícil de usar, se ele achou o sistema atrativo, entre outros. Essa avaliação é realizada através da aplicação de questionário e entrevista. Na análise somativa a ser realizada tem-se o objetivo de identificar os problemas existentes no sistema, adequar a interface e investigar possíveis soluções para os problemas de usabilidade identificados.
O tempo estimado para realização da avaliação é de uma hora e cinquenta minutos, onde 1 hora é o tempo gasto no treinamento, vinte minutos no pré-teste, vinte minutos no teste e dez minutos no pós-teste.
Os métodos a serem usados na avaliação dos quarenta usuários são a observação direta, o perfil e a satisfação do usuário. São quarenta sessões de testes a serem realizadas, sendo trinta delas com usuários saudáveis no LIHM-UFCG e dez delas com pessoas portadoras de deficiência motora severa em campo no Instituto de Neurociências da Paraíba. Para participar do ensaio como avaliador é necessário saber manipular um equipamento de EEG.
Apesar dos ensaios de usabilidade ainda não terem sido realizados de maneira adequada como discutido nesta Seção, foram realizados alguns testes em ambiente não controlado com dois usuários para verificar o funcionamento do sistema. As tarefas realizadas pelos usuários nesses testes foram as discutidas na elaboração do material para a avaliação de usabilidade. Pode-se observar a partir destes testes, que apesar de ser um pouco penoso para o usuário o uso desse sistema, devido a necessidade de realização de um treinamento, é possível a realização do controle de dispositivos a partir das intenções do usuário.