Desenvolvimento de Instrumentos

Esta etapa envolveu o desenvolvimento de um questionário, a seleção de receitas, criação de um material auxiliar das instruções (inglês-português) e a definição do protocolo a ser seguido durante a condução dos exercícios/testes, concomitantemente.

4.4.1 Questionário

Influenciado pelo tamanho da amostra (N=40), foi definido que um questionário seria utilizado como instrumento de coleta de dados, neste caso, as opiniões derivadas da experiência de uso do aplicativo e leitura das instruções. O desenvolvimento deste questionário foi auxiliado e guiado pela experiência derivada do primeiro estudo, indicando qualidades associadas aos aplicativos, apontando questões de interesse que necessitariam de atenção e investigação mais detalhada.

A ideia por trás do questionário foi de criar um instrumento ou plataforma para os participantes relatarem e avaliarem de forma direcionada (respostas de múltipla escolha e escala likert) e livre (respostas abertas), as percepções decorrentes da experiência com o software. Existiu o intuito de coletar dados qualitativos, assim como quantitativos, e - de forma estratégica - as abertas antecederam as fechadas que poderiam induzir as respostas.

Na sessão de resultados, cada uma das perguntas contidas no questionário será apresentada acompanhada pelo texto usado na sua formulação, as opções de resposta, breve descrição do objetivo e intuito por trás da questão, e seguido pelos resultados decorrentes da análise dos dados gerados pela pergunta.

Nesta sessão o conteúdo do questionário será apresentado de forma resumida, com isso, através do preenchimento do questionário, era pedido aos participantes:

§ Avaliar a sensação geral decorrente do aplicativo (estrutura e conteúdo) e da receita, a partir de atribuição de notas a diferentes qualidades (questão de múltipla escolha); § Avaliar nível de compreensão das instruções, experiência prévia com a receita ou

outros aplicativos culinários e intenção de uso futuro dos aplicativos utilizados (múltipla escolha);

§ Avaliar o grau de confiança sentido diante da situação (retórica) de realizar o procedimento apresentado nas instruções (múltipla escolha) e justificar o motivo do grau relatado (questão aberta);

§ Indicar quais modos de visualização foram utilizados, bem como, quais foram os preferidos (múltipla escolha);

§ Relatar pontos percebidos como positivos e negativos durante a interação, utilizando suas próprias palavras (respostas abertas);

§ Atribuir grau de importância a uma série de pontos - citados pelos avaliadores do estudo 1 – (múltipla escolha) e eleger entre os itens listados quais seriam essenciais (sublinhar itens).

O questionário foi fornecido em forma impressa devido à previsão de que os participantes sentiriam a necessidade de revisitar o aplicativo para responder as perguntas, com isso manuseando o tablet ao preencher o questionário, e podendo causar problemas de manejo caso fosse disponibilizado em formato digital (computador ou tablet). A escolha pela mídia impressa também foi reforçada devido à inclusão de perguntas abertas, e alguns participantes poderiam ter dificuldades com a escrita em tablets.

4.4.2 Instruções Culinárias (Receitas)

A escolha das instruções que seriam utilizadas no estudo foi guiada por diferentes critérios que visavam reduzir influências indesejadas, bem como promover desafios. Visto que os sujeitos apenas iriam utilizar um dos aplicativos, a receita que seria lida no aplicativo do Jamie, deveria ser semelhante à receita lida no Culinapp, tanto no tipo de receita quanto no nível de dificuldade do procedimento. Esta similaridade seria necessária para prevenir que as avaliações decorrentes da interação com o aplicativo (tanto a avaliação das instruções quanto a avaliação da confiança sentida em preparar o prato) não fossem influenciadas por diferenças gritantes entre os procedimentos.

Observações realizadas durante o primeiro estudo também indicaram questões que deveriam ser consideradas no processo de escolha das receitas:

§ Culturalmente sensíveis - Receitas que utilizassem equipamentos comuns e ingredientes locais; porque uma receita que inclui elementos de difícil acesso ou

incomuns à realidade do participante poderiam influenciar negativamente ou impedi-los de se imaginar realizando-a.

§ “From-scratch” - Receitas que começassem “do zero” e não utilizassem diversos ingredientes pré prontos que simplificassem demais as etapas do procedimento (massa folhada pronta, torta pronta, etc).

§ Envolver técnicas - Receitas que apresentassem, além da mistura de ingredientes, algumas técnicas culinárias básicas, para promover - em algum nível - um desafio aos sujeitos.

Uma vez que o aplicativo do Jamie ofertava uma grande variedade de receitas (doces, salgados, petiscos, pratos principais) e o Culinapp (Baking with Dorie) possuía uma restrição no tipo (apenas sobremesas) e na quantidade (limitada) das receitas, foi necessário buscar no Jamie uma receita que se alinhasse a alguma das disponíveis no Culinapp, tanto no tipo de prato, ingredientes e equipamentos utilizados e grau de dificuldade.

A tabela 5 apresenta uma visão geral das instruções eleitas e utilizadas neste estudo, as receitas foram escolhidas porque ambas ensinam como preparar sobremesas, as etapas de preparo são bastante similares, assim como a quantidade de passos, equipamentos e ingredientes utilizados e técnicas culinárias envolvidas. A similaridade dos passos indica que ambas as receitas possuem níveis equivalentes de dificuldade de preparo.

Tabela 5 - Resumo das receitas/instruções utilizadas no Estudo 2.

App Jamie Oliver Recipes Culinapp - Baking with Dorie

Receita Fruity Essex Buns Rugelach

Descrição Pão doce recheado. Croissant doce recheado.

Passos

§ Preparar os ingredientes

§ Misturar ingredientes até formar massa § Abrir e rechear a massa

§ Enrolar e cortar a massa em pedaços § Finalizar e assar

§ Preparar os ingredientes

§ Misturar ingredientes até formar massa § Abrir e rechear a massa

§ Cortar e enrolar a massa em pedaços § Finalizar e assar

A escolha por receitas de doces (envolvendo preparação e cozimento de uma massa) foi influenciada por uma observação ocorrida durante a análise das respostas coletadas através do questionário online: mais da metade da amostra (N=40) nunca havia preparado um bolo (N=23, 58%), a maioria apenas o fazia uma vez no mês (N=15, 37%), e o restante da amostra uma vez na semana (N=2, 5%). Os dados evidenciam uma falta de intimidade no preparo de bolos, indicando que a escolha por instruções de receitas similares potencialmente seria pouco familiares para a maioria dos sujeitos, e este fator de tarefa desconhecida, de presumível obstáculo, seria benéfico e desejado neste estudo.

Além disso, reforçando ainda mais o intuito de apresentar um procedimento desafiador, as receitas escolhidas apresentam um nível mais elevado de dificuldade, ou seja, envolvem ações além da simples mistura de ingredientes.

4.4.3 Material Auxiliar

Apesar de dificuldades decorrentes do idioma do software (inglês) terem sido relatadas apenas por uma pessoa durante o estudo piloto, os comentários deste avaliador (A1) foram recorrentes e fortes, deixando claro como a experiência pode ser afetada pela interferência da incompreensão da própria instrução (escrita e falada). Para tentar garantir um bom nível de entendimento dos textos e minimizar influências indesejadas, além das precauções voltadas à escolha de participantes habituados à língua inglesa, foram desenvolvidos documentos para auxiliar a compreensão dos textos, contendo: um glossário das palavras consideradas mais difíceis e também instruções traduzidas no layout original de cada aplicativo (ver Anexo 4).

Esperava-se que o glossário fosse o bastante para suprir potenciais dúvidas, mas como garantia, as instruções foram recriadas a partir de print-screens das telas - garantindo mesma composição/fundo - e o texto em português na mesma fonte, tamanho e cor do original. O esforço em recriar as telas foi justificado pela crença de que ao fornecer o texto da receita traduzido em formatação padrão, poderia desestimular os participantes em realizar a leitura interagindo com o aplicativo e apenas ler o texto traduzido.

Este material - encadernado em espiral – era fornecido antes do início de cada interação para consulta em caso de dificuldades de compreensão durante o exercício. Visando desmotivar uma possível dependência de uso constante deste material, a pesquisadora reforçou que eles não deveriam se preocupar em entender cada palavra, que o importante seria

uma compreensão mais geral do procedimento e que o questionário não faria perguntas relativas à receita, apenas das impressões relativas ao uso do software.