De acordo com o objetivo deste trabalho de elencar os pontos principais das técnicas qualitativas Focus Group e Entrevista Situada, quando a intenção é a compreensão da experiência do usuário na fase de exploração de problemas, e apontar hipóteses de diretrizes que guiarão profissionais e pesquisadores, foram escolhidas para fins de aplicação a técnica Focus Group e a técnica etnográfica de Entrevista Situada com ambas sendo utilizadas considerando a fase de exploração de problemas, no início do processo de Design.
O presente capítulo descreverá a metodologia planejada para o experimento e o capítulo 5, considerações do experimento, descreverá como realmente aconteceram as práticas e os percalços ocorridos.
Para a validação do experimento, o presente trabalho utilizou como metodologia a metodologia de pesquisa qualitativa com fins exploratórios (LAKATOS; MARCONI, 2003/1985), entendendo que seriam aplicados experimentos realizados a partir de estudos piloto, que seriam aprimorados ou não de acordo com os resultados.
A técnica Focus Group foi abordada através de uma orientação social construtivista, por uma perspectiva tradicional e não necessariamente etnográfica, que a traz com base em uma característica exploratória a partir de opiniões conjuntas por um conhecimento social compartilhado (GERGEN, 1985; KAMBERELIS; DIMITRIADIS, 2011; WILKINSON, 1998).
Em relação à técnica de entrevista situada, que foi utilizada no projeto Konkari, realizado entre 2004 e 2006 na Universidade de Artes e Design em Helsinki (SALU YLIRISKU & JACOB BUUR, 2007), ela foi utilizada também através de uma perspectiva construtivista/interpretativa e etnográfica.
O planejado foi que as técnicas seriam aplicadas em um experimento estruturado em cinco fases, descritas abaixo e apresentadas na figura 17:
• a primeira, a aplicação de estudos piloto das técnicas Focus Group e Entrevista Situada, que contaria com coleta e análise de dados, seria utilizada de forma a validar e aprimorar o experimento;
• a segunda, o experimento principal, traz a aplicação dos workshops, aprimorado a partir das conclusões dos estudos piloto e aplicado através de
60
workshops, cuja coleta de dados seria utilizada nas considerações deste trabalho;
• a terceira, a compilação dos dados, na qual os dados seriam transcritos e descritos de forma a garantir uma análise de dados estruturada e passível de viés;
• a quarta, a análise e interpretação, que utilizaria de uma análise qualitativa e interpretação também objetivando apresentar as conclusões de pesquisa de forma estruturada; e
• a quinta, considerações finais que apresentaria um resumo de hipóteses do que seriam boas práticas para a aplicação da técnica.
Figura 17. Fases da Metodologia Fonte: Elaborado pela autora 4.1 DETALHAMENTO DA METODOLOGIA
Devido à complexidade do presente estudo e para facilitar a compreensão de todo o processo, a metodologia supracitada será detalhada a seguir, a partir da descrição de cada fase junto ao diagrama correspondente, apresentado na figura 18.
• A primeira fase, caracterizada pela aplicação de vários estudos piloto, sendo no total de três, considerando também que as duas técnicas seriam testadas. Vale destacar que cada estudo piloto possuía sua coleta de dados e análise. • Na segunda fase, o experimento principal, seriam realizados os procedimentos
específicos para recolher os dados, com base no protocolo do experimento, e serão aplicados os workshops de cada técnica. Deve-se entender que, por se tratar de workshops realizados com diferentes pessoas em diferentes locais, sendo também um estudo exploratório qualitativo, nessa fase, sempre há
61
alterações e alguma interferência do pesquisador (GOLDENBERG, 2004, p. 13/14).
• A terceira fase traria a compilação dos dados gerados nos workshops. Assim, os dados gerados pela observação, entrevistas semiestruturadas em grupo e textos enviados pelos participantes na coleta de dados seriam documentados através de gravação em áudio e, no caso do workshop da Entrevista Situada, em vídeo. Durante a documentação, seria realizada a transcrição de cada workshop, de forma a entender todas as aplicações e, após a transcrição, os dados seriam codificados em temas e subtemas, através da ferramenta MaxQDA, para garantir uma análise estruturada e visualizar as ocorrências de cada tema, ou subtema.
• Na quarta fase, denominada análise e interpretação dos dados, seria realizada a análise qualitativa dos dados e a análise dos questionários individuais. Para a análise qualitativa, seria utilizada de análise de conteúdo (Bardin), através das técnicas de análise temática, análise sequencial, análise da enunciação, seguida pela análise das relações.
• A fase 5 consistiria nas considerações, através de hipóteses e descrevendo princípios e diretrizes com o objetivo de guiar designers e pesquisadores de design, na aplicação de técnicas qualitativas de entrevistas.
62
Figura 18. Detalhamento da metodologia Fonte: Elaborado pela autora
De forma a descrever como cada uma dessas fases seria aplicada, as próximas seções trarão descrições sobre os estudos piloto e os aprimoramentos realizados, o protocolo definido para o experimento e a forma de transcrição, análise e interpretação dos dados.
63
Estudos piloto
Segundo ZACCARON; RAFAEL AND D’ELY; RAQUEL AND XHAFAJ (2018), a realização de um projeto piloto para estudos experimentais ou quase-experimentais é fundamental para o aprimoramento dos mesmos, pois esse tipo de pesquisa evidencia pontos, uma vez que, constatadas as falhas, reformula-se o instrumento, desdobrando ou alterando itens (LAKATOS; MARCONI, 2003/1985).
Os estudos piloto realizados no presente trabalho totalizaram três aplicações que foram analisadas e, de acordo com os resultados encontrados, foram aprimorados para o estudo piloto seguinte.
Cada estudo piloto foi aprimorado de acordo com as melhorias sugeridas nas conclusões de cada experimento, individualmente. Por exemplo, de acordo com as melhorias sugeridas no primeiro estudo piloto, foi criado o protocolo do segundo estudo piloto. Após as conclusões do segundo estudo piloto, foi pensado o terceiro estudo piloto e, por fim, após as conclusões do terceiro estudo piloto, foi elaborado o protocolo do experimento principal.
O primeiro estudo piloto consistiu em uma aplicação da Técnica Entrevista Situada com dois participantes sem experiência prévia. No segundo, foi executada a técnica
Focus Group com três participantes, também não designers e sem experiência com a
técnica, em uma empresa. Já o terceiro, consistiu em uma nova aplicação da técnica Entrevista Situada com dois participantes, uma estudante do mestrado de Design e outra não-designer, com experiência prévia com a técnica.
Vale ressaltar que, como se trataram de estudos pilotos, os testes foram realizados de acordo com a disponibilidade dos participantes e estrutura disponível para aplicação.
Nos tópicos a seguir, serão descritos e detalhados cada estudo piloto. Essa descrição contará com um resumo do objetivo, do cenário de aplicação, dos participantes, protocolo de aplicação, resultados e considerações para o próximo estudo piloto. A descrição completa sobre cada estudo piloto ser visualizada no Apêndice C.
64
Descrições dos Estudos Piloto
Primeiro piloto – Técnica Entrevista Situada • Considerações sobre o piloto
No piloto inicial, a meta foi testar a compreensão do vídeo, do objetivo da entrevista
situada e de como realizar uma entrevista situada, além de saber se seria fácil
assimilar o processo de aplicação de uma entrevista situada.
A seguir, serão apresentados um resumo da aplicação, descrevendo o cenário da aplicação, os participantes envolvidos e o protocolo utilizado para a prática.
• Cenário de aplicação
Como o objetivo era testar inicialmente o protocolo do experimento, sem uma maior preocupação com rigor de pesquisa, a técnica escolhida para aplicação foi a entrevista situada, devido a esta possibilitar maior facilidade por requerer somente dois participantes. Dessa forma, o estudo foi aplicado em um ambiente comum, na casa de um dos participantes que possuíam fácil acesso com a pesquisadora.
• Participantes
De acordo com o objetivo era um teste inicial do processo de aplicação da técnica, o 1º piloto da entrevista situada foi realizado com dois participantes, não designers, que também não possuíam experiência anterior com técnicas qualitativas e que estavam acessíveis para o teste piloto.
• Protocolo de aplicação
A agenda para o presente estudo foi aplicada de acordo com a disponibilidade dos participantes. Assim, devido ao curto tempo que uma das participantes possuía disponível, a programação para esse piloto seria:
• Resumo sobre técnicas qualitativas e sua relação com o Design;
• Apresentação de vídeo sobre a aplicação da técnica Entrevista Situada; • Aplicação da técnica.
65
• Conclusões e decisões
A aplicação mostrou que vários pontos precisavam ser melhorados e a necessidade de aprimorar e lapidar bastante o protocolo antes de aplicar o experimento de forma a criar um workshop estruturado para testar o uso das técnicas pelos participantes. Um ponto a se destacar foi a hipótese de que, apesar da participante entrevistadora prestar atenção ao vídeo, ela não compreendeu as instruções da entrevista que constavam no vídeo e estas só foram absorvidas após um tutorial presencial entre a participante e a facilitadora. Ela se mostrava confusa e insegura, não assimilando as instruções e precisando perguntar para a facilitadora enquanto realizava a entrevista, apesar de, após as instruções da facilitadora, conseguir realizar a entrevista situada, criando perguntas condizentes com o objetivo da entrevista e obtendo os dados necessários para um entendimento mais detalhado da jornada do usuário.
Dessa forma, algumas possibilidades para melhorar essa compreensão podem ser descritas:
• Usar vídeo para apresentar a técnica somente;
• Após a apresentação do vídeo deixar um espaço para perguntas.
Em relação a melhoria da aplicação da técnica Entrevista Situada, podem ser considerados os seguintes pontos:
• Entregar post-its, papéis e canetas para os participantes ao início do workshop; • Orientar para gravar os vídeos sempre na vertical ou na horizontal;
• Incluir na explicação os tipos de entrevistas estruturada, semiestruturada e não estruturada e deixar claro o que a entrevista situada é uma entrevista semiestruturada e que pode ser realizada com base em tópicos;
• Incluir também que em uma entrevista, o entrevistador não deve induzir o entrevistado;
• Os temas do dia a dia definidos para entrevista devem ser de conhecimento dos participantes e/ou escolhidos por eles;
• Deve-se deixar claro o objetivo da entrevista situada e que o tema deverá estar relacionado ao contexto de uso do entrevistado;
• Utilizar de um vocabulário mais compreensível do que a palavra contexto real, por exemplo: local onde a pessoa costuma realizar as atividades pesquisadas, ou local físico pesquisado.
66
Segundo piloto – Técnica Focus Group • Considerações sobre o piloto
No presente estudo, já utilizando algumas considerações geradas a partir do primeiro estudo piloto da Entrevista Situada, o objetivo foi testar a aplicação da técnica Focus
Group, entendendo como a técnica era aplicada, os resultados gerados com essa
aplicação, além de compreender as boas práticas e percalços que a técnica proporcionou. Nele também foi realizada a análise temática dessas informações, com a intenção de possibilitar aprimoramentos posteriores para a realização de um experimento estruturado, bem fundamentado e passível de vieses.
Primeiramente, procurou-se entender a compreensão de um vídeo, alterado com base na aplicação do 1º piloto da técnica entrevista situada, apresentando e descrevendo
a técnica Focus Group, incluindo o objetivo da técnica e as instruções de como realizar
um Focus Group. Verificou-se também se seria fácil assimilar a descrição da técnica e o processo de aplicação. A escolha pelo uso do vídeo na forma aqui descrita, objetivou diminuir a quantidade de viés na aplicação da técnica, já que para o experimento, a explicação do vídeo será sempre a mesma em todos os workshops. • Cenário de aplicação
Como o objetivo era testar inicialmente o protocolo do experimento para a técnica
Focus Group, foi escolhido um ambiente comum, com uma estrutura que poderia
abrigar confortavelmente mais de dois participantes. Dessa forma, o estudo foi aplicado em um escritório de uma empresa de fisioterapia.
• Participantes
Foram convidados três participantes, não designers, que também não possuíam experiência anterior com técnicas qualitativas e todos demonstraram-se bem acessíveis para o piloto. Vale ressaltar que, com o objetivo de assegurar a privacidade dos participantes, no presente trabalho, estes serão chamados de P1, para o participante o diretor da empresa; P2 para a secretária executiva e recepcionista; e P3 para um dos fisioterapeutas da empresa.
67
• Protocolo de aplicação
Em relação ao estudo piloto da técnica entrevista situada, algumas mudanças foram realizadas, acrescentando algumas considerações a fim de que a aplicação da técnica se tornasse mais estruturada e os participantes pudessem aplicar a técnica, interagindo entre si. Foi decidido pela utilização do vídeo para apresentação da técnica de forma lúdica e por um momento para sanar as dúvidas em relação ao vídeo. Assim, a agenda para esse piloto seria:
• Resumo sobre técnicas qualitativas e sua relação com o Design;
• Apresentação de vídeo conceituando e apresentando a técnica Focus Group; • Abertura de espaço para tirar dúvidas;
• Aplicação da técnica.
A análise dos dados coletados foi realizada através da análise temática, realizando também codificação e utilizando a ferramenta MAXQDA®. O áudio da aplicação da técnica foi transcrito e a transcrição lida, analisada e interpretada através de uma análise temática na qual nomearam-se códigos com os principais temas que surgiam da transcrição. Esses temas foram posteriormente interpretados e separados em pontos que funcionaram e não funcionaram para as boas práticas e percalços. Vale ressaltar que esses temas ainda são classificados como hipóteses, visto que são resultados de um estudo piloto. Recomenda-se que essas hipóteses sejam testadas em novos experimentos a fim de serem validadas ou não.
• Conclusões e decisões
O presente estudo piloto procurou entender como o Focus Group foi aplicado, os resultados gerados, além de compreender as boas práticas e percalços que a técnica proporcionou. Os dados gerados mostraram que, apesar do uso da técnica ter se realizado de maneira satisfatória, ainda havia a necessidade de aprimoramentos posteriores para possibilitar um experimento estruturado. Em relação ao vídeo, este também se mostrou satisfatório, exceto na compreensão do papel e do grau do moderador.
A análise dos dados também apresentou alguns temas que emergiram, sendo alguns enfatizados também na literatura. Vale ressaltar também a necessidade de uma amostra maior para validar os dados acima citados, pois estes se referem somente a
68
um caso de uma técnica aplicada com três participantes não designers. Assim, recomenda-se a análise dos dados de outros experimentos da mesma natureza com os aprimoramentos aqui propostos a fim de validar as hipóteses das boas práticas acima levantadas.
Em relação a melhorias para o experimento, podem ser considerados os seguintes pontos:
• Entender que em alguns momentos será necessária de intervenção da pesquisadora;
• Detalhar o papel do moderador e deixar claro que o moderador deve ter em mente que esse momento não é para pensar em soluções e sim explorar o problema;
• Orientar os participantes sobre o risco da construção do conhecimento conjunto a partir da interpretação pessoal pelo especialista do que o usuário falou sem validar com ele essa informação.
Segundo estudo piloto da Entrevista Situada (Cesar School – Designers) • Considerações sobre o piloto
O segundo estudo piloto da aplicação da Entrevista Situada, lapidado de acordo com as conclusões dos estudos piloto anteriores, foi realizado com o objetivo de aprimorar o experimento, procurando-se também entender como pessoas com alguma experiência prévia compreenderiam as técnicas, assimilariam o conceito explicado no vídeo e os resultados gerados com essa aplicação, além de visualizar as boas práticas e percalços.
A partir da análise dos dados, considerando também os estudos piloto realizados anteriormente, será desenvolvido o planejamento de um experimento envolvendo a aplicação das técnicas Focus Group e Entrevista Situada.
• Cenário de aplicação
A intenção inicial do estudo piloto era testar a aplicação de ambas as técnicas Focus
Group e Entrevista Situada na instituição Cesar School. No entanto, devido a só haver
duas participantes voluntárias para o workshop, este foi realizado aplicando somente a técnica Entrevista Situada na mesma instituição que ofereceu um ambiente propício
69
para a prática, de acordo com o planejamento, contando com salas climatizadas, projetor, quadro e sistema de som.
• Participantes
O estudo foi realizado com duas alunas, sendo uma do mestrado em design e outra com pós-graduação concluída, que utilizou de pesquisa qualitativa em sua pesquisa. Vale ressaltar que essas alunas foram as únicas participantes, pois, apesar de ter quatro pessoas inscritas, somente elas apareceram no dia do workshop.
• Protocolo de aplicação
Em relação aos estudos piloto anteriores, algumas pequenas mudanças foram realizadas, acrescentando considerações a fim de que a aplicação da técnica se tornasse mais estruturada. Foi criada uma apresentação em documento ppt sobre as técnicas qualitativas e inserido um momento final de comentários das participantes sobre a técnica.
Assim, a agenda para esse piloto seria:
• Apresentação em ppt sobre técnicas qualitativas e sua relação com o Design; • Apresentação de vídeo conceituando e apresentando a técnica Entrevista
Situada;
• Abertura de espaço para tirar dúvidas; • Aplicação da técnica;
• Comentários e percepções sobre a técnica
A análise dos dados coletados foi realizada através da análise temática, realizando também codificação e utilizando a ferramenta MAXQDA®. O áudio da aplicação da técnica foi transcrito e a transcrição lida, analisada e interpretada através de uma análise temática na qual nomearam-se códigos com os principais temas que surgiam da transcrição. Esses temas foram posteriormente interpretados e separados em pontos que funcionaram e não funcionaram para as boas práticas e percalços. Vale ressaltar que esses temas são classificados como hipóteses, visto que são resultados de um estudo piloto. Recomenda-se que essas hipóteses sejam testadas em novos experimentos a fim de serem validadas ou não.
70
• Conclusões e Decisões
Os dados mostraram que, apesar de as participantes possuírem experiência prévia de entrevista, elas não compreenderam o conceito de entrevista situada e aplicaram uma entrevista semiestruturada etnográfica tendo como tema suas pesquisas acadêmicas. Dessa forma, ainda há a necessidade de o explicar com clareza, segundo recomendações de boas práticas acima citadas a fim de aprimorar a aplicação e criar um experimento estruturado e bem fundamentado.
A análise dos dados também apresentou alguns temas que emergiram (ver Apêndice C), sendo alguns enfatizados também na literatura. Vale ressaltar também a necessidade de uma amostra maior para validar os dados acima citados, pois estes se referem somente a um caso de uma técnica aplicada com duas participantes. Assim, recomenda-se que as hipóteses geradas neste e nos estudos pilotos anteriores sirvam como base para uma análise dos resultados e das boas práticas e percalços das técnicas qualitativas avaliadas.
Em relação às melhorias realizadas para o protocolo do experimento principal, podem ser descritas:
• Selecionar previamente alguns temas para que os participantes possam escolher na aplicação da técnica;
• Deixar claro a diferença entre Entrevista Situada e Entrevista Etnográfica; • Separar um momento para que a pesquisadora possa simular a aplicação da
técnica de forma que os participantes aprendam interagindo no cenário de aplicação.
Conclusão em relação aos três estudos piloto
A intenção foi utilizar do mínimo de interferência externa possível. Além disso, de forma a possibilitar um experimento estruturado e bem fundamentado, como previsto por Lakatos, os três estudos piloto acima descritos geraram resultados que trouxeram o aprimoramento das técnicas e a sua aplicação de uma forma mais estruturada, no experimento principal, a partir do entendimento de alguns pontos que servirão de base para a aplicação.
Os principais aprimoramentos contemplados no protocolo do experimento principal foram:
71
• Foi incluída uma apresentação inicial em ppt sobre técnicas qualitativas e sua relação com o Design;
• Foram selecionados previamente alguns temas para que os participantes pudessem escolher na aplicação da técnica;
• O vídeo foi utilizado somente para apresentação da técnica; • Houve um espaço para que os participantes tirassem dúvidas;
• Além de um momento para que a pesquisadora pudesse simular a aplicação de cada técnica de forma que os participantes aprendessem interagindo no cenário de aplicação;
• Um momento para que os participantes falassem sobre sua percepção em relação a cada técnica;
• E um momento final, após a aplicação de ambas as técnicas, para que cada grupo escrevesse sua percepção e a diferença entre as técnicas.
Em relação à técnica Focus Group
• No vídeo e no momento de dúvidas, , foi detalhado o papel do moderador e deixado claro que ele deve ter em mente que esse momento não é para pensar em soluções e sim explorar o problema.
Em relação à técnica Entrevista Situada
• No vídeo, foi incluída a explicação os tipos de entrevistas estruturada, semiestruturada e não estruturada e deixado claro o que a entrevista situada é