rastreamento do processo

Relatórios verbais

Relatórios verbais em tempo real

Relatórios verbais posteriores/recordação estimulada Relatórios não-verbais

Análise de protocolo

Análise de protocolos simultâneos Análise de protocolos retrospectivos Análise de decisão

instruções para verbalizar um procedimento, e (iii) instruções para verbalizar o conhecimento que forma a base dos procedimentos.

Relatórios verbais em tempo real

Os relatórios verbais em tempo real se caracterizam pelo registro de como o especialista soluciona um problema simultaneamente ao fornecimento um relatório verbal. Cooke (1994) comenta que alguns autores têm criticado esse tipo de relatório defendendo a idéia de que o relatório pode interferir com o pensamento e a realização da tarefa. Por outro lado, outros autores afirmam que os relatórios em tempo real fornecem uma descrição imediata e direta do que o especialista está desempenhando.

Também segundo Cooke (1994), as técnicas de relatórios verbais em tempo real podem ser classificadas tanto como auto-relatório, no qual o especia- lista descreve o que está fazendo enquanto o problema é resolvido, ou como sombreamento, no qual um segundo especialista fornece um comentário consecutivo das ações do especialista que está realizando a tarefa. O sombrea- mento é útil em situações de controle do processo nas quais o especialista pode não ter tempo de comentar. Porém, nem todos os especialistas concordam uns com os outros, e isso pode causar dificuldades na elicitação.

As técnicas de auto-relatório, por sua vez, podem também ser classificadas como técnicas de conversar em voz alta, pensar em voz alta ou auto-crítica. A técnica de conversar em voz alta requer que o especialista diga em voz alta tudo o que diria para si mesmo como se tivesse mantendo uma con- versação interna, enquanto que a técnica de pensar em voz alta estimula a verbalização de informações que não podem ser codificadas verbalmente, como se expressassem pensamentos internos. A auto-crítica envolve a comunicação, na forma verbal, e as observações de seu próprio comporta- mento (COOKE, 1994).

Relatórios verbais posteriores/recordação estimulada

Cooke (1994) descreve que esta categoria de relatório verbal requer, nor- malmente, que o especialista comente retrospectivamente o seu processo de solução do problema. Os relatórios podem ser estimulados e guiados por gravações de áudio ou vídeo do desempenho do especialista na realização da tarefa. Pelo fato dessa técnica possuir uma natureza retrospectiva, ela diminui o problema da reatividade, mas pode sofrer com outros problemas, principal- mente relacionados às limitações de memória do especialista. Presume-se que somente a informação que está ativa na memória de curto prazo será relatada.

Os relatórios verbais posteriores possuem algumas variações de técnicas, das quais as mais utilizadas são citadas a seguir, conforme Cooke (1994). A recordação retrospectiva/auxiliada é simplesmente o agrupamento de relatórios posteriores do especialista que desempenha a tarefa ou soluciona

um problema. Em alguns casos, é seguida por indagações ao especialista a respeito de questões específicas do relatório verbal. A análise de inter- rupção implica que o especialista prossiga com a tarefa sem pensar em voz alta. Contudo, deve interromper para um relatório verbal no ponto em que o elicitador tenha dificuldade de entender o processo e inferir o raciocínio do especialista. Em outros casos, tais como a técnica de retrospectiva crítica,

os relatórios verbais são fornecidos por especialistas exceto pelo especialista que realizou a tarefa. Isso é semelhante à técnica de discussão de grupo na qual o especialista responsável pela realização da tarefa, juntamente com vários outros especialistas, fornecem relatórios posteriores.

• Relatórios não-verbais

Os relatórios verbais são a forma mais comum de se realizar a coleta de dados para o rastreamento do processo, porém, outros dados não-verbais podem ser obtidos. Em alguns casos, os dados verbais podem não ser elicitados como, por exemplo, tarefas que exigem alto índice de concentração ou a tarefa que envolve a verbalização do especialista. Segundo Cooke (1994) existem métodos específicos para tratar dados não-verbais, incluindo métodos de amostragem, métodos para descobrir padrões nos dados, e métodos para analisar seqüências. Alguns tipos de dados não-verbais que podem ser usa- dos para o rastreamento do processo incluem expressões faciais, gestos e o movimento dos olhos.

A análise do movimento dos olhos do especialista pode fornecer valiosas fontes de informação com relação a sinais ambientais e padrões de busca de informação específica. Carmody, Kundel e Toto (1984 apud COOKE, 1994) afirmam que foram encontradas discrepâncias entre os relatórios verbais de especialistas e de seu movimento dos olhos. Porém, mesmo que a análise do movimento dos olhos possa fornecer dados importantes, muitas vezes, os dados são difíceis de interpretar, pois não há correspondência exata entre o alvo do movimento dos olhos e o objeto do pensamento.

• Análise de protocolo

A técnica de análise de protocolo, segundo Liou (1992), é uma forma de análise de dados que possui sua origem na psicologia clínica. O elicitador descreve um cenário do problema e solicita ao especialista que comente a respeito do seu processo de pensamento enquanto soluciona o problema determinado. Os especialistas tendem a ficar mais à vontade com essa técnica, pois comen- tam mais facilmente a respeito de exemplos específicos e práticos do que em termos abstratos. Esse processo de pensamento em voz alta é então gravado em áudio ou, preferencialmente, em vídeo e transcrito para análise. Segundo Schreiber et al (2000) os protocolos são realizados partindo dessas gravações e o elicitador tenta extrair estruturas e regras dos protocolos. A análise de

protocolo se assemelha aos relatórios verbais e não-verbais, mas é uma téc- nica específica, que implica no fornecimento de relatórios, além de utilizar processos de observação e de análise dos materiais gerados no experimento. Medeiros (2002) comenta que o termo análise de protocolo pode referir-se a duas denotações: análise dos registros e análise do conjunto de usos, gestos e formalidades. Salienta ainda que dentre os procedimentos que objetivam o estudo do ato de projetar, a análise de protocolo é o que tem recebido ul- timamente maior atenção pelos estudiosos do domínio do design. Segundo Medeiros (2002, p. 98), “tem sido reconhecida como o procedimento que oferece as melhores condições de trazer à luz habilidades cognitivas pre- sentes durante processos projetuais que se externalizam por intermédio do desenho. É o método sobre o qual se encontra mais extenso e detalhado material, afigurando-se, portanto, como direção predominante na pesquisa sobre o pensamento projetual”. Suwa e Tversky (1997) também comentam que a análise de protocolo com o pensamento em voz alta tem sido o principal método para procurar esclarecimentos do processo de pensamento humano em tarefas cognitivas complexas, além de ser empregada extensivamente em estudos de atividades de design. Por fim, Gero e Tang (2001) afirma que a análise de protocolo tem se tornado a técnica experimental dominante para explorar a compreensão da projetação.

Segundo Medeiros (2002), partindo do seminário realizado em Delft, Holanda, em 1994, a análise de protocolo foi validada para o entendimento do processo de design, com a observação de alguns aspectos: (i) configura- se como uma técnica de pesquisa específica, capaz de capturar em detalhe alguns aspectos da atividade projetual, porém, possui limitações em capturar o pensamento não-verbal; (ii) a aplicação do experimento pode influenciar fortemente os dados do protocolo. Somada a isso, a quantidade de infor- mações pode ser enorme, sendo impossível manter todos os fatores sob controle; e (iii) é um esforço de pesquisadores para chegar a uma forma mais rigorosa de pesquisa empírica, encontrando-se no intervalo entre os métodos experimentais das ciências naturais e os métodos de observação das ciências sociais;

Existem na literatura dois tipos de abordagens para a análise de protocolo: a simultânea e a retrospectiva. Nos protocolos simultâneos, é solici- tado aos sujeitos que desempenhem a tarefa e verbalizem os pensamentos simultaneamente, concomitantemente. Nos protocolos retrospectivos, os sujeitos são solicitados a primeiro realizar a tarefa e, então, informar retrospectivamente os processos utilizados com ou sem auxílios visuais for- necidos pela gravação em vídeo. Segundo Gero e Tang (2001), os protocolos simultâneos têm sido utilizados quando se deseja concentrar nos aspectos orientados ao processo da projetação, baseados na visão de processamento de informação, enquanto que os protocolos retrospectivos têm sido utilizados

quando se espera atingir os aspectos do conteúdo cognitivo, relacionados com a noção da reflexão em ação. Schreiber et al (2000) comentam que no caso dos protocolos simultâneos, pode ser aplicada uma variante da técnica, utilizando outro especialista para comentar de forma simultânea as ações do especialista que está realizando a tarefa, essa variante é chamada de sombreamento.

Algumas variações dos protocolos retrospectivos são comentadas por Schreiber et al (2000), nas quais o que muda é quem realiza o relatório pos- terior. Pode ser o próprio especialista que desempenhou a atividade; pode ser configurada como um relatório retrospectivo crítico por outros especialistas; ou pode ser uma discussão de grupo entre vários especialistas, incluindo quem desempenhou a atividade. Especificamente na atividade do design, quando se trata de investigar o processo projetual, que envolve muitos aspectos subjetivos, essas variações podem ter efeito limitado, pois o processo pode não ser claro a outros especialistas.

Gero e Tang (2001) observam que durante os protocolos retrospectivos os sujeitos recordam o traçado dos processos cognitivos precedentes e re- velam informações que estão parcialmente conservadas tanto na memória de curto termo quanto na memória de longo-termo. O funcionamento da memória humana pode prejudicar os resultados, dessa forma, os dados que foram recuperados da memória de longo termo podem ter alguns detalhes omitidos ou podem ser gerados pelo raciocínio ao invés da recordação. Por isso, alguns pesquisadores utilizam gravações em vídeo para fornecer pistas durante a retrospecção, buscando auxiliar a recordação. Ainda dentro dessas características dos protocolos retrospectivos, Suwa e Tversky (1997) nomeiam esse efeito indesejável como “recordação seletiva”, considerando-o inevitável nesse tipo de protocolo. Comentam que os participantes tendem a relatar o que é relevante aos seus propósitos e intenções, negligenciando outros pensamentos que poderiam ter ocorrido durante a sessão de design. Ainda segundo os autores, com a utilização das gravações em vídeo, é possível armar o participante com dicas visuais a respeito da seqüência exata da realização dos esboços, as hesitações, retornos e redesenhos.

Gero e Tang (2001) apresentam algumas questões pertinentes aos pro- tocolos simultâneos e retrospectivos relacionados à atividade projetual do design. Primeiro, os protocolos simultâneos parecem revelar mais informação do início do processo de design, principalmente na interpretação do problema, enquanto que nos protocolos retrospectivos os sujeitos podem não relembrar adequadamente esses processos iniciais, mesmo com a ajuda de gravação de vídeo. Segundo, durante os protocolos simultâneos os sujeitos pausam sua fala algumas vezes, o que pode ser considerado como transições de atenção ou como pensamento não-verbal, e pouca informação a respeito dessa pausa é fornecida pelos protocolos simultâneos. Nos protocolos retrospectivos pode-se encontrar algumas informações, pois os sujeitos podem recordar o

processo de pensamento nesse período, que acontece quando os designers desenham ou observam intensivamente seus esboços.

Também com base em Gero e Tang (2001), as diferenças dão a entender que o protocolo simultâneo revela mais informação relacionada ao aspecto funcional do processo de design, tal como a formulação do problema. Com- parativamente, o protocolo retrospectivo revela mais informação da produ- ção de soluções e avaliação, que são, por sua vez, relacionadas à realização intensiva de esboços.

Os sujeitos quando solicitados a pensar em voz alta ou a recordar suas atividades, podem reportar apenas parte do seu pensamento. Pode, por exem- plo, fornecer informações que não são úteis para desvendar seu pensamento. Medeiros (2002, p. 98) comenta que: “todas essas desvantagens pesam na validação da análise de protocolo, principalmente porque o pensamento não- verbal talvez seja um aspecto até mais significativo do que o verbal para as atividades cognitivas relevantes”.

Lloyd, Lawson e Scott (1995) afirmam que uma visão difundida na litera- tura da psicologia e da criatividade é que o processo criativo consiste de dois modos distintos de pensamento, idéia essa aplicada também ao estudo do design. Essa visão é fundamentada em evidências neurológicas que sugerem que os hemisférios esquerdo e direito do cérebro fornecem diferentes aspectos ao pensamento humano, estando o esquerdo encarregado com atividades tem- porais incluindo memória verbal e articulação da fala e o direito encarregado das atividades especiais e de percepção. Tal teoria pode sugerir que algumas atividades do design, tal como o ato de esboçar ou a compreensão do problema, podem ser difíceis de verbalizar. O design é uma atividade muito complexa, que é tanto intensiva em conhecimento quanto em processo e, segundo Davies (1995), a verbalização pode afetar essa atividade de diversos modos.

Os trabalhos realizados a respeito do processo de design utilizando a aná- lise de protocolo têm assumido uma das duas seguintes abordagens, análise formal ou informal (SUWA; TVERSKY, 1997). Na análise formal de protocolo, o design é visto como um processo racional de busca de solução de problemas. Segundo os autores, seu principal foco é descrever o design em termos de uma taxonomia geral de solução de problemas, ou seja, situações do problema, operadores, planos, objetivos, estratégias e assim por diante, obtendo, dessa forma, descobertas generalizáveis para a metodologia do design. Na análise informal de protocolo, por outro lado, o design é visto como um processo no qual cada designer “constrói sua própria realidade” pelas suas próprias ações que são reflexivas, receptivas, e oportunas.

A análise de protocolo pode ainda ser realizada pela observação de dois ou mais participantes trabalhando em cooperação. Dessa forma, não é necessá- rio que os sujeitos pensem em voz alta, pois as verbalizações são originadas da conversação espontânea entre os participantes. Essa modalidade tem

sido utilizada, principalmente, para compreender os processos de trabalho em equipe, proporcionando diversas informações a respeito das atividades cognitivas dos indivíduos e do grupo como um todo.

A análise de protocolo direcionada ao estudo da atividade do design apre- senta alguns aspectos particulares, dentre os quais está o relacionamento complementar de duas formas de dados: conceitual-verbal e gráfico-visual. Akin e Lin (1995) comentam que as análises de protocolo são compostas por verbalizações gravadas além de um registro sistemático dos desenhos/gra- fismos produzidos pelos sujeitos. Conforme os autores, essas duas formas integradas constituem a série mínima de dados necessária para a análise de protocolo em design.

Schreiber et al (2000) ressaltam alguns aspectos que devem ser considera- dos antes de realizar uma sessão de análise de protocolo. Primeiro, o elicitador deve estar suficientemente familiarizado com o domínio do conhecimento para entender as tarefas do especialista. Segundo, a seleção de problemas para a análise de protocolo deve ser realizada de forma muito cuidadosa. Dependendo da amostragem do problema, a análise de protocolo pode se estender por um tempo muito maior do que o previsto. Terceiro, os especialistas não podem sentir-se envergonhados em descrever seus conhecimentos detalhadamente em voz alta. Nesse caso, podem ser necessárias uma ou duas sessões de trei- namento, nas quais uma tarefa simples é utilizada como um exemplo. Além dessas questões, os autores sugerem que o problema seja apresentado de uma maneira realista, próxima da realidade do especialista.

Cooke (1994) comenta que a análise dos protocolos resultantes, verbais ou não-verbais é o aspecto mais tedioso e que consome mais tempo do ras- treamento do processo. Esses problemas surgem devido à quantidade de dados brutos gerados, à natureza qualitativa dos dados, à complexidade e ao desordenamento dos dados, e à natureza subjetiva de sua interpretação.

• Análise de decisão

Essa técnica é baseada nos seguintes questionamentos realizados a partir da identificação de que uma decisão está sendo tomada: Como os vários fatores são pesados e combinados na decisão? Quais são as conseqüências da decisão? Qual é a probabilidade e utilidade de dada conseqüência? As técnicas de análise de decisão utilizam métodos estatísticos formais e teo- rias de probabilidade e utilidade para fornecer informações quantitativas a respeito de uma decisão, em vez de informações qualitativas. Segundo Cooke (1994), essas técnicas concentram-se na avaliação de alternativas existentes e previsões quantitativas, contrastando com outras técnicas como a análise de protocolo, que tende a focar na identificação de alternativas e de fatores que alimentam tais previsões.

• Análise de interação

A análise de interação se originou das ciências sociais, e está fundamentada no registro em gravação de vídeo de verbalizações e esboços, escritas, lista- gens e gestos de um grupo, num ambiente simulado, porém similar a uma situação real, para uma análise posterior. É uma pesquisa que se realiza após o acontecimento, apoiando-se em registros e documentos, e seu propósito é o exame das interações entre os sujeitos, e destes, com os artefatos e com o ambiente (MEDEIROS, 2002).

Por meio do uso dessa técnica pode-se concentrar na elicitação do conheci- mento mediante a interação de um grupo de especialistas durante a realização de uma determinada tarefa. Essa técnica contrasta com a observação, pois utiliza gravações de vídeo para a análise, ao passo que a observação se baseia somente nas anotações do observador. Dessa forma, explora as atividades que ocorrem, buscando compreender quais parâmetros e relações são importantes na interação entre os sujeitos. A preparação do equipamento para a gravação em vídeo tem muita semelhança com a análise de protocolo. Medeiros (2002) comenta que inicialmente após a coleta dos dados, ocorre uma familiarização com o material, depois o desenvolvimento de uma representação manuseável dos dados para a identificação de padrões recorrentes e, por fim, as observa- ções genéricas a partir das informações.

Para a familiarização, é comum realizar a transcrição dos diálogos como um pré-requisito para uma compreensão mais profunda da atividade. Além disso, é necessária uma simbologia para representar ritmos, pausas e supo- sição de conversas. Para a identificação de observações generalizáveis, uma estratégia é a busca por padrões recorrentes como, por exemplo, a gesticulação. Medeiros (2002, p. 96) afirma que:

Os gestos realizados durante uma conversação, em geral, não são ti- dos como meios de armazenar informação, pois não deixam registro permanente. Mas os dados da análise de interação evidenciaram que a informação pode ser conectada e agrupada através de gesticulações, especialmente quando imitadas por outros, e depois grafadas na forma de textos, esquemas e desenhos.

• Resumo: rastreamento do processo

As técnicas de rastreamento do processo se caracterizam por uma maior formalidade em relação à família de entrevistas e observações, pois realizam uma análise mais aprofundada, explorando a estrutura cognitiva e processan- do o desempenho do especialista. Cooke (1994) comenta que essas técnicas são insuperáveis para a análise de um processo de desenvolvimento de uma tarefa. Salienta, porém, que como essas técnicas fazem uso geralmente de dados verbais são afetadas pelas restrições dos relatórios verbais. Também,

quando comparadas aos métodos informais, essas técnicas resultam em séries amplas de dados e, por vezes, difíceis de interpretar.

Especificamente no caso do design, focalizado na atividade projetual, essas técnicas são as mais destacadas no cenário mundial da pesquisa nessa área para compreender e elicitar o conhecimento implícito do processo projetual dos designers. Apesar de todo os seus avanços, muitos dos aspectos projetuais são subjetivos e, assim, deve-se considerar atentamente os objetivos que serão estipulados para a aplicação de técnicas de rastreamento do processo, pois isso pode acabar prejudicando seriamente a coleta dos dados. Por outro lado, pequenas variantes e desdobramentos das técnicas estão sendo propostos constantemente, permitindo descobrir cada vez mais informações a respeito do desempenho de tarefas, entre elas a ação de projetar em design.