Discussão de Resultado

A discussão dos resultados encontrados pelas análises desenvolvidas, para investigar o comportamento dos decisores quando gráfico de barras e tabelas foram avaliados, é apresentada nesta seção.

3.3.3.1 Hit Rate

O primeiro resultado apresentado foi o HR, essa variável é de grande importância visto que ela naturalmente já fornece um importante insight para o analista com relação ao uso ou não de uma dada visualização para apoio no processo decisório.

Com base na primeira comparação desenvolvida, pesos iguais versus pesos diferentes, foi possível observar que para visualizações com pesos iguais os valores de HR foram maiores do que para visualizações com pesos diferentes.

Tal resultado é similar a conclusão levantada no experimento 1, reforçando ainda mais que visualizações com pesos diferentes são mais complexas para os decisores avaliarem e têm menores HR.

Para a segunda comparação realizada, gráfico de barras versus tabelas, foi observado que para visualizações com pesos iguais, HR semelhantes foram encontrados. Por outro lado, para visualizações com pesos diferentes, as tabelas tiveram maiores HR do que os gráficos.

Este resultado encontrado também confirmou a conclusão do experimento 1, onde as tabelas apresentaram um desempenho favorável na seleção da melhor alternativa em problemas MCDM/A. Neste contexto, esse resultado reforça a necessidade de inclusão das tabelas no SAD do FITradeoff, as quais ainda não estão presentes da maneira apropriada.

A partir da análise do HR, diversas análises puderam ser realizadas, sendo esta variável de grande relevância neste estudo visto que ela possibilitou a identificação de cada visualização e permitiu a comparação com outras métricas fisiológicas coletadas pelo equipamentos de neurociência.

3.3.3.2 Tempo de Resposta

Em relação a variável tempo de resposta (RT), análises descritivas e estatísticas foram realizadas para investigar o comportamento dos decisores quando estes avaliaram cada uma das visualizações.

A primeira análise apontou que os participantes consumiram mais tempo para avaliar visualizações com pesos iguais do que visualizações com pesos diferentes, conforme Tabela 9. Além disso, também foi apontado que os participantes consumiram mais tempo na avaliação de tabelas do que na avaliação de gráficos de barras, tanto para pesos iguais como para pesos diferentes, conforme apresentado na Tabela 10. Para suportar esta análise descritiva, uma análise estatística utilizando o teste de Postos Sinalizados de Wilcoxon foi realizada.

Sendo assim, com base na Tabela 11, foi observado que os participantes consumiam mais tempo avaliando problemas com pesos iguais do que problemas com pesos diferentes, para a maioria dos casos.

Este resultado pode ser apoiado pela conclusão apresentada no estudo anterior, onde foi concluído que os decisores passavam mais tempo avaliando os critérios de maior peso, isto é, os primeiros critérios da esquerda para a direita, para selecionar as melhores alternativas (Roselli et al. 2019a, Roselli et al. 2018a). Neste contexto, para visualizações com pesos iguais, pode ser sugerido que os decisores precisam avaliar todos os critérios para selecionar a melhor alternativa, sendo coerente o resultado de maior consumo de tempo para avaliar visualizações com pesos iguais, tanto para tabelas quando para gráficos de barras.

Outro resultado apontado pela Tabela 10 indicou que os participantes consumiram mais tempo na avaliação das tabelas do que na avaliação dos gráficos de barras. Avaliando as diferenças na Tabela 12, foi possível confirmar, com base na análise estatística, esse resultado para pesos iguais. No entanto, quando visualizações com pesos diferentes foram comparadas,

um resultado não confirmatório foi encontrado, apresentando dois casos em que o BD teve RT maior do que TD e dois casos em que o TD teve RT maior do que o BD.

As Tabelas 11 e 12 apresentaram a comparação das visualizações em cada um dos problemas MCDM/A. Portanto, a fim de comparar as visualizações que representaram diferentes problemas MCDM/A, algumas análises foram realizadas. Na Tabela 13, a comparação dos problemas com mesmo número de alternativas foi desenvolvida. Na Tabela 14, os problemas que tinham o mesmo número de critérios foram comparados.

Com base nessas tabelas, foi possível observar que, para a maioria dos casos, problemas com menor número de itens foram avaliados em um menor tempo do que problemas com maior número de itens. Por itens se entende como a soma da quantidade de alternativas e critérios.

Este resultado é coerente visto que problemas como 4A3C ou 3A4C foram compostos por 7 itens para serem avaliados pelos decisores, enquanto problemas como 4A4C e 4A5C/5A4C apresentaram 8 e 9 itens, respectivamente, consumindo mais tempo dos decisores.

Comparando o incremento no número de critérios, apresentado na Tabela 13, e o incremento no número de alternativas, apresentado na Tabela 14, foi possível observar que quando o número de alternativas aumentou, mais diferenças estatísticas foram observadas do que quando o número de critérios aumentou.

Este resultado pode indicar que os participantes consumiram mais tempo avaliando problemas que apresentaram um maior número de alternativas do que problemas que apresentaram um maior número de critérios. E a razão para esta indicação pode estar atrelada a forma como os dados do problema estão agrupados, sendo este agrupamento feito nos critérios.

Neste contexto, para que o participante defina qual a melhor alternativa na visualização, este precisa avaliar a performance de cada uma das alternativas em todos os critérios presentes no problema, demandando mais tempo de análise a medida que o número de alternativas aumenta. Provavelmente, se o agrupamento fosse realizado de outra forma, este resultado poderia ser diferente, ficando com sugestão futura de pesquisa a investigação de outra(s) forma(s) de agrupamento em problemas MCDM/A.

Para reforçar este resultado, uma análise foi realizada para comparar problemas opostos. Sendo assim, com base nos dados da Tabela 15, a maioria dos casos confirmaram o resultado referente a maior tempo de análise para problemas com maior número de alternativas.

No entanto, para a comparação dos problemas 4A4C versus 5A4C, na Tabela 14, a maioria dos casos indicou maior tempo no problema com menor número de itens, ou seja, 4A4C. Da mesma forma, para a comparação dos problemas 4A5C versus 5A4C, na Tabela 15, foi observado que, para a avaliação de tabelas de pesos diferentes, maiores tempos foram consumidos no problema 4A5C. Sendo assim, os problemas 4A4C e 4A5C devem ser mais investigados em experimentos futuros.

3.3.3.3 Fixações e Visitas

Para as variáveis relacionadas à medição dos movimentos dos olhos, métricas de fixações e visitas foram coletadas e exploradas. A partir da análise de correlação, altos valores foram encontrados sendo possível escolher apenas uma métrica (RT) para ser investigada em conjunto com o HR. Esse resultado foi similar ao desenvolvido no experimento 1, confirmando altos índices de correlação entre as variáveis de movimentos dos olhos.

3.3.3.4 Diâmetro da Pupila.

Da mesma forma que desenvolvida para a variável Tempo de Resposta, análises descritivas e estatísticas foram desenvolvidas para os valores dos diâmetros das pupilas. O coeficiente de variação pela baseline foi escolhido com métrica para desenvolvimento destas análises visto que este é uma métrica relativizada, isto é, não considera o valor do diâmetro mas a razão entre o diâmetro médio, que cada participante obteve ao longo da análise de uma visualização, e o diâmetro coletado após exatos 10 segundo de exibição da visualização.

Conforme comentado no Capítulo 2, existem trabalhos na literatura que sugerem uma correlação positiva entre o aumento do diâmetro da pupila e o aumento do esforço cognitivo (Porter et al., 2007, Laeng et al., 2012).

Sendo assim, comparar médias dos diâmetros das pupilas, ou qualquer outra métrica que representasse o valor desta variável fisiológica diretamente, poderia induzir a avaliações erradas, dado que os diâmetros podem ser maiores para alguns participantes não porquê estes apresentaram maior esforço cognitivo na avaliação de uma visualização, mas porquê estes têm, naturalmente, estes diâmetros maiores.

Além disso, o tempo de 10 segundos foi definido após testes que demonstraram que, para a maioria dos participantes, o valor do diâmetro da pupila é maior no exato momento que a visualização é exibida, não sendo desejado usar como baseline o primeiro diâmetro da pupila, coletado pelo equipamento, pois a divisão por este valor poderia indicar uma queda do diâmetro da pupila ao longo da análise.

Sendo assim, com base na análise descritiva de comparação dos valores de coeficiente de variação pela baseline para pesos iguais versus pesos diferentes, na Tabela 21, foi possível observar que, para a maioria dos participantes, maiores valores de coeficientes foram observados na avaliação de visualizações com pesos iguais. Este resultado é apoiado pela análise estatística apresentada na Tabela 23.

Para a análise na Tabela 22, onde foi apresentada a comparação de gráficos de barras versus tabelas, foi observado que os participantes apresentaram maiores valores de coeficiente durante a avaliação das tabelas, para pesos iguais. Para o caso de problemas com pesos diferentes, valores semelhantes de coeficiente foram observados. Estes dois resultados foram confirmados pela análise estatística apresentada na Tabela 24.

Para a comparação dos problemas com o mesmo número de alternativas, critérios e problemas com número oposto de alternativas e critérios, apresentadas nas Tabelas 25 a 27, não foi possível observar nenhum padrão, como feito em RT. Para esta análise poucos casos com diferença estatística foram observados. Além disso, estes casos foram contraditórios entre si, sendo em alguns deles o coeficiente maior para problemas com maior número de itens e em outros para problemas com menor número de itens.

3.3.3.5 Potência Cerebral

Para a análise dos valores de potência cerebral as visualizações foram comparadas nos dois grupos, da mesma forma que realizado para as outras variáveis investigadas. Sendo assim, para a análise estatística sobre os valores de F3 na banda Theta, usando α= 5% nenhuma diferença estatística entre os grupos foi observada, sugerindo que o esforço cognitivo dos participantes para avaliar os gráficos de barras e as tabelas, tanto com pesos diferentes como iguais, era similar.

Por outro lado, com α= 7%, uma única diferença foi observada, sendo esta na comparação de TD versus TS para o problema 4A4C. Sendo assim, este resultado sugeriu que, para este problema, o esforço cognitivo pra avaliar a tabela com pesos diferentes foi superior ao dispendido para avaliar a tabela com pesos iguais, o qual é um resultado coerente.

Com relação a análise estatística sobre os valores de P7 na banda Alpha usando α= 5%, apresentada na Tabela 28, diferenças estatísticas foram observadas nos problemas 3A4C e 4A4C, onde os valores de Alpha foram superiores nas tabelas com pesos diferentes quando comparados às tabelas com pesos iguais. Além disso, para o problema 3A4C, foi observado que os valores de Alpha foram superiores quando os participantes avaliaram o gráfico de barras com pesos iguais, quando este foi comparado a tabela.

Estes resultados também são coerentes e sugerem um menor engajamento dos participantes para a análise das visualizações que tiveram valores de Alpha superiores. Para o último resultado comentado, em 3A4C, este reforça a conclusão de Roselli et al. (2019a) e Roselli et al. (2018b) sobre a inclusão das tabelas no SAD do FITradreoff.

Para estas variáveis, comparações dos problemas com incremento no número de alternativas, critérios e problemas opostos também foram desenvolvidas. Com base na Tabela 29 foi possível observar que:

Para os gráficos de barras com pesos iguais os valores foram similares em todas as comparações, não variando o esforço cognitivo e o engajamento dispendido na análise destas visualizações, mesmo quando se variou o número de alternativas e critérios.

Para os gráficos de barras com pesos diferentes, foi observada diferença estatística com menor valor de engajamento para 3A4C quando comparado a 5A4C.

Para as tabelas com pesos iguais, duas diferenças foram observadas indicando maiores valores de engajamento em 4A4C e 5A4C quando comparados com 3A4C, respectivamente.

Por fim, para as tabelas com pesos diferentes, foram encontradas mais diferenças estatísticas, sendo na maioria delas um valor de maior esforço cognitivo e menor engajamento sugerido para a tabela construída para representar o problema 4A4C.

Sendo assim, para a avaliação dos valores de potência média cerebral em F3 para Theta e P7 para Alpha para as visualizações construídas para o experimento 2, nenhum padrão foi observado, devendo no entanto que maiores investigações sejam desenvolvidas o problema 4A4C dado que para este problema altos valores de Theta e de Alpha foram observados, indicando aumento do esforço porém com desengajamento.

3.3.3.6 Correlação entre as variáveis

A primeira análise desenvolvida foi para investigar a correlação de HR e RT. Essa análise foi desenvolvida com base no entendimento de que altos valores de RT poderiam estar relacionados a maiores investigações nas visualizações, o que poderia levar a maiores acertos, ou erros, devido a uma maior dificuldade de entendimento para tais visualizações.

Com base na correlação de Spearman calculada, um valor de igual a – 0.27 foi encontrado, apresentando uma correlação negativa baixa entre o HR e o RT. Em outras palavras, pela correlação calculada foi sugerido que quanto maior o HR, menor o RT, ou vice- versa. No entanto, este valor de correlação indica não haver uma forte relação entre estas variáveis, observando ainda que o HR é influenciado por outros fatores.

Com base nos valores para o coeficiente de variação pela baseline para o diâmetro da pupila, a correlação foi calculada para investigar se os valores de diâmetro da pupila estavam

correlacionados com HR. Para este caso, um valor de 0,40 foi encontrado indicando uma correlação positiva entre o a razão de diâmetros da pupila e o HR.

Sendo assim, com base neste valor de correlação pode ser sugerido que um aumento de atividade mental, a qual é indicada por um aumento do diâmetro da pupila (Porter et al., 2007, Laeng et al., 2012), pode ser determinante para a obtenção de maiores acertos no processo decisório com as visualizações. No entanto, outros fatores cognitivos, não só a atividade mental, estão presentes neste processo de análise das visualizações gráficas e tabulares.

Por fim, a análise de correlação também foi desenvolvida para investigar se os valores de HR estavam correlacionados com os valores médios das potências nas bandas Alpha e Theta. Para estes casos valores de -0,33 e -0,27 foram observados, indicando uma relação oposta entre HR e as potências.

Para o F3 em Theta este resultado pode ser interpretado com um aumento do esforço cognitivo levando a uma redução do HR. Esta intepretação é coerente quando se supõe que existe dificuldade para avaliar uma visualização, o que leva a maiores valores de esforço cognitivo e a erros na indicação da melhor alternativa. Já para P7 em Alpha, este resultado de correlação também apresenta uma interpretação coerente, onde baixos valores de Alpha, os quais indicam aumento do engajamento com base no estudo de Macdonald et al. (2011), estão relacionado à aumento na taxa de acerto.

3.4 EXPERIMENTO 3 COM USO DE EYE-TRACKING E EEG PARA