Previsão da Preferência entre Cenas Urbanas

Uma vez que foram encontrados efeitos significativos do perfil dos participantes nas percep- ções capturadas, o próximo passo consistiu em conduzir um experimento que buscou verifi- car a capacidade preditiva de se utilizar características urbanas e o perfil sociodemográfico

dos participantes para prever preferências entre cenas urbanas.

Este experimento foi motivado por um cenário de recomendação. Por exemplo, em um sistema de navegação um recomendador poderia prever as preferências de um usuário em particular. Predições de preferências entre pares de cenas poderiam ser utilizadas para criar rankings de cenas urbanas de modo a recomendar locais mais interessantes para o usuário visitar ou trafegar através. Motivado por este cenário buscou-se avaliar como variáveis soci- odemográficas podem ser utilizadas em um cenário de arranque a frio (do inglês, cold-start) [194; 195], no qual avaliações prévias do participante não estão disponíveis. Uma vez que es- tas avaliações estejam presentes, pode-se recorrer a abordagens como filtragem colaborativa [194] para capturar as preferências do participante.

Para representar o cenário de arranque a frio, cada participante da pesquisa foi remo- vido do conjunto de treino por vez, e, como consequência, foram removidas do conjunto de treino todas as cenas avaliadas por este participante. O conjunto de preferências de cada participante se torna, então, um conjunto de teste. Múltiplos classificadores foram treinados com as preferências dos outros participantes e em seguida testados com as preferências dos participante removido. Ao remover um participante e todas as cenas por ele avaliadas, o classificador só tem como explorar as diferenças das características urbanas e os perfis soci- odemográficos dos participantes. Ou seja, filtra-se a possibilidade do classificador aprender as preferências do participante ou fatores relacionados a cenas individuais. Pode-se, então, capturar a importância do perfil sociodemográfico ao comparar classificadores que exploram esta informação com aqueles que não a exploram (i.e., utilizam apenas informação sobre as características urbanas).

Foram verificados os seguintes classificadores fazendo uso do framework scikit-learn [196]: KNN, RBF SVM, Naive Bayes e Extra Trees. A escolha destes classificadores se deu pelo recorrente uso dos mesmos em estudos sobre previsão de resultados de futebol [197; 198; 199; 200; 201], contexto no qual também existe uma disputa entre dois itens. Além disso, algumas características destas soluções influenciaram as escolhas: o Naive Bayes é uma solução mais simples, que pode ser considerada como um limiar inferior, e as outras três soluções são mais elaboradas; o Naive Bayes é uma solução probabilística, o SVM é uma solução algébrica, que tipicamente apresenta alta acurácia, e o KNN e o Extra Trees são soluções não paramétricas.

Em uma primeira etapa de verificação dos classificadores, considerou-se 65% do total de disputas respondidas pelos participantes e para cada par de cenas os classificadores foram treinados considerando as características urbanas de cada cena como números reais e o per- fil sociodemográfico dos participantes como variáveis binárias. De modo a aperfeiçoar as configurações dos classificadores foi realizado um grid-search nos parâmetros hyper divi- dindo o conjunto de treino em treino e validação. O grid-search foi realizado com validação cruzada de 3 folds e nenhum aperfeiçoamento realizado considerou o participante removido (conjunto de teste). O Extra Trees foi o classificador que apresentou os melhores resultados de modo geral, sendo, assim, o classificador selecionado para a sequência das análises. É importante destacar que o objetivo deste experimento não era comparar minuciosamente os classificadores, mas sim encontrar uma solução razoável para a sequência das análises.

Antes de discutir os resultados obtidos, é importante realizar uma explicação sobre as métricas consideradas. Todas as métricas - precisão, sensibilidade, F1 e acurácia - possuem valores entre 0 e 1, sendo 1 o melhor resultado possível. A precisão busca capturar a eficácia do classificador em retornar elementos relevantes dentro do conjunto de elementos classifica- dos como relevantes. Por exemplo, se o classificador afirma que 10 elementos são da classe positiva e 8 deles estão corretos (i.e., positivos verdadeiros), sua precisão seria de 0, 8. Por outro lado, a sensibilidade busca capturar a eficácia do classificador em retornar todos os ele- mentos relevantes. Por exemplo, se existem 20 elementos na classe positiva e o classificador afirma que 10 elementos são da classe positiva, sendo 8 destes positivos verdadeiros (2 são falso positivos), a sensibilidade é de 0, 4. As duas métricas buscam, então, se complemen- tar. A métrica F1 é simplesmente uma média ponderada entre precisão e sensibilidade que busca capturar o compromisso entre ambas. A acurácia busca capturar a fração de positivos verdadeiros e negativos verdadeiros (previsões corretas para as classes positivas e negativas) em relação ao total de elementos avaliados.

A Figura 4.6 apresenta as acurácias, precisões, sensibilidades e F1 para duas versões do Extra Trees: i) uma versão que considerou o perfil sociodemográfico dos participantes e as características urbanas como entrada; ii) uma versão que considerou apenas as características urbanas das cenas como entrada. A comparação destas versões tem por objetivo verificar a viabilidade de se utilizar o perfil sociodemográfico juntamente com as características urbanas em um cenário de arranque a frio. A Figura 4.6 apresenta os valores médios e intervalos de

confiança, com 95% de confiança, para as métricas calculadas a partir da execução dos clas- sificadores considerando cada um dos participantes como conjunto de teste (i.e., removendo um participante por vez). São apresentados, também, os resultados para um classificador aleatório que serve como limiar inferior de comparação.

Acurácia F−beta Precisão Sensib.

0.4 0.5 0.6 0.7

Classificador Classificador Aleat. Extra Trees com perfil

Extra Trees sem perfil

(a) Agradabilidade

Acurácia F−beta Precisão Sensib.

0.4 0.5 0.6 0.7

Classificador Classificador Aleat. Extra Trees com perfil

Extra Trees sem perfil

(b) Segurança

Figura 4.6: Acurácia, precisão, sensibilidade e F1 para as duas versões do Extra Trees: uma que considera o perfil sociodemográfico dos participantes e outra que não considera este perfil

Primeiramente, o uso das características urbanas e do perfil sociodemográfico apresen- tou um ganho nas métricas em relação a um classificador aleatório, com ganhos médios de 22, 9% para agradabilidade e de 18, 9% para segurança. Comparando as duas versões do

Extra Trees, a versão que considera o perfil sociodemográfico e as características urbanas apresentou ganhos médios de 7, 2% e 8, 2% em relação as acurácias do Extra Trees que con- siderou apenas as características urbanas para agradabilidade e segurança, respectivamente. Em relação à precisão, os ganhos médios foram de 10, 2% e 8, 9%, respectivamente. Es- tes resultados corroboram o resultado anterior de que o perfil sociodemográfico impacta a percepção das cenas urbanas (Seção 4.3).

É importante destacar que a versão do classificador que considerou apenas as carac- terísticas urbanas não apresentou um ganho significativo na sensibilidade em relação ao classificador aleatório para agradabilidade e não apresentou ganhos significativos na pre- cisão e sensibilidade para segurança. O fato dos ganhos encontrados serem, de certo modo, pequenos, embora sejam positivos, é esperado uma vez que diversos outros fato- res sociais, cognitivos e físicos do ambiente podem influenciar a percepção dos partici- pantes. Por conta disto, não se espera que os classificadores aqui testados consigam pre- ver todas as possíveis possibilidades dado que apenas um subconjunto de características urbanas e do perfil sociodemográfico foram analisados. A investigação de outros fato- res que influenciam a percepção é uma etapa a ser realizada em trabalhos futuros. Além disso, o fato dos valores de acurácia obtidos estarem próximos, porém abaixo, dos va- lores obtidos em outros estudos que utilizaram características de baixo nível [29; 73; 74; 76] também reforçam a necessidade de uma maior investigação nesta direção.