Sumarização de vídeos de jogos de plataforma com base em blocos de linhas

COORDENADORIA DO CURSO DE ENGENHARIA DE SOFTWARE

LUIZ ALBERTO DA SILVA

SUMARIZAC

¸ ˜

AO DE V´IDEOS DE JOGOS DE PLATAFORMA COM

BASE EM BLOCOS DE LINHAS

TRABALHO DE CONCLUS ˜

AO DE CURSO

DOIS VIZINHOS 2018

SUMARIZAC

¸ ˜

AO DE V´IDEOS DE JOGOS DE PLATAFORMA COM

BASE EM BLOCOS DE LINHAS

Trabalho de Conclus˜ao de Curso apresentado como requisito parcial para obtenc¸˜ao do grau de Bacharel

em Engenharia de Software, da Universidade

Tecnol´ogica Federal do Paran´a.

Orientador: M.Sc. Andr´e Roberto Ortoncelli

Co-orientador: M.Sc. Andr´e Luiz Marasca

DOIS VIZINHOS 2018

CÂMPUS Dois Vizinhos

Coordenadoria do Curso de Engenharia de Software

TERMO DE APROVAÇÃO

Sumarização de Vídeos de Jogos de Plataforma com Base em Blocos de Linhas

por

Luiz Alberto Da Silva

Este Trabalho de Conclusão de Curso foi apresentado em 26 de Junho de 2018 como requisito parcial para a obtenção do título de Bacharel em Engenharia de Software. O(a) candidato(a) foi arguido(a) pela Banca Examinadora composta pelos professores abaixo assinados. Após deliberação, a Banca Examinadora considerou o trabalho aprovado.

Muriel Mazzetto Membro Titular Andre Roberto Ortoncelli

Presidente da Banca

Marlon Marcon Membro Titular

SILVA, Luiz. SUMARIZAC¸ ˜AO DE V´IDEOS DE JOGOS DE PLATAFORMA COM BASE EM BLOCOS DE LINHAS. 59 f. Trabalho de Conclus˜ao de Curso – Coordenadoria do Curso de Engenharia de Software, Universidade Tecnol´ogica Federal do Paran´a. Dois Vizinhos, 2018. Esse trabalho apresenta um algoritmo de sumarizac¸˜ao de v´ıdeos, que foi aplicado na sumarizac¸˜ao de v´ıdeos de jogos digitais de plataforma. Al´em do algoritmo de sumarizac¸˜ao, tamb´em ´e proposto um m´etodo para divis˜ao de uma imagem em blocos de linha que utiliza de modo recursivo um algoritmo de crescimento de regi˜oes, com uma func¸˜ao de custo que analisa informac¸˜ao de distˆancia entre cores. Tal algoritmo foi aplicado para detecc¸˜ao de trˆes blocos de linhas em cada um dos frames do v´ıdeo, ap´os a detecc¸˜ao dos blocos de linhas, o v´ıdeo foi sumarizado utilizando a diferenc¸a de cor, textura e movimento. Foi analisada a eficiˆencia do m´etodo de sumarizac¸˜ao utilizando cada uma das linhas identificadas e tamb´em utilizando informac¸˜ao global da imagem (como crit´erio de comparac¸˜ao). Al´em de apresentar os resultados obtidos, tamb´em foram realizados experimentos para avaliar o algoritmo proposto, atrav´es da opini˜ao de telespectadores dos v´ıdeos sumarizados, obtida por meio de um question´ario. Atrav´es dos experimentos, foi poss´ıvel concluir que a t´ecnica de sumarizac¸˜ao baseada em blocos de linhas ´e promissora e tamb´em foi poss´ıvel identificar v´arios trabalhos futuros.

Palavras-chave: Sum´ario de v´ıdeo, Jogos Digitais, Processamento Digital de Imagens, Vis˜ao Computacional, Crescimento de Regi˜oes por Sementes.

SILVA, Luiz. PLATAFORM GAMES VIDEO SUMMARIZATION BASED ON BLOCKS OF LINES. 59 f. Trabalho de Conclus˜ao de Curso – Coordenadoria do Curso de Engenharia de Software, Universidade Tecnol´ogica Federal do Paran´a. Dois Vizinhos, 2018.

This work presents a video summarization algorithm, which was applied in the summarization of videos of digital platform games. In addition to the summarization algorithm, it is also proposed a method for dividing an image into line blocks that recursively uses a region growth algorithm with a cost function that analyzes distance color information. This algorithm was applied to detect three blocks of lines in each of the video frames, after the detection of the line blocks, the video was summarized using the difference between color, texture and motion. The efficiency of the summarization method used for each of the identified lines and also using global image information (as a comparison criterion) was analyzed. In addition to presenting the results obtained, experiments were also carried out to evaluate the algorithm proposed, through the viewers’ opinion of the summarized videos, obtained through a questionnaire. Through the experiments, it was possible to conclude that the technique of summarization based on blocks of lines is promising and it was also possible to identify several future works.

Keywords: Video Summary, Digital Games, Digital Image Processing, Computer Vision, Seeded Region Growing.

–

FIGURA 1 Exemplo de divis˜ao do cen´ario de um jogo de plataforma em blocos de

linhas . . . 10

–

FIGURA 2 Conjunto de blocos de linhas (v_{f x}1, v_{f x}2, v_{f x}3) ∈ v_{f x} . . . 19

–

FIGURA 3 Blocos linhas de tamanho dinˆamico . . . 20

–

FIGURA 4 Jogos Selecionados para o Experimento 1 . . . 25

–

FIGURA 5 Quadros chaves selecionados - Jogo 1 . . . 28

–

FIGURA 6 Quadros chaves selecionados - Jogo 2 . . . 29

–

FIGURA 7 Quadros chaves selecionados - Jogo 3 . . . 30

–

FIGURA 8 Quadros chaves selecionados - V´ıdeo clip 1 . . . 31

–

FIGURA 9 Quadros chaves selecionados do - V´ıdeo clip 2 . . . 32

–

FIGURA 10 Quadros chaves selecionados do - V´ıdeo clip 3 . . . 33

–

FIGURA 11 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do Jogo

1 (com uso de blocos de linhas de tamanho dinˆamico) . . . 35 –

FIGURA 12 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do Jogo

1 (com uso de blocos de linhas de tamanho fixo) . . . 36 –

FIGURA 13 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do Jogo

2 (com uso de blocos de linhas de tamanho dinˆamico) . . . 37 –

FIGURA 14 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do Jogo

2 (com uso de blocos de linhas de tamanho fixo) . . . 38 –

FIGURA 15 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do Jogo

3 (com uso de blocos de linhas de tamanho dinˆamico) . . . 39 –

FIGURA 16 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do Jogo

3 (com uso de blocos de linhas de tamanho fixo) . . . 40 –

FIGURA 17 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do

V´ıdeo Clip 1 (com uso de blocos de linhas de tamanho dinˆamico) . . . 41 –

FIGURA 18 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do

V´ıdeo Clip 1 (com uso de blocos de linhas de tamanho fixo) . . . 42 –

FIGURA 19 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do

V´ıdeo Clip 2 (com uso de blocos de linhas de tamanho dinˆamico) . . . 43 –

FIGURA 20 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do

V´ıdeo Clip 2 (com uso de blocos de linhas de tamanho fixo) . . . 44 –

FIGURA 21 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do

V´ıdeo Clip 3 (com uso de blocos de linhas de tamanho dinˆamico) . . . 45 –

FIGURA 22 Gr´aficos do resultado da Equac¸˜ao 1 para todos os pares de imagens do

V´ıdeo Clip e (com uso de blocos de linhas de tamanho fixo . . . 46 –

10) dos participantes do question´ario . . . 48 –

FIGURA 26 Frequˆencia que os participantes do question´ario jogam jogos digitais (em

uma escala de 1 a 10) . . . 49 –

FIGURA 27 Frequˆencia que participantes do question´ario jogam jogos digitais de

plataforma (em uma escala de 1 a 10) . . . 49 –

FIGURA 28 Melhores sum´arios escolhidos para o jogo 1 pelos participantes do

question´ario . . . 50 –

FIGURA 29 Melhores sum´arios escolhidos para o jogo 2 pelos participantes do

question´ario . . . 50 –

FIGURA 30 Melhores sum´arios escolhidos para o jogo 3 pelos participantes do

question´ario . . . 51

–

–

1 INTRODUC¸ ˜AO . . . 9

1.1 CONTRIBUIC¸ ˜OES . . . 11

1.2 JUSTIFICATIVA . . . 11

1.3 ORGANIZAC¸ ˜AO DO TRABALHO . . . 12

2 REVIS ˜AO BIBLIOGR ´AFICA . . . 13

2.1 RESULTADOS DO MAPEAMENTO SISTEM ´ATICO . . . 14

2.2 AMEAC¸ AS A VALIDADE . . . 15

3 ALGORITMOS PROPOSTOS . . . 16

3.1 ALGORITMO DE SUMARIZAC¸ ˜AO . . . 16

3.2 CRIAC¸ ˜AO DE BLOCOS DE LINHAS . . . 18

3.2.1 Algoritmo para criac¸˜ao de blocos de linhas tamanho dinˆamico . . . 19

3.3 ALGORITMO DE SUMARIZAC¸ ˜AO COM BASE EM BLOCOS DE LINHAS . . . . 21

4 PROCEDIMENTOS METODOLOGICOS . . . 24

4.1 EXPERIMENTO 1 - V´IDEOS DE JOGOS DE PLATAFORMA . . . 24

4.2 EXPERIMENTO 2 - V´IDEOS CLIPS . . . 26

5 RESULTADOS EXPERIMENTAIS . . . 27

5.1 RESULTADOS DO QUESTION ´ARIO . . . 47

6 AN ´ALISE DOS RESULTADOS . . . 52

6.1 AN ´ALISE DOS RESTULADOS DA CRIAC¸ ˜AO DE BLOCOS DE LINHAS . . . 52

6.2 AN ´ALISE DOS RESULTADOS DE SUMARIZAC¸ ˜AO . . . 53

6.2.1 An´alise dos resultados do Experimento 1 . . . 53

6.2.2 An´alise dos resultados do Experimento 2 . . . 53

7 CONCLUS ˜AO . . . 54

REFER ˆENCIAS . . . 56

1 INTRODUC¸ ˜AO

Com o avanc¸o da tecnologia, a disponibilidade da internet vem se tornando cada vez mais comum na vida das pessoas, de acordo com Porto (2016) s´o no Brasil o n´umero de usu´arios j´a se aproxima dos 100 milh˜oes. Devido a este fator, a digitalizac¸˜ao e virtualizac¸˜ao da informac¸˜ao se tornou praticamente inevit´avel.

Grande parte do conte´udo encontrado na internet est´a em forma de v´ıdeo. Com o

surgimento do YouTube1 a quantidade desse tipo de m´ıdia vem aumentando gradativamente,

tanto ´e, que no ano de 2016 se levaria aproximadamente 80 anos para assistir todos os v´ıdeos adicionados no YouTube em um ´unico dia (ZHANG et al., 2016).

Grac¸as a esse volume gigantesco de informac¸˜ao, ´e poss´ıvel encontrar uma imensa diversidade de v´ıdeos na internet, dos mais variados gˆeneros, tais como, educacional, not´ıcia, teatro, entretenimento, jogos, entre outros.

A categoria de v´ıdeos de jogos digitais, que ´e foco desse trabalho, no entanto vem se destacando cada vez mais, grac¸as ao crescimento do setor de jogos, que em 2013 chegou a movimentar cerca de 65 bilh˜oes de d´olares, com uma previs˜ao movimentac¸˜ao de 90 bilh˜oes para o ano de 2018 (RODRIGUES; KRONIG, 2016).

Devido a crescente popularidade dos jogos, uma imensa quantidade de v´ıdeos a seu respeito pode ser encontrada na internet, muitos deste s˜ao transmitidos ao vivo grac¸as o surgimento de recursos de v´ıdeo streaming (CHU; CHOU, 2017). Muitas pessoas assistem aos v´ıdeos dos jogos antes de testa-los, para possuir uma pr´evia do jogo ou at´e mesmo para aprender a jogar. Neste contexto a sumarizac¸˜ao v´ıdeos de jogos ´e de grande utilidade, uma vez que os usu´arios podem n˜ao ter tempo de ver o v´ıdeo por completo (KHAN; PAWAR, 2015).

Outro fator que motiva o estudo e desenvolvimento de t´ecnicas de sumarizac¸˜ao de v´ıdeos de jogos digitais ´e o fato desse tipo de t´ecnica ser pouco explorada na literatura (SILVA et al., 2017).

O sum´ario de um v´ıdeo, ´e similar ao sum´ario de um texto, ou seja, ´e um resumo

do conte´udo do v´ıdeo contendo as informac¸˜oes mais importantes. Um sum´ario facilita a

compreens˜ao do conte´udo do v´ıdeo, na busca de quais partes do v´ıdeo o usu´ario tem interesse em assistir.

Neste contexto, a finalidade deste trabalho ´e desenvolver um algoritmo para sumarizac¸˜ao de v´ıdeos de jogos e aplicar esse algoritmo na sumarizac¸˜ao de v´ıdeos de jogos de plataforma, para tal s˜ao utilizadas t´ecnicas de processamento digital de imagem e vis˜ao computacional. Tal algoritmo de sumarizac¸˜ao explora a diferenc¸a entre a cor (PASS; ZABIH, 1996), a textura (OJALA et al., 2002) e o movimento (AHAD et al., 2012) em cada um dos frames.

Al´em das informac¸˜oes de cor, textura e movimento, uma caracter´ıstica identificada em jogos de plataforma foi explorada para tentar melhorar a qualidade dos sum´arios produzidos. Tal caracter´ıstica consiste no fato de que, esse tipo de jogo normalmente flui para frente, contando com trˆes blocos de componentes (ch˜ao, centro e c´eu) que possuem caracter´ısticas diferentes (SILVA et al., 2017), como apresenta a Figura 1, portanto, foram exploradas informac¸˜oes sobre tais blocos no processo de sumarizac¸˜ao.

Figura 1: Exemplo de divis˜ao do cen´ario de um jogo de plataforma em blocos de linhas Para identificar tais blocos, foi proposto um m´etodo para divis˜ao de uma imagem em blocos de linha que utiliza de modo recursivo um algoritmo de crescimento de regi˜oes, com uma func¸˜ao de custo que analisa informac¸˜ao de cor de distˆancia.

Foram realizados experimentos, nos quais o algoritmo proposto foi utilizado para sumarizar v´ıdeos de trˆes jogos de plataforma diferentes. Tal algoritmo foi aplicado utilizando individualmente a informac¸˜ao de cada bloco de linha e tamb´em a informac¸˜ao global da imagem (como o crit´erio de comparac¸˜ao). Ap´os a execuc¸˜ao dos experimentos, foi aplicado um question´ario para obter a opini˜ao dos telespectadores do v´ıdeo, quanto ao sum´ario que melhor representa o v´ıdeo.

Com os resultados experimentais, foi poss´ıvel concluir que a t´ecnica de sumarizac¸˜ao baseada em blocos de linhas ´e promissora. Tamb´em foi poss´ıvel identificar e propor v´arios trabalhos futuros.

1.1 CONTRIBUIC¸ ˜OES

Com o objetivo de desenvolver um sistema que sumarize v´ıdeos de jogos digitais do gˆenero plataforma aplicado conceitos e t´ecnicas de Processamento Digital de Imagens e Vis˜ao Computacional, esse trabalho apresenta as seguintes contribuic¸˜oes:

• Um mapeamento sistem´atico da literatura sobre t´ecnicas de sumarizac¸˜ao de jogos digitais, que foi publicado em (SILVA et al., 2017).

• Um algoritmo de crescimento de regi˜oes para detecc¸˜ao de blocos de linhas.

• Um algoritmo para sumarizac¸˜ao de v´ıdeo, com base em descritores de cor, textura e movimento, utilizando informac¸˜ao global ou dos blocos de linhas detectados.

• Resultados experimentais obtidos com os algoritmos propostos.

1.2 JUSTIFICATIVA

Um dos fatores que justificam execuc¸˜ao deste trabalho e o crescimento do mercado de jogos digitais (LEMES et al., 2012) e a importˆancia desse segmento para economia mundial (RODRIGUES; KRONIG, 2016), pois o algoritmo propostos pode ser integrados aos jogos mais relevantes do mercado afim de gerar seus devidos sum´arios.

Outro fator movivacional, ´e a popularidade de recursos streaming utilizados para transmiss˜ao ao vivo de v´ıdeo de jogos (CHU; CHOU, 2017), onde a soluc¸˜ao proposta poderia ser acoplada a tal transmiss˜ao, para que a ap´os sua execuc¸˜ao um sum´ario do v´ıdeo possa ser gerado automaticamente.

Al´em disso, os resultados do mapeamento sistem´atico desenvolvido (SILVA et al., 2017), indicam a existˆencia de poucos trabalhos relacionados ao assunto. O que tamb´em motiva novos estudos na ´area.

1.3 ORGANIZAC¸ ˜AO DO TRABALHO

O restante do trabalho encontra-se organizado da seguinte forma, o Cap´ıtulo 2 apresenta como o mapeamento sistem´atico foi conduzido, apontando os crit´erios utilizados e seus resultados. No Cap´ıtulo 3 s˜ao apresentados detalhes dos algoritmos propostos. Os procedimentos metodol´ogicos utilizados para execuc¸˜ao dos experimentos s˜ao apresentados no Cap´ıtulo 4 e os resultados experimentais s˜ao apresentados no Cap´ıtulo 5. Por fim, a an´alise dos resultados e a conclus˜ao do trabalho s˜ao apresentados respectivamente nos Cap´ıtulos 6 e 7.

2 REVIS ˜AO BIBLIOGR ´AFICA

Esse Cap´ıtulo apresenta um mapeamento sistem´atico da literatura, que ´e um dos resultados desse trabalho (SILVA et al., 2017).

Para a conduc¸˜ao do mapeamento sistem´atico, foram seguidos os cinco passos propostos por Petersen et al. (2008): i) definic¸˜ao das Quest˜oes de Pesquisa (QP’s); ii) pesquisa pelos estudos prim´arios relevantes; iii) selec¸˜ao dos estudos prim´arios; iv) categorizac¸˜ao dos artigos; e v) mapeamento e extrac¸˜ao de informac¸˜oes que respondam as quest˜oes de pesquisa estabelecidas.

Quatro QP’s formam definidas com o objetivo de encontrar trabalhos voltados para a sumarizac¸˜ao de v´ıdeos de jogos digitais, e identificar quais t´ecnicas est˜ao sendo utilizadas na gerac¸˜ao dos sum´ario. Tais QP’s s˜ao apresentadas a seguir:

• QP1: Quais m´etodos de sumarizac¸˜ao de v´ıdeo s˜ao aplicados no contexto de jogos digitais?

• QP2: Como s˜ao apresentados os resultados da sumarizac¸˜ao de v´ıdeos de jogos digitais?

• QP3: Para quais tipos de jogos j´a foram criados m´etodos de sumarizac¸˜ao?

• QP4: Quais informac¸˜oes sobre a interac¸˜ao do jogador s˜ao utilizadas para sumarizar v´ıdeos

de jogos digitais?

Para definir quais trabalhos devem ser inclu´ıdos ou exclu´ıdos do mapeamento sistem´atico foram definidos os Crit´erios de Inclus˜ao (CI’s) e Crit´erios de Exclus˜ao (CE’s). Aplicando tais crit´erios foi poss´ıvel identificar quais trabalhos existentes na literatura, que podem contribuir para as respotas das QP’s.

Os CI’s s˜ao apresentados a seguir:

• CI1: Se v´arios artigos mostram estudos similares, somente o mais recente ´e inclu´ıdo;

• CI2: Se houver vers˜oes do mesmo artigo, uma resumida e outra completa, apenas a

• CI3: Artigos que descrevem m´etodos de sumarizac¸˜ao de v´ıdeos de jogos digitais ser˜ao

adicionados.

Os CE’s s˜ao apresentados a seguir:

• CE1: Estudos que n˜ao estejam na l´ıngua portuguesa ou inglesa ser˜ao exclu´ıdos;

• CE2: Relat´orios t´ecnicos, documentos que est˜ao dispon´ıveis na forma de resumos

ou apresentac¸˜oes e tamb´em revis˜oes de literatura secund´arias (ou seja, revis˜oes e mapeamentos sistem´aticos da literatura) ser˜ao exclu´ıdos;

• CE₃: Trabalhos que n˜ao apresentem t´ecnicas de sumarizac¸˜ao de v´ıdeo ser˜ao exclu´ıdos;

• CE4: Trabalhos que n˜ao relacionados a v´ıdeos de jogos digitais ser˜ao exclu´ıdos.

Para responder as QP’s a seguinte string de busca foi utilizada: ((”video

summarization”OR ”movie summarization”OR ”video abstraction”OR ”movie abstraction”OR ”video indexing”OR ”movie indexing”OR ”video highlights”OR ”movie highlights”) AND (”digital game”OR ”video game”)). Destaca-se que a string de busca foi adaptada de acordo com as caracter´ısticas de cada uma das bases pesquisadas.

A string de busca foi aplicada em bases de dados eletrˆonicas visando encontrar estudos da ´areas de Ciˆencia da Computac¸˜ao, Educac¸˜ao e Pesquisa Educacional (DYBA et al., 2007). Tal busca foi realizada nos meses de julho e agosto do ano de 2017 e seus resultados s˜ao apresentados na pr´oxima subsec¸˜ao.

2.1 RESULTADOS DO MAPEAMENTO SISTEM ´ATICO

A pesquisa retornou um total de 94 trabalhos, tal como ´e apresentado no Quadro 1. Ap´os aplicar os CI’s e CE’s definidos, apenas um dos trabalhos foi selecionado. Tal trabalho, foi obtido na biblioteca digital Springer.

A selec¸˜ao do mapeamento sistem´atico resultou na obra liter´aria (CHU; CHOU, 2017), voltada para a detecc¸˜ao de eventos do jogo League of Legend (LoL), um dos jogos de batalha multiplayer mais populares da atualidade. O objetivo de tal trabalho ´e selecionar os melhores momentos do jogo (highlights) e tamb´em prever eventos de interesse, visando melhorar a qualidade do streaming do v´ıdeo do jogo.

As caracter´ısticas analisadas no algoritmo de sumarizac¸˜ao, em (CHU; CHOU, 2017) s˜ao as seguintes informac¸˜oes: i) detecc¸˜ao de texto; ii) movimento; iii) cor; iv) n´umero de

Quadro 1: N ´umero de estudos obtidos por biblioteca digital

Biblioteca Digital Trabalhos

ACM Digital Librar 4

Elsevier (via Science Direct) 18

Engineering Village 1 IEEExplore 1 Scopus 0 Springer 70 Web of Science 0 Total de Artigos 94

Fonte: (SILVA et al., 2017)

jogadores envolvidos em uma batalha; iv) tempo de durac¸˜ao dos eventos; v) n´umero de telespectadores; e vi) n´umero de s´ımbolos de emoc¸˜oes digitados.

Para detectar os melhores momentos do v´ıdeo, em (CHU; CHOU, 2017), utiliza-se uma abordagem psicofisiol´ogica baseada em um modelo de excitac¸˜ao (HANJALIC; XU, 2005).

2.2 AMEAC¸ AS A VALIDADE

Com o objetivo de executar uma selec¸˜ao imparcial de trabalhos, as QP’s, CI’s e CE’s foram definidos antes do in´ıcio do mapeamento sistem´atico.

Apesar do uso das principais bases de dados (DYBA et al., 2007), somente um conjunto limitado de base de dados foram utilizados, sendo assim, pode ser que estudos relevantes n˜ao tenham sido inclu´ıdos.

3 ALGORITMOS PROPOSTOS

Este Cap´ıtulo descreve os trˆes algoritmos que foram utilizados nesse trabalho, estando organizado da seguinte forma: A sec¸˜ao 3.1 descreve o algoritmo de sumarizac¸˜ao utilizado. O algoritmo para divis˜ao de blocos de linhas ´e apresentado na sec¸˜ao 3.2. E uma extens˜ao do algoritmo de sumarizac¸˜ao (proposto a sec¸˜ao 3.1) que trabalha com os blocos de linhas (criados com o algoritmo apresentado na sec¸˜ao 3.2), ´e apresentada na sec¸˜ao 3.3.

3.1 ALGORITMO DE SUMARIZAC¸ ˜AO

Considerando um v´ıdeo, como conjunto totalmente ordenado de imagens, neste

trabalho, ser˜ao utilizados dois conjuntos totalmente ordenados de imagens: Vf = {v f1, ..., v fn}

e Kf = {k f1, ..., k fm}, que correspondem respectivamente ao conjunto de n imagens do v´ıdeo

original e ao conjunto de m imagens mais representativas do v´ıdeo original (quadros chave), que compoem o sum´ario do v´ıdeo, tal que m ≤ n.

Para cada par de imagens adjacentes (v f_x, v f_x+1) ∈ Vf, ´e aplicada uma func¸˜ao de custo

ψ (Equac¸ ˜ao 1), que faz uso dos resultados obtidos com as Equac¸˜oes 2, 3 e 4, que representam

as informac¸˜oes de cor, textura e movimento utilizadas pelo algoritmo de sumarizac¸˜ao.

A informac¸˜ao de cor ´e obtida a partir da Equac¸˜ao 2, utilizando a func¸˜ao

gray(v f_x, v f_x+1), que retorna a distˆancia euclidiana entre o histograma da intensidade do n´ıvel

de cinza dos quadros v f_xev f_x

1.

A Equac¸˜ao 3, ´e aplicada no calculo da informac¸˜ao de textura, sendo que, para tal, faz

uso da func¸˜ao lbp(v f_x, v f_x+1), que retorna a distˆancia entre os histogramas das imagens v f_x e

v f_x+1, ap´os a aplicac¸˜ao do algoritmo LBP (Local Binary Pattern) (OJALA et al., 2002).

J´a informac¸˜ao de movimento, por sua vez, ´e obtida pela Equac¸˜ao 4, que faz uso da

func¸˜ao mov(v f_x, v f_x+1), que retorna a soma dos valores dos pixels da imagem resultante da

subtrac¸˜ao entre as imagens v f_xe v f_x+1(em escala de cinza) (AHAD et al., 2012).

o maior valor obtido com uma func¸˜ao f unction(v f_x, v f_x+1), considerando todos os pares de

imagens adjacentes (v f_x, v f_x+1) ∈ Vf.

Quando a Equac¸˜ao 2 ´e utilizada, o retorna o maior valor obtido com uma func¸˜ao

f unction(v f_x, v f_x+1) equivale maior valor obtido com uma Equac¸˜ao 2 considerando todos os

pares de imagens adjacentes (v f_x, v f_x+1) ∈ V_f. De forma analoga, o mesmo procedimento

acontece com as Equac¸˜oes 3 e 4. Dessa forma o resultado das Equac¸˜oes 2, 3 e 4, podem ser normalizados entre 0 e 255. ψ (v f_x, v f_x+1) = g(v fx, v fx+1) + l(v fx, v fx+1) + m(v fx, v fx+1) 3 (1) g(v f_x, v f_x+1) = gray(v fx, v fx+1) MAX(Vf, gray(v fx, v fx+1) ∗ 255 (2) l(v f_x, v f_x+1) = lbp(v fx, v fx+1) MAX(Vf, lbp(v fx, v fx+1) ∗ 255 (3) m(v f_x, v f_x+1) = mov(v fx, v fx+1) MAX(Vf, mov(v fx, v fx+1) ∗ 255 (4)

Ap´os obter o valor de ψ(v f_x, v f_x+1) para todos os pares de adjacente imagens do

conjunto Vf, ´e definido o valor de β , que ´e um limiar de threshold utilizado para adicionar

imagens ao conjunto Kf.

Nesse trabalho, o valor utilizado para β ´e o decimo maior valor obtido com a func¸˜ao

ψ (v f_x, v f_x+1) em um determinado conjunto Vf, dessa forma, o conjunto Kf deve ser composto

por apenas 10 quadros.

Considerados as equac¸˜oes apresentadas nessa sec¸˜ao, o m´etodo de sumarizac¸˜ao

proposto ´e apresentado no Algoritmo 1. Tal que a func¸˜ao calculaβ (Vf) retorna o valor de

Algoritmo 1: SUMARIZAC¸ ˜AO DEV´IDEO Entrada: Vf Sa´ıda: K_f 1 in´ıcio 2 β = calculaβ (Vf) 3 anterior= 1 4 atual= 2

5 while (atual < tamanho(V_f)) do

6 di f = ψ(v f_anterior,V f_atual) 7 if (di f ≥ β ) then 8 K_f.adiciona(v f_atual) 9 end 10 anterior= atual 11 atual= atual + 1 12 end 13 fim 14 retorna K_f

3.2 CRIAC¸ ˜AO DE BLOCOS DE LINHAS

Nessa sec¸˜ao ´e apresentado um algoritmo para divis˜ao de uma imagem v_{f x}em trˆes

sub-imagens. Tal divis˜ao se d´a de fforma horizontal, de forma que a imagem v_{f x} ´e divida em trˆes

blocos de linhas (v_{f x}1, v_{f x}2, v_{f x}3) ∈ v_{f x}.

Um exemplo da divis˜ao de um imagem v_{f x} em um conjunto de blocos de linhas ´e

Figura 2: Conjunto de blocos de linhas (v_{f x}1, v_{f x}2, v_{f x}3) ∈ v_{f x}

Nesse trabalho foram exploradas duas formas de dividir a imagem em blocos de linha: i) utilizando linhas de tamanho fixo; e ii) utilizando linhas de tamanho dinˆamico.

Para obter blocos de linhas de tamanho fixo, simplesmente se divide a altura da imagem pelo n´umero de linhas de desejadas (que nesse trabalho ´e 3) e se obter´a a altura de cada um dos blocos de linhas, que ter˜ao o mesmo tamanho.

Para se obter linhas de tamanho dinˆamico, foi utilizado um algoritmo de crescimento de regi˜oes por sementes (ADAMS; BISCHOF, 1994), que ´e apresentado com mais detalhes a seguir.

3.2.1 ALGORITMO PARA CRIAC¸ ˜AO DE BLOCOS DE LINHAS TAMANHO

DIN ˆAMICO

Considerando que uma imagem ´e uma matriz bidimensional de pixels de l linhas e

c colunas, pode-se fazer a divis˜ao da imagem em blocos de linhas utilizando o algoritmo de

crescimento de regi˜oes por sementes, apresentado nessa sec¸˜ao.

A Figura 2 ilustra um exemplo de imagem dividida em trˆes blocos de linhas, resultante do algoritmo proposto nessa sec¸˜ao.

Tal algoritmo considera duas sementes, adicionadas respectivamente na primeira e na ´ultima linha da imagem, estas sementes devem ser deslocadas em direc¸˜ao a centro da imagem

at´e o momento em que as mesmas se encontrem, com isso teremos a coordenada de uma linha que ir´a permitir dividir a imagem em duas sub-imagens.

Ap´os dividir a imagem de duas partes, executa-se novamente o m´etodo de divis˜ao da imagem para cada uma das sub-imagens (blocos de linhas), assim s˜ao obtidos trˆes blocos de linhas (desconsidera-se os dois blocos de linhas obtidos com a primeira iterac¸˜ao do m´etodo). Se o processo de divis˜ao continuar de forma recursiva, a cada iterac¸˜ao, ser´a obtido um novo conjunto de linhas, com uma linha a mais que o conjunto anterior.

A Figura 3 apresenta o processo de segmentac¸˜ao iterativo resultante da aplicac¸˜ao do algoritmo de criac¸˜ao de blocos de linhas com tamanho dinˆamico.

Figura 3: Blocos linhas de tamanho dinˆamico

O Algoritmo 2 apresenta o m´etodo de detecc¸˜ao de blocos de linhas de tamanho dinˆamico proposto. Tal algoritmo utiliza a func¸˜ao distEucli(c1, c2), que retorna a distˆancia Euclidiana entre dois conjunto de n´umeros inteiros.

Algoritmo 2: CRIAC¸ ˜AO DE BLOCOS DE LINHAS DETAMANHODINAMICOˆ

Entrada: imagem, inicio, f inal Sa´ıda: m

1 in´ıcio

2 x= inicio + 1

3 y= f inal − 1

4 while (x 6= y) do

5 eucli_x= distEucli(imagem[x][0], imagem[x − 1][0])

6 eucli_y= distEucli(imagem[y][0], imagem[y + 1][0])

7 dist_x= x − inicio

8 dist_y= f inal − y

9 if ((eucli_x+ dist_x) > (eucli_y+ dist_y)) then

10 y= y − 1 11 end 12 else 13 x= x + 1 14 end 15 end 16 meio= x 17 fim 18 retorna meio

3.3 ALGORITMO DE SUMARIZAC¸ ˜AO COM BASE EM BLOCOS DE LINHAS

Essa sec¸˜ao apresenta uma variac¸˜ao do algoritmo de sumarizac¸˜ao apresentado na sec¸˜ao 3.1, que permite que o algoritmo possa ser utilizado com o conceito de blocos de linhas (apresentado na sec¸˜ao 3.2).

Nesse contexto, apenas quatro modificac¸˜oes devem ser feitas no Algoritmo 1, para dar origem ao Algoritmo 3:

1. Selecionar um dos blocos de linhas. Tal que essa informac¸˜ao ´e passada por parˆametro para o algoritmo;

2. A func¸˜ao calculaβ , ´e modificada, passando a possuir dois parˆametros:Vf e linha, sendo

Vf o conjunto de imagens a ser sumarizado e linha um parˆametro que referente ao bloco

3. Utilizar a func¸˜ao divideBloco(imagem, primeiralinha, ultimalinha), que representa o Algoritmo 2; e

4. Utilizar a func¸˜ao recortaImagem(imagem, primeiralinha, ultimalinha), que retorna uma sub-imagem da imagem passada como parˆametro, equivalente ao bloco de linhas que est´a entre as linhas passadas como parˆametro.

Algoritmo 3: SUMARIZAC¸ ˜AO DEV´IDEOBASEADO EMBLOCOS DE LINHAS Entrada: V_f, linha Sa´ıda: Kf 1 in´ıcio 2 β = calculaβ (Vf, linha) 3 anterior= 1 4 atual= 2

5 while (atual < tamanho(V_f)) do

6 aux= divideBloco(v f_atual, 1, altura(v f_atual))

7 l₁= divideBloco(v f_atual, 1, aux)

8 l₂= divideBloco(v f_atual, aux, altura(v f_atual)

9 if (linha == 1) then

10 img_anterior= recortaImagem(v f_anteiror, 0, l₁)

img_atual= recortaImagem(v f_atual, 0, l1)

11 end

12 if (linha == 2) then

13 img_anterior= recortaImagem(v f_anteiror, l₁, l₂)

img_atual= recortaImagem(v f_atual, l1, l2)

14 end

15 if (linha == 3) then

16 img_anterior= recortaImagem(v f_anteiror, l₂, 0)

img_atual= recortaImagem(v f_atual, l2, 0)

17 end

18 di f = ψ(img_anterior, img_atual)

19 if (di f ≥ β ) then 20 K_f.adiciona(v f_atual) 21 end 22 anterior= atual 23 atual= atual + 1 24 end 25 fim 26 retorna K_f

4 PROCEDIMENTOS METODOLOGICOS

Este Cap´ıtulo apresenta a metodologia utilizada para o desenvolvimento do trabalho, descrevendo como as t´ecnicas de sumarizac¸˜ao apresentadas no Cap´ıtulo 3 foram aplicadas e validadas.

Para a validac¸˜ao dos algoritmos propostos, dois conjuntos de experimentos foram realizados, um com v´ıdeos de jogos digitais e um secund´ario com v´ıdeo clips de m´usicas.

Para realizac¸˜ao de ambos os experimentos, os algoritmos apresentados foram implementados utilizando a linguagem de programac¸˜ao Python, em conjunto com a biblioteca OpenCV (OPENCV, 2017).

Para todos os v´ıdeos utilizados nos experimentos, foi executado o Algoritmo 1 e tamb´em o Algoritmo 3 (utilizando cada um dos trˆes blocos de linhas, obtidos de forma est´atica e tamb´em dinˆamica).

4.1 EXPERIMENTO 1 - V´IDEOS DE JOGOS DE PLATAFORMA

O primeiro experimento foi realizado com um conjunto de trˆes v´ıdeos de jogos digitais

obtidos do YouTube. Foram selecionados apenas jogos indicados pelo site ClickJogos1, na lista

de melhores jogos de plataforma: i) Mario Broz2; ii) Snail Bob 33; e iii) Dark Lands4 Uma

imagem de cada um dos jogos utilizados ´e apresentada na Figura 4. Al´em de serem apontados pelo site ClickJogos, tais jogos foram escolhidos por apresentarem caracter´ısticas distintas:

• Jogo 1: o movimento do personagem ´e predominantemente constante para frente, com mudanc¸as frequentes na cor do fundo do jogo;

• Jogo 2: o personagem se movimenta em diferentes sentidos, n˜ao havendo movimento

1_{http://www.clickjogos.com.br/}

2_{https://www.youtube.com/watch?v=obfOGFK3VZ0&t=27s} 3_{https://www.youtube.com/watch?v=olFY2MpKdUQ&t=96s} 4_{https://www.youtube.com/watch?=E0GwgeROJe8&t=103s}

constante para frente. O jogo apresenta poucas mudanc¸as na paleta de cores; e

• Jogo 3: o movimento do personagem ´e predominantemente constante para frente, sem mudanc¸as frequentes na cor do fundo.

(a) (b)

(c)

Figura 4: Jogos Selecionados para o Experimento 1

Para permitir a avaliac¸˜ao dos resultados desse experimento, al´em de uma an´alise emp´ırica dos resultados, tamb´em foi aplicado um question´ario (Apˆendice A) a um grupo de volunt´arios, seguindo o seguinte procedimento metodologico:

1. Detalhes do experimento foram apresetados aos participantes;

2. Os participantes que aceitaram participar, assinaram um termo de consentimento livre e esclarecido;

3. Em seguida os participantes assistiram a cada um dos v´ıdeos.

4. Ap´os assistirem a cada um dos v´ıdeos, os participantes deram a sua opni˜ao sobre o melhor sum´ario produzido, de acordo com as linhas apresentadas na Figuras de 5 a 10,

4.2 EXPERIMENTO 2 - V´IDEOS CLIPS

Al´em dos experimentos realizados com v´ıdeos de jogos digitais, um segundo experimento foi executado, com um conjunto de trˆes v´ıdeo clips musicais, referentes as m´usicas

mais tocadas no mˆes de maio de 2018, de acordo com o site Vagalume1. Tais v´ıdeos tamb´em

foram obtidos do Youtube.

Os v´ıdeos clips selecionados para o segundo experimento, s˜ao apresentados a seguir:

• Video Clip 1: – M´usica: O Sol – Artista: Vitor Kley

– Link:https://www.youtube.com/watch?v=YVJijQIualA • Video Clip 1:

– M´usica: Amor de Verdade – Artista: MC Kekel e MC Rita

– Link: https://www.youtube.com/watch?v=8 oE-iQeFeE • Video clip 3:

– M´usica: Perfect – Artista: Ed Sheeran

– Link: https://www.youtube.com/watch?v=2Vv-BfVoq4g

Deve-se destacar que, para o segundo experimento, n˜ao foi aplicado nenhum question´ario (pois o objetivo do trabalho era criar um m´etodo de sumarizac¸˜ao de v´ıdeos de jogos de plataforma), por´em os resultados de experimento contribuem para uma an´alise emp´ırica do m´etodo de sumarizac¸˜ao proposto.

5 RESULTADOS EXPERIMENTAIS

Nesta sec¸˜ao s˜ao apresentados os resultados dos experimentos descritos na sec¸˜ao 4. As Figuras de 5 a 10, apresentam os quadros chave selecionados, sendo que as Figuras de 5 a 7 apresentam os quadros chave obtidos no experimento 1, e as Figuras de 8 a 10 apresentam os quadros chave obtidos no experimento 2. Tais Figuras est˜ao organizadas em 7 linhas, tal que cada linha, ilustra os resultados obtidos com os algoritmos apresentados abaixo:

• Linha 1: Sum´ario gerado pelo Algoritmo 1 comparando a imagem em tamanho global. • Linha 2: Sum´ario gerado pelo Algoritmo 3 trabalhando com a linha superior da imagem,

dividida de forma dinˆamico (calculado com Algoritmo 2).

• Linha 3: Sum´ario gerado pelo Algoritmo 3 trabalhando com a linha central da imagem, dividida de forma dinˆamica (calculado com Algoritmo 2).

• Linha 4: Sum´ario gerado pelo Algoritmo 3 trabalhando com o bloco inferior da imagem dividida de forma dinˆamica (calculado com Algoritmo 2).

• Linha 5: Sum´ario gerado pelo Algoritmo 3 trabalhando com a linha superior da imagem dividida de forma fixa.

• Linha 6: Sum´ario gerado pelo Algoritmo 3 trabalhando com a linha central da imagem dividida de forma fixa.

• Linha 7: Sum´ario gerado pelo Algoritmo 3 trabalhando com a linha inferior da imagem dividida de forma fixa.

Observando o lado esquerdo as figuras citadas anteriormente, pode-se identificar tais linhas.

Figura 5: Quadr os cha v es selecionados -J ogo 1

Figura 6: Quadr os cha v es selecionados -J ogo 2

Figura 7: Quadr os cha v es selecionados -J ogo 3

Figura 8: Quadr os cha v es selecionados -V ´ıdeo clip 1

Figura 9: Quadr os cha v es selecionados do -V ´ıdeo clip 2

Figura 10: Quadr os cha v es selecionados do -V ´ıdeo clip 3

As Figuras de 11 a 18, apresentam os resultados da equac¸˜ao ψ (Equac¸˜ao 1) aplicada em cada um dos pares de quadros adjacentes. Destaca-se que as Figuras de 11 a 16 representam os resultados do experimento 1, e as Figuras de 17 a 22 apresentam os resultados obtidos com o experimento 2.

Tais figuras apresentam os gr´aficos que representam as diferenc¸as entre os pares de imagens adjacentes, onde a linha vertical (y) representa o valor de tal diferenc¸a, e a linha horizontal (x) representa a posic¸˜ao de cada uma das imagens no vetor que referente a sequˆencia de quadros do v´ıdeo.

Figura 11: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do J ogo 1 (com uso de blocos de linhas de tamanho din ˆamico)

Figura 12: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do J ogo 1 (com uso de blocos de linhas de tamanho fixo)

Figura 13: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do J ogo 2 (com uso de blocos de linhas de tamanho din ˆamico)

Figura 14: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do J ogo 2 (com uso de blocos de linhas de tamanho fixo)

Figura 15: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do J ogo 3 (com uso de blocos de linhas de tamanho din ˆamico)

Figura 16: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do J ogo 3 (com uso de blocos de linhas de tamanho fixo)

Figura 17: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do V ´ıdeo Clip 1 (com uso de blocos de linhas de tamanho din ˆamico)

Figura 18: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do V ´ıdeo Clip 1 (com uso de blocos de linhas de tamanho fixo)

Figura 19: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do V ´ıdeo Clip 2 (com uso de blocos de linhas de tamanho din ˆamico)

Figura 20: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do V ´ıdeo Clip 2 (com uso de blocos de linhas de tamanho fixo)

Figura 21: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do V ´ıdeo Clip 3 (com uso de blocos de linhas de tamanho din ˆamico)

Figura 22: Gr ´aficos do resultado da Equac ¸ ˜ao 1 para todos os par es de imagens do V ´ıdeo Clip e (com uso de blocos de linhas de tamanho fixo

5.1 RESULTADOS DO QUESTION ´ARIO

Para avaliar os resultados do experimento 1, foi aplicado um question´ario, com o qual, se obteve a opni˜ao de alguns volunt´arios sobre os resultados obtidos.

O question´ario foi aplicadado de acordo com a metodologia apresentada na sec¸˜ao 4.1, tendo a participac¸˜ao de 10 volunt´arios, sendo que os resultados do question´ario s˜ao apresentados a seguir.

Dos participantes do question´ario, 40% s˜ao do gˆenero femenino e 60% do gˆenero masculino. Quanto a idade dos participantes, a m´edia ´e de aproximadamente 26 anos (destaca-se que duas pessoas n˜ao informaram a idade). Os dados referentes a idade dos participantes, s˜ao ilustrados na Figura 23.

Figura 23: Idade dos participantes do question´ario

Quanto a formac¸˜ao acadˆemica dos entrevistados, todos os participantes do question´arios est˜ao no m´ınimo cursando um curso de graduac¸˜ao: 60% est˜ao com a graduc¸˜ao em andamento e 40% j´a possuem p´os-graduc¸˜ao, como apresentado na Figura 24.

Informac¸˜oes sobre a experiˆencia dos participantes do experimento, em relac¸˜ao ao desenvolvimento de jogos digitais, e tamb´em quanto a peridiocidade em que jogam jogos digitais de forma geral e jogos de plataforma, s˜ao apresentados na Figuras 25, 26 e 27.

Figura 24: N´ıvel de formac¸˜ao dos participantes do question´ario

Figura 25: N´ıvel de experiˆencia em desenvolvimento do jogos (em uma escala de 1 a 10) dos participantes do question´ario

Figura 26: Frequˆencia que os participantes do question´ario jogam jogos digitais (em uma escala de 1 a 10)

Figura 27: Frequˆencia que participantes do question´ario jogam jogos digitais de plataforma (em uma escala de 1 a 10)

A opini˜ao dos participantes em relac¸˜ao ao melhor sum´ario produzido, para cada um dos jogos, no experimento 1, ´e apresentada nas Figuras 28, 29 e 30.

Figura 28: Melhores sum´arios escolhidos para o jogo 1 pelos participantes do question´ario

6 AN ´ALISE DOS RESULTADOS

Esse Cap´ıtulo apresenta uma an´alise dos resultados obtidos, para tal encontra-se dividida em duas sess˜oes: A sec¸˜ao 6.1, apresenta a an´alise dos resultados do algoritmo de divis˜ao da imagem em blocos de linhas de tamanho dinˆamico, e a sec¸˜ao 6.2, cont´em a an´alise dos resultados de sumarizac¸˜ao obtidos.

6.1 AN ´ALISE DOS RESTULADOS DA CRIAC¸ ˜AO DE BLOCOS DE LINHAS

Quanto ao algoritmo de divis˜ao de blocos (Algoritmo 3.2), era esperado que ele dividi-se a imagem em blocos de linhas de tamanhos dinˆamicos, de acordo com a imagem, por´em quase todos os blocos obtidos tiveram as mesmas dimens˜oes, tendo o blocos de linhas central representando 50% da imagem, e os demais representando 25% do tamanho da imagem.

Apesar da divis˜ao de blocos de linhas de tamanho dinˆamico, n˜ao apresentar o dinˆamismo esperado, ainda assim, foi poss´ıvel avaliar os resultados de sumarizac¸˜ao utilizando dois conjuntos de blocos de linhas distintos (de tamanho fixo e dinˆamico - sec¸˜ao 3.2)

Visando ilustrar estes resultados, a Figura 31 apresenta os blocos de linhas de tamanho fixo e tamanho dinˆamico, obtidos em um dos quadros do jogo 3 (Figura 4).

6.2 AN ´ALISE DOS RESULTADOS DE SUMARIZAC¸ ˜AO

As an´alises dos resultados obtidos com os dois experimentos executados s˜ao apresentadas a seguir.

6.2.1 AN ´ALISE DOS RESULTADOS DO EXPERIMENTO 1

Quanto aos resultados obtidos com o question´ario, pode-se observar que sum´arios obtidos com o bloco de linhas de tamanho fixo, tiveram os melhores resultados, representando para todos os jogos, um n´umero igual ou maior a 50% das opini˜oes obtidas.

De acordo com os resultados do question´ario, para o jogo 1 o melhor sum´ario foi obtido com o segundo bloco de linhas (bloco central). J´a para os jogos 2 e 3, os melhores sum´arios foram obtidos com o terceiro bloco de linhas (bloco da parte de baixo da tela).

Pode-se concluir, que de acordo com os resultados do question´ario, que o uso de blocos de linhas melhorou a qualidade dos sum´arios produzidos. Por´em, mais experimentos s˜ao necess´arios, antes de se poder afirmar definitivamente, que o uso de blocos de linhas contribui positivamente com a sumarizac¸˜ao de v´ıdeos de jogos de plataforma, por´em, pode-se dizer que os resultados obtidos s˜ao promissores, justificando novas pesquisas nessa ´area.

6.2.2 AN ´ALISE DOS RESULTADOS DO EXPERIMENTO 2

No segundo experimento, relacionado a v´ıdeos de clips musicais, os resultados obtidos com o uso de blocos de linhas foram praticamente os mesmo obtidos com o uso de informac¸˜ao global da imagem (com poucas variac¸˜oes nos quadros selecionados), tal como pode ser observado nas Figuras 8, 9 e 10.

Quanto ao fato de n˜ao serem observadas grandes diferenc¸as nos resultados (em relac¸˜ao ao experimento 2), um ponto positivo pode ser apontado: com cerca de 30% das informac¸˜oes da cada quadro, os resultados obtidos foram similares aos obtidos com 100% da informac¸˜ao da imagem.

7 CONCLUS ˜AO

Esse trabalho teve in´ıcio com um mapeamento sistem´atico de literatura em busca de m´etodos de sumarizac¸˜ao de v´ıdeo de jogos digitais. Com o qual, pode-se observar a existˆencia de apenas um trabalho relacionado.

Nesse contexto, visando contribuir com a literatura, no restante do trabalho foi desenvolvido um estudo referente a t´ecnicas de sumarizac¸˜ao de v´ıdeos de jogos digitais (com foco em jogos de plataforma), comparando o uso de informac¸˜ao de cor, textura e movimento, utilizando informac¸˜ao global da imagem, e tamb´em a informac¸˜ao com os blocos de linhas da imagem (cujo algoritmo de detecc¸˜ao tamb´em foi proposto nesse trabalho).

O algoritmo proposto para detecc¸˜ao de linhas dinˆamicas n˜ao se mostrou t˜ao eficiente como o esperado, uma vez que os blocos de linhas obtidos tiveram poucas variac¸˜oes (tal como ´e descrito na sec¸˜ao 6.1). No entanto, apesar da divis˜ao de blocos da imagens n˜ao atender as expectativas, foi poss´ıvel avaliar o uso de blocos de linhas na sumarizac¸˜ao de v´ıdeos.

Com os resultados obtidos por meio dos experimentos realizados, pode-se concluir que a t´ecnica de sumarizac¸˜ao proposta ´e promissora, uma vez que criaram os s´umarios de v´ıdeos de jogos digitais mais escolhidos pelos participantes do question´ario aplicado.

Quanto ao segundo experimento, realizado com v´ıdeo clips, os sum´arios gerados com a informac¸˜ao global da imagem s˜ao muito parecidos com os sum´arios gerados com a informac¸˜ao dos blocos de linhas. Sendo assim, como resultados similares foram obtidos utilizando um conjunto menor de informac¸˜oes, tal caracteristica pode ser explorada na melhoria do desempenho de m´etodos de sumarizac¸˜ao.

Al´em dos resultados apresentados, tamb´em foram identificados trabalhos futuros relacionados ao projeto, que podem contribuir diretamente para melhoria dos resultados obtidos:

• Foram analisadas apenas trˆes informac¸˜oes para produc¸˜ao do sum´ario: cor, textura e movimento. Por´em pode-se explorar um conjunto maior de informac¸˜oes, n˜ao envolvendo apenas as imagens do jogo, mas tamb´em, o som, informac¸˜oes da interac¸˜ao e emoc¸˜oes do

usu´ario ou dos telespectadores, entre outras informac¸˜oes semˆanticas.

• Foram conduzidos experimentos com apenas um tipo de jogo, sendo necess´ario conduzir um estudo mais aprofundado com outros tipos de jogos digitais e tamb´em com um conjunto maior de v´ıdeos.

• O uso de blocos de linhas se mostrou promissor, no entanto como o m´etodo proposto para divis˜ao de blocos de linhas de tamanho dinˆamico n˜ao teve o resultado esperado, pois retornou em quase todas as vezes blocos de linha com o mesmo tamanho, justifica-se o estudo de novas t´ecnicas para divis˜ao da imagem em blocos de linhas, sendo necess´ario aplicar testes especificos para avaliar a divis˜ao da imagem em blocos.

• Quanto a validac¸˜ao dos resultados, a falta de uma base de dados rotulada, foi um problema, que impediu a realizac¸˜ao de uma validac¸˜ao quantitativa. Portanto a produc¸˜ao de uma base de dados para validac¸˜ao e comparac¸˜ao de m´etodos de sumarizac¸˜ao de v´ıdeos de jogos digitais, ´e um trabalho futuro.

• N˜ao foram exploradas diferentes formas de exibic¸˜ao dos sum´arios, sendo portanto, imposs´ıvel afirmar que o uso de quadros chaves ´e a melhor forma de apresentar o conte´udo sumarizado.

• Com base nos resutados do experimento 2 (ses˜ao 6.2.2), pode-se, em trabalhos futuros, validar se o uso de blocos de linha contribuir efetivamente para melhoria do desempenho dos m´etodos de sumarizac¸˜ao. Destaca-se que, al´em de blocos de linhas, pode-se explorar outras formas de particionar a imagem.

REFER ˆENCIAS

ADAMS, R.; BISCHOF, L. Seeded region growing. IEEE Transactions on pattern analysis and machine intelligence, IEEE, v. 16, n. 6, p. 641–647, 1994.

AHAD, M. A. R. et al. Motion history image: its variants and applications. Machine Vision and Applications, Springer, v. 23, n. 2, p. 255–281, 2012.

CHU, W.-T.; CHOU, Y.-C. On broadcasted game video analysis: event detection, highlight detection, and highlight forecast. Multimedia Tools and Applications, Springer, v. 76, n. 7, p. 9735–9758, 2017.

DYBA, T.; DINGSOYR, T.; HANSSEN, G. K. Applying systematic reviews to diverse study types: An experience report. In: IEEE. International Symposium on Empirical Software Engineering and Measurement. [S.l.], 2007. p. 225–234.

HANJALIC, A.; XU, L.-Q. Affective video content representation and modeling. IEEE Transactions on multimedia, IEEE, v. 7, n. 1, p. 143–154, 2005.

KHAN, S.; PAWAR, S. Video summarization: Survey on event detection and summarization in soccer videos. International Journal of Advanced Computer Science and Applications, Citeseer, 2015.

LEMES, D. O.; TOMASELLI, F. C.; BRAGA, S. C. R. A economia digital e o mercado de jogos para dispositivos m´oveis. Simp´osio Brasileiro de Jogos e Entretenimento Digital, v. 11, p. 1–5, 2012.

OJALA, T.; PIETIKAINEN, M.; MAENPAA, T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on pattern analysis and machine intelligence, IEEE, v. 24, n. 7, p. 971–987, 2002.

OPENCV. OpenCV. 2017. Dispon´ıvel em: <https://opencv.org/>.

PASS, G.; ZABIH, R. Histogram refinement for content-based image retrieval. In: IEEE. Applications of Computer Vision, 1996. WACV’96., Proceedings 3rd IEEE Workshop on. [S.l.], 1996. p. 96–102.

PETERSEN, K. et al. Systematic mapping studies in software engineering. In: International conference on evaluation and assessment in software engineering. [S.l.: s.n.], 2008. v. 17, n. 1.

PORTO, C. Facebook Marketing: Tudo que vocˆe precisa saber para gerar neg´ocios na maior rede social do mundo. [S.l.]: Novatec Editora, 2016.

RODRIGUES, A. O.; KRONIG, R. O uso do bpm no desenvolvimento de jogos. FaSCi-Tech, v. 1, n. 3, 2016.

SILVA, L. A. et al. Desenvolvimento de t´ecnicas para sumarizac¸˜ao de v´ıdeos de jogos digitais: um projeto de pesquisa. Simp´osio de Engenharia de Software da UTFPR-DV, p. 1–10, 2017. ZHANG, K. et al. Video summarization with long short-term memory. In: SPRINGER. European Conference on Computer Vision. [S.l.], 2016. p. 766–782.

AP ˆENDICE A -- QUESTION ´ARIO APLICADO

1.Perfil do participante: 2.Idade:

3.Sexo:

4.N´ıvel de Formac¸˜ao:

•Ensino M´edio incompleto •Ensino M´edio completo •Graduac¸˜ao em andamento •Graduac¸˜ao completa

•P´os graduac¸˜ao em andamento •P´os graduac¸˜ao completa

5.N´ıvel de Experiencia com Desenvolvimento de Jogos Digitais (em uma escala de 1 a 10): 6.Com que frequˆencia vocˆe joga jogos digitais?

•Todo dia

•Algumas vezes por semana •Algumas vezes por mˆes •Algumas vezes por ano •Nunca jogo

7.Com que frequˆencia vocˆe joga jogos de plataforma? •Todo dia

•Algumas vezes por semana •Algumas vezes por mˆes

•Algumas vezes por ano •Nunca jogo

8.Quais linhas cont´em s´umarios representativos o jogo 1? (de acordo com a Figura 5 do Cap´ıtulo 5.

9.Quais linhas cont´em s´umarios representativos o jogo 2? (de acordo com a figura 6 do Cap´ıtulo 5).

10.Quais linhas cont´em s´umarios representativos o jogo 3? (de acordo com a figura 7 do Cap´ıtulo 5).