Metodologia biomecânica baseada em processamento de imagens: aplicações no esporte

Metodologia biomecânica baseada em Metodologia biomecânica baseada em

processamento de imagens:

processamento de imagens:

aplica

aplica ç ç ões no esporte ões no esporte

Prof. Dr. Milton

Prof. Dr. Milton Shoiti Shoiti Misuta Misuta Laborat

Laborat ó ó rio de Biomecânica e rio de Biomecânica e Instrumenta

Instrumenta ç ç ão ão - - LABIN LABIN

Faculdade de Ciências Aplicadas

Faculdade de Ciências Aplicadas

Universidade Estadual de Campinas

Universidade Estadual de Campinas

Médico, matemático, estaticista

... brilhante atuação acadêmica, deixou marcas importantes em várias instituições de ensino superior e percutiu em tantos projetos científicos de colegas docentes, investigadores fora da universidade, alunos de pós-graduação e alunos de graduação.

... sua jornada iniciou-se em Ribeirão Preto, passando por São Paulo, São Carlos, Rio de Janeiro e Campinas.

... na Unicamp, foi docente do Instituto de Matemática e Estatística e da Faculdade de Educação Física e atuou em pesquisa junto ao Instituto de Biologia e da Faculdade de Ciências Médicas.

Laboratório de Instrumentação para Biomecânica – LIB

Faculdade de Educação Física - Unicamp

Prof. Dr. Euclydes Custódio de Lima Filho

Mecânica Aplicada

Corpos Rígidos Corpos

Não-Rígidos

Mecânica Dos Fluidos

Estática

Viscoelasticidade

Adaptado de Ozkaya e Nordin, 1999

Dinâmica

Cinética

Plasticidade

Cinemática

Elasticidade

Gases Líquidos

Cinemetria Dinamometria Antropometria EMG

Posição e orientação dos

Segmentos corporais

Forças externas e

Distribuição de pressão

Parâmetros para o

Modelo corporal

Atividade muscular

Modelo Modelo

Forças de gravitação Energia mecânica

Inércia

Momentos líquidos e

Forças internas

Áreas para complexa análise biomecânica do

movimento humano.

Computação

Física Biologia

Eletrônica

Ciências do Esporte/

Educação Física

- Multidisciplinaridade -

Diversas áreas do conhecimento

Computação

Física Biologia

Eletrônica

Ciências do Esporte/

Educação Física

- Interdisciplinaridade -

Interface entre as diversas áreas do

conhecimento

Metodologia Biomecânica Metodologia Biomecânica

Desenvolvimento de m

Desenvolvimento de méétodos e instrumentatodos e instrumentaçção, medição, medição e ão e processamento de dados, modelagem e simula

processamento de dados, modelagem e simulaçção computacional e ão computacional e otimiza

otimizaçção.ão.

Distribuição de pressão plantar

Desenvolvimentos de métodos e instrumentação

Produ

Produ ç ç ão de Conhecimento ão de Conhecimento

Problema

Identificação das Variáveis

Aquisição

Análise

Modelos

Métodos de aquisição

Métodos de análise

Estatística

Estado da arte

Fenômeno

Esportes coletivos

Futebol

Esportes Individuais

TaeKwondo

Tempo de jogo

Reconhecimento automático do

tempo do placar eletrônico

Produ

Produ ç ç ão de Conhecimento ão de Conhecimento

Problema

Identificação das Variáveis

Aquisição

Análise

Modelos

Método de rastreamento automático

Métodos de análise

Estatística

Estado da arte Linha de Pesquisa: Futebol

Produ

Produ ç ç ão de Conhecimento ão de Conhecimento

• Conhecer aspectos físicos de desempenho de cada atleta (volume e intensidade)

• Conhecer aspectos táticos relativos ao atleta e à equipe

Problema

• Distância percorrida

• Velocidade

Identificação das Variáveis

Módulo da velocidade: derivação a partir dos dados suavizados da

trajetória:

em que

• x e y são as coordenadas do vetor da trajetória do jogador;

• q: (1,.., número total de quadros – 1).

Posição/Velocidade

( ) ( )

) 1 q ( ) 1 q (

y y

x x

) q ( v

2 1 q 1

q 2

1 q 1

q

−

− +

− +

= ⁺ − ^{− + −}

r

Descrição da posição de um jogador e o vetor associado a este ponto no quadro i.

( )^{x, y}

p_i

pi

rr

• Modelo de representação do jogador:

modelo de ponto material

descrição da posição do jogador: a partir da localização de um único ponto

considera-se a projeção do movimento sobre um plano

Modelo de Representação do Jogador

• sistema de coordenadas

sistema de coordenadas associado ao campo

descrição do movimento do jogador (no plano)

• Calibração

DLT (Direct Linear Transformation) propostos por Abdel-Aziz e Karara (1971)

• 4 câmeras de vídeo digitais

• formato da seqüência de imagens:

• AVI (Audio Video Interleaved)

• resolução de 480 linhas por 720 colunas (entrelaçadas)

Y

Aquisição

X

Processo de Aquisição: Imagem do campo

Janela da interface do Sistema Dvideo

Imagem do campo Extração do campo

Obtenção de regiões que representam os jogadores

Sistema Dvideo

Medição: Segmentação

(1)

(2)

(3)

(4) Construção do grafo Separação dos blobs

Identificação dos jogadores por time

Sistema Dvideo

Medição: Rastreamento

Sequência de imagens - quadros

Tracking soccer players aiming their kinematical motion analysis Pascual J. Figueroa, Neucimar J. Leite, Ricardo M.L. Barros.

Computer Vision and Image Understanding 101 (2006) 122–135

Percentual de rastreamento

automático: 93.4%

Exemplo da Movimentação Realizada por Dois Jogadores

Ataque Defesa

Lat. Esquerdo:

5.694,7 m Lat. Direito:

5.203,6 m

Distância Percorrida

Exemplo de Uma Curva de Velocidades

Curva de velocidades de um jogador de meio de campo(2) do time A no 1o. tempo.

Curva de velocidades apresentada no intervalo de 8,5 a 10,5 minutos do 1o. tempo

Distribui

Distribuiçção de Velocidadesão de Velocidades

Tempo de permanência em cada faixa de velocidades dos jogadores (time A e B) durante todo o jogo

Produ

Produ ç ç ão de Conhecimento ão de Conhecimento

Problema

Identificação das Variáveis

Aquisição

Análise

Modelos

Método de rastreamento automático

Métodos de análise

Estatística

Estado da arte

Linha de Pesquisa: Taekwondo

Sistema de referência / eixos anatômicos

• x: direção do eixo látero/lateral

• y: direção do eixo vertical

• z: direção do eixo antero/posterior

Sistema Dvideo: Aquisição

Configura Configura ç ç ão ão : :

calibra calibra ç ç ão não ão não - - linear linear

(Silvatti(Silvatti et al., 2010)et al., 2010)

6 cameras Basler(120Hz) (gen 6 cameras Basler(120Hz) ( gen- -locked) locked)

Sistema Sistema DVideo DVideo

Filtro Filtro digital Butterworth (4th digital Butterworth (4th ordem ordem ) ) - - 6 Hz 6 Hz

Sistema Dvideo: Aquisição

Modelo Modelo de de representa

representa ç ç ão ão : :

10 segmentos 10 segmentos : : cabe cabe ç ç a a , , tronco

tronco , , bra bra ç ç o o , , antebra antebra ç ç o o , , coxa coxa , , perna perna

( (

Um grau Um grau de liberdade de liberdade

Modelo de Representação

Aquecimento: (20 min) Aquecimento: (20 min)

Alvo/referência Alvo/referência – – voluntá volunt ário parado rio parado no local pr

no local pr é- é -estabelecido estabelecido

In In í í cio do chute: em movimenta cio do chute: em movimenta ç ç ão ão de prepara

de prepara ção do chute ç ão do chute

Sequência Sequência dos chutes dos chutes

chutes sem pausa: 5 chutes chutes sem pausa: 5 chutes

8 tipos: 8 tipos: Bandau Bandau , , dolyo dolyo , Antchagui, , Baratchagui, Neryotchagui,

Tuitchagui, Torguetchagui, Mondolyotchagui

Protocolo: chute

Protocolo

Bandau

• Chute semicircular médio

• Variações:

Perna Frente Direita / Esquerda

Perna Atrás Direita / Esquerda

c) contorno a) Nível de cinza b) dilatação

Sistema Dvideo

Medição: segmentação

Sequência de imagens – quadros (1, .. n:

n = total de quadros)

A flexible software for tracking of markers used in human motion analysis.

Pascual J. Figueroa, Neucimar J. Leite, Ricardo M.L. Barros.

Computer Methods and Programs in Biomedicine 72 (2003) 155/165

Sistema Dvideo

Medição: rastreamento

Determinação da altura máxima do chute

Determinação:

• Início chute

• Fim chute

ponto de mínimo regional

Determinação da Fase do Chute

Resultados

Bandau Perna Frente

Direita: vermelho Esquerda: azul

Produ

Produ ç ç ão de Conhecimento ão de Conhecimento

Problema

Identificação das Variáveis

Aquisição

Análise

Modelos

Método de

reconhecimento automático

Métodos de análise

Estatística

Estado da arte

Linha de Pesquisa: Reconhecimento do tempo

no placar eletrônico

• Filmagem: 4 câmeras (quadra) 1 câmera (placar)

• Frequência de amostragem: 7.5 Hz

• Sistema Dvideo: medição, calibração, reconstrução 2D

• Filtro: filtro digital Butterworth 4ª. Ordem;

0,4 Hz cutoff frequence (Matlab)

• Dados cinemáticos: jogadores e árbitros

Aquisi

Aquisi ç ç ão ão

RGB->N. Cinza Passa-alta Dilatação

Correlação

Modelo [O]

[A]

Reconhecimento do tempo

Reconhecimento do tempo

Reconhecimento do tempo Reconhecimento do tempo

0,4235 0,1841 0,9788 0,6699 0,1428

0,2924 0,2584 0,3129 0,6295 0,2726

2

RGB->N. Cinza Passa-alta Dilatação

Correlação

Modelo [O]

[A]

Reconheciment

o

•Percentual de acerto: 98,81%

•Tempo de processamento: 1,35 segundos por quadro (2,26Ghz Intel® Core 2 Duo).

A1 J5

Trajetória de um árbitro(A1) e de um jogador(J5) durante o 1º.

quarto de jogo.

Vermelho: “bola morta”. Azul: “bola viva”.

905,55 m

723,28 m 182,43 m

1159,29 m

1007,96 m 151,52 m

Distância percorrida durante o primeiro quarto de jogo.

A1A1 A2A2 A3A3 J1J1 J2J2 J3J3 J4J4 J5J5 905,55m

905,55m 1025,80m1025,80m 1184,71m1184,71m 1359,56m1359,56m 1201,78m1201,78m 1355,89m1355,89m 1516,02m1516,02m 1159,29m1159,29m Curva de distância percorrida acumulada (m) durante o 1 quarto de jogo.

Vermelho: “bola morta”. Azul: “bola viva”.

Obrigado !

Obrigado ! !!!! !!!!