ALGORITMO PARA RASTREAMENTO AUTOMÁTICO DE MARCADORES EM SEQUÊNCIAS DE IMAGENS DE MOVIMENTOS HUMANOS*

 

Pascual J.Figueroa1,2, Neucimar J. Leite2, René Brenzikofer1,3, Ricardo M. L. Barros1

1-Laboratório de Instrumentação para Biomecânica-DEM-FEF-UNICAMP

2-Instituto de Computação-UNICAMP

3-Instituto de Física "Gleb Wataghin"-UNICAMP

 

The flexibility and quality of the kinematic data acquisition system are influenced by the tracking algorithm power. Therefore, the improvement of the marker tracking process in sequence of images is an important step in 3D automatic human motion analysis, independently of the system used. The most common tracking algorithms use threshold filters to separate the markers of interest and the background. The purpose of this study is to present an effective algorithm to track markers in the human motion context, based on image processing and mathematical morphology concepts. The algorithm considers not only the marker intensity but also the marker shape and the image topographic features. The proposed algorithm is integrated into the kinematic analysis system (Dvideow).

Keywords: Biomechanics, Image Processing, Tracking

 

INTRODUÇÃO

A flexibilidade e qualidade de um sistema para aquisição de dados em cinemática são influenciadas pela capacidade do algoritmo de rastreamento de marcadores. Portanto, a melhoria do processo de rastreamento desses marcadores em sequências de imagens é um passo importante na análise automática tridimensional de movimentos humanos, independente do sistema de aquisição usado.

Os algoritmos de rastreamento mais comumente utilizados, tanto em sistemas baseados em vídeo como aqueles baseados em luz infra-vermelha, usam filtros de contraste para separar os marcadores de interesse do resto da imagem. Isto significa que os marcadores devem ser os objetos que apresentem os maiores valores de intensidade em cada imagem a ser analisada. Filtros para separá-los do resto da imagem têm as propriedades de filtros passa-alta.

Considerando a variabilidade dos ambientes para coleta de dados e a complexidade dos movimentos estudados em Biomecânica, entre outros fatores, sabe-se que o rastreamento automático dos marcadores nem sempre é possível, mesmo em sistemas baseados em infra-vermelho em que a obtenção de um forte contraste entre figura e fundo é facilitada.

Diante dessas considerações, o objetivo deste estudo é apresentar um algoritmo eficiente para rastrear marcadores em contexto de análise de movimentos humanos, a partir de conceitos de processamento de imagens, em particular baseado em conceitos de morfologia matemática. O algoritmo proposto não apenas considera a intensidade dos marcadores para localizá-los mas também as suas formas, as características topográficas da imagem e as regiões de maior probabilidade de encontrá-los. O algoritmo apresentado está integrado e foi testado no sistema de análise de cinemática (Digital Video for Biomechanics - Windows 32bits - Dvideow) desenvolvido por Barros et al. (1997), contudo pode também ser implementado em outros sistemas.

 

MÉTODOS

Descreveremos, a seguir, os principais conceitos e operações de morfologia matemática aplicados ao processamento de imagens utilizados no algoritmo proposto.

 

 

Dilatação e erosão são as duas operações morfológicas básicas. Sejam f : F ® Z e k : K ® Z, definidas em Z2, duas funções representando imagens em níveis de cinza. Assim, a dilatação de f por um elemento estruturante planar ( k (z)=0, zÎ K ), f Å k : F Å K ® Z, é dada por:

 

(1)

 

A erosão de f, f Q k : F Q K ®Z, é:

 

(2)

 

a) b) c) d)

Figura 1: um exemplo de dilatação e erosão aplicados para uma dimensão. a) A imagem original. b) elemento estruturante planar. c) Dilatação. d) Erosão.

Abertura e fechamento. Pela aplicação iterativa de erosão e dilatação, pode-se eliminar detalhes da imagem menores que o elemento estruturante, sem afetar suas características geométricas globais. Por exemplo, a abertura que suaviza contornos e elimina pequenas ilhas é dada por:

 

(3)

 

O fechamento que suaviza contornos, preenche pequenos golfos e elimina pequenos buracos é definida como:

 

(4)

 

a) b) c) d)

Figura 2: um exemplo de abertura e fechamento aplicados para uma dimensão. a) Imagem original. b) Elemento estruturante planar. c) Abertura. d) Fechamento.

O gradiente morfológico é utilizado para a detecção de contornos e pode ser definido por:

 

(5)

 

Linha divisora de águas (LDA). Uma definição intuitiva de LDA pode ser a imagem como uma superfície topográfica. Esta superfície apresenta mínimos regionais, como mostra a figura 3a. Imagine que esses mínimos são perfurados e que os submergimos progressivamente em água de tal modo que o nível continue o mesmo em toda a superfície. Durante o processo de inundação, são construídos diques para evitar a união de águas provenientes de dois mínimos diferentes. Ao final, o conjunto dos diques construídos constitui a LDA da imagem.

Dinâmica de uma imagem. A dinâmica é uma das caracteristicas que permite avaliar os extremos de uma imagem a partir de seus constrastes. A dinâmica de um máximo regional M, de uma imagem em nivel de cinza f, é definida como o desnivelamento mínimo a ser atingido quando, partindo-se de M, se deseja alcançar um ponto de maior altitude (figura 3b). Assim:

 

(6)

 

a) b)

Figura 3: a) uma superfície topográfica e definição intuitiva de LDA. b) Definição da dinâmica de um máximo regional

Tendo apresentado os principais conceitos de morfologia matemática utilizados, apresentamos, a seguir, os principais passos do algoritmo proposto :

  1. Inicialização. Na primeira imagem da seqüência, os pontos de interesse correspondentes ao centro dos marcadores a serem rastreados são indicados por um operador. A região em torno do pixel selecionado é analisada pela algoritmo. Medidas relativas ao marcador e seu entorno são extraídas para posterior utilização na etapa de casamento de padrões.
  2. Predição. A fim de reduzir a região de busca na imagem e, assim, o tempo de execução do algoritmo, precisamos de uma estimativa das regiões com máxima probabilidade de conter os marcadores, em cada imagem da seqüência. Isto pode ser obtido através de predição (extrapolação) de acordo com a trajetória medida dos marcadores nas imagens prévias, usando por exemplo o filtro de Kalman (1960). O filtro de Kalman é uma técnica recursiva de atualização usada para determinar os parâmetros corretos de um modelo de processo. Dados alguns valores iniciais, pode-se predizer e ajustar os parâmetros do modelo através de cada nova medição, obtendo a estimativa do erro em cada atualização. Os elementos que constituem o filtro de Kalman para esta aplicação são definidos da seguinte forma: é o vetor que contém os parâmetros no tempo , ou seja , onde x e y denotam as coordenadas da posição do marcador e são as representações das velocidades nas direções respectivas.
  3. Segmentação. A função da segmentação é reduzir a possibilidade de falsos casamentos de padrões. A idéia básica de nossa segmentação morfológica é levar em conta o relevo topográfico definido pelo marcador na região de busca. A segmentação pode ser descrita com os seguintes passos: 1- Aumento dos picos da imagem usando operações de pré-processamento como erosão, abertura e outras. 2- Detecção dos contornos pela aplicação do gradiente. 3- Cálculo dos valores da dinâmica dos mínimos regionais e seleção nestas regiões dos valores maiores. 4- Considerando as regiões obtidas, determinação de suas linhas divisoras de águas. 5- Eliminação de algumas regiões de acordo com parâmetros associados à estrutura morfológica dos marcadores, tais como perímetro, área e alongamento.
  4. Casamento de Padrões. Este passo consiste em encontrar os objetos de interesse comparando características do padrão fornecido na inicialização com os objetos obtidos após a segmentação das regiões de busca. Basicamente, isto é feito utilizando-se técnicas de correlação.

 

RESULTADOS E DISCUSSÃO

 

A seguir, apresentamos a forma de operação do algoritmo proposto, na etapa de segmentação, aplicado ao rastreamento automático de marcadores passivos (Æ =25 mm) fixados ao corpo de um sujeito, em um movimento de salto vertical.

 

a) b) c) d)

 

e) f) g)

 

Figura 4: a) A primeira imagem da seqüência de imagens de um salto vertical mostrando os marcadores usados. b) Visão ampliada da região de busca a ser segmentada relativa ao marcador colocado na altura do joelho. c) Conversão em níveis de cinza, inversão e erosão da região. d) Detecção de contornos utilizando o gradiente. e) Seleção de contorno aplicando a linha divisora de águas, depois do cálculo dos valores da dinâmica no ítem "d". f) Seleção dos contornos baseado nos seus perímetros (possíveis marcadores). g) O resultado final obtido através do casamento de padrões (correlação cruzada).

Para exemplificar a utilização do algoritmo sob condições experimentais pouco controladas, apresentamos, na figura 5, o resultado do rastreamento automático de bolas de Voleibol, sacadas de diferentes formas. (Deprá et al, 1997)

 

 

Figura 5: Exemplo de aplicação do algoritmo proposto na análise de trajetórias de saques em Voleibol.

Além das aplicações consideradas aqui, o algoritmo proposto tem sido aplicado com êxito no rastreamento de marcadores na análise de movimentos respiratórios (Barros et al, submetido). Neste caso, os sujeitos movimentam-se com 14 pontos marcados sobre o tronco, durante um tempo consideravelmente longo para análises cinemáticas (aproximadamente 4 minutos). Outra situação em que o algoritmo mostrou-se eficiente foi na análise cinemática de marcha, em ambiente sem controle de luminosidade.

 

Concluindo, o algoritmo sugerido foi capaz de rastrear os marcadores de interesse em estudos de diferentes tipos de movimentos e situações experimentais. O uso das características morfológicas dos marcadores, associado a considerações topográficas e aos procedimentos de predição e casamento de padrões acrescentam, portanto, generalidade e flexibilidade ao algoritmo, permitindo a melhoria da eficiência de sistemas de análise cinemática de movimentos humanos.

 

 

REFERENCIAS BIBLIOGRÁFICAS

BARROS, R. M. L., BRENZIKOFER, R., BAUMANN, W., LIMA, E., CUNHA, S, FIGUEROA, P. (1997) "A flexible computational environment to track markers and reconstruct trajectories in biomechanics". Proceedings of the XVIth Congress of the International Society of Biomechanics, Tokyo.

BARROS, R. M. L., LEITE, M. R. R., BRENZIKOFER, R., LIMA FILHO, E. C., IWANOWICZ, J. B. "Metodologia para análise de padrões respiratórios baseada nos movimentos da superfície do tronco". VIII Congresso Brasileiro de Biomecânica, Florianópolis, maio de 1999. (Submetido)

DEPRÁ, P., BRENZIKOFER, R., GOES, M., BARROS, R. M. L. "Fluid mechanics analysis in volleyball services". In: Proceedings of the XVI International Symposium on Biomechanics in Sports. Konstanz, Alemanha, Julho de 1998. p. 85-88.

HARALICK, R. M., STERNBERG, S. R., ZHUANG, X., (1987) "Image analysis using mathematical morphology". IEEE Trans Pattern Analysis and Machine Intelligence, 9(4):, p. 532-549, 7.

SERRA, J. (1992) "Image Analysis and Mathematical Morphology". Academic Press, London.