Conversão de Pontos 3D do Mundo Real para Coordenadas de Pixel

Essencialmente, uma calibração permite determinar a relação de conversão de pontos 3D do mundo real para coordenadas de pixel no referencial da câmara. A Figura 28 apresenta um esquema que facilita a perceção da transformação das coordenadas de um determinado ponto P no mundo real, a sua conversão para o sistema de coordenadas do plano virtual da imagem e a sua relação com o referencial de coordenadas da câmara. Este esquema corresponde ao funcionamento de uma câmara pinhole, no entanto, para facilitar a perceção de conceitos, o plano virtual da imagem é representado à frente do centro ótico da câmara à distância f, correspondente à distância focal da câmara. Assim, o sistema de coordenadas da imagem estará alinhado com o sistema de coordenadas de pixel, ou seja,

as coordenadas de linha progridem de cima para baixo e as coordenadas de coluna da esquerda para a direita, permitindo simplificar alguns processos de cálculo. Na realidade, o plano da imagem é definido atrás do centro ótico da câmara.

Figura 28 - Representação do plano da imagem e do plano virtual da imagem [39]

Um ponto P no campo de visão da câmara é definido em coordenadas relativas às dimensões reais (world coordinate system (WCS)). Para converter estes pontos para um referencial bidimensional, é efetuada uma projeção dos pontos e objetos no plano da imagem, convertendo-os para o referencial de coordenadas da câmara (camera

coordinate system (CCS)). Este CCS é definido de tal forma que os eixos x e y sejam

respetivamente paralelos às colunas e linhas da imagem, e o eixo z perpendicular ao plano da imagem. A conversão de WCS para CCS é uma isometria, que pode ser expressa por

uma matriz de transformação com coordenadas homogéneas, cHw. As coordenadas da

câmara para o ponto P, pc=(xc,yc,zc), podem ser aferidas a partir das coordenadas reais (WCS), pw=(xw,yw,zw)T recorrendo à Equação 4:

𝑝𝑐 _{= 𝐻}𝑐

O resultado desta operação serão seis parâmetros relativos à transformação executada, os parâmetros associados às translações por cada eixo coordenado, tx, ty, e tz, e os parâmetros

associados às rotações em cada um dos eixos α, β e γ. Estes parâmetros são denominados parâmetros externos da câmara, pois determinam a posição da câmara relativamente ao referencial do ambiente que a envolve. Num algoritmo desenvolvido recorrendo ao HALCON, esta informação é guardada como uma pose, uma variável que armazena, por ordem, os parâmetros de cada translação e rotação.

Uma pose descreve uma transformação geométrica tridimensional, correspondente as translações e rotações, definidas por seis parâmetros: TransX, TransY e TransZ, relativos à translação ao longo dos eixos x, y e z, respetivamente, para descrever a rotação são utilizados os parâmetros RotX, RotY e RotZ. Um dos propósitos destas poses tridimensionais é descrever a posição e a orientação de um sistema de coordenadas em relação a outro. Por exemplo, a pose do sistema de coordenadas de um objeto em relação ao sistema de coordenadas da câmara. As poses são empregues igualmente para descrever a transformação de coordenadas entre dois sistemas de referência. Por exemplo, para transformar pontos de coordenadas de um objeto em coordenadas da câmara.

Uma vez determinadas as coordenadas 3D relativas ao CCS do ponto em análise, é efetuada a projeção deste ponto no sistema de coordenadas do plano da imagem (image

plane coordinate system (IPCS)). No referido manual, a projeção em perspetiva para o

modelo de câmara pinhole, é dada pela seguinte expressão: 𝑞𝑐 _{= (}𝑢 𝑣) = 𝑓 𝑧𝑐( 𝑥𝑐 𝑦𝑐) Equação 5

Após efetuada esta operação, é necessário considerar o efeito de distorção causado pela lente. Este efeito é demonstrado na Figura 29. A referida distorção provoca uma alteração no posicionamento do ponto de projeção P’. Caso não existisse a distorção da lente, a projeção P’ ficaria alinhada com o ponto P e o centro ótico. Este alinhamento está representado na Figura 29 por uma linha desenhada por pontos.

Figura 29 - Esquema ilustrativo do efeito de distorção da lente [39]

O efeito de distorção da lente pode ser modelado no plano da imagem, não necessitando de informações tridimensionais. No HALCON, as distorções podem ser modeladas pelo modelo de divisão, division model, ou pelo modelo polinomial, polynomial model. O modelo utilizado na maioria dos cenários é o division model.

Para definir as distorções radiais, o division model utiliza um parâmetro κ que traduz a magnitude das distorções radiais. Se κ for inferior a zero, a distorção será em forma de barril, achatada nos vértices e mais larga no centro (Figura 30, imagem da esquerda). Se

κ for positivo, a distorção será em forma de almofada, achatada no meio e mais larga nos

vértices (Figura 30, imagem da direita).

3.1.3.3 Procedimentos de Calibração de um Sistema e Estéreo ou 3D no

HALCON

Uma das grandes vantagens da utilização do HALCON e das ferramentas associadas, em relação a outros softwares ou bibliotecas de visão por computador, é o facto de simplificar bastante o processo de calibração. No manual do HALCON relativo às aplicações 3D em visão por computador [39], o processo de calibração é delineado por três passos: preparação, calibração e, por último, o acesso e armazenamento dos resultados de calibração. Este processo é efetuado recorrendo aos objetos ou placas de calibração providenciados pelo fabricante desta ferramenta de software.

Utilizando as placas de calibração fornecidas, este software permite detetar automaticamente o objeto nas imagens de calibração, efetuar a extração das marcas de calibração e determinar as correspondências entre as marcas de calibração extraídas e as respetivas coordenadas reais 3D. Utilizando estas placas é possível efetuar uma calibração com elevado grau de precisão, até 1 μm ou menos, que é um pré-requisito para aplicações de alta precisão. O HALCON permite a utilização de dois tipos de placa de calibração, placa com marcas dispostas de forma hexagonal (Figura 31 à esquerda) e placa com marcas dispostas de forma retangular (Figura 31 à direita). Existem algumas regras a seguir ao obter imagens de calibração com estes objetos, de modo a garantir a melhor precisão de calibração possível.

Figura 31 - Placas de calibração HALCON [39]

Para a calibração com a placa com marcas dispostas de forma retangular, é necessário fotografá-la de tal forma que ocupe, pelo menos, um quarto da área da imagem. É necessário obter 10 a 20 imagens diferentes com a placa colocada em várias posições e com vários ângulos de inclinação. A placa contém uma marca triangular e uma moldura retangular que permitem determinar a sua orientação e posicionamento relativos. Como

placa de calibração esteja completamente visível, de forma a determinar o posicionamento e orientação da placa. O sistema de coordenadas deste tipo de objeto de calibração está localizado no centro de todas as marcas.

Já para as placas com marcas dispostas de forma hexagonal, as marcas estão colocadas numa estrutura hexagonal de tal forma que para cada marca padrão existem outras seis marcas equidistantes. Este tipo de placa figura um número maior de marcas de calibração por placa, comparando com o outro tipo de placa, e assim deve cobrir praticamente toda a área da imagem. Estas placas de calibração contêm um a cinco padrões de localização, que são marcas dispostas de forma hexagonal, tal como as restantes marcas, mas onde quatro ou seis marcas contêm um furo. Para encontrar a placa de calibração na imagem e estimar a sua posição em relação à câmara, é utilizado o operador find_calib_object. Este tipo de placa, ao contrário da anterior, não necessita de ser totalmente visível na imagem quando fotografada, sendo que apenas um dos padrões de localização necessita de estar completamente visível na imagem. São necessárias menos imagens, seis ou sete, para obter os mesmos resultados que o tipo de placa de calibração com marcas dispostas retangularmente. O sistema de coordenadas da placa de calibração com marcas dispostas em hexágono está localizado no centro da marca central do primeiro padrão de localização.

Cada placa de calibração é fornecida com um ficheiro de calibração. Os arquivos de descrição para placas de calibração com marcas dispostas em hexágono têm a extensão de arquivo “cpd” e os arquivos de descrição para placas de calibração com marcas dispostas retangularmente têm a extensão de arquivo “.descr”.

Na preparação da informação de calibração é criado o modelo de calibração (calibration

data model) e é especificado o número de câmaras. A criação do calibration data model

é efetuada com a função create_calib_data, que recebe como argumentos o tipo de calibração, o número de câmaras do sistema e o número de objetos de calibração.

create_calib_data ('calibration_object', 1, 1, CalibDataID)

De seguida, os parâmetros internos das câmaras são associados ao modelo de calibração recorrendo ao operador set_calib_data_cam_param. Para além da variável associada ao modelo de calibração, CalibDataID, são introduzidos como argumentos o índice da

menos um, ou seja, por cada câmara existente é chamado este operador, sendo introduzindo um índice de câmara diferente. É ainda introduzido na função o argumento relativo aos parâmetros internos da câmara, CameraParam, sendo que esta variável pode ser inicializada recorrendo a um ficheiro com esta informação, ou uma variável previamente criada com esta informação. O argumento CameraType é deixado em branco uma vez que essa informação já é introduzida no CameraParam.

set_calib_data_cam_param (CalibDataID, CameraIdx,CameraType,CameraParam) Para criar previamente a variável a introduzir no parâmetro CameraParam, utiliza-se a função gen_cam_par_area_scan_division. Esta função assume a utilização de uma câmara do tipo area scan e a distorção da lente modelada pelo division model. Nela são introduzidos os argumentos relativos à distância focal da lente usada, Focus, ao coeficiente de distorção da lente, Kappa, às dimensões do sensor dos elementos da câmara, Sx e Sy, ao ponto central da imagem, Cx e Cy, e às dimensões da imagem, ImageWidth e o ImageHeight. A função tem ainda um último parâmetro, o parâmetro de

saída CameraParam, uma variável que irá retornar toda a informação introduzida, onde também constará informação relativa ao tipo da câmara usada.

gen_cam_par_area_scan_division (Focus, Kappa, Sx, Sy, Cx, Cy, ImageWidth, ImageHeight, CameraParam))

Uma vez relacionada a informação relativa às câmaras a calibrar com o modelo de calibração, é necessário introduzir as características do objeto de calibração, como as dimensões e coordenadas das marcas do padrão de calibração, informação que irá permitir aferir as dimensões reais de objeto presentes nas imagens. Recorrendo ao operador

set_calib_data_calib_object, é definido o objeto de calibração utilizado, associando-o ao

modelo de calibração previamente criado (CalibDataID). É introduzido o índice do objeto de calibração, CalibObjIdx, parâmetro relevante no caso de se utilizar mais do que um objeto de calibração. Tal como na formulação do modelo de calibração, o índice do objeto de calibração é definido entre 0 e o número de objetos de calibração menos um. A descrição do objeto de calibração, CalibObjDescr, introduzida recorrendo aos referidos ficheiros de descrição.