Omnidirectional Multicamera Architecture for
Mobile Robot Navigation
Anderson A. Nascimento, Paulo C. M. A. Farias
Universidade Federal da Bahia - UFBADepartamento de Engenharia Elétrica Salvador, Bahia 40210-630
Email: amorim.an@gmail.com, paulo.farias@ufba.br
Resumo—Omnidirectional vision systems have been commonly used on mobile robot navigation due to some useful properties of omnidirectional images, for example, wide field of view, rotational invariance and symmetry. The most common omnidirectional vision systems are based on catadioptric cameras, but they have serious drawbacks as low resolution and natural distortions from using convex mirrors. To address the problems with low resolution in catadioptric images, cylindrical omnidirectional panoramas can be used. This paper analizes three different architectures for an omnidirectional vision system based on multiple cameras approach. The design proposes the use of six interconnected CMUCam3 on a circular structure, each one responsible for a specific angular segment of the final image. The acquired omnidirectional panorama is better suitable for applications were more precise feature tracking or fine navigation problems (e.g. door traversal, docking) are required.
I. INTRODUÇÃO
Em muitas aplicações de navegação robótica, um sistema de visão computacional é a base das estratégias de planeja-mento de rotas e identificação de obstáculos. Sua principal responsabilidade é fornecer um mapa de informações espaciais sobre a vizinhança do veículo, possibilitando a elaboração de um modelo geométrico do ambiente de navegação. A precisão e o volume de detalhes de um modelo espacial têm relação direta com a eficiência do cálculo e verificação do caminho percorrido, assim como a detecção de obstáculos e objetos de interesse. Consequentemente, a qualidade de um sistema de visão robótico é um compromisso entre dois fatores básicos e, normalmente, incompatíveis em ambientes embarcados: a abrangência do campo de visão e a resolução das imagens adquiridas [1]. Com um campo de visão ampliado objetos de interesse e pontos de referência (landmarks) permanecem mais tempo sob observação. Por sua vez, uma alta resolução permite ao sistema identificar detalhes da imagem com mais precisão. Sistemas de visão omnidirecional caraterizam-se pelo campo de visão horizontal de 360 graus e são amplamente utilizados de navegação robótica [2]–[8]. Além do campo de visão ampliado, estes trabalhos exploram diversas proprieda-des encontradas em imagens omnidirecionais, tais como a invariabilidade rotacional, a continuidade de circunferência, simetrias e periodicidades e a invariabilidade de azimutes. Em [2] e [3], por exemplo, as características de invariabilidade rotacional e de azimute, respectivamente, são exploradas para auxilar a localização do veículo com relação a pontos de
referência previamente armazenados. Por sua vez, [6] e [8] exploram o campo de visão ampliado para desenvolver um modelo preciso de mapeamento incremental do ambiente, à medida que o veículo navega por ele.
Diferentes abordagens de aquisição de imagens omnidireci-onais podem ser classificadas quanto ao número de imagens e câmeras necessárias para montar um panorama. As estra-tégias mais comuns são: combinar uma câmera convencional apontando seu centro óptico para um espelho convexo [2]; fazer uma única câmera girar em torno de um eixo vertical e capturar segmentos da imagem a passos constantes [9]; ou, por fim, acoplar diversas câmeras dispostas em círculo, cada uma responsável pela cobertura de uma seção angular do campo de visão [10] [11] [12]. Cada método possui vantagens e desvantagens associadas, cabendo ao projetista a escolha do sistema mais adequado as suas necessidades.
Por exemplo, abordagens baseadas em uma única câmera rotacionada em torno de um eixo vertical podem ser montados a partir câmeras comerciais (e.g. webcam) e softwares de montagem de imagens panorâmicas. O uso desta técnica foi particularmente impulsionado pela grande volume de softwa-res e dispositivos capazes de montar panoramas a partir de imagens individuais. A simplicidade é sua principal vantagem, no entanto, como tempo de aquisição de um único panorama é relativamente longo, a abordagem é mais adequada a apli-cações em ambientes estáticos.
Uma segunda estratégia para visão omnidirecional combina espelhos e lentes de forma que o sistema resultante não precise mover a câmera na direção dos objetos de interesse, ideais para navegação autônoma e controle servo-visual. A implementação mais típica dessa abordagem são os sistemas catadióptricos, cujos detalhes de implementação são descritos em [13].
Embora as câmeras catadióptricas sejam a solução mais comum para visão robótica omnidirecional, elas apresentam limitações importantes como uma baixa resolução e a neces-sidade de tratar distorções causadas pela forma do espelho escolhido. Estas limitações são decisivas especialmente em ta-refas de identificação e rastreamento de objetos específicos no ambiente, como rostos, pequenas aberturas e objetos pequenos. Para contornar estes problemas algumas pesquisas sugerem o uso combinado múltiplas câmeras, por exemplo, catadióptricas para navegação global e câmeras simples para identificação local [14].
Uma terceira abordagem possível para aquisição de um panorama omnidirecional é conectar uma série de câmeras dispostas em círculo (multi-câmera), e compor o panorama final a partir dos segmentos adquiridos por cada câmera, como descrito em [12]. A alternativa contorna o problema da baixa resolução das câmeras catadióptricas e pode ser construída para adquirir uma imagem com um único disparo, facilitando a sua aplicação em ambientes dinâmicos.
Neste trabalho analisamos três diferentes arquiteturas multi-câmera para aquisição de panoramas omnidirecionais. As arquiteturas propostas são baseadas em um conjunto de seis CMUCam3 [15] dispostas em círculo para cobrir os 360 graus do campo de visão. Serão discutidos os problemas de interligação das seis câmeras e performance final da aplicação. O objetivo do projeto é fornecer um alternativa ao modelo ca-tadióptrico de aquisição de imagens para navegação adequado às restrições de robótica embarcada. A Seção II apresenta a arquitetura do sistema proposta, discutindo as principais vantagens e limitações. Uma vez estabelecido o modelo de aquisição de cada segmento, a Seção III discute o algoritmo de alinhamento e montagem do panorama omnidirecional. Os resultados obtidos são discutidos nas seções IV e V.
II. ARQUITETURA DE AQUISIÇÃO
Em um sistema de visão multi-câmera, cada módulo é responsável pela aquisição de uma fatia da imagem final. O sistema deve realizar a aquisição simultânea dos segmentos e, em seguida, alinhar e concatenar cada quadro a um panorama final. Uma vez adquirido, o panorama pode ser encaminhado ao mundo externo ou analisado internamente. A arquitetura do sistema deve ser capaz definir o modelo de interligação entre as câmeras e os protocolos de comunicação entre elas, dois aspectos que têm influência fundamental sobre os tempos de aquisição e transmissão de cada quadro. As limitações de memória e interfaceamento do hardware básico de aquisição foram os fatores mais determinantes para o projeto arquitetural do sistema.
A. CMUCam3
O hardware básico para aquisição de imagens utilizado foi a CMUCam3 [15]. Dentre os recursos de hardware disponíveis na CMUCam3 destacam-se: duas interfaces UART (Universal Asynchronous Receiver Transmitterpara comunicação externa, um microcontrolador Philips LPC2106, expansão para cartões MMC de até 4GB e um sensor CCD Omnivision OV6620 com resolução máxima de 352x288 pixels e uma amplitude horizontal de 80 graus. Além disso, o sistema oferece uma ampla biblioteca de software para aquisição, transmissão e pré-processamento de imagens.
Cada imagem adquirida pode ser transmitida através de uma das interfaces UART disponíveis na placa. Os protocolos de transmissão são definidos pelo desenvolvedor de acordo com as necessidades do projeto.
A câmera pode ser configurada para capturar imagens em RGB, HSV, YCbCr, ou em escala de cinza. O sistema de cores escolhido tem influência direta sobre o tamanho da
imagem final e sobre o tempo de transmissão, porém, não tem influência sobre a velocidade de transmissão, que é determinada pela taxa de transferência da UART.
O sensor também pode ser configurado para realizar ajustes de tempo de exposição e balanço de branco automaticamente. A resolução máxima oferecida pelo sensor é 352x288 pixels, no entanto, o sistema pode ser ajustado para realizar sub-amostragens de acordo com uma proporção específica. Ao configurar, por exemplo, a proporção de sub-amostragem de 1 (horizontal) para 2 (vertical), a imagem de saída tem uma reso-lução de 352x143 pixels. Adicionalmente é possível restringir a captura a apenas um canal de interesse por vez. Ou seja, caso a câmera esteja configurada em RGB é possível realizar operações sobre um canal de cores específico dentre os três disponíveis. Este recurso facilita especialmente a localização de objetos específicos pela cor, a extração de histogramas e o cálculo de informações no domínio da frequência de um único canal.
A CMUCam3 pode embarcar diferentes algoritmos de pré-processamento e controle servo-visual, eliminando a necessi-dade de enviar uma imagem completa para fora do sistema de visão, sua principal vantagem. Em aplicações mais simples, todo o sistema de visão e controle de navegação pode ser embarcado direto na CMUCam, a exemplo do Spoonbot [16], um pequeno robô móvel de mesa controlado por vídeo para seguir objetos com uma cor específica. Outro projeto, o Firefly Mosaic [17], monta uma rede de visão distribuída a partir de um conjunto de CMUCam acopladas a um módulo wireless. Dentre as aplicações possíveis do Firefly, são mencionadas vigilância contra incêndios e o monitoramento à distância de idosos em ambientes domésticos. Cada CMUCam embarca algoritmos de pré-processamento e reconhecimento de padrões específicos de imagem, além dos protocolos de manutenção e controle da rede de sensores.
B. Protocolo de transferência
No protocolo de transmissão de imagens estabelecido para o projeto, cada imagem é lida do sensor e transmitida uma linha por vez através da UART, como mostra a Figura 1.
Figura 1. Transmissão serial de uma imagem
Cada pixel é composto por um ou mais canais de cores com valores discretos que variam de 0 a 255. Os valores são transmitidos como caracteres ASCII pela interface serial.
Como o receptor conhece previamente a resolução da imagem solicitada, a transmissão é encerrada assim que o número correto de bytes é recebido. Outras alternativas foram testadas, como enviar a resolução da imagem nos dois primeiros bytes da transmissão, ou adicionar sinais de parada entre cada linha. No entanto, embora essas abordagens possam flexibilizar a configuração externa do sistema, não houve nenhum ganho expressivo de performance. Uma configuração mais rígida dos protocolos de transferência simplificou o projeto e diminuiu a possibilidade de erros de implementação.
A resolução da imagem, o protocolo de transmissão e o baudrate da UART são os três fatores que definem a velocidade de transmissão de uma imagem para fora da CMUCam3. A taxa máxima atingida sem perda de dados foi de 115200 bps. A essa velocidade, uma imagem com resolução de 176x143 pixels em escala de cinza é transmitida em 2,38 segundos aproximadamente. Para uma imagem RGB, o tempo de transmissão é multiplicado por três.
Mantidas as configurações de baudrate e resolução, este parâmetro é constante para qualquer aquisição em escala de cinza via UART, tanto para um computador pessoal quanto para um microncontrolador. Para calculá-lo, uma CMUCam3 foi ligada diretamente a um computador pessoal por RS232, com um baudrate configurado em 115200 bps. Um script em Matlab solicitou cinquenta imagens sucessivas em escala de cinza e mediu o tempo transcorrido em cada aquisição. O valor final, 2,38(s), é a média aproximada de todos os tempos medidos. Uma vez estabelecido o tempo médio de aquisição de um único canal de cores, o parâmetro pode ser usado para estimar o tempo total de aquisição de um panorama omnidirecional, com resolução de(3×176)×143 em diferentes arquiteturas, como descrito na Seção II-C.
C. Arquitetura de interligação
O campo de visão horizontal de uma CMUCam é de oitenta graus. Para cobrir um raio de360◦, devem ser agrupadas seis
CMUCam, cada uma responsável pela cobertura de 60◦, com
superposição de10◦ à direita e à esquerda de cada uma. Para
interligar os equipamentos foram avaliadas três arquiteturas possíveis: estrela, barramento e daisy chain, como indicado na Figura 2. A avaliação de cada modelo considerou sobre-tudo fatores relacionados à performance final de aquisição, ao número de linhas necessárias, ao melhor aproveitamento do hardware disponível e à complexidade do protocolo de transmissão.
A primeira delas, em estrela, apresenta uma desvantagem evidente com relação ao número de linhas necessárias, limi-tando a incorporação de novos componentes ao sistema. Como cada CMUCam tem apenas duas interfaces de saída, cada uma com duas linhas de transmissão (Rx e Tx), não é possível interligá-las entre si para que uma delas assuma o papel de controlador centralizado. É necessário, portanto, adicionar um microcontrolador com seis UARTs para comunicação dedicada. A necessidade de incorporar um sétimo elemento com este número incomum de interfaces UART enrijece a arquitetura e representa uma séria limitação.
Na configuração em estrela o tempo de aquisição (T) de uma imagem panorâmica tem proporção direta com o número de câmeras envolvidas (N), como indica a Equação 1.
T = 2, 38 × N (1)
O parâmetro2, 38 é tempo médio (em segundos) necessário para adquirir uma única imagem de 176x143 pixels em escala de cinza, como descrito na Seção II-B.
O modelo em estrela oferece o melhor tempo de aquisição, entretanto, apresenta desvantagens evidentes de escalabilidade e adaptação. Uma segunda alternativa é a ligação das câmeras em um barramento multiplexado (Figura 2(b)), arbitrado por um microcontrolador externo. O microcontrolador seria res-ponsável pela ativação individual das câmeras. O programa de controle envia um sinal de requisição que é recebido em todas as câmeras e, em seguida, seleciona qual linha de transmissão será recebida.
O tempo de aquisição estimado para este tipo de ligação também é proporcional ao número de câmeras do sistema, assim como na Equação 1, com a vantagem de um hardware mais simplificado.
Com o intuito de validar a arquitetura em barramento, um protótipo foi montado usando um microcontrolador PIC18F4550 como árbitro de barramento. Uma requisição de captura é enviada simultaneamente a todas as câmeras, garan-tindo que todos os segmentos são adquiridos ao mesmo tempo. Em seguida, o microcontrolador seleciona uma CMUCam3 específica e envia o setor correspondente da imagem a um computador pessoal via USB.
Esta arquitetura, embora um pouco mais eficiente, ainda tem a desvantagem da adição de um segundo microcontrolador ao sistema, aumentando o consumo de energia e a complexidade final do programa embarcado. Uma segunda alternativa, ainda a ser testada, é usar uma das CMUCam3 diretamente como árbitro, ligando o multiplexador ao receptor da sua segunda UART e usando três pinos de GPIO (General Purpose In-put/Output) como seletores.
Finalmente, o terceiro modelo de arquitetura avaliado foi o daisy chain. Nesta configuração as câmeras são ligadas entre si em cadeia. Cada câmera é ligada a outra à sua esquerda através do primeira UART (UART0), e à sua direita através da segunda UART (UART1). No início da cadeia, a primeira câmera se conecta ao mundo externo pela UART0 e age como árbitro das transmissões. Para adquirir o segmento correspondente a última câmera, por exemplo, o árbitro deve enviar uma solicitação que atravessa toda a cadeia e, em seguida, faz o caminho inverso até o primeiro nó. O processo é ilustrado na Figura 3.
Para a aquisição, em um computador pessoal (PC), de uma panorama de 180 graus são necessárias três CMUCam, cada uma responsável por um segmento de 60 graus. Em cada salto um tempo médio de 2,38 segundos é necessário uma imagem em escala de cinza. Dessa forma, o primeiro segmento leva 2,38 segundos para ser transmitido da primeira câmera ao PC. O segundo seguimento, por sua vez, deve
(a) Arquitetura em estrela (b) Barramento multiplexado (c) Daisy Chain via interfaces UART Figura 2. Arquiteturas de interligação
Figura 3. Daisy Chain: Solicitação e envio de imagem da última câmera da cadeia
ser transmitido para a primeira câmera (2, 38s) e novamente para o PC (2, 38s). Finalmente, um terceiro segmento deve ser transmitido sucessivamente através de todos os saltos até o computador. Consequentemente, o tempo de aquisição de um único panorama em escala de cinza cresce em progressão aritmética com número de câmeras no arranjo em daisy chain, como descrito pela Equação 2.
T = 2, 38 ×(N + N
2)
2 , 1 ≤ N ≤ 6 (2)
III. GERAÇÃO DEPANORAMAOMNIDIRECIONAL
Após a aquisição, é preciso projetar todos os segmentos da imagem em um mesmo plano panorâmico (image stitching).
Cada segmento está relacionado ao seu adjacente por uma homografia, uma matriz 3x3 que representa uma transformação projetiva entre os dois planos. Uma homografia H3x3 pode
ser usada para remapear cada ponto[x, y, 1] (em coordenadas homogêneas) de um segmento em planos diferentes, como demonstra a Equação 3. x0 y0 1 = H11 H12 H13 H21 H22 H23 H31 H32 H33 × x y 1 (3)
A homografia H3x3 é definida a partir de um conjunto de
pontos de correlação (matching points) entre duas imagens adjacentes (I e I0). Pares de pontos correspondentes podem ser encontrados por comparação direta pixel-a-pixel, ou por técnicas baseadas em extração de características (feature-based techniques) [18]. De acordo com [19] as técnicas de compa-ração direta são mais vulneráveis às variações de contraste, iluminação e ponto de vista, entretanto, são mais simples de implementar e apresentam bons resultados em ambien-tes internos. Neste projeto, cada par de imagens adjacenambien-tes é correlacionado usando comparação direta pixel-a-pixel. O processo gera um conjunto de pares correspondentes ([x, y, 1] e [x0, y0,1]) que são usados para estimar a matriz H
3x3 de
homografia através do algoritmo de transformação linear direta (Direct Linear Transform, DLT), como descrito em [20]
As matrizes de homografia H3x3 são calculadas durante a
fase de calibração e projeto do protótipo. Ao todo são neces-sárias cinco homografias para projetar todos os segmentos em um único plano de visão, cada uma mapeando um salto entre duas câmeras consecutivas. Uma vez montada a estrutura, é preciso escolher entre duas abordagens para calcular as projeções: na primeira delas cada câmera calcula localmente a projeção antes de enviar um segmento. O panorama é montado por meio de sucessivas transformações em cadeia, onde cada segmento adquirido é projetado para o plano da câmera à esquerda no arranjo. Na segunda abordagem, todas as imagens são enviadas sem tratamento ao primeiro nó, que, por sua
0 10 20 30 40 50 2.36 2.38 2.4 2.42 Amostra No Tempo (s)
(a) Escala de cinza
0 10 20 30 40 50 7.14 7.16 7.18 7.2 Amostra No Tempo (s) (b) RGB
Figura 4. Tempos de aquisição de imagens
vez, é responsável pelo alinhamento e projeção de todos os segmentos em um mesmo plano. A primeira alternativa é ideal para a arquitetura daisy chain, ao passo que a segunda é mais adequada para a estrutura em barramento. Na estrutura em daisy chain cada câmera transforma o seu segmento, ou qualquer outro adquirido da câmera a sua direita, com relação ao nó do seu lado esquerdo. No final da cadeia todos os segmentos estão projetados no plano de visão da primeira câmera, que armazena (ou envia ao mundo externo) um panorama com resolução total de(N × 176) × 143 pixels, onde N é o número de câmeras em cadeia.
IV. RESULTADOS EDISCUSSÃO
Os resultados apresentados nesta seção consideram os tem-pos de transmissão a um programa executando em um com-putador pessoal via RS232, simulando o envio de panoramas parciais para fora do sistema de visão.
A Figura 4 apresenta os tempos de aquisição medidos em cinquenta leituras sucessivas em uma única CMUCam. Este foi o primeiro teste de desempenho realizado com a câmera e serviu de base para estimar os tempos de resposta de cada arquitetura. O tempo de aquisição médio de uma imagem padrão de 176x143 pixels em escala de cinza é de 2,38 segundos. É equivalente à transmissão de um único canal de cores, por isso o tempo necessário para imagens em RGB é, em média, 7,17s, aproximadamente o triplo do valor em escala de cinza.
Um protótipo com três CMUCam interligadas em daisy chainfoi montado para este experimento. O protótipo abrange um campo de visão de180◦. A as Figuras 5 e 6 ilustram uma
imagem RGB adquirida pelo arranjo em cadeia, e os tempos totais de aquisições para uma bateria de cinquenta solicitações. Na Figura 5 podem ser observados pontos de superposição entre os quadros da imagem. Isto se deve especialmente a distorções no arranjo mecânico das câmeras e à imperfeições nas homografias do algoritmo de stitching. Finalmente, na
Figura 5. Panorama RGB de 180◦, obtido com três câmeras em Daisy Chain
0 10 20 30 40 50 19.86 19.87 19.88 19.89 19.9 Amostra No Tempo (s)
Figura 6. Tempos de aquisição de um panorama omnidirecional RGB -Arquitetura Daisy Chain
Figura 6 vale observar que o tempo médio de obtenção de um panorama com este arranjo é de 19.8 segundos.
V. CONCLUSÕES
Aplicações de navegação autônoma podem ser altamente beneficiadas pela adição de sistemas de visão computacional com amplo campo de visão. Sistemas catadióptricos são co-mumente utilizados em robótica para visão omnidirecional. São relativamente simples de construir e apresentam boa performance de aquisição, mas sua principal desvantagem é a resolução limitada das imagens obtidas. Estes sistemas também exigem uma calibração mais complexa e incorporam distorções nas imagens que precisam ser cuidadosamente corrigidas na maioria das aplicações. Este trabalho propôs uma alternativa diferente para aquisição de panoramas omnidire-cionais, analisando a interligação de um conjunto de câme-ras em círculo, cada uma responsável por um segmento da imagem final. Foram apresentadas três diferentes arquiteturas de interligação entre as câmeras: em estrela, em barramento multiplexado e em cadeia (daisy chain). As vantagens e limitações de cada arquitetura foram comparadas e alguns de resultados de performance foram apresentados.
O modelo em cadeia é flexível e simples de implementar, no entanto, apresentou tempos de aquisição inadequados para aplicações de navegação dinâmica. A aquisição de um único panorama em RGB levou em média 20 segundos. No entanto, vale ressaltar que a baixa performance de aquisição do sistema está mais relacionada à interface de comunicação disponível na CMUCam3 do que à arquitetura em si. Em outras palavras,
uma simples melhoria na interface de comunicação do hard-warebásico (i.e. o uso de interfaces IEEE 1394, SPI, ou USB), pode aumentar consideravelmente as taxas de transmissão.
Outra opção onde o uso da CMUCam3 é mais adequado, seria em aplicações onde não é preciso enviar o panorama adquirido para o mundo externo ao sistema de visão (e.g. coordenadas de localização, comandos controle de servomo-tores, localização de obstáculos, etc.). Além de aproveitar melhor os recursos de hardware das seis câmeras disponíveis na arquitetura, esta alternativa reduz o número de informações que transmitidas pelas UART, aumentando consideravelmente a performance final. Neste caso, entretanto, a escolha de uma arquitetura em barramento multiplexado é mais adequada, reduzindo a limitação causada do tempo de transmissão entre as câmeras do modelo daisy chain.
A principal contribuição deste trabalho é estudar diferen-tes modelos de interligação para aquisição de um panorama omnidirecional, considerando limitações inerentes a ambientes embarcados de baixo custo (i.e. interfaces de comunicação, memória limitada, consumo energético, etc.). Interligando plataformas de aquisição de baixo custo com processamento integrado como a CMUCam3, é possível obter um arranjo de razoável poder computacional embarcado para diferentes algoritmos em visão robótica autônoma.
Até a confecção deste artigo, apenas o modelo em daisy chainfoi implementado. As demais arquiteturas também serão desenvolvidas e submetidas a avaliações de performance até o final do projeto. É preciso verificar se alguma delas oferece um desempenho adequado para navegação dinâmica, visto que as tempos obtidos para o modelo em cadeia inviabilizam sua aplicação. Ainda como desdobramentos futuros deste trabalho estão a incorporação dos algoritmos pré-processamento ao sistema, além da realização de tarefas específicas de mape-amento topológico, identificação de obstáculos e navegação para veículos robóticos.
REFERÊNCIAS
[1] G. N. DeSouza and A. C. Kak, “Vision for mobile robot navigation: A survey,” IEEE, TRANS. PAMI, vol. 24, no. 2, pp. 237–267, 2002. [2] N. Winters, J. Gaspar, G. Lacey, and J. Santos-victor, “Omni-directional
vision for robot navigation,” in In Proc. IEEE Workshop on Omnidirec-tional Vision, South, 2000, pp. 21–28.
[3] Y. Yagi, Y. Nishizawa, and M. Yachida, “Map-based navigation for a mobile robot with omnidirectional image sensor copis,” Robotics and Automation, IEEE Transactions on, vol. 11, no. 5, pp. 634–648, 1995. [4] M. Jogan and A. Leonardis, “Robust localization using an
omnidirecti-onal appearance-based subspace model of environment,” Robotics and Autonomous Systems, pp. 51–72, 2003.
[5] L. Maohai, S. Lining, H. Qingcheng, C. Zesu, and P. Songhao, “Robust omnidirectional vision based mobile robot hierarchical localization and autonomous navigation,” Information Technology Journal, vol. 10, no. 1, pp. 29–39, 2011.
[6] L. Delahoche, C. Pégard, E. M. Mouaddib, and P. Vasseur, “Incremental map building for mobile robot navigation in an indoor environment,” in Robotics and Automation, 1998. Proceedings. 1998 IEEE International Conference on, vol. 3. IEEE, 1998, pp. 2560–2565.
[7] E. Menegatti and E. Pagello, “Omnidirectional distributed vision for multi-robot mapping,” in In Proc. of the Intern. Symposium on Distri-buted Autonomous Robotic Systems (DARS02) (TO APPEAR, 2002, pp. 279–288.
[8] H. Ishiguro, T. Maeda, T. Miyashita, and S. Tsuji, “A strategy for acquiring an environmental model with panoramic sensing by a mobile robot,” in Robotics and Automation, 1994. Proceedings., 1994 IEEE International Conference on. IEEE, 1994, pp. 724–729.
[9] M. Barth and C. Barrows, “A fast panoramic imaging system and intel-ligent imaging technique for mobile robots,” in Intelintel-ligent Robots and Systems ’96, IROS 96, Proceedings of the 1996 IEEE/RSJ International Conference on, vol. 2, 1996, pp. 626–633 vol.2.
[10] (2012) Point grey ladybug3 homepage. [Online]. Available: http://www.ptgrey.com/products/ladybug3/
[11] H. Afshari, V. Popovic, T. Tasci, A. Schmid, and Y. Leblebici, “A spherical multi-camera system with real-time omnidirectional video acquisition capability,” Consumer Electronics, IEEE Transactions on, vol. 58, no. 4, pp. 1110–1118, 2012.
[12] C. T. P. Santos and C. A. S. Santos, “5cam: a multicamera system for panoramic capture of videos,” in Proceedings of the 12th Brazilian Symposium on Multimedia and the web, ser. WebMedia ’06. New York, NY, USA: ACM, 2006, pp. 99–107. [Online]. Available: http://doi.acm.org/10.1145/1186595.1186609
[13] V. Grassi Junior and J. Okamoto Junior, “Development of an omnidi-rectional vision system,” Journal of the Brazilian Society of Mechanical Sciences and Engineering, vol. 28, no. 1, pp. 58–68, 2006.
[14] T. Kawanishi, K. Yamazawa, H. Iwasa, H. Takemura, and N. Yokoya, “Generation of high-resolution stereo panoramic images by omnidirec-tional imaging sensor using hexagonal pyramidal mirrors,” in Pattern Recognition, 1998. Proceedings. Fourteenth International Conference on, vol. 1. IEEE, 1998, pp. 485–489.
[15] A. Goode, A. Rowe, and K. Agyeman. (2012) Cmucam project. [Online]. Available: http://www.cmucam.org/
[16] C. Project. (2012) Spoonbot. [Online]. Available: http://www.cmucam.org/projects/cmucam3/wiki/SpoonBot
[17] A. Rowe, D. Goel, and R. Rajkumar, “Firefly mosaic: A vision-enabled wireless sensor networking system,” in Real-Time Systems Symposium, 2007. RTSS 2007. 28th IEEE International. IEEE, 2007, pp. 459–468. [18] R. Szeliski, “Image alignment and stitching: A tutorial,”
MSR-TR-2004-92, Microsoft Research, 2004, Tech. Rep., 2005.
[19] D. Gledhill, G. Y. Tian, D. Taylor, and D. Clarke, “Panoramic ima-ging—a review,” Computers & Graphics, vol. 27, no. 3, pp. 435–445, 2003.
[20] A. Agarwal, C. Jawahar, and P. Narayanan, “A survey of planar homography estimation techniques,” Centre for Visual Information Te-chnology, Tech. Rep. IIIT/TR/2005/12, 2005.
