Proposta de Estágio 2017 Open Data & Earth Observation Data Aggregator

(1)

Proposta de Estágio 2017 Open Data & Earth Observation Data Aggregator

LOAD INTERACTIVE

Av. Dr. Lourenço Peixinho, 96D 4ºandar | 3800-159 Aveiro, Portugal

www.load-interactive.com | info@load-interactive.com | + 351 234 604 088

LOAD is affiliated to the Masters in Innovation Group, a leading product innovation center

PÁG. 1

SUMÁRIO

Este estágio consiste na investigação de novas técnicas e tecnologias para agregação de dados a partir de fontes de dados abertos e também de dados de Earth Observation (ESA Space Data) e desenvolvimento de um sistema como prova de conceito, integrável em sistema proprietário para prototipagem rápida.

A agregação de dados é o processo de transformar dados de fontes dispersas em um único novo feed de dados. O objetivo da agregação de dados é o ser combinar fontes em conjunto de tal modo que o output é menos volumoso e mais estruturado que o input. Isso ajuda na performance de processamento de dados em massa, criação de novas fontes de dados correlacionados, etc.

Atualmente existem inúmeras fontes de dados abertos ao domínio público, incluindo dados de observação terrestre providenciados pela Agência Espacial Europeia (ESA). Combinar estes dados com os de

sensores/máquinas, dados internos das organizações, etc. traz um enorme valor acrescentado no suporte à decisão. O estágio passa precisamente pelo conceito universal de identificar, investigar e desenvolver formas de agregar, pré-processar e armazenar dados provenientes de Open Data Sources e Earth Observation (EO) Datasets.

Ficando o estagiário alocado à componente de agregação, pré-processamento e armazenamento do projeto, irá fazê-lo de forma integrada e complementar a um sistema proprietário da LOAD. Apesar do estágio decorrer nas instalações da LOAD em Portugal, o estágio decorrerá eventualmente em colaboração remota com um estagiário na Bélgica, responsável pela componente de dados-máquina (sensores, eletrónica e de embedded development) que interliga com o sistema proprietário da LOAD. Por esse motivo, domínio de Inglês é um fator importante.

ÂMBITO

Na LOAD Interactive, somos especialistas no estudo e desenvolvimento de novos produtos digitais. Temos uma equipa multidisciplinar, focada no desenvolvimento de soluções smart, web e de mobilidade, com forte enfoque no design e usabilidade.

No nosso portefólio temos vários projetos de aplicações móveis, web, multi-plataforma, soluções no âmbito da Internet of Things e, claro está, projetos em Big Data, Agregação e Representação de Dados, etc.

(2)

Proposta de Estágio 2017 Open Data & Earth Observation Data Aggregator

PÁG. 2 Temos estado envolvidos em vários projetos que incluem a agregação, armazenamento e representação de dados abertos, através da criação de toda a stack tecnológica necessária para cada projeto. Há, no entanto, várias metodologias e tecnologias disponíveis, para além das que usamos – procuramos conhecer melhor algumas delas e pôr em prática algumas destas metodologias e tecnologias, fazendo no final um

benchmarking entre elas. Este projeto surge no âmbito do objetivo descrito – o de investigar e desenvolver sobre este tema, que permite uma rápida prototipagem e criação de mecanismos que agregam diferentes fontes de dados, de forma universal e extensível.

No diagrama abaixo está descrita a arquitetura do sistema existente, bem como (marcado a vermelho) o que se prevê ser a arquitetura do subsistema que se perspetiva com este estágio.

(3)

Proposta de Estágio 2017 Open Data & Earth Observation Data Aggregator

PÁG. 3

OBJETIVOS

O presente projeto/estágio pretende atingir os seguintes objetivos genéricos:

- Aquisição de conhecimento do estado da arte das metodologias existentes, para agregação e

armazenamento de grandes volumes de dados, de acordo com os 3 V’s do Big Data (volume, variety, velocity);

- Aquisição de conhecimento do estado da arte das tecnologias existentes em Big Data (ex: distributed file systems, distributed processing, non-relational databases, etc.);

- Criação de prova de conceito para sistema server-side que, uma vez ligado a múltiplas fontes de dados (Open Data Sources e Earth Observation Datasets), agrega, pré-processa e armazena dados;

- Integração do sistema desenvolvido com o existente sistema proprietário LOAD para IoT e BigData;

PROGRAMA DE TRABALHOS

O plano de trabalhos do estagiário, ao abrigo da LOAD, consistirá na execução das seguintes tarefas:

- T1 – Familiarização Equipa – Familiarização com as metodologias de trabalho da LOAD e recolha de material referente ao projeto a desenvolver. Introdução à equipa de trabalho remota (estagiário e seu orientador, colegas de trabalho na Bélgica);

- T2 – Investigação – Levantamento do estado da arte no âmbito do projeto a desenvolver e rápido benchmarking das opções mais relevantes;

- T3 – Familiarização Tecnológica – Familiarização com as tecnologias necessárias para o trabalho a desenvolver;

- T4 – Arquitetura – Especificação da análise funcional da plataforma a desenvolver e desenho dos diagramas de comportamento e da arquitetura do sistema;

- T5 – Desenvolvimento – Programação do sistema/protótipo;

- T6 – Integração e Estabilização – Integração, Testes e Bug-fixes;

- T7 – Documentação – Produção da documentação (relatório das aprendizagens e caminhos tomados, architectural design document, etc.) – valoriza-se a produção de documentação em Inglês.

(4)

Proposta de Estágio 2017 Open Data & Earth Observation Data Aggregator

PÁG. 4

CALENDARIZAÇÃO DAS TAREFAS

O plano de escalonamento dos trabalhos é apresentado em seguida:

INI Início dos trabalhos

M1 (INI + 1 Semana) Tarefa T1 terminada M2 (INI + 3 Semanas) Tarefa T2 terminada M3 (INI + 5 Semanas) Tarefa T3 terminada M4 (INI + 6 Semanas) Tarefa T4 terminada M5 (INI + 12 Semanas) Tarefa T5 terminada M6 (INI + 14 Semanas) Tarefa T6 terminada

M7 (INI + 16 Semanas) Tarefa T7 terminada (feito em paralelo com as restantes tarefas)

Total de estágio proposto: 16 semanas

LOCAL E HORÁRIO DE TRABALHO

LOCAL:

Estágio presencial, nas instalações da LOAD, em Aveiro.

Av. Dr. Lourenço Peixinho, 96D, 4º andar, 3800-159 Aveiro, Portugal HORÁRIO:

Nr. de horas semanais a definir.

Horário 9:30-18:30.

(5)

Proposta de Estágio 2017 Open Data & Earth Observation Data Aggregator

PÁG. 5

TECNOLOGIAS ENVOLVIDAS

Apesar de as tecnologias a usar no âmbito deste projeto estarem ainda em aberto (requer a fase de investigação para apurar) prevemos:

Para ligação a Data Sources:

- Open Data Sources: RESTful services e Web Sockets - Earth Observation Standard Protocols: WMS, WMTS, WCS

Para agregação, pré-processamento e armazenamento:

- Mean Stack (Mongo.DB, Express, Node.JS);

- Big Data platforms & respective tools in the ecosystem (Hadoop, HBase, Hive ...);

NOTA: Não é a nossa expectativa que o estagiário conheça as tecnologias acima mencionadas. Este estágio prevê um período para familiarização com as mesmas.

É, no entanto, requerido o seguinte:

- Domínio da Lingua Inglesa

- Domínio do paradigma de programação orientada aos objetos - Proatividade e self-learning

- Facilidade de comunicação e trabalho em equipa

(6)

Proposta de Estágio 2017 Open Data & Earth Observation Data Aggregator

PÁG. 6

METODOLOGIA

O estágio decorrerá totalmente integrado no normal dia-a-dia dos trabalhos na LOAD. Apesar de o estagiário estar alocado a um estágio que não está ligado a qualquer projeto comercial da LOAD, irá participar em todas as atividades e partilhar das mesmas metodologias que os seus colegas, membros da equipa LOAD.

A LOAD aplica metodologias ágeis em todos os projetos e atividades que participa. Com isto, existe uma reunião matinal para partilha dos feitos conseguidos no dia anterior e o plano e trabalhos para o dia que se inicia.

Adicionalmente, o estagiário irá ser supervisionado pelo seu orientador, que é também o Diretor Técnico da LOAD.

Como eventualmente se tratará de um estágio em interação com um elemento de uma equipa que trabalha a partir da Bélgica (um estagiário também), a comunicação periódica entre o estagiário em Portugal e o estagiário na Bélgica deverá ser frequente e será devidamente monitorizada pelo orientador na empresa.

Uma vez que se trata de um estágio com uma forte componente de investigação, a produção de

documentação deverá ser efetuada ao longo de todo o projeto, ao contrário do normal relatório de estágio, que geralmente é produzido no final dos trabalhos técnicos.

ORIENTAÇÃO

Do lado da empresa:

- Orientador

Davide Ricardo (davide.ricardo@load-interactive.com) Diretor Técnico na LOAD

- Coordenador

João Abrantes (joao.abrantes@load-interactive.com) Diretor Geral na LOAD