Közösségi adatgyűjtésen alapuló

(1)

Irányítástechnika és Informatika Tanszék

Közösségi adatgyűjtésen alapuló

térképépítés képfeldolgozási módszerek alkalmazásával

Doktori értekezés

Szántó Mátyás

Témavezető Dr. Vajta László

2023. január 17.

(2)

Kivonat i

Abstract ii

Rövidítések jegyzéke iii

1. Bevezetés 1

1.1. Autonóm járművek a közlekedésben . . . 1

1.1.1. Járművezetőt támogató rendszerek . . . 2

1.2. Térképek szerepe az önvezetésben . . . 3

1.2.1. HD térképek . . . 5

1.2.2. 3D térkép-reprezentációk . . . 6

1.3. Crowdsourcing . . . 7

1.3.1. Geoinformáció közösségi közreműködés segítségével . . . 8

1.4. Célok és módszertan . . . 9

1.4.1. Célkitűzés . . . 9

1.4.2. Módszertan . . . 11

1.5. Az értekezés felépítése . . . 12

2. Crowdsourcing alapú térképépítés 14 2.1. Térképezés és közösségi közreműködés . . . 15

2.2. A CrowdMapping platform . . . 17

2.2.1. Lokális rész . . . 18

2.2.2. Távoli rész . . . 19

2.3. Monokuláris képeken alapuló közösségi adatgyűjtés . . . 20

2.3.1. Structure-from-Motion . . . 20

(3)

2.3.4. Módszertan . . . 24

2.3.5. Eredmények . . . 30

2.4. Neurális térképezés . . . 33

2.4.1. SLAM és vSLAM . . . 33

2.4.2. Mélytanulás és vSLAM . . . 35

2.4.3. Módszertan . . . 37

2.4.4. Eredmények . . . 42

2.5. Diszkusszió . . . 48

3. Edge-cloud adatredukció 51 3.1. Edge adatgyűjtés és előfeldolgozás . . . 52

3.2. A CrowdMapping távoli részének implementációja . . . 52

3.3. Közösségi közreműködéssel gyűjtött képek előszűrése . . . 55

3.3.1. Képek maszkolása szemantikus és mélységi információk alkalmazásával 55 3.3.2. Képek maszkolása dinamikus régiók eltávolításával . . . 59

3.4. Takarásban lévő objektumok felfedése . . . 68

3.4.1. Takart objektumok érzékelése . . . 69

3.4.2. Aktív objektumdetektálás . . . 70

3.4.3. A szimulációs környezet . . . 71

3.4.4. Módszertan . . . 73

3.4.5. Eredmények . . . 75

3.5. Diszkusszió . . . 80

4. Dinamikus térképfrissítés 82 4.1. Időjárási jelenségek hatása a közlekedési balesetekre . . . 84

4.1.1. Adatbázis . . . 85

4.1.2. Frontátmenetek és balesetek közötti kapcsolat vizsgálata . . . 87

4.1.3. Frontváltozások előrejelzése lokális meteorológiai adatokból . . . 89

4.2. Dinamikus akadályfelügyelet autonóm járművek számára . . . 94

4.2.1. Dinamikus térképfrissítés kooperatív járművekkel . . . 95

4.2.2. Módszertan . . . 96

(4)

5. Összefoglalás 113

5.1. Eredmények hasznosulása . . . 116 5.2. Továbbfejlesztési lehetőségek . . . 117

Köszönetnyilvánítás 119

Ábrák jegyzéke 123

Táblázatok jegyzéke 124

Tézisekhez kötődő publikációk 125

További publikációk 128

Irodalomjegyzék 129

(5)

Alulírott Szántó Mátyás kijelentem, hogy ezt a doktori értekezést meg nem enge- dett segítség nélkül, saját magam készítettem, csak a megadott forrásokat (szakirodalom, eszközök stb.) használtam fel. Minden olyan részt, melyet szó szerint, vagy azonos ér- telemben, de átfogalmazva más forrásból átvettem, egyértelműen, a forrás megadásával megjelöltem.

Budapest, 2023. január 17.

Szántó Mátyás

(6)

Az autonóm járművek technológiája az elmúlt évtizedekben a műszaki tudományok egyik legszélesebb körben kutatott területe. Az önvezető autók és a fejlett járművezetőt támogató rendszerek működtetéséhez elengedhetetlenek a megfelelő térképek. A napjainkban is használatos térképezési megoldások azonban költséges technikákat és a fejlődő funkcionalitás kiszolgálását gyakran nem támogató módszereket alkalmaznak. Ennek fő oka az adatgyűjtés módszertanában és az azt végző eszközök speciális felépítésében rejlik.

Az alábbi értekezésben e probléma kiküszöbölésére egy újszerű, közösségi közreműkö- dés alapú, edge-cloud struktúrájú térképépítő és -menedzsment platformot javaslok, mely nagy mennyiségű adatszolgáltató számára elérhető, hétköznapi járművekben is megtalál- ható eszközök, illetve felhőalapú feldolgozás kihasználásával teszi lehetővé egy adatgyűjtési és -feldolgozó lánc megvalósítását.

Bebizonyítom, hogy közösségi adatgyűjtés használatával nagy pontosságú, térbeli kör- nyezeti modellek hozhatók létre. Ezt kétféleképpen bizonyítom: először a szimulációs környezetben előállított, monokuláris, közösségileg gyűjtött képeket felhasználó, háromdi- menziós környezetrekonstrukciós, majd a valós képekből, neurális térképezés segítségével statikus térkép-reprezentációt kinyerni képes megoldásomat írom le.

Az edge-cloud struktúra közösségi alkalmazásának nehézségét a nagy mennyiségű adatforgalom jelenti, mely az egyes közreműködők sávszélességét terheli. Értekezésemben ezért prezentálom az ennek enyhítése érdekében alkotott, monokuláris képeken alapuló adatredukciós eljárásaimat. Az első kettő, általam definiált módszer a képek szemantikus és mélységi információtartalmát, míg a harmadik a takarási jelenségek gépi tanulás alapú felismerését használja ki.

Megmutatom, hogy a közösségi közreműködésen alapuló adatgyűjtés a dinamikusan változó, közlekedést befolyásoló körülmények alacsony átfutási idejű térképezése során is használható. Feltárom a közútbiztonság potenciális romlásához vezető meteorológiai je- lenségek és a közúti balesetek száma közötti kapcsolatot, majd erre alapozva definiálom az ember vezette és autonóm járművek együttműködésére épülő hibrid közlekedésben haszno- sítható veszélyattribútumokat szolgáltató megoldásomat. Végül prezentálom az összekap- csolt és autonóm járművek operációja során alkalmazható, dinamikus objektumfelügyele- tet megvalósító térképmenedzsment eljárásomat, melynek működését egy hibrid – valós és virtuális járműveket is tartalmazó – tesztkörnyezetben bizonyítom be.

(7)

The technology of autonomous vehicles has become one of the most widely researched fields of engineering sciences. The functionality of self-driving cars and advanced driver assistance systems renders the use of appropriate maps essential. However, today’s mapping solutions entail costly techniques and sensors that are often unable to serve the ever-developing functionality of the vehicles. The reason for this shortcoming lies primar- ily in the special structure of equipment performing data acquisition and the methodology thereof.

To eliminate this problem, I am proposing a novel, crowdsourcing-based, edge-cloud struc- tured map creation and management platform in the below dissertation. It allows the realization of a data acquisition and processing chain, which exploits devices that are available for large amounts of data providers and can be found in ordinary vehicles while making use of cloud-based processing.

I demonstrate below that by using the crowdsourcing paradigm during data acquisition a highly accurate, spatial environment model can be created. I prove this in two ways:

first, via presenting my solution for three-dimensional environment reconstruction using crowdsourced and monocular images from a simulation setting; second, by introducing my method for establishing a static map representation through neural mapping based on real images.

The difficulty of applying the edge-cloud paradigm for crowdsourcing lies in the vast data traffic that burdens the contributors’ bandwidth. Therefore, I am presenting the monocular image-based, data reduction procedures I designed for the mitigation of this problem:

the first two methods make use of the semantic and depth information contained in the images, whereas the third technique exploits deep learning-based detection of occlusions.

Moreover, I prove that crowdsourcing-based data acquisition can also be used for low la- tency mapping of dynamically changing, traffic-influencing circumstances. I explore the connection between meteorological phenomena that potentially lead to the deterioration of road safety and the number of traffic accidents. Based on this, I introduce my solution for providing accident-preventing hazard attributes useful in hybrid traffic scenarios where human-driven and autonomous vehicles coexist. Finally, I present my novel map management procedure that enables dynamic object mapping. I also demonstrate its viability using a hybrid test environment containing both physical and virtual vehicles.

(8)

A dolgozatban az alábbi rövidítések jelennek meg:

5G 5. generációs mobilhálózat ACC Adaptive Cruise Control

ADAS Advanced Driver Assistance System API Application Programming Interface ASIL Automotive Safety Integrity Level ATDN All-Through Deep Learning AWS Amazon Web Services

BA Bundle Adjustment

C/EM Candidate/Employed Map C-V2X Cellular Vehicle-to-Everything

C2C Cloud-to-Cloud

CAV Connected and Autonomous Vehicle CL-VO Curriculum Learning Visual Odometry CNN Convolutional Neural Network

CompNet Composite Convolutional Neural Networks DAS Driver Assistance System

DDD Driver Drowsiness Detection DSO Direct Sparse Odometry DTAM Dense Tracking and Mapping EBA Emergency Brake Assist EDL Embedding Distance Loss

EIT European Institute of Innovation and Technology ETSI European Telecommunications Standards Institute

FN False Negative

FNR False Negative Rate

FP False Positive

FPR False Positive Rate

GAN Generative Adversarial Network GCP Google Cloud Platform

GD Gradient Descent

(9)

GT Ground Truth

HBA High Beam Assist

IaaS Infrastructure-as-a-Service ICP Iterative Closest Point IH Instabil hidegfront

IKT Információ- és Kommunikációtechnológia IM Instabil melegfront

IMU Inertial Measurement Unit IoT Internet of Things

KIC Knowledge and Innovation Community

KITTI Karlsruhe Institute of Technology and Toyota Technological Institute

LDM Local Dynamic Map

LDW Lane Departure Warning Lidar Light detection and ranging LKA Lane Keeping Assist

LSD-SLAM Large Scale Direct SLAM LSTM Long Short-Term Memory MI Mesterséges Intelligencia MLP Multilayer Perceptron MMS Mobile Mapping System

MQTT Message Queuing Telemetry Transport MSE Mean Squared Error

MVS MultiView Stereo

MVG MultiView Geometry

NaN Not a Number

NF Nincs front

NUC Intel Next Unit of Computing OEM Original Equipment Manufacturer

OF Optical Flow

OMSZ Országos Meteorológiai Szolgálat PAC Perception-Action Cycle

P2P Point-to-Point

RANSAC Random Sample Consensus RBF Radial Basis Function Real2Sim Reality to Simulation

REM Road Experience Management

RGB Red-Green-Blue

RGB-D Red-Green-Blue-Depth

RMS Root Mean Square

ROS Robot Operating System

(10)

SE Struktúráló Elem SfM Structure from Motion SH Stabil hidegfront

SIDE Single Image Depth Estimator SIFT Shift Invariant Feature Transform Sim2Real Simulation to Reality

SLAM Simultaneous Localization and Mapping SM Stabil melegfront

SVD Singular Value Decomposition

TN True Negative

TP True Positive

UID Unique Identifier

V2I Vehicle-to-Infrastructure V2N Vehicle-to-Network V2P Vehicle-to-Pedestrian V2V Vehicle-to-Vehicle V2X Vehicle-to-Everything VAE Variational Autoencoder

VGI Volunteered Geographical Information

VO Visual Odometry

vSLAM visual Simultaneous Localization and Mapping YOLO You Only Look Once

(11)

Bevezetés

Az emberi természet egyik alapvető szükséglete a helyváltoztatás. Amennyiben a helyszín megváltoztatása számottevő távolság megtételét igényli, valamint a rendelkezésre álló idő korlátos, akkor a séta nem a megfelelő eszköz erre. Az emberiség fejlődése során a helyváltoztatásnak számos különböző módszere fejlődött ki, azonban az 1960-as évek óta a modern társadalmakban a legszélesebb körben elterjedt és leggyakoribb formája a személyautózás [1].

A jármű-technológia robbanásszerű fejlődésének, valamint az elektronikai megoldások előtérbe helyeződésének köszönhetően számos olyan technika vált mindennapossá a jármű- iparban az elmúlt évtizedben, melyek ma már elengedhetetlen részét képezik egy modern járműnek. Leggyakrabban ilyen célokat szolgálnak a vezetéstámogató rendszerek (DAS – Driver Assistance System). Egy másik célja a DAS megoldásoknak, hogy a közlekedés- biztonságot javítsák. A működésük érdekében ezek a rendszerek környezetükről szenzorok útján információt gyűjtenek: amennyiben ezek az információk részben vizuális szenzorok- ból (kamerákból) származnak, akkor modern járművezetőt támogató rendszerekről (ADAS – Advanced Driver Assistance System) beszélünk [2].

Az ADAS rendszerek fejlődésének köszönhetően – illetve a járművezetői kényelem és biztonság növelését segítendő – egy több évtizede megjelent fejlesztési igény kielégítését kísérhetjük napjainkban figyelemmel. A tudományos és az ipari kutatásokban minden ko- rábbit meghaladó mértékű figyelem övezi az autonóm járművek, valamint egyik altípusuk, az önvezető autók fejlesztését.

1.1. Autonóm járművek a közlekedésben

Az autonóm járművek széleskörű bevezetése nemcsak a járművezetők kényelmi szint- jének növelését hozza magával, hanem potenciális megoldást jelent a napjainkban növekvő jelentőségű problémaként megjelenő városi közlekedés nehézségeire is, mint például az út- hálózat túlzott használatára, a parkolóhelyek és a szabad felületek fogyására, valamint a közúti balesetek előfordulására. E problémák megoldását céljaként tűzte ki számos

(12)

nemzetközi szervezet, például az Európai Innovációs és Technológiai Intézet (European Institute of Innovation and Technology – EIT) Városi Mobilitás (Urban Mobility) tudás és innovációs közössége (Knowledge and Innovation Community – KIC) is.

A városi mobilitási célok megvalósulását különböző technológiai megoldások meg- teremtésével és a gyakorlatba áthelyezésével tudják elősegíteni az autonóm járműveket fejlesztő kutatóműhelyek, illetve az azoknak gyártásával és értékesítésével foglalkozó szer- vezetek. Az újabb és újabb megoldások megjelenésével párhuzamosan nő a közúti járművek önállósága is. Ezen eszközök autonómiájának osztályozására kínál lehetőséget az Ameri- kai Egyesült Államokban működő Society of Automotive Engineers (SAE) által publikált, napjainkban rendkívül széles körben alkalmazott csoportosítás is [3]:

0. szint: Nincs önvezetés

Járművezető figyelmeztetése és pillanatnyi beavatkozás 1. szint: Járművezető támogatása

Kormányzás vagy gyorsítás/lassítás támogatása 2. szint: Részleges önvezetés

Kormányzás és gyorsítás/lassítás támogatása 3. szint: Feltételes önvezetés

Adott körülmények közötti önvezetés az emberi vezető figyelme mellett 4. szint: Magas szintű önvezetés

Adott körülmények közötti önvezetés az emberi vezető figyelme nélkül 5. szint: Teljes önvezetés

Tetszőleges körülmények közötti önvezetés az emberi vezető figyelme nélkül 1.1.1. Járművezetőt támogató rendszerek

A korábban már említett DAS és ADAS rendszerek tehát egy alsó lépcsőjén találhatók a járműautomatizálási céloknak. Ezzel együtt a megjelenésük és a folyamatos fejlődésük jelentősen hozzájárul a közlekedési autonómia kialakításához és elmélyítéséhez. Mi sem mutatja ezt jobban, mint hogy a napjainkban értékesített személyautók szinte mindegyi- kében működnek ilyen rendszerek. A vizuális információn alapuló járművezetőt támoga- tó rendszerek kategóriájába tartoznak – egyebek mellett – a sávelhagyásra figyelmeztető (Lane Departure Warning – LDW) és sávtartó rendszerek (Lane Keeping Assist – LKA), vészfékasszisztens (Emergency Brake Assist – EBA), vezetőiéberség-felügyelő rendszerek (Driver Drowsiness Detection – DDD), parkolási asszisztens rendszerek (Parking Assist System – PAS), az adaptív tempomat (Adaptive Cruise Control – ACC) és az adaptív fényszóró szabályozó rendszer (High Beam Assist – HBA) is [4].

Ahhoz, hogy a fenti megoldások személyautókba kerülhessenek rigorózus tesztelési folyamatokon kell átesniük, melyek során egy járműipari sztenderdnek (ISO26262: Közúti járművek – Funkcionális biztonság) való megfelelésről kell tanúbizonyságot tenniük. A

(13)

megoldásnak az adott rendszer működésének biztonságkritikussága alapján a szabványban meghatározott autóipari biztonsági integritási szinthez (Automotive Safety Integrity Level – ASIL) tartozó tesztfolyamaton szükséges a megadott hibahatáron belül teljesítenie [5].

A fenti igények kielégítése érdekében a modern ADAS rendszerekben elengedhetetlen a robusztus képfeldolgozási eljárások alkalmazása. A tradicionális, manuálisan beállított paraméterekkel rendelkező megoldások mellett napjainkban egyre nagyobb térhódítás fi- gyelhető meg a valószínűségi tudásmodellezést (soft computing) alkalmazó technológiák részéről. A gépi tanulás, azon belül is a mélytanulás segítségével megvalósított képfeldol- gozási módszerek – főleg az informatikai tudományok ezen irányzatának robbanásszerű fej- lődésének köszönhetően – azok jobb eredményeket és megbízhatóságot képesek biztosítani, mint a klasszikus megközelítést alkalmazó technikák. Nem ritka, hogy egyes alkalmazási területeken a specifikusan betanított tanulóeljárások – főleg a mélytanuló rendszerek – az emberi teljesítményt is túlszárnyalják. Ilyen területek például számítógépes látásban az osztályozási feladatok [6], valamint egyes mély megerősítéses tanuló hálózatok játéka egyes játékokkal [7, 8].

A mélytanuló eljárások robusztus működéséhez elengedhetetlen – a feladat pontos megfogalmazásán túl – egy elegendően nagy mennyiségű tanító adatot tartalmazó adatbá- zis. Különösen a felügyelt tanulás technikájával behangolt alkalmazások esetén kiemelkedő fontosságú ez az igény: egy tanító, egy validációs és egy teszt adathalmazt szükséges a rendszer számára elérhetővé tenni. A tanítóadatok az adott bemenethez elvárt, felcím- kézett kimenetet jelentenek, melyeket tanítás során a tanuló rendszernek megadva – a tanulás analógiáját használva „többször megmutatva” – paraméteroptimalizáció alkalma- zásával a cél az algoritmus hibájának minimalizálása. Ezen adatbázisoknak elegendően nagy mennyiségű adatot kell tartalmaznia ahhoz, hogy a paraméterhangolás során a ne- urális hálózat képes legyen általános tudást elsajátítani, és ne egyszerűen rátanuljon a tanító adatokra – vagyis „bemagolja” azokat [9]. Fontos megjegyezni, hogy napjainkban növekszik az önfelügyelt és few-shot tanulási technikákat alkalmazó megoldások száma is a szakirodalomban, melyek az optimalizáláshoz használt adatmennyiség korlátosságának és nehezen előteremthetőségének problémáját igyekeznek megoldani.

1.2. Térképek szerepe az önvezetésben

A jármű-autonómia magasabb szintjein – vagyis a 2. szinten és afelett, ahol az ön- vezetés valamilyen formája megvalósul – már nemcsak a járművezető támogatása, hanem a jármű irányítása is az algoritmusok funkcionalitásának részét képezi. Ezek közül a leg- kiemelkedőbbek a jármű önálló navigációja, vagyis a megtervezett útvonal követése, a közlekedési jelzések felismerése és betartása, valamint az akadályok azonosítása és elkerü- lése. Ehhez kapcsolódóan az autonóm járművek fejlesztőinek több kihívásra is kielégítő választ kell adniuk:

(14)

1. a jármű nagy pontossággal meg tudja határozni saját helyzetét a környezetéhez ké- pest;

2. a jármű az úton vagy annak szomszédságában bekövetkező eseményeket ismerje fel;

valamint az azokra adandó optimális reakciót képes legyen megválasztani.

3. a jármű a felhasználói – illetve az utasai – által támasztott igényeket és a közlekedési szabályokat kielégítő mozgást tudjon végezni.

A követelményeknek való megfelelés biztosítása érdekében mindenekelőtt szükséges, hogy a jármű – mint autonóm ágens – ismerje a környezetét, valamint képes legyen magát elhelyezni abban. A jármű zavartalan mozgását biztosítandó a környezet érzékelésére szá- mos megoldás létezik, például a monokuláris és sztereó elrendezésű raszteres vörös-zöld-kék (red-green-blue – RGB) kamerák, a lézeralapú távérzékelők (light detection and ranging – Lidar), az ultraszonikus és radar érzékelők (1.1. ábra). E szenzorok jeleinek feldolgo- zásával és hatékony értelmezésükkel számos szakirodalmi megoldás foglalkozik, melyek mélyebb áttekintése és elemzése nem képezi részét ezen értekezés célkitűzéseinek. Fontos információforrást jelentenek továbbá az autonóm járművek számára a globális műholdas helymeghatározó rendszer (Global Navigation Satellite System – GNSS), illetve az egyes inerciális mérőegységek (Inertial Measurement Unit – IMU) – például gyorsulásmérők, gi- roszkópok – által szolgáltatott adatok, melyek segítségével az abszolút lokáció és orientáció hozzávetőleges meghatározására nyílik lehetőség.

1.1. ábra. Egy autonóm jármű környezetének érzékelésére haszná- latos szenzorok, valamint azok érzékelési tartománya.

Sárga szín jelzi a kamerák, vörös szín a Lidar, míg kék szín a radar által vizsgált területeket. Forrás: Conti- nental

Egy napjainkban elterjedt szemlélet szerint a jármű szenzorai közé sorolhatók a tér- képek is [10]. A jármű által bejárható területekhez – jellemzően közutakhoz – társítható információ geolokációhoz rendelt tárolása egy olyan architektúra létrehozását teszi lehe- tővé, mely mind az információt gyűjtők, mind pedig az azt használók számára egyértelmű alkalmazhatóságot szavatol. Ezeket az adathalmazokat futásidőben az autonóm ágens egy plusz szenzorként tekinti. Fontos különbség azonban, hogy míg az előbbiekben felsorolt érzékelők mindegyike valamilyen látómezővel, illetve egy időben változó érzékelési tartománnyal rendelkezik, addig a térkép mint adatforrás érvényességének körzete nem

(15)

változik a kiszemelt jármű – egojármű (az angol egovehicle szóból) – lokációjának függ- vényében: csupán a benne tárolt adatok mennyisége jelent limitációt. A közúti térképek tárolására számos lehetőség terjedt el, melyeket az általuk megjelenített információ vagy az alkalmazott reprezentációs technika szerint lehet osztályozni.

Munkám során az autonóm járművek hatékony fejlesztését lehetővé tevő technológiai megoldásokat vizsgáltam, így az értekezés további részében az alábbi, ezen a területen széles körben alkalmazott nevezéktant használom [11]. Az autonóm járművek által alkalmazott térképekben az alábbi rétegekbe szervezetten található meg az információ:

• Statikus térképi réteg: A térképekállandó elemei, melyek nagyon kis valószínű- séggel változnak meg. Statikus réteg elemei például: úthálózat, épületek.

• Kvázistatikus térképi réteg: A térképekritkán változó részei, melyek a statikus térkép elemeihez vannak rögzítve, és mint olyanok, kis valószínűséggel változnak meg.

Kvázistatikus réteg elemei például: változó sebességkorlátozások, növényzet, illetve ide tartozik minden funkcióval bíró utcai építmény (berendezés, műszaki műtárgy, védőkorlát, védőkerítés, reklám) – összefoglaló nevén utcabútor [12].

• Átmeneti térképi réteg: A térképektranziens elemei, melyek változásai csak la- zán korrelálnak az úthálózattal, így nem feltétlenül rendelhetők az útszegmensekhez.

Átmeneti réteg elemei például: közvilágítás időzítése, időjárási és forgalmi informá- ciók.

• Dinamikus térképi réteg: A térképek gyorsan változó elemei, melyek nincsenek rögzítve az úthálózathoz, folyamatos, valamint az átmeneti réteg objektumaihoz ké- pest gyors mozgásban vannak. Dinamikus réteg elemei például: járművek, járókelők, forgalmi lámpák állapota és működési státusza.

A fenti hierarchikus reprezentáció elnevezése lokális dinamikus térkép (Local Dynamic Map – LDM), amelyet az Európai Távközlési Szabványügyi Intézet (European Telecom- munications Standards Institute – ETSI) szabványosított 2011-ben [13]. A modellt az 1.2. ábra szemlélteti.

1.2.1. HD térképek

Az alkalmazott térképeknek a jól megalkotott struktúra mellett megfelelő részletgaz- dagságú, nagy felbontású és pontos adatokat kell tartalmaznia, hiszen ezzel biztosítható, hogy – az autonóm járművek szenzorainak adataival kiegészülve – az elvárt funkcionalitást biztosítani tudja. Az ilyen követelményeket teljesítő adatbázisokat az irodalomban nagy felbontású térképnek (high definition map – HD map) nevezik [10, 14]. E térképek jellem- zően nem tartalmaznak dinamikus információt, azonban nem ritka, hogy az objektumok valós és térképen megjelenített lokációja között maximálisan 10...20 cm eltérés mutatkozik.

(16)

Kvázistatikus réteg

Statikus réteg Átmeneti réteg Dinamikus réteg

1.2. ábra. A lokális dinamikus térkép (LDM) modell rétegei

Ezeknek a tulajdonságaiknak köszönhetően a HD térképeket több autonóm közleke- dést fejlesztő technológiaszállító vállalat is használja, egyebek mellett a Waymo¹, a Level 5² vagy az Aurora Driver³.

Fontos itt említést tenni az autonóm járművek technológiai fejlesztésének egy másik, rendkívül prominens irányzatáról is, mely nem használ HD térképeket – vagy legalább- is nem olyan céllal, mint a fentiekben felsorolt cégek. A legkiemelkedőbb példa a Tesla gyártmányú autók önvezetése⁴. Ezek a járművek kizárólag vizuális – vagyis kamerákból származó – adatokra építve, valós időben hozott döntésekkel, térképre csak mint GNSS- alapú útvonaltervezéshez használt információforrásra támaszkodva navigálnak. E sorok írásakor a Tesla rendszerei SAE besorolás szerinti 2-es szintű autonómiára – vagyis rész- leges önvezetésre – képesek.

1.2.2. 3D térkép-reprezentációk

A háromdimenziós (3D) térképek az objektumok térbeli elhelyezkedését hivatottak reprezentálni, szemben a klasszikus, kétdimenziós, síkbeli térképekkel, melyek csak azoknak egy síkvetületét tartalmazzák. A képfeldolgozás és gépi látás területén egy több év- tizede kutatott terület a képeken látható objektumok térbeli elhelyezkedésének robusztus azonosítása, valamint ennek az információnak a hatékony reprezentációja [15].

A térbeli elrendeződés megállapításához vezető úton az első lépés az érzékelt képen megjelenő egyes képpontokhoz (pixelekhez) tartozó mélységértékek kiszámítása, vagyis

1Waymo LLC, waymo.com

2Woven Planet Level 5, level-5.global

3Aurora Innovation, aurora.tech

4Tesla Autopilot, tesla.com

(17)

azon értékek előállítása, amik leírják, hogy a kamera detektorfelületétől milyen távolságra van az az objektumpont, ahonnan a detektált fénysugár visszaverődött rá. Amennyiben ez az információ rendelkezésre áll, akkor a kamera által észlelt objektumok relatív térbeli elhelyezkedését lehetséges leírni mint 3D térképet. A reprezentáció tekintetében itt is több megoldás lelhető fel az irodalomban:

• Pontfelhő: talán a legkompaktabb megoldás erre a célra. Ebben az esetben a tér- beli elrendeződés 3D-ben elhelyezkedő pontok halmazaként adható meg. E pontok összessége alkotja a pontfelhőt, mely több, különböző helyről készített mérés össze- illesztése esetén bonyolult térbeli struktúra tárolására is alkalmas.

• Voxel reprezentáció: a síkbeli pixelek kiterjesztése a térbe. A voxelek alkal- mazásának előnye, hogy olyan további térbeli feldolgozást tesznek lehetővé, amely az absztrakció analógiájának köszönhetően hasonló a síkbeli képeken alkalmazható módszerekkel.

• Háromszöghálós reprezentáció: egy számítógépes grafikában gyakran alkalmazott térbeli reprezentáció. Egy fontos limitációja, hogy a térbeli modell nem volum- etrikus.

• Előjeles távolságmező(signed distance field – SDF): szintén elsősorban grafikában elterjedten alkalmazott struktúra. Robotikában – egyebek mellett – akadálydetek- tálásra és -elkerülésre használatos.

A közúti térképezés során ez utóbbi kettő technika jóval kevésbé terjedt el, mint az első kettő – ezekkel legfőképpen célorientált felhasználási helyzetekben lehet találkozni.

1.3. Crowdsourcing

A közösségi közreműködés – angolul crowdsourcing, amely szóösszetételt először Jeff Howe használta 2006-ban [16] – egy olyan paradigma, melyben egy közösség tagjai – akik nem szükségszerű, hogy egy szervezethez vagy vállalathoz rendelten tevékenykedjenek – egy jól definiált cél elérésének érdekében működnek együtt. A közösség tagjainak nem szükséges – sem térben sem időben – együtt dolgozniuk. A közös cél elérésének érde- kében tett lépések így fontos, hogy jól eloszthatók legyenek. A közösségi közreműködés egy olyan fogalom, mely gyakran hallható összefüggésbe hozva olyan kutatási tevékenysé- gekkel, melyek során fontos, hogy a felhasznált platformok lehetővé tegyék emberek nagy csoportjának elérését. E csoport tagjai így részt tudnak venni egy komplex probléma – vagy annak egy részének – megoldásában. Ilyen platformok például a közösségi média felületei [17], az orvosi kutatóintézetek [18], illetve a közlekedési rendszerek.

A közlekedési adatok gyűjtését célzó, közösségi közreműködésen alapuló megoldásokat nagy figyelem övezi az elmúlt évtizedben: ennek oka elsősorban a modern járművekben használatos szenzorok, valamint a hálózatra csatlakoztatott (Internet of Things – IoT)

(18)

eszközök növekvő száma. Egyéb felhasználási esetek mellett az intelligens közlekedési rendszerek [19], valamint a közúti balesetek hatását monitorozó megoldások [20] mind közösségi adatgyűjtést és -feldolgozást alkalmaztak a kihívások megoldására.

1.3.1. Geoinformáció közösségi közreműködés segítségével

A közösségi közreműködés egyik formájára, a közösségi adatgyűjtés térképekhez kö- tődő célú alkalmazására szintén számos példa lelhető fel az irodalomban; az ilyen célú adatgyűjtés megnevezése önkéntes földrajzi információszolgáltatás (Volunteered Geogra- phical Information – VGI) [21, 22]. A legnagyobb felhasználói bázissal rendelkező – és talán a legnépszerűbb – VGI megoldás az OpenStreetMap (OSM) platform [23, 24]. Az OSM egy online felületet, mely a VGI alkalmazások ipari sztenderdjévé nőtte ki magát az elmúlt évtizedben [25]. A platform valójában egy általános közösségi térképéítési meg- oldást kínál, amely elsősorban kvázistatikus adatok önkéntes szolgáltatására épül, így az LDM struktúra közvetlen megvalósítását nem teszi lehetővé.

A közösségi információszolgáltatáson alapuló térképkészítésnek számos célja lehet:

• a begyűjtött adatok egyedi felhasználási lehetőségeit – például térkép-kiegészítéseket – biztosító API-k (application programming interface – alkalmazásprogramozási fe- lület) fejlesztése. Ilyen célt szolgál a Mapbox⁵ szolgáltatása;

• turistalátványosságok 3D-s modelljeinek létrehozása azok fotorealisztikus megjelení- tése érdekében [26, 27, 28];

• humanitárius és szociális közösségtérképezés (crowdmapping), melyet több ízben is hasznosítottak a közösségi újságírás támogatására – különösen humanitárius vész- helyzetek során [29]. Az adatgyűjtés technikája itt is az OSM platform metódusához hasonló;

• számos önvezető autóipari szereplő gyűjt adatokat crowdsourcing szerű technológi- ák segítségével: az üzleti modell függvényében egy saját céljárművekből vagy egyéb projektjeik felhasználóiból álló flotta tagjai jelentik az adatforrásokat. A gyűjtött információt ezután különböző módokon használják fel. Ilyen elven gyűjt adatot egyebek mellett a fentebb már említett Waymo, Level 5, Aurora Driver, valamint ezeken kívül például a Waze⁶, illetve a MobilEye⁷ is. E megoldások mind ipari felhsználási céllal jöttek létre, ezért a működésük egyáltalán nem vagy csak a legritkább esetekben garantálja a széleskörű megismerhetőséget, illetve a szabad felhasználhatóságot. Az adatgyűjtés a Waymo, a Level5 és az Aurora Driver esetén nem közösségi alapokon valósul meg, a MobilEye REM pedig nem alkalmaz valós önkéntes adatszolgáltatási eljárást. E módszerek, melyek célja a járműautonómia fejlesztése, saját térképrep- rezentációt alkalmaznak, így az általános LDM struktúrát nem képesek hatékonyan

5mapbox.com

6waze.com

7MobilEye Road Experience Management

(19)

támogatni. Továbbá a Waze alkalmazás célja elsősorban nem az autonóm járművek számára felhasználható adatok létrehozására.

1.4. Célok és módszertan

Az alábbi fejezetben az értekezés célját foglalom össze röviden kitérve a problémák megállapítására, melyek megoldására a munkám során kísérletet teszek. Ezután bemuta- tom a technikák kidolgozása során általam alkalmazott metódusokat is.

1.4.1. Célkitűzés

Bár számos kutatás foglalkozik térbeli térképek készítésével, azonban a közösségi adat- gyűjtés és a képfeldolgozás együttes felhasználása e cél érdekében egy kevéssé vizsgált terü- let. Ahogy az 1.3. részben már szerepelt, a közösségi közreműködés hatékony működésének érdekében elengedhetetlen, hogy a résztvevő közösség tagjai aktívan részt tudjanak venni közös cél elérésének érdekében tett lépésekben. Amennyiben a közösségi adatgyűjtés megvalósítható egy LDM struktúra létrehozásában, annak számos előnye lehet a modern közlekedésszervezési feladatok megoldásában:

• Pontos háromdimenziós térképek, amelyek a közösségi közreműködés alapú megol- dás következményeként nagy lefedettséggel bírnak az úthálózat valóban használatos szakaszairól;

• Alacsony átfutási idejű, naprakészen tartott információk a kvázistatikus és átmeneti térképrétegeken;

• Magas frekvenciájú frissítések a dinamikus réteg felhasználói számára.

A minél nagyobb tömegek bevonását lehetővé tevő közösségi közreműködésen – illetve VGI- n – alapuló, pontos modellezést lehetővé tevő megoldások esetén tehát fontos, hogy olyan szenzorokra támaszkodhasson a felhasznált rendszer, melyek a lehető legtöbb felhasználó számára elérhetőek. Ilyen szenzor például az RGB kamera, mely az 1.1.1. fejezetben bemutatott ADAS megoldások mindegyikének egyik sarokkövét jelenti, és ezáltal számos felhasználó – pontosabban járművezető – rendelkezik vele.

A fentiek ismeretében kirajzolódnak azok a problémák, melyek megoldását az érteke- zésem céljául tűztem ki:

(20)

Problémamegállapítás

Megfelelően nagy számú, menetirányba néző kamerával rendelkező közúti jármű mint adatgyűjtő ágens által szolgáltatott képi és lokáció információ rendelkezésre állása esetén a következő feladatok elvégzése:

1. A közösségi közreműködés elvárásait szem előtt tartva az információk elő- szűrésével majd összegyűjtésével adott útszakaszokról és azoknak környe- zetéről adatokat tartalmazó háromdimenziós, hierarchikus térképstruktúra létrehozása.

2. A térkép létrehozását követően az újonnan érkező információk segítségével (a) ezen adatbázis naprakészen tartása,

(b) az átmeneti és dinamikus térképrétegben található információk meg- felelő menedzsmentje, amely segítségével az ember vezette és részben vagy teljesen autonóm járművek pályatervezésének és navigációjának optimalizálása megoldhatóvá válik.

Az első lépés az adatgyűjtő közösség tagjai által szolgáltatott adatok vizsgálata és redukciója. E lépés során azok az adatok szűrhetők ki, amik növelnék az adatgyűjtő ágens hálózati kapcsolatának terhelését, azonban a térképkészítés szempontjából feleslegesek.

A következő lépést a szűrt képek feldolgozása által a háromdimenziós modell felépítése jelenti. A nagy mennyiségű adatra alapozva a modell iteratív finomítása segítségével ebben a lépésben megoldható, hogy a térkép – pontosabban háromdimenziós modell – azokon a területeken sűrűbb és pontosabb legyen, ahol több adatgyűjtő ágens halad el.

Az adattovábbítás és -feldolgozás ilyen jellegű kialakítása egy edge-cloud⁸ jellegű struktúra implementációját teszi lehetővé.

Amennyiben a térkép inicializálása megtörtént, akkor a következő lépésben a platform képes a térkép struktúrájában az átmeneti és a dinamikus rétegek folytatólagos frissen tartására. A térképmodell e szintjein található információ felhasználásával a közösségi közreműködési megoldás szereplői a felhőben tárolt adatokhoz hozzáférnek, és azt további feladatok megoldására használhatják fel. Ilyen feladatok egyebek mellett:

• az ADAS rendszerek számára tanító-, validációs- és tesztadatok generálása model- lező környezetből kinyert képek szimulációból valóságos tartományba (simulation to reality – Sim2Real) alakításával;

8A hálózat „szélén” (edge) található beágyazott és egyéb, viszonylag alacsony számítási kapacitást biztosító, internetkapcsolattal rendelkező eszközök, valamint felhőalapú számítás (cloud) integrált alkal- mazására építő technológia.

(21)

• valós idejű pályatervezés az autonómia magasabb szintjén álló – vagyis önvezető – járművek számára az alacsony látenciával rendelkező, átmeneti és dinamikus térkép- rétegen található adatok felhasználásával.

Az alábbi értekezés fő célja egy olyan platform létrehozása, mely a fenti lépések imp- lementációján keresztül igazolja egy közösségi közreműködésen alapuló, átfogó, adatgyűjtő és -szolgáltató megoldás működőképességét.

1.4.2. Módszertan

Az alábbi munkában javasolt közösségi közreműködés alapú platform egyes szegmen- seiben alkalmazott megoldások eredményességét – bár egy közös platform megalkotásá- ban játszanak alapvető szerepet – egymástól elkülönítetten vizsgálom. A részmegoldások önmagukban már ismert technikák integrációjaként előálló új módszerek, és mint ilyenek gyakran összevethetők az adott részterület szakirodalmában fellelhető egyéb korszerű meg- oldásokkal. Az ezek együttes alkalmazásával előálló, újszerű platform számos és sokszínű felhasználási módja következtében az integráció eredményeként kapott rendszer tesztelé- se, valamint a szükséges bemenő adatok rendelkezésre állásának hiánya miatt nem képezi ezen értekezés célját. Ennek oka, hogy a valószerű vizsgálat olyan típusú és számosságú eszköz rendelkezésre állását feltételezi – például egy több ágensből álló adatgyűjtő jár- műflotta, több száz terabájt tárolókapacitás –, amely e munka készítésének idejében nem állt rendelkezésemre. Továbbá a megoldás újszerűsége miatt a nyílt forráskódú és szabad felhasználású adatbázisok sem teszik lehetővé annak integrált tesztelését.

A fentiek miatt egy másik módszertant követtem a munkám során: részegységekre bontva vizsgáltam az egyes komponensek implementációjának hatékonyságát. Az aláb- biakban sorba veszem az előzőekben (az 1.4.1. fejezetben) felsorolt lépések – így a teljes közösségi közreműködés alapú platform részegységeinek – megvalósítása során alkalmazott módszertant.

Aközösségi közreműködést megvalósító platform bevezetése során a szakirodalomban fellelhető jógyakorlat felhasználásával dolgozom ki egy olyan megoldást, mely korszerű képfeldolgozási technikákat és felhőalapú számítási kapacitást felhasználó eszközök segít- ségével ad választ a felvetett közösségi közreműködésen alapuló adatgyűjtés problémájára.

A közösségi közreműködés alapú megoldás alapvető részét képezi a nagy mennyiségű nyers adat rendelkezésre állása. Ennek hiányát egy szimulációs környezet alkalmazásával hidalom át, ahonnan nagy mennyiségű képet és hozzárendelt kamerapozíciót exportálok.

Ezen adatok felhasználásával háromdimenziós modellt generálok, amelyet összehasonlítok a szimulációs környezetből kinyerhető és így referenciának tekinthető (ground truth – GT) adatokkal. Az eredményeket iteratív legközelebbi pont (iterative closest point – ICP) módszer alkalmazásával értékelem.

Az értekezésben az adatgyűjtés és modellezés megvalósítására egy másik technikát is javaslok: egy olyan együttes lokalizációs és térképezés (simultaneous localization and

(22)

mapping – SLAM) megoldást, mely mélytanulást alkalmazó részegységekből tevődik össze.

A SLAM eljárás eredményeként implementált térképkészítési és pozícióbecslési megoldás eredményességét az irodalomban gyakran előforduló viszonyító-adatbázis (benchmark) fel- használásával tesztelem és hasonlítom össze egyéb korszerű megoldásokkal.

A korábban definiált platform felhőalapú menedzsmentjét megkönnyítendő – a kö- zösségi közreműködés igényeit továbbra is szem előtt tartva – az edge-cloud adatredukci- óra javaslok megoldásokat, melyek hibrid (klasszikus és mélytanuló módszereket ötvöző) képfeldolgozási eljárások segítségével a nyers képi információ fölösleges adattartalmának szűrését valósítják meg.

A legmagasabb információtartalommal rendelkező képek előállítása érdekében az au- tonóm adatgyűjtő járművek számára egy érzékelés-akció ciklust megvalósító megerősítéses tanulást (perception-action cycle – PAC) használó ágens megvalósítására teszek javasla- tot, melyet egy differenciálható renderelővel rendelkező környezet adatain tanítok be. A megoldást ezután a naiv optimalizáló által adott eredményekkel vetem össze.

Az átmeneti és dinamikus térképrétegekalacsony átfutási idejű frissítésének létjogo- sultságát először egy gyakori meteorológiai jelenség, az időjárási frontok és a közúti balesetek korrelációjának vizsgálata során kinyerhető összefüggések feltárásával szemléltetem.

A kimutatott korrelációk alapján egy lokális meteorológiai adatokat felhasználó, poten- ciálisan romló közútbiztonságot jelző ún. veszélyattribútumokat előállítani képes szűrési algoritmust definiálok.

Az alacsony átfutási idejű térképfrissítések dinamikus kezelésére egy új eljárást javaslok, mely egy hiszterézises előléptetés-lefokozáson alapuló térképfrissítési algoritmust valósít meg. Az így kialakított jelölt/alkalmazott térképstruktúra (Candidate/Employed Map – C/EM) képes az úttesten megjelent akadályok valós idejű frissítésére. Ez a módszer két különálló – egy jelölt és egy alkalmazott objektumokból álló – térképpél- dányon, valamint az objektumok ezek közötti előléptetésén, illetve lefokozásán alapszik.

A térképmenedzsment-rendszer valós és szimulált autonóm járművek számára publikál dinamikus térképi információt MQTT (OASIS Message Queuing Telemetry Transport) kommunikációs csatorna felhasználásával. A megoldás robusztusságát hibrid szimuláci- ós környezetben tesztelem, amelyben egy valós jármű által valós akadályokról gyűjtött információt helyezek el egy virtuális jármű által használt dinamikus térképen.

1.5. Az értekezés felépítése

A közösségi adatgyűjtésből összeállított háromdimenziós rekonstrukciós lehetőségek, valamint az autonóm járművek működését lehetővé tevő algoritmusok adatszükségletét megvizsgálva arra jutottam, hogy létrehozható egy platform, mely nagyszámú, hétköznapi jármű mint adatgyűjtő ágens bevonásával képes robusztus reprezentációjú térképi adatok menedzsmentjére. Ezt a feltételezésemet a 2. Crowdsourcing alapú térképépítés fe- jezetbenbizonyítom, valamint általam alkotott, új eljárások felhasználásával validálom.

(23)

A 2.3. fejezetben bebizonyítom, hogy közösségi közreműködési szimuláció segítségével szintetizált, szélvédőre rögzített kamerával készített, monokuláris képek alapján pontos háromdimenziós környezeti modell hozható létre pontfelhő reprezentáció alkalmazásával;

Ezután a2.4. fejezetbeneljárást alkotok, mellyel hasonló, azonban valós képek alapján elkészíthető egy általános, ún. neurális térkép-reprezentáció, mely a kulcsképeket egy ne- urális hálózat segítségével kódolja el egy neurális térképreprezentációt alkalmazva. Ezekre a technikákra alapozva kimondom az1. tézisemet. A2. fejezetben leírt eljárásokat a munkám során készített implementációk felhasználásával tesztelem.

Az így definiált platform kiemelkedően fontos tulajdonsága a felhőalapú adatfeldol- gozás, melyet annak edge-cloud megvalósítása tesz lehetővé. Az irodalomban fellelhető képi információkon alapuló adatredukciós megoldások áttanulmányozását követően olyan új eljárásokat alkotok, melyek az adatfeltöltés hasznosságát képesek növelni kizárólag szél- védőre rögzített kamerák által készített, monokuláris képek alapján. A fölösleges adat- mennyiség csökkentésére létrehozott eljárásaimat a 3. Edge-cloud adatredukció feje- zetben írom le: először a 3.3.1. fejezetben definiálom a szimulált képek szemantikus és mélységi információtartalmán alapuló maszkolási eljárásomat; ezután a3.3.2. fejezet- ben leírom a hasonló módon, azonban valós környezetben készített képeken, illetve az elmozduláskompenzációs elven alapuló, dinamikus régiók maszkolására létrehozott meg- oldásomat; végül a3.4. fejezetben definiálom egy szimulációs környezetben szintetizált takarási jelenségek érzékelését mély neurális hálóval megvalósító megoldásomat. Ezekre az eljárásokra alapozva mondom ki a2. tézisemet. A3. fejezetbenleírt megoldásokat is általam készített implementációkon keresztül értékelem ki.

Az autonóm járművek üzemeltetésének hangsúlyos célja a közútbiztonság növelése, melyet nagyban segít a rövid átfutási idővel frissülő térképadatbázisok használata. Az átmeneti és dinamikus térképrétegen tárolható, akár az autonómia alacsonyabb szintjein is felhasználható információk kezelésére kialakított megoldások vizsgálata során arra jutottam, hogy számos közösségi közreműködéssel is gyűjthető adat szolgálhat hasznos bemenetként a korábbiakban bemutatott platform számára. Az ezen adatok gyűjtését és hasznosítását lehetővé tevő eljárásaimat a 4. Dinamikus térképfrissítés fejezetben definiálom. Először a4.1.2. fejezetben az emberi járművezetők hibái következtében be- következő balesetek és az orvosmeteorológiai jelenségek közötti átmenetek korrelációjának feltárására végzett kutatásomat írom le. Ezután a 4.1.3. fejezetben a megismert kapcsolat alapján a fokozott elővigyázatosság szükségességére figyelmeztető, közösségi adat- gyűjtéssel megvalósítható, az átmeneti térképrétegben tárolható veszélyattribútumokat szolgáltató eljárásomat definiálom. Végül a 4.2. fejezetben leírom az összekapcsolt és autonóm járművek navigációját nagyban segítő, külső érzékelés jellegű, valós idejű aka- dályfelügyeleti térképmenedzsmentre megalkotott módszeremet. Ezekre az eljárásokra alapozva mondom ki a3. tézisemet. A4. fejezetbenleírt információgeneráló megoldásokat valós adatsorokon megvalósított implementációk felhasználásával tesztelem.

Értekezésem 5. Összefoglalás fejezetében a disszertációban elért eredményeimet áttekintem, majd leírom azok hasznosulási, valamint továbbfejlesztési lehetőségeit.

(24)

Crowdsourcing alapú térképépítés

Az autonóm járművek fejlődése napjainkban minden korábbi szintet meghaladó rit- musban növekszik. Egy fontos alterülete ennek a kutatási iránynak az autonóm ágensek navigációja. Számos publikáció fókuszál azokra az algoritmusokra, amelyek ezen robotok – vagyis a járművek – útvonaltervezését hivatottak megoldani a környezet előzetes ismerete nélkül [30, 31].

Emellett egy másik kutatási irányzat is megjelent az elmúlt években, mely az útinf- rastruktúra nagy felbontású (HD) és részletes feltérképezésére fókuszál. Ezek olyan adat- bázisok, melyek az úthálózat, az útburkolat és az út környezetében található objektumok modelljét tartalmazzák. Ezeknek a HD térképeknek egy fontos felhasználási területe az autonómia magasabb, már önvezetést jelentő szintjein található járművek navigációjának segítése [10, 32].

Ahogy az 1. fejezetben szerepel, az alábbi értekezés egyik fő célja egy olyan közösségi közreműködésen alapuló platform létrehozása, amely a VGI paradigma egy közúti jármű- vekre alkalmazott változatát valósítja meg. A legfőbb probléma, melynek enyhítésére ez a megoldás egy potenciális megoldási módot nyújt, az időben és munkaerő-ráfordításban egyaránt rendkívül költséges adatgyűjtés a közúti autonóm ágensek navigációja során al- kalmazható térképek számára. A napjainkban alkalmazott térképezési módszerek a mobil térképező rendszereken (mobile mapping system – MMS) alapszanak, melyek közép- vagy felsőkategóriás szenzorokat alkalmazva képesek az úthálózat, az utcabútor és az egyéb útinfrastruktúra-elemek magas felbontású feltérképezésére [33, 34].

Ahogy az 1.2.1. fejezetben már említettem, számos piaci szereplő is gyűjt ilyen módon adatokat az autonóm járműflottájuk robusztus működését biztosítandó. Az egyik ilyen a Waymo, egy Google spin-off cég, mely az autonóm járművezetés egyik piacvezetője lett a 2009-es indulása óta. Az ő céljuk, hogy létrehozzák avilág legtapasztaltabb járművezetőjét – ezzel összhangban az USA egyes városaiban már elérhető a személyszállítási szolgálta- tásuk, amelyben a felhasznált járművek 4-es szintű önvezetésre (lásd 1.1. fejezet) képesek [35]. A Waymo járművei Lidar, Radar szenzorokkal és kamerákkal vannak felszerelve, valamint a megbízható és hatékony navigációjukhoz HD térképeket használnak. E térké-

(25)

pek konstrukciója során használt adataikból egy jelentős szakaszt nyíltan hozzáférhetővé is tettek, mely tartalmaz felcímkézett és nyers 2D képi információkat, mélységi adatokat, illetve nagy felbontású Lidar pontfelhőket is [36].

A Woven Planet Level 5 (korábban Lyft Level 5) és az Aurora Driver (korábban UberAI) szintén készített a fentihez hasonló nyílt hozzáférésű adatbázisokat. Azonban míg előbbi cég adatbázisának célját egy önvezető jármű robusztus navigációja jelenti [37], addig az utóbbi vállalat célja a GNSS technológián alapuló navigáció volt, így az ő adatbázisuk létrehozásakor ez a megközelítés került előtérbe [38].

Fontos azonban megjegyezni, hogy a fent felsorolt vállalatok adatgyűjtésének elsőd- leges célja – az üzleti modelljük értelmében – az általuk üzemeltetett járművek szenzor- rendszerének megfelelő adatbázisok létrehozása. Ehhez azonban az adatgyűjtés során is olyan érzékelőket használnak, melyek a potenciális felhasználók nagy részének számára megnehezítik (vagy adott esetben ellehetetlenítik) a felhasználást. Egy másik fontos prob- léma ezekkel az adatgyűjtési módszerekkel, hogy a megvalósításuk rendkívül költséges, hiszen egy jól felszenzorozott, kellően sok ágensből álló flotta szükséges az adatgyűjtéshez.

Ezekre a nehézségekre kínál potenciális megoldást a közösségi adatgyűjtés.

2.1. Térképezés és közösségi közreműködés

A crowdsourcing (közösségi közreműködés) paradigma alapja az a feltételezés, hogy egy nagy számosságú populáció egy közös cél elérésének érdekében, egymástól akár függet- lenül, kapcsolódó feladatokat végez. Számos definíció lelhető fel az irodalomban, azonban talán a legáltalánosabb megfogalmazása Estellés-Arolas et al. [39] munkája nyomán a következő:

„A crowdsourcing egy olyan online részvételi tevékenység, mely során egy személy, egy in- tézmény, egy nonprofit szervezet vagy egy cég[. . .]személyek egy csoportja számára önkén- tes feladatvállalást javasol. A feladat megoldása – melynek komplexitása és modularitása változó, s melyben a közösség tagjai részt vállalnak munkájukkal, pénzükkel, tudásukkal és/vagy tapasztalatukkal – mindig kölcsönös előnyökkel jár. A közösség tagja egy előre meghatározott szükséglet kielégítését kapja [. . .], míg a feladatot kiadó fél megszerzi, és a maga javára hasznosítja azt, amit a felhasználóktól begyűjtött [. . .].”

Mind kutatási célú, mind pedig ipari forrásokban számos példa lelhető fel, melyekben a közösségi közreműködésben rejlő lehetőségek kihasználását látják a nehézkesen megold- ható, illetve költséges MMS-alapú térképi adatgyűjtés problémája lehetséges megoldásának [40, 41, 42].

Fontos azonban megjegyezni, hogy ezek a technikák jellemzően magas felbontású Li- darok által generált pontfelhők, illetve nagy pontosságú GNSS és IMU szenzorok révén szolgáltatott pozícióadatok felhasználásán alapulnak. Ez a megközelítés, bár az egyes mintavételi pontok hibáját csökkenti, és ezáltal a mérés pontosságát növeli, egy jelentős limitációt jelent a közösségi közreműködés felhasználhatóságával szemben. A potenciális

(26)

adatgyűjtő ágensek száma nagymértékben emelkedik, amennyiben a felhasználandó eszkö- zök köre egy széles társadalmi réteg számára elérhető. A közúti járművekkel végrehajtott térképezés esetén ezek a szenzorok az ADAS rendszerekkel felszerelt járművekben találha- tó monokuláris kamerák – például a visszapillantó tükör mögé szerelt ADAS érzékelők¹ – és a kereskedelmi minőségű GNSS jeladók.

E szenzorok jeleinek feldolgozása és menedzsmentje – egyebek mellett a korlátos jár- művekbe beágyazott számítási kapacitás és az elosztott adatgyűjtési lokációk miatt – egy központi, minden ágens által elérhető helyen valósítható meg hatékonyan. Az információ- és kommunikációtechnológia (IKT) előrehaladását lehetővé tevő 5. generációs (5G), valamint egyéb magas sávszélességű mobilhálózatok, illetve ezzel összhangban az IoT eszközök terjedése az összekapcsolt járművek (connected cars) számának gyarapodását is magával hozta [43].

A V2X (vehicle-to-everything – jármű a bármivel) kommunikációs szolgáltatások szá- mos modern járműben megtalálhatók. Az autógyártó vállalatok stratégiájának fontos ré- szét képezi az e technológia adta lehetőségek kiaknázása. A V2X egy gyűjtőfogalom, részét képezik a V2I (vehicle-to-infrastructure – jármű az infrastruktúrával), a V2V (vehicle-to- vehicle – jármű a járművel), a V2P (vehicle-to-pedestrian – jármű a járókelővel), illetve a V2N (vehicle-to-network – jármű a hálózattal) megoldások [44]. E technológiák széleskörű elérhetőségének köszönhetően a felhőalapú számítási megoldások, valamint az 1.2. fejezetben bemutatott LDM struktúra hatékonyan alkalmazható egy közösségi közreműködésen alapuló platform működtetésénél. A V2X kommunikációs megoldások használatával az LDM hierarchia alacsonyabb és magasabb rétegein (lásd 1.2. ábra) egyaránt beépíthető- vé válik az egyes adatgyűjtő ágensek – vagyis a közösség tagjai – által önkéntes alapon szolgáltatott geoinformáció (VGI).

A közösségi adatgyűjtés számos előnyt rejt magában a klasszikus – kis számú, összetett érzékelőkkel ellátott járműveket használó – technikákkal szemben:

• a költségek alacsonyabbak;

• az adatgyűjtés rugalmasabb;

• a rendszer robusztusabb, ellenállóbb a hibákkal szemben — ha egy adatgyűjtő egység meghibásodik, akkor a közösség többi tagja könnyedén fel tudja venni a kiesett ágens szerepét;

• az egyjárműves adatgyűjtés akkumulált hibái csökkenthetők a közösségi közreműkö- dés használatából adódómennyiségből minőség elvének alkalmazásával.

Ilyen módon gyűjt adatot – többek között – a Mapillary²is. Ez a kutató-fejlesztő mű- hely létrehozott egy olyan crowdsourcing platformot, melynek célja a világ minden pont- jának feltérképezése, a térképek javítása és fenntartása számítógépes látás és mesterséges

1Ilyen például a BOSCH Multi-Purpose kamerája, amely számos autógyártó modelljében megtalálható.

2mapillary.com

(27)

intelligencia (MI) – pontosabban gépi tanulás – felhasználásával. A platform adatbázisát a közösség tagjai utcai képek feltöltésével tudják bővíteni. A létrehozásával a cég célja, hogy az útinfrastruktúra részeit képző objektumok felcímkézését végző MI algoritmusok számára elérhető tanítóadatok mennyiségét növeljék, valamint a klasszikus navigációs feladatokat megkönnyítsék – akár az emberi járművezetőknek, akár az önvezető autóknak.

Az általuk összegyűjtött képek száma 2019-ben már meghaladta az 500 milliót, e sorok írásának idejében pedig a 1,5 milliárdot – bár a céget felvásárolta a Facebook, így nincs nyilvánosan elérhető, pontos adat. A Mapillary a képek kézi és gépi felcímkézésével [45], a mélységi információk [46], illetve további, képfeldolgozási algoritmusokban használatos információk kinyerésével számos szabad hozzáférésű adatbázist is közzétett³ [47, 48, 49].

A Google megoldása sokban hasonlít a Mapillary-féle megközelítésre. A Google Street View szolgáltatás látja el a Google Maps és a Google Earth szervereit panorámaképekkel.

Az adatgyűjtés itt hibrid megközelítésű: a Google Street Car (vagyis a cég saját flottája) és az egyes felhasználók egyaránt hozzájárul(hat)nak a központi adatbázisban tárolt képekhez [50]. Ezek a képek ezután a cég navigációs szolgáltatásaiban egy felületi textúraként kerülnek megjelenítésre így segítve a vizuális tájékozódást.

Némileg hasonló megoldást használ a MobilEye. Az izraeli cég – mely se nem au- tógyártó óriás (original equipment manufacturer – OEM), sem pedig egy klasszikus érte- lemben vett techcég – számos autómárka ADAS kamerarendszer-beszállítója, és így több, mint 65 millió járműben találhatók meg a szenzoraik [51]. A REM platformjuk (road experience management – út-tapasztalat menedzsment) e szenzorok adatainak összesítésével hoz létre ADAS fejlesztéshez alkalmas, nagy pontossággal felcímkézett, útinfrastruktú- rához köthető adatbázist. Egy 2022-es prezentáció⁴ szerint 2021-ig összesen több, mint 200PB adatot gyűjtöttek 4 milliárd km útszakasz bejárásával. Ezeket az adatokat azonban kizárólag az ADAS algoritmusaik fejlesztésére használják, és nem készítenek belőle sem szabad felhasználású adatbázist, sem térképet.

A 2.3. és 2.4. fejezetekben definiálom a közösségi közreműködés nyújtotta lehetőségek kihasználásával létrehozható, 3D térképek generálására kidolgozott megoldásaimat.

2.2. A CrowdMapping platform

A fent felsorolt képgyűjtési és térképezési megoldásokkal szemben a CrowdMapping platform (2.1. ábra) lehetővé teszi nagy mennyiségű adatgyűjtő ágens bevonását, ezzel egy hatékonyan elosztott és skálázható megoldást biztosítva. A javasolt architektúra egy edge-cloud struktúra megvalósítását teszi lehetővé:

• a hálózat szélén (edge) lévő járművek kisebb számítási igényű, a hálózati kapcsolattól független számításokat végeznek;

3A Mapillary adatbázisok elérhetők a mapillary.com/datasets weboldalon. Utoljára megnyitva 2022.07.24.

4YouTube: MobilEye REM előadás a CES 2022 konferencián. Utoljára megnyitva: 2022.07.21.

(28)

• a magasabb hardverelvárásokkal és így számítási kapacitással rendelkező távoli rész egy felhőalapú (cloud) szolgáltatott infrastruktúra (IaaS – Infrastructure-as- a-Service) alkalmazásával oldható meg skálázhatóan és eredményesen [TP1].

Képrögzítés

Számos jármű, eltérő időben, azonos vagy különböző helyszínekről

Előfeldolgozás

Kisebb számításigényű algoritmusok futtatása, adatcsomagok méretét

csökkentendő 1

2

...

n 1

2

...

n 1

2

...

n

Osztályozás Szemantikus szegmentálás Szenzorfúzió

Optical flow számítás

Képrögzítés

Előfeldolgozás

csökkentendő 1

2

...

n 1

2

...

n

Lokális rész

Képrögzítés

Előfeldolgozás

csökkentendő 1

2

...

n 1

2

...

n

Lokális rész Távoli rész Távoli rész

Feldolgozás a felhőben

Nagy számításigényű algoritmusok futtatása, adaptív paraméteres neurális

hálók, HD utcaképek és térképek létrehozása, kiértékelések futtatása

Tárolás és megjelenítés

Térképek tárolása, adatvizualizáció

Adattovábbítás Adatfeltöltés Képfeldolgozás Adattovábbítás Adatfeltöltés

Képfeldolgozás Beépített kamera Valósidejű adatszolgáltatás

Adatbázis írás és olvasás, adaptív hibafelügyelet

Képek forrásai:

1. G., Andreas , et al. "Vision meets robotics: The KI TTI dataset." The International Journal of Robotics Research 32.11 (2013 ): 123 1-1237.

2. https://i.ytimg.com/vi/JVuT7cOJvLc/maxresdefault.jpg (2019.06.23.)

3. https://ak9.picdn.net/s hutterstock/videos/1408 8569/thumb/9.jpg?i10c=img.resize(height:160) (2019.06.23.) 4. https://i.pinimg.com/originals/03/4d/0c/034d0c7dfff00d8d093c98 33b75389bf.jpg (2019.06.23.)

2.1. ábra. A CrowdMapping platform

A közösségi közreműködés elvéből adódó nagy mennyiségű adat gyűjtése a lokális részen(2.2.1. fejezet) kerül megvalósításra. Ezek a résztvevők a járművük mint IoT eszkö- zök által rögzített (monokuláris) kameraképeket tárolják el. A gyűjtött adatokat ezután a járművek szintjén előszűrik, majd a V2X vagy más telekommunikációs megoldások segítsé- gével feltöltik egy központi adatbázisba. Atávoli részen(2.2.2. fejezet) a nagy feldolgozási igényű algoritmusok futtatásával megvalósul a térkép előállítása majd frissítése. A nagy- számú bevont közösségi adatgyűjtő ágens által szolgáltatott adatoknak köszönhetően a CrowdMapping platform használatával megoldhatóvá válik az LDM struktúra (1.2. ábra) teljes felépítése, a kvázistatikus réteg változásainak kis átfutási idejű, valamint az átme- neti és a dinamikus részek nagyfrekvenciás frissítése. Az így felépített és a távoli részen – a felhőben – tárolt térképi adatbázis felhasználható autonóm járművek navigációjának segítésére.

2.2.1. Lokális rész

Ahogy a 2.1. fejezetben már említettem, napjaink szinte minden modern közép- és felsőkategóriás járműve rendelkezik legalább egy, a szélvédő mögé szerelt, beépített ka- merával. E kamerák feladata a jármű ADAS megoldásainak működését biztosító képi

(29)

információ begyűjtése. Ezeknek a képeknek a feldolgozást követően további funkciójuk nincs, így törlésre kerülnek. Hasznosak lehetnek viszont ezek a képek egy másodlagos funkció ellátására mint a CrowdMapping térképkészítés nyersanyaga. A CrowdMapping struktúra lokális része számos adatforrásból áll: a VGI-t szolgáltató szereplőkből – vagyis az adatgyűjtő közösség tagjaiból. Ezzel az adatgyűjtési módszerrel a járművek környeze- téről készített képek rövid átfutási idővel bekerülhetnek egy központi adatbázisba, ahol az ott tárolt térképekbe integrálhatók.

A lokális részen találhatók – az egyes adatgyűjtő ágensek információt rögzítő ka- meráin túl – a képek előfeldolgozását végző algoritmusok is, melyek az egyes járművek szintjén elérhető számítási kapacitás – fedélzeti számítógép vagy beágyazott, illetve mo- bileszközök – segítségével valósulnak meg. Az előfeldolgozási lépéseknek köszönhetően az egyes ágensek által a felhőbe továbbítandó adat mennyisége csökkenthető, megkímélve ezzel az adattovábbítást végző hálózati kapcsolat igénybevételét. Az erre a célra kialakított megoldásokat a 3. fejezetben tárgyalom részletesebben.

2.2.2. Távoli rész

A CrowdMapping architektúra távoli részének kialakításakor fontos szempont volt, hogy a platform bővítése és hatékony skálázhatósága biztosított legyen. Az itt futó algoritmusok jóval számításigényesebbek, mint a lokális részen végrehajtottak, ezért az itteni feldolgozási lépéseket távoli, felhőben található, IaaS keretében szolgáltatott szerverek felhasználásával futtatja. Erre alkalmas megoldásokat egyebek mellett az Amazon Web Services (AWS), a Google Cloud Platform (GCP) és a Microsoft Azure is kínál. A távoli részen futnak az olyan alkalmazások, mint az LDM struktúra létrehozása és a különbö- ző részek összefűzése, az adatok pontosságának monitorozása, az átmeneti és dinamikus modellréteg részeinek valós idejű frissítése, valamint az adatok tárolása.

Egy másik fontos feladat, mely az architektúra távoli részén kerül megvalósításra, az adatlekérdezések kezelése és kiszolgálása. E funkciók ellátása több lehetséges igényt is kielégíthet:

• Headless⁵: az összekapcsolt és autonóm járművek adatkérései az LDM modell vala- mely rétegében tárolt információk begyűjtésére, amely a navigációjuk, illetve pálya- tervező algoritmusaik számára hasznos.

• Grafikus: A közösség egyéni tagjai által kezdeményezett adatkérések egy adott útsza- kasszal kapcsolatos információk beszerzésére. Az adatok megjelenítésére egy okos- eszköz (jellemzően mobiltelefon), vagy böngésző alkalmazható.

• Akkumulált: Útfenntartó és közútkezelő szolgáltatók, akik nagy mennyiségű, össze- sített adatigénnyel rendelkeznek.

5Fej nélküli, a headless megnevezés a képernyő nélkül működtetett szervergépek elnevezéséből adódik.