Közösségi adatgyűjtésen alapuló

(1)

Budapesti Műszaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Kar

Irányítástechnika és Informatika Tanszék

Közösségi adatgyűjtésen alapuló

térképépítés képfeldolgozási módszerek alkalmazásával

Tézisfüzet doktori értekezéshez

Szántó Mátyás

Témavezető Dr. Vajta László

2023. január 19.

(2)

Tartalomjegyzék

Bevezetés 2

Célok és módszertan 4

Célkitűzés . . . 5 Módszertan . . . 6

Új tudományos eredmények 8

Crowdsourcing alapú térképépítés . . . 9 Edge-cloud adatredukció . . . 13 Dinamikus térképfrissítés . . . 16

Eredmények összegzése 19

(3)

Bevezetés

Az emberi természet egyik alapvető szükséglete a helyváltoztatás. Amennyiben a hely- szín megváltoztatása számottevő távolság megtételét igényli, valamint a rendelkezésre álló idő korlátos, akkor a séta nem a megfelelő eszköz erre. Az emberiség fejlődése során a helyváltoztatásnak számos különböző módszere fejlődött ki, azonban az 1960-as évek óta a modern társadalmakban a legszélesebb körben elterjedt és leggyakoribb formája a személyautózás.

A jármű-technológia robbanásszerű fejlődésének, valamint az elektornikai megoldá- sok előtérbe helyeződésének köszönhetően számos olyan technika vált mindennapossá a járműiparban az elmúlt évtizedben, melyek ma már elengedhetetlen részét képezik egy modern járműnek. Leggyakrabban ilyen célokat szolgálnak a vezetéstámogató rendszerek (Driver Assistance System – DAS). Egy másik célja a DAS megoldásoknak, hogy a közlekedésbiztonságot javítsák. A működésük érdekében ezek a rendszerek környezetükről szenzorok útján információt gyűjtenek: amennyiben ezek az információk részben vizuális szenzorokból (kamerákból) származnak, akkor modern járművezetőt támogató rendsze- rekről (Advanced Driver Assistance System – ADAS) beszélünk.

Az ADAS rendszerek fejlődésének köszönhetően – illetve a járművezetői kényelem és biztonság növelését segítendő – egy több évtizede megjelent fejlesztési igény kielégítését kísérhetjük napjainkban figyelemmel. A tudományos és az ipari kutatásokban minden ko- rábbit meghaladó mértékű figyelem övezi az autonóm járművek, valamint egyik altípusuk, az önvezető autók fejlesztését.

A jármű-autonómia magasabb szintjein – ahol az önvezetés valamilyen formája meg- valósul – már nemcsak a járművezető támogatása, hanem a jármű irányítása is az algoritmusok funkcionalitásának részét képzi. Ezek közül a legkiemelkedőbbek a jármű önálló navigációja, vagyis a megtervezett útvonal követése, a közlekedési jelzések felismerése és betartása, valamint az akadályok azonosítása és elkerülése. Ehhez kapcsolódóan az auto- nóm járművek fejlesztőinek több kihívásra is kielégítő választ kell adniuk:

1. A jármű nagy pontossággal meg tudja határozni saját helyzetét a környezetéhez képest.

2. A jármű az úton vagy annak szomszédságában bekövetkező eseményeket ismerje fel, valamint az azokra adandó optimális reakciót képes legyen megválasztani.

(4)

3. A jármű a felhasználói – vagyis az utasai által támasztott – igényeket és a közlekedési szabályokat kielégítő mozgást tudjon végezni.

A követelményeknek való megfelelés biztosítása érdekében mindenekelőtt szükséges, hogy a jármű – mint autonóm ágens – ismerje a környezetét, valamint képes legyen magát elhelyezni abban. A jármű zavartalan mozgását biztosítandó a környezet érzékelésére számos megoldás létezik, például a monokuláris és sztereó elrendezésű raszteres vörös- zöld-kék (red-green-blue – RGB) kamerák, a lézer alapú távérzékelők (light detection and ranging – Lidar), az ultraszonikus és Radar érzékelők. Fontos információforrást jelentenek továbbá az autonóm járművek számára a globális műholdas helymeghatározó rendszer (Global Navigation Satellite System – GNSS), illetve az egyes inerciális mérőegységek (Inertial Measurement Unit – IMU) által szolgáltatott adatok, melyek segítségével az abszolút lokáció és orientáció hozzávetőleges meghatározására nyílik lehetőség.

Egy napjainkban elterjedt szemlélet szerint a jármű szenzorai közé sorolhatók a tér- képek is. A jármű által bejárható területekhez – jellemzően közutakhoz – társítható in- formáció geolokációhoz rendelt tárolása egy olyan architektúra létrehozását teszi lehetővé, mely mind az információt gyűjtők, mind pedig az azt használók számára egyértelmű al- kalmazhatóságot szavatol. Ezeket az adathalmazokat futásidőben az autonóm ágens egy plusz szenzorként tekinti. Fontos különbség azonban, hogy míg az előbbiekben felsorolt érzékelők mindegyike valamilyen látómezővel, illetve egy időben változó érzékelési tarto- mánnyal rendelkezik, addig a térképek hatótávolsága nem változik az egojármű (angol egovehicle szóból) lokációjának függvényében: csupán a benne tárolt adatok mennyisége jelent limitációt.

(5)

Célok és módszertan

Munkám során az autonóm járművek hatékony fejlesztését lehetővé tevő technológiai meg- oldásokat vizsgáltam, így az értekezésemben ezen a területen széles körben alkalmazott nevezéktant használom. Az autonóm járművek által alkalmazott térképekben az alábbi rétegekbe szervezetten található meg az információ:

• Statikus térképi réteg: A térképekállandó elemei, melyek nagyon kis valószínű- séggel változnak meg. Statikus réteg elemei például: úthálózat, épületek.

• Kvázistatikus térképi réteg: A térképekritkán változó részei, melyek a statikus térkép elemeihez vannak rögzítve, és mint olyanok, kis valószínűséggel változnak meg. Kvázistatikus réteg elemei például: változó sebességkorlátozások, növényzet, illetve ide tartozik minden funkcióval bíró utcai építmény.

• Átmeneti térképi réteg: A térképektranziens elemei, melyek változásai csak la- zán korrelálnak az úthálózattal, így nem feltétlenül rendelhetők az útszegmensekhez.

Átmeneti réteg elemei például: közvilágítás időzítése, időjárási és forgalmi informá- ciók.

• Dinamikus térképi réteg: A térképek gyorsan változó elemei, melyek nincsenek rögzítve az úthálózathoz, folyamatos, valamint az átmeneti réteg objektumaihoz ké- pest gyors mozgásban vannak. Dinamikus réteg elemei például: járművek, járókelők, forgalmi lámpák állapota és működési státusza.

A fenti hierarchikus reprezentáció elnevezése lokális dinamikus térkép (Local Dynamic Map – LDM), amelyet az Európai Távközlési Szabványügyi Intézet (European Telecom- munications Standards Institute – ETSI) szabványosított 2011-ben.

A háromdimenziós (3D) térképek az objektumok térbeli elhelyezkedését hivatottak reprezentálni, szemben a klasszikus, kétdimenziós, síkbeli térképekkel, melyek csak azoknak egy síkvetületét tartalmazzák. A képfeldolgozás és gépi látás területén egy több év- tizede kutatott terület a képeken látható objektumok térbeli elhelyezkedésének robusztus azonosítása, valamint ennek az információnak a hatékony reprezentációja. Amennyiben a mélységi adatok rendelkezésre állnak, akkor a kamera által észlelt objektumok relatív térbeli elhelyezkedését lehetséges leírni mint 3D térképet. A 3D pontfelhők jelentik a

(6)

legkompaktabb megoldást erre a célra. Ebben az esetben a kép minden pixeléhez rendelt távolságértékhez tartozik egy térbeli pont. E pontok összessége alkotja a pontfelhőt, mely több, különböző helyről készített kép felhasználása esetén bonyolult térbeli struktúra tárolására is alkalmas.

A közösségi közreműködés egy olyan fogalom, mely gyakran hallható összefüggésbe hozva olyan kutatási tevékenységekkel, amik során fontos, hogy a felhasznált platformok lehetővé tegyék emberek nagy csoportjának elérését. E csoport tagjai így részt tudnak venni egy komplex probléma – vagy annak egy részének – megoldásában. A közlekedési adatok gyűjtését célzó crowdsourcing-alapú megoldásokat nagy figyelem övezi az elmúlt évtizedben: ennek oka elsősorban a modern járművekben használatos szenzorok, valamint a hálózatra csatlakoztatott (Internet of Things – IoT) eszközök növekvő száma. A kö- zösségi közreműködés egyik formájára, a közösségi adatgyűjtés térképekhez kötődő célú alkalmazására szintén számos példa lelhető fel az irodalomban; az ilyen célú adatgyűjtésre megnevezéseönkéntes földrajzi információszolgáltatás(Volunteered Geographical Informa- tion – VGI).

Célkitűzés

Bár számos kutatás foglalkozik térbeli térképek készítésével, azonban a közösségi adatgyűj- tés és a képfeldolgozás együttes felhasználása e cél érdekében egy kevéssé vizsgált terü- let. A közösségi közreműködés hatékony működésének érdekében elengedhetetlen, hogy a résztvevő közösség tagjai aktívan részt tudjanak venni közös cél elérésének érdekében tett lépésekben. Amennyiben a közösségi adatgyűjtés megvalósítható, annak számos előnye lehet a modern közlekedésszervezési feladatok megoldásában:

• Pontos háromdimenziós térképek, amelyek a közösségi közreműködés alapú megol- dás következményeként nagy lefedettséggel bírnak az úthálózat valóban használatos szakaszairól.

• Alacsony átfutási idejű, naprakészen tartott információk a kvázistatikus és átmeneti térképrétegek számára.

• Nagyfrekvenciás akadályfrissítések a dinamikus réteg felhasználói számára.

A minél nagyobb tömegek bevonását lehetővé tevő közösségi közreműködésen – illetve VGI- n – alapuló, pontos modellezést lehetővé tevő megoldások esetén tehát fontos, hogy olyan szenzorokra támaszkodhasson a felhasznált rendszer, melyek a lehető legtöbb felhasználó számára elérhetőek. Ilyen szenzor például az RGB kamera, mely a fejlett járművezetőt tá- mogató technológiák mindegyikének egyik sarokkövét jelenti, és ezáltal számos felhasználó – pontosabban járművezető – rendelkezik vele.

A fentiek ismeretében kirajzolódnak azok a problémák, melyek megoldását az érteke- zésem céljául tűztem ki:

(7)

Megfelelően nagy számú, menetirányba néző kamerával rendelkező közúti jármű mint adatgyűjtő ágens által szolgáltatott képi és lokáció információ rendelkezésre állása esetén a következő feladatok elvégzése:

1. A közösségi közreműködés elvárásait szem előtt tartva az információk előszűrésé- vel majd összegyűjtésével adott útszakaszokról és azoknak környezetéről adatokat tartalmazó háromdimenziós, hierarchikus térképstruktúra létrehozása.

2. A térkép létrehozását követően az újonnan érkező információk segítségével (a) ezen adatbázis naprakészen tartása,

(b) a dinamikusan térképrétegben található információk megfelelő menedzsmentje, amely segítségével az összekapcsolt és együttműködő autonóm járművek navi- gációjának optimalizálása megoldhatóvá válik.

Módszertan

Az értékezésemben javasolt közösségi közreműködés alapú platform egyes szegmenseiben alkalmazott megoldások eredményességét – bár egy közös platform megalkotásában ját- szanak alapvető szerepet – egymástól elkülönítetten vizsgálom. A részmegoldások már korábban ismert technikák integrálásával létrehozott eljárások, és mint ilyenek összevet- hetők az adott részterület szakirodalmában fellelhető egyéb korszerű megoldásokkal. Az ezek együttes alkalmazásával előálló, újszerű platform számos és sokszínű felhasználási módja következtében az integráció eredményeként kapott rendszer tesztelése nem képezi ezen értekezés célját. Ennek oka, hogy a valószerű vizsgálat olyan típusú és számosságú eszköz rendelkezésre állását feltételezi – például egy több ágensből álló adatgyűjtő jár- műflotta, több száz terabájt tárolókapacitás –, amely e munka készítésének idejében nem állt rendelkezésemre. Továbbá a megoldás újszerűsége miatt a nyílt forráskodú és szabad felhasználású adatbázisok sem teszik lehetővé annak integrált tesztelését.

A fentiek miatt egy másik módszertant követtem a munkám során: részegységekre bontva vizsgáltam az egyes komponensek implementációjának hatékonyságát. Az aláb- biakban sorbaveszem a teljes közösségi közreműködés alapú platform részegységeinek – megvalósítása során alkalmazott módszertant.

Aközösségi közreműködést megvalósító platform bevezetése során a szakirodalomban fellelhető jógyakorlat felhasználásával dolgozom ki egy olyan megoldást, mely korszerű képfeldolgozási technikákat és felhőalapú számítási kapacitást felhasználó eszközök segít- ségével ad választ a felvetett közösségi köreműködésen alapuló adatgyűjtés problémájára.

A közösségi közreműködés alapú megoldás alapvető részét képzi a nagy mennyiségű nyers adat rendelkezésre állása. Ennek hiányát egy szimulációs környezet alkalmazásával hidalom át, ahonnan nagy mennyiségű képet és hozzárendelt kamerapozíciót exportálok.

Ezen adatok felhasználásával háromdimenziós modellt generálok, amelyet összehasonlítok

(8)

a szimulációs környezetből kinyerhető és így referenciának tekinhető (ground truth – GT) adatokkal. Az eredményeket iteratív legközelebbi pont (iterative closest point – ICP) módszer alkalmazásával értékelem.

Az értekezésben az adatgyűjtés és modellezés megvalósítására egy másik technikát is javaslok: egy olyan együttes lokalizációs és térképezés (simultaneous localization and mapping – SLAM) megoldást, mely mélytanulást alkalmazó részegységekből tevődik össze.

A SLAM eljárás eredményeként implementált térképkészítési és pozícióbecslési megoldás eredményességét az irodalomban gyakran előforduló viszonyító-adatbázis (benchmark) fel- használásával tesztelem és hasonlítom össze egyéb korszerű megoldásokkal.

A korábban definiált platformfelhőalapú menedzsmentjére– a közösségi közreműködés igényeit továbbra is szem előtt tartva – javaslok megoldásokat, melyek hibrid (klasszikus és mélytanuló módszereket ötvöző) képfeldolgozási eljárások segítségével a nyers képi in- formáció fölösleges adattartalmának szűrését valósítják meg.

A legmagasabb információtartalommal rendelkező képek előállítása érdekében az au- tonóm adatgyűjtő járművek számára egy érzékelés-akció ciklust megvalósító megerősítéses tanulást (perception-action cycle – PAC) használó ágens megvalósítására teszek javasla- tot, melyet egy differenciálható renderelővel rendelkező környezet adatain tanítok be. A megoldást ezután a naiv optimalizáló által adott eredményekkel vetem össze.

Az átmeneti és dinamikus térképrétegek alacsony átfutási idejű frissítésének létjo- gosultságát először egy gyakori meteorológiai jelenség, az időjárási frontok és a közúti balesetek korrelációjának vizsgálata során kinyerhető összefüggések feltárásával szemlél- tetem. A kimutatott korrelációk alapján egy lokális meteorológiai adatokat felhasználó, potenciálisan balesetveszélyesebb körülményeket jelző szűrési algoritmust definiálok.

Az alacsony átfutási idejű térképfrissítések dinamikus kezelésére egy új eljárást javaslok, mely egy hiszterézises előléptetés-lefokozáson alapuló algoritmust valósít meg. Az így kialakított jelölt-alkalmazott dinamikus térképstruktúra képes az úttesten megjelent aka- dályok valós idejű frissítésére. A térképmenedzsment-rendszer valós és szimulált autonóm járművek számára publikál dinamikus térképi információt MQTT kommunikációs csatorna felhasználásával. A megoldás robusztusságát hibrid szimulációs környezetben tesztelem, amelyben egy valós jármű által, valós akadályokról gyűjtött információt helyezek el egy virtuális jármű által használt dinamikus térképen.

(9)

Új tudományos eredmények

Az első lépés az adatgyűjtő közösség tagjai által szolgáltatott adatok vizsgálata és re- dukciója. Ez a lépés a fölöslegesen továbbítandó adatmennyiség szűrésére épül, mely a környezet dinamikus objektumainak, valamint az egyéb, az adatszolgáltató ágens hálóza- ti kapcsolódásának terhelését növelő, azonban a térképkészítés szempontjából felesleges képrészletek eltávolítása.

A következő lépést a szűrt képek feldolgozása által a háromdimenziós modell felépítése jelenti. A nagy mennyiségű adatra alapozva a modell iteratív finomítása segítségével ebben a lépésben megoldható, hogy a térkép – pontosabban háromdimenziós modell – azokon a területeken sűrűbb és pontosabb legyen, ahol több adatgyűjtő ágens halad el.

Az adattovábbítás és -feldolgozás ilyen jellegű kialakítása egy edge–cloud szerű (hálózat széli és felhőalapú számítási kapacitást egyaránt alkalmazó) struktúra implementációját teszi lehetővé.

Amennyiben a térkép inicializálása megtörtént, akkor a következő lépésben a platform képes a térkép struktúrájában az átmeneti és a dinamikus rétegek folytatólagos frissen tartására. A térképmodell e szintjein található információ felhasználásával a közösségi közreműködési megoldás szereplői a felhőben tárolt adatokhoz hozzáférnek, és azt további feladatok megoldására használhatják fel. Ilyen feladatok egyebek mellett:

• az ADAS rendszerek számára tanító-, validációs- és tesztadatok generálása model- lező környezetből kinyert képek szimulációból valóságos tartományba (simulation to reality – Sim2Real) alakításával;

• valós idejű pályatervezés az autonómia magasabb szintjén álló – vagyis önvezető – járművek számára az alacsony látenciával rendelkező, átmeneti és dinamikus térkép- rétegen található adatok felhasználásával.

Az alábbi értekezés fő célja egy olyan platform létrehozása, mely a fenti lépések imp- lementációján keresztül igazolja egy közösségi közreműködésen alapuló, átfogó, adatgyűjtő és -szolgáltató megoldás működőképességét.

(10)

Crowdsourcing alapú térképépítés

Azért, hogy a közösségi közreműködés eredményes és hatékony legyen a térképezés során, egy olyan platform kialakítása elengedhetetlen, amely lehetővé teszi számos közreműködő – adatgyűjtő ágens – bevonását. A modern, autonóm járművek számára használható, szakirodalomban fellelhető térképkészítő megoldások azonban – legjobb tudomásom szerint – nem rendelkeznek ezzel az alapvető tulajdonsággal.

E hiányosság pótlásának érdekében javasoltam a CrowdMapping platformot (1. áb- ra), mely nagyszámú, alacsony befektetéssel elérhető adatgyűjtő eszköz – szélvédőre szerelt RGB kamera és GNSS + IMU szenzor – rendelkezésre állása esetén lehetővé teszi a térképkészítési feladat közösségi megoldását. A rendszer működésének célja olyan térké- pek létrehozása, melyek az önvezető képességgel rendelkező járművek számára az ADAS rendszereik működtetéséhez elengedhetetlen információval képesek szolgálni. A Crowd- Mapping architektúra egy lokális és egy távoli részből áll. A lokális részen találhatók az egyes adatgyűjtő ágensek, amelyek a szélvédőre szerelt kameráik RGB felvételeit előzete- sen feldolgozzák, szűrik, majd továbbítják a távoli rész irányába. A távoli részen valósul meg a képek további feldolgozásával a térképek felépítése.

Képrögzítés

Számos jármű, eltérő időben, azonos vagy különböző helyszínekről

Előfeldolgozás

Kisebb számításigényű algoritmusok futtatása, adatcsomagok méretét

csökkentendő 1

2

...

n 1

2

...

n 1

2

...

n

Osztályozás Szemantikus szegmentálás Szenzorfúzió

Optical flow számítás

Képrögzítés

Előfeldolgozás

csökkentendő 1

2

...

n 1

2

...

n

Lokális rész

Képrögzítés

Előfeldolgozás

csökkentendő 1

2

...

n 1

2

...

n

Lokális rész Távoli rész Távoli rész

Feldolgozás a felhőben

Nagy számításigényű algoritmusok futtatása, adaptív paraméteres neurális

hálók, HD utcaképek és térképek létrehozása, kiértékelések futtatása

Tárolás és megjelenítés

Térképek tárolása, adatvizualizáció

Adattovábbítás Adatfeltöltés Képfeldolgozás Adattovábbítás Adatfeltöltés

Képfeldolgozás Beépített kamera Valósidejű adatszolgáltatás

Adatbázis írás és olvasás, adaptív hibafelügyelet

Képek forrásai:

1. G., Andreas , et al. "Vision meets robotics: The KI TTI dataset." The International Journal of Robotics Research 32.11 (2013 ): 123 1-1237.

2. https://i.ytimg.com/vi/JVuT7cOJvLc/maxresdefault.jpg (2019.06.23.)

3. https://ak9.picdn.net/s hutterstock/videos/1408 8569/thumb/9.jpg?i10c=img.resize(height:160) (2019.06.23.) 4. https://i.pinimg.com/originals/03/4d/0c/034d0c7dfff00d8d093c98 33b75389bf.jpg (2019.06.23.)

1. ábra. A CrowdMapping platform

A közösségi közreműködés alapú megoldás, megannyi előnyös tulajdonsága ellenére, egy ilyen rendszer tervezése során számos kérdést felvet. Ezek közül az értekezésemben tár- gyalt CrowdMapping platform vonatkozásában a legégetőbb, hogy egy ilyen architektúra valóban működőképes lehet-e. A platform életképességét ezért kétféleképpen is validáltam.

(11)

Az első megközelítés során a Carla szimulátor felhasználásával, Sim2Real technológia alkalmazásával létrehoztam egy olyan közösségi adatgyűjtő szimulációt, amelyben egy jól körülhatárolt, szintetikus térrész környékén elhaladó járművek továbbítanak szűrt, mono- kuláris RGB képeket. Az így létrehozott képekből ezután SfM technológia felhasználásával egy sűrű, háromdimenziós pontfelhőt rekonstruálok. A Carla szimulációs környezetből a vizsgált térrészről egy sűrű pontfelhőt szintetizálok, melyet referenciaként használok a re- konstrukciós eljárás vizsgálatának érdekében. Az így keletkezett pontfelhők összevetéséből megállapítható, hogy a térképkészítési feladatok megoldására a közösségi adatgyűjtés egy működőképes alternatíva. A megoldás újdonságtartalma a monokuláris, haladó jármű- vekhez kötött kamerák képeit felhasználó közösségi adatgyűjtési szimulációból ered. Az itt leírt eljárás kialakítása során önmagukban már ismert megoldásokat integráltam új felhasználási elvárásokat feltételezve. Ilyen jellegű szimulációból eredő adatokra támasz- kodó megoldás – a legjobb tudomásom szerint – nem jelent meg korábban a nemzetközi szakirodalomban.

A második megközelítésben a térképek egy, az eddigi gyakorlatokban bevett stratégi- áktól eltérő reprezentációjának – az ún. neurális térképreprezentációnak – használhatósá- gát vizsgáltam. Ehhez megalkottam az ATDN vSLAM architektúrát, melyet önmagukban már ismert, mély neurális hálózaton alapuló megoldások integrációjával hoztam létre. Eb- ben a struktúrában egy végig mélytanuló adatfeldolgozási módszert javasoltam a tisztán vizuális SLAM feladat megoldására. A DL-alapú vizuális odometria becslő és a variáci- ós autoenkóderen alapuló, neurális térképezésért felelős alrendszer – az előzőekben leírt SfM-alapú rekonstrukcióhoz hasonlóan – szintén csak monokuláris képeket vár a beme- netén. A vizuális odometria és a térképező rendszereket a népszerű KITTI adatbázison betanítva és kiértékelve láthatóvá vált, hogy a rendszer a pozícióbecslési feladatot megfe- lelő hatékonysággal képes elvégezni. Az itt bemutatott eljárás térképező alrendszerének működését bizonyítja, és így a közösségi köreműködésen alapuló térképező rendszer megva- lósíthatóságát validálja, hogy az implementált általános térkép-reprezentáció segítségével a relokalizációs feladatot eredményesen megoldotta – vagyis képes volt egy véletlenszerűen választott kép alapján a képrögzítő jármű helyzetét és orientációját megbecsülni.

(12)

1. tézis

Új módszert alkottam egy autonóm járművek navigációs algoritmusai ál- tal felhasználható, közösségi közreműködésen alapuló, térképi adatbázist építő platform kialaktására, mely a crowdsourcing paradigma adottságait kihasználva nyújt lehetőséget alacsony addicionális költségű, monokuláris képi szenzorok jeleinek felhasználásával az adatgyűjtő ágensek által bejárt útszakaszok és környezetük kompakt térkép-reprezentációjának létrehozására. Az általam definiált platform fő komponensének validálására két új módszert alkottam, melyeket implementáltam is.

Altézis 1/1.

Megalkottam egy közösségi adatszolgáltatási rendszer szimulációjának struktú- ráját, melynek implementációjával bizonyítani tudtam, hogy a crowdsourcing adatgyűjtő ágensek által szolgáltatott adatok felhasználásával a bejárt városi útszakasz pontfelhő reprezentációjú, sűrű háromdimenziós modellje előállít- ható, melyet a rekonstruált- és a referencia-pontfelhők kvalitatív, valamint kvantitatív összevetésével is alátámasztottam.

Altézis 1/2.

Önmagukban már ismert eljárások integrációjával létrehoztam egy autonóm relokalizációt támogató, mélytanuló komponensekből álló, vizuális szimultán lokalizációs és térképező rendszert, mely a látott útszakaszról egy neurális, általános térkép-reprezentációt képes generálni. A megoldás működését a KITTI benchmark adatbázisban elérhető referenciaadatok felhasználásával ellenőriztem.

(13)

Tézishez kapcsolódó folyóiratcikkek

[FI1] M. Szántó, S. Kobál, L. Vajta, V. G. Horváth, J. M. Lógó, and Á. Barsi, „Building maps using monocular image-feeds from windshield-mounted cameras in a simulator environment,” Periodica Polytechnica Civil Engineering, IF: 1,659, Q3, elfogadva, 2023.

[FI2] M. Szántó, G. R. Bogár, and L. Vajta, „ATDN vSLAM: An all-through deep learning-based solution for visual simultaneous localization and mapping,”

Periodica Polytechnica Electrical Engineering and Computer Science, vol. 66, no. 3, p. 236–247, 2022. [Online]. Available: https://doi.org/10.3311/PPee.20437

Tézishez kapcsolódó konferenciaelőadások

[KI1] M. Szántó, „Crowdsourcing techniques for autonomous passenger vehicle operation,”

in Proceedings of the Workshop on the Advances in Information Technology 2020:

WAIT2020, 2020, pp. 28–32.

[KI2] M. Szántó and L. Vajta, „Introducing CrowdMapping: a novel system for generating autonomous driving aiding traffic network databases,” in 2019 International Conference on Control, Artificial Intelligence, Robotics & Optimization (ICCAIRO). IEEE, 2019, független idezők száma: 3, pp. 7–12. [Online]. Available:

https://doi.org/10.1109/ICCAIRO47923.2019.00010

[KI3] ——, „Crowdsourcing techniques for environmental information using additional evaluation of vision based driver assistant systems,” in 2017 International Conference on Control, Artificial Intelligence, Robotics & Optimization (ICCAIRO). IEEE, 2017, pp. 51–55. [Online]. Available: https://doi.org/10.1109/ICCAIRO.

2017.19

[KI4] M. Szántó, „Model based evaluation and inspection of an advanced driver assistance system based spatial image acquisition sensor,” in 2017 IEEE 15th International Symposium on Intelligent Systems and Informatics (SISY). IEEE, 2017, pp.

000 213–000 218. [Online]. Available: https://doi.org/10.1109/SISY.2017.8080555 [KI5] G. R. Bogár, M. Szántó, and M. Szemenyei, „Performance comparison of different

visual odometry architectures to improve atdn vslam,” in6th European Conference on Electrical Engineering & Computer Science, 2022, konferencia előadás, kiadvány véglegesítés alatt.

[KI6] ——, „Flow-only visual odometry: Enhancing generalization capabilities of atdn vslam,” in 14th Conference of the Hungarian Association for Image Analysis and Pattern Recognition, 2023, konferencia előadás, elfogadva.

(14)

Edge-cloud adatredukció

A crowdsourcing paradigma a képek alapján készített térképadatbázisok frissen tartásá- hoz elegendő mennyiségű és megfelelően nagy frekvenciával rendelkezésre álló információk hiányának problémájára is megoldást kínál, hiszen nagy számosságú adatgyűjtő egység egyidejű kihasználását teszi lehetővé. Limitációt jelenthet azonban egy ilyen rendszer működtetése esetén az informciók összegyűjtéséhe során generált nagy mennyiségű adat, hiszen ez a közreműködők hálózatra kapcsolt eszközeinek terhelését drasztikusan növeli.

Két fontos, a térképezés szempontjából nagy mennyiségű többletadatot eredményező je- lenséget azonosítottam: az irreleváns információt hordozó képrészletek jelenlétét, valamint az olyan képek elkészültét, amelyeken a magas érdekeltségi területek takarásban vannak.

E potenciális nehézségek orvoslására több eljárást is kidolgoztam.

Az első tézisem validációjához kidolgozott közösségi térképezési szimuláció alkalma- zásával definiáltam egy mélységi adatokat és szemantikus címkéket tartalmazó képeket felhasználó szűrési algoritmust, amely az egyes képeken található hasznos területek ki- választásával a felhőbe továbbított adatok mennyiségét drasztikusan képes csökkenteni.

Az eljárás implementációjával elvégzett kísérletek során az adatredukció mértéke átlago- san megközelíti a 90%-ot. Ez a drámai csökkenés a szimulált adatok alapján készített rekonstrukció minőségét nem befolyásolta negatívan.

Az alacsony információtartalmú részek kiszűrésére kidolgoztam egy klasszikus és modern – gépi tanuláson alapuló – képfeldolgozást együttesen alkalmazó, hibrid módszert is, mely az elmozduláskompenzációs elven alapszik. A megoldásomban az egyes adatgyűjtő ágensek haladása közben készített, egymást követő képek közötti számított, valamint egy U-Net-alapú módszerrel becsült mélységi képen és kameraelmozduláson alapuló, elvárt optikai folyammező összehasonlításával valósítom meg a környezethez képest statikus és dinamikus képrészek szegmentálását. A javasolt eljárás paramétereit empirikus módon, a KITTI adatbázis valós adatgyűjtő ágense által készített, valamint utólag manuálisan felcímkézett képek felhasználásával hangoltam be. A megoldás egy valós képeken jól al- kalmazható opciót jelent a térképezés szempontjából hasznos képrészletek megjelölésére, és így az adatredukcióra.

A takarásban lévő térrészek problémája következtében megjelenő, a térképezés szem- pontjából felesleges képek mennyiségének optimalizálására egy érzékelés-akció ciklust (PAC) megvalósító, takarásmegszüntető megoldást fejlesztettem. A PAC-t végző ágens alapját egy neurális hálózaton alapuló, RGB-D képeket felhasználó, takarást és optimális akciót becslő struktúra képzi. Az ágens betanítása és tesztelése érdekében egy differen- ciálható renderelőt alkalmazó szimulációs környezetet implementáltam, mely segítségével a tanító adatok szintézise, valamint a megoldás működésének kiértékelése is lehetségessé vált. E környezetben definiált, takarást tartalmazó alaphelyzetből a takarás minél keve- sebb lépés alatt elért megszüntetését célzó feladat felhasználásával értékeltem a betanított neurális hálózatot. Az eredményeket összevetettem a szimulációból a gradiensoptimalizá- lás technikájával meghatározható, lokálisan optimális stratégiát alkalmazó eljárás műkö-

(15)

désével. A komparatív tesztelés alapján kijelenthető, hogy az általam létrehozott módszer konzisztensen alacsony lépésszám után képes a takarás teljes megszüntetésére – szemben a direkt a környezetből kinyerhető gradiensen alapuló takarásmegszüntetési metódus kiinduló takarástól erősen függő és nagy szórású eredményeivel. Ez a tulajdonsága jól alkalmazhatóvá teszi valós környezetben is a takarás megszüntetését célzó optimális akció meghatározására, mellyel egy közösségi közreműködésen alapuló térképkészítési megoldás- ban a fölöslegesen küldött adatcsomagok mennyisége minimalizálható.

A közösségi közreműködésen alapuló, adatgyűjtő és térképkészítő platform felhőalapú megvalósíthatóságának validációja érdekében egy több felhőszolgáltató bevonásával létre- hozott rendszert implementáltam. A definiált megoldás képes az LDM struktúra statikus, átmeneti és dinamikus rétegeiben található adatok tárolására és menedzsmentjére. Egy grafikus felhasználói felületet is implementáltam, mely egy kliensoldalon renderelt, egyet- len oldalas, böngészőalkalmazáson keresztül képes az adatfelhasználói kéréseknek megfe- lelően az adatbázisban tárolt és igényelt adatok megjelenítésére.

2. tézis

Kidolgoztam három új eljárást, melyek monokuláris képszenzorok és inerciális mérőegységek által rögzített adatok felhasználásával képesek egy felhőalapú, közösségi közreműködésre épülő, térképépítő rendszer adatfeltöltési követelmé- nyeit optimalizálni a rögzített képek – adattartalmuktól függő – részleges avagy teljes maszkolásán keresztül. A javasolt megoldások két, alapjukban eltérő megközelítésben képesek az adatmennyiség redukciójára:

1. az első két eljárás mélységi és szemantikus információ felhasználásával, illetve a feltételezett és valós környezeti változások összevetésével a képek térképezés szempontjából nem fontos részletek maszkolásán alapul;

2. a harmadik eljárás a magas érdekeltségi információt tartalmazó térrészek takarásának, továbbá a hasznosabb felvételek készítéséhez megfelelő elmoz- dulások irányának predikciójára épül.

Szintetizált és benchmark adatbázisból származó képi, illetve GNSS-IMU adatok felhasználásval ellenőriztem a kidolgozott eljárások hatékonyságát az adatreduk- cióban.

(16)

Tézishez kapcsolódó folyóiratcikkek

[FII1] M. Szántó, S. Kobál, L. Vajta, V. G. Horváth, J. M. Lógó, and Á. Barsi, „Building maps using monocular image-feeds from windshield-mounted cameras in a simulator environment,” Periodica Polytechnica Civil Engineering, IF: 1,659, Q3, elfogadva, 2023.

[FII2] M. Szemenyei and M. Szántó, „Occlusion avoidance in a simulated environment using reinforcement learning,” Applied Sciences, IF: 2,838, Q3, véglegesítés alatt, 2023.

Tézishez kapcsolódó konferenciaelőadások

[KII1] T. Mészégető, B. Tass, and M. Szántó, „Motion based masking of a moving vehicle’s environment,” in 2019 International Conference on Control, Artificial Intelligence, Robotics & Optimization (ICCAIRO). IEEE, 2019, pp. 25–30.

[Online]. Available: https://doi.org/10.1109/ICCAIRO47923.2019.00013

[KII2] M. Szemenyei and M. Szántó, „Simulated environment for object detection under occlusion via differential rendering,” in Proceedings of the Workshop on the Advan- ces in Information Technology 2022, 2022, pp. 39–45.

[KII3] M. Szántó and M. Szemenyei, „Deep learning-based occlusion detection in a differentiable simulation environment,” inX. Magyar Számítógépes Grafika és Geomet- ria Konferencia, 2022, pp. 143–150.

[KII4] M. Szántó and L. Vajta, „Enhanced motion-based segmentation of vision sensed environment of moving vehicles,” in1st Israeli Smart Transportation Research Center (ISTRC) Annual Conference, 2021.

[KII5] M. Szántó and M. Szemenyei, „Self-supervised occlusion detection and avoidance using differentiable rendering,” in 2022 International Symposium on Measurement and Control in Robotics (ISMCR). IEEE, 2022, pp. 1–8. [Online]. Available:

https://doi.org/10.1109/ISMCR56534.2022.9950574

[KII6] ——, „Efficient occlusion avoidance using reinforcement learning,” in14th Confe- rence of the Hungarian Association for Image Analysis and Pattern Recognition, 2023, konferencia előadás, elfogadva.

[KII7] M. Szemenyei and M. Szántó, „Reinforcement learning-based occlusion avoidance using rgb-d images,” in Proceedings of the Workshop on the Advances in Informa- tion Technology 2023, 2023, konferencia előadás, beadva.

(17)

Dinamikus térképfrissítés

Értekezésemben megvizsgáltam a közösségi közreműködésen alapuló térképkészítő archi- tektúra használatának egyik legnagyobb potenciális előnyét jelentő, alacsony látenciát le- hetővé tevő, sok adatgyűjtő résztvevő bevonásával megvalósított adatakkumuláció folya- matát. A dinamikusan változó közlekedési adatok felhasználására napjainkban számos lehetőség adódik, melyekhez az egyre nagyobb számú, belső vagy nyitott hálózathoz kap- csolódó szenzor, illetve jármű működése biztosít megfelelő platformot – rendre a V2I, illetve a V2V technológiák fejlődésének köszönhetően. A közösségi közreműködésen alapuló dinamikus – adott esetben valós idejű – térképezés egyik kiemelkedő felhasználási lehetősége az emberi irányítású és önvezető járművek együttműködésén alapuló hibrid közlekedésben található. Ilyen helyzetekben nélkülözhetetlen a járművezetők biztonságának növelését, illetve a közúti baleseti statisztikák javítását célzó, autonóm járműtechnikai megoldások ellátása bemeneti adatokkal. Ezen adatok a térképstruktúra átmeneti és dinamikus ré- tegén tárolható – a közútbiztonság potenciális romlását jelző – veszélyattribútumokként definiálhatók.

A veszélyattribútumok közösségi alapú biztosításának létjogosultságát először a me- teorológiai – azon belül is az orvosmeteorológiai – jelenségek átmenetei és a közúti baleseti számok változásának korrelációján keresztül vizsgáltam. Ehhez rendelkezésemre állt egy igen jelentős – 2001. és 2010. közötti – időszakot lefedő, részletes, meteorológiai és or- vosmeteorológiai adatokat, valamint közúti baleseti jelentéseket tartalmazó adatbázis. Az elemzés során az idősorokat az általánosságot nem fenyegető, azonban a lényeges folyama- tok kiemelésére alkalmas módszerrel csökkentettem. A vizsgálataim eredménye alapján szignifikáns korreláció tapasztalható a tanulmányozott időszakban a frontmentes és az instabil hidegfronti állapotú napok közötti átmenet megjelenése, valamint a baleseti számok növekedése között. Erre alapozva megvizsgáltam a rendelkezésemre álló időjárási adat- pontok alapján egy, a lokális dinamikus térkép átmeneti rétegében tárolt, magasabb baleseti valószínűségre figyelmeztető bejegyzés létrehozásának lehetőségét. Egy olyan szűrési szempontrendszert hoztam létre, mely az előzőekben bizonyítottan a baleseti számokat ne- gatívan befolyásolónincs front – instabil hidegfrontátmenetet megbízható valószínűséggel, lokális időjárási adatok alapján képes előre jelezni. A technika működőképességét az adat- bázisban tárolt idősorokon teszteltem, és bizonyítottam, hogy az a kiemelt frontváltozás előrejelzésére alkalmas.

Ezt követően a napjainkban egyre szélesebb körben elterjedt összekapcsolt és autonóm járművek (connected and autonomous vehicle – CAV) alkalmazása esetén megvalósítható, akadályok dinamikus térképezését és így alacsony átfutási idejű veszélyattribútumok ge- nerálását lehetővé tevő módszerek létrehozási lehetőségét vizsgáltam. Egy olyan eljárást hoztam létre, mely az egyes járművek által a jármű-bármi (vehicle-to-anything) kommuni- kációs forma segítségével az úton található objektumokról továbbított információ – jelen esetben Lidar pontfelhő előzetes feldolgozásából származó, felcímkézett, kétdimenziós aka- dálytérkép – felhasználásával képes egy valós időben frissített dinamikus térkép megalko-

(18)

tására és fenntartására. Ehhez egy általam alkotott új megoldást alkalmaztam, melyben kettő, különböző szempontrendszer alapján – illetve ezáltal eltérő frekvenciával – frissü- lő térképkomponenst definiáltam. Ez a jelölt és alkalmazott térképek technikája, mely a foglaltsági rácsok megoldásához hasonlóan kezeli az objektumokat, azonban az általam definiált előléptetési és lefokozási folyamat segítségével valósítja meg a térképek frissítését.

Az eljárást egy MQTT platformon kommunikáló térképmenedzsment-modul implemen- tációján keresztül, valós és szimulált CAV-k felhasználásával teszteltem. Az eredmények kiértékelése során egyértelműen látszik, hogy az általam alkotott, külső észlelés jellegű, dinamikusan frissülő adatokat is tartalmazó térképmenedzsment-rendszer képes a jármű- vek számára kis látenciájú térképek segítségével ismertté tenni az általuk nem, csak más, szintén összekapcsolt és autonóm járművek által megfigyelhető objektumokat.

A fentiek tükrében a 3. tézisem a következő:

3. tézis

Az önvezető és emberek által irányított járművek együttműködésére épülő hibrid közlekedésben a biztonságot befolyásoló tényezők romlásának előrejel- zésére az általam fejlesztett térképi platform átmeneti és dinamikus rétegeit veszélyjelző attribútumokkal bővítettem, melyek meghatározására két új eljárást alkottam.

Altézis 3/1.

Létrehoztam egy megoldást, mely a bejárt útvonal mentén közösségi adat- gyűjtéssel észlelt lokális időjárási adatok és az archivált meteorológiai adatok alapján a közútbiztonságot potenciálisan rontó és ezáltal a hibrid közlekedésben az autonóm járművek navigációját is áttételesen befolyásoló orvosbiológiai jelenségek változására következtet. Az eljárás működését valós idősorokon végzett vizsgálatokkal teszteltem.

Altézis 3/2.

Kidolgoztam egy kétdimenziós, felülnézeti akadálylista alapján működtetett, az úton érzékelhető akadályokat egy alkalmazott és egy jelölt típusú elemekből álló, kétkomponensű térképmodellen kezelő eljárást. E megoldás az egymással információs kapcsolatban álló járművek által szolgáltatott, előfeldolgozott információk alapján az általam javasolt, hiszterézises küszöbözésen alapuló előléptetés – lefokozás modell használatával képes az akadályok tárolására és valós idejű kezelésére. Ezen eljárás működőképességét egy valós és szimulált autonóm járműveket tartalmazó tesztkörnyezetben kvantitatív és kvalitatív módon ellenőriztem.

(19)

Tézishez kapcsolódó folyóiratcikkek

[FIII1] M. Szántó and L. Vajta, „Towards an intelligent traffic control system using crowdsourcing, based on combined evaluation of weather information and accident statistics,” IDŐJÁRÁS/QUARTERLY JOURNAL OF THE HUNGARIAN METEOROLOGICAL SERVICE, IF: 0,869, Q4, vol. 123, no. 3, pp. 295–312, 2019, független idezők száma: 2. [Online]. Available:

https://doi.org/10.28974/idojaras.2019.3.3

[FIII2] M. Szántó, C. Hidalgo, L. González, and L. Vajta, „Trajectory update of autonomous vehicles using real-time map refreshing,”IEEE Access, IF: 3,367, Q1, nincs leadva, véglegesítés alatt, 2023.

[FIII3] M. Szántó, „Közúti adatbázisok valós idejű frissítése közösségi megoldás alkalma- zásával,”Útügyi lapok, vol. 5, no. 9, pp. 13–19, 2017.

Tézishez kapcsolódó konferenciaelőadások

[KIII1] M. Szántó, C. Hidalgo, and L. González, „Low latency map updates for auto- mated vehicle maneuvering,” in Proceedings of the Workshop on the Advances in Information Technology 2023, 2023, konferencia előadás, beadva.

(20)

Eredmények összegzése

Doktori értekezésem célja egy olyan közösségi közreműködésen alapuló térképezési platform létrehozásához szükséges eljárások javaslása és kidolgozása volt, melyek a manapság az autonóm járművek robbanásszerű fejlődésével együtt megjelenő modern térképekkel szembeni elvárásokra adnak egy korszerű alternatívát. A napjainkban széles körben elterjedt mobil térképezési rendszerek egyik hátulütője, hogy a megvalósításuk speciális szenzorok és járművek használatát igényli, melyek kialakítása és üzemeltetése magas költségekkel jár, illetve e tulajdonságukból adódóan kis számú adatgyűjtő ágens bevonását teszik csu- pán lehetővé. A közösségi közreműködés – vagy crowdsourcing – során az adatgyűjtés egyes résztvevői a mindennapi életük során előálló adatokat önkéntes alapon szolgáltat- hatják egy közös cél elérésének érdekében.

A crowdsourcing elv alapján működtetett rendszerek sikeres működésének egyik kul- csa így a nagy tömegek bevonási lehetőségének megteremtése. Egy térképező rendszer közösségi megoldáson alapuló adatgyűjtő szegmensének tervezése során így kiemelkedően hangsúlyos szempontot jelent, hogy sokak számára kis invesztíció mellet is elérhető legyen a platformhoz való kapcsolódás. Tehát kiemelten szükséges az olyan adatok felhaszná- lását lehetővé tenni a térképezés során, amik az egyes közreműködők által a járműveik használatán keresztül alapértelmezetten elérhetők. A napjainkban tapasztalható járműfej- lesztéseknek köszönhetően számos modern személygépkocsi rendelkezik monokuláris, RGB képek készítésére képes kamerákkal. A fejlett járművezetőt támogató rendszerek szenzorai nyers adatok – színes képek és pozícióinformáció – gazdag forrását jelentik anélkül, hogy a tulajdonosaik és így potenciális térképező közreműködők számára e tevékenység jelentős addicionális kiadásokkal járna.

A dolgozatom 2. fejezetében megvizsgáltam a közösségi közreműködésen alapuló, há- romdimenziós térképek rekonstrukciójához szükséges adatok gyűjtését megvalósító rendszerek működőképességének fő tényezőit, valamint az irodalomban fellelhető korábbi meg- oldásokat. A közösségi térképezés korábban használt definícióját módosítva ajánlottam a CrowdMapping platformot, melyhez egy kétkomponensű – egy lokális és egy távoli részből álló – struktúrát javasoltam. A lokális részen találhatók az egyes adatgyűjtő ágensek – vagyis a közösség résztvevői – és az adatok előfeldolgozását végző számítási kapacitások, míg a távoli részen a térképek összefűzését, tárolását, menedzsmentjét és a felhasználói kérések kiszolgálását végző, nagy számítási teljesítményt igénylő algoritmusok. A platform

(21)

alapvető funkcióinak ellátásához elengedhetetlenül szükséges eljárások megalkotásával bi- zonyítottam az 1. tézisemállításait.

Disszertációm 3. fejezetében a CrowdMapping architektúra létrehozhatóságának egyik sarkalatos kérdését, az adatfeltöltést vizsgáltam, vagyis azt, hogy a lokális részen össze- gyűjtött adatok a működést kiválóan kiszolgáló edge-cloud rendszerben hogyan kerülnek át a távoli részre. E lépés során a közreműködők hálózati kapcsolatának jelentős terhe- lése várható. A folyamat erőforrás-igényének minimalizálása érdekében a lokális részen szükséges az adatcsomagok redukcióját elvégezni. Ennek kivitelezésére javasoltam három különböző megoldást is. Az első kettő a monokuláris képek alapján becsülhető – illetve a szimulációs környezet esetén közvetlenül rendelkezésre álló – szemantikus és mélységi információk felhasználásával a térképezés során nem használt képrészletek kimaszkolásán alapul. Ezzel szemben a harmadik eljárás az objektumok takarásának mély neurális háló- val megvalósított detektálására épül. E három eljárás megalkotásával támasztottam alá a 2. tézisem állításait.

Értekezésem 4. fejezetében a jelentős mennyiségű adatszolgáltató résztvevő segítsé- gével megvalósítható térképező rendszerek egy kulcsfontosságú tulajdonságát, az adatok alacsony átfutási idejű rendelkezésre állását vizsgáltam. A lokális dinamikus térképek többrétegű struktúrájának átmeneti és dinamikus szintjein olyan adatok helyezkednek el, melyek változási periódusideje a klasszikus térképstruktúrákban tárolt információkénál több nagyságrenddel kisebb. Az ilyen jellegű adatok éppen ezért az autonóm járműtech- nika különböző szintjein (vezetéstámogató rendszerek és részleges vagy teljes önvezetés) a közútbiztonság és a navigációs hatékonyság növelését célzó rendszerek bemenetét je- lenthetik. A 3. tézisem állításait a rövid átfutási idővel változó térképrészek számára infomációt szolgáltatni képes eljárásaim megalkotásán keresztül támasztottam alá.