[PENDING] Στην εφαρμογή Exhibot χρησιμοποιήθηκαν κατάλληλες συσκευές υλικού όπως επίσης και υπηρεσίες cloud

(1)

Σχολή Θετικών Επιστημών & Τεχνολογίας

Συστήματα Κινητού και Διάχυτου Υπολογισμού

Διπλωματική Εργασία

Ηχητική Επαυξημένη Πραγματικότητα : Μελέτη Περίπτωσης σε Χώρους Πολιτισμού

Μιχαήλ Τσεπαπαδάκης

Επιβλέπων καθηγητής: Δαμιανός Γαβαλάς

Πάτρα, Ιούνιος 2021

(2)

Η παρούσα εργασία αποτελεί πνευματική ιδιοκτησία του φοιτητή («συγγραφέας/δημιουργός») που την εκπόνησε. Στο πλαίσιο της πολιτικής ανοικτής πρόσβασης ο συγγραφέας/δημιουργός εκχωρεί στο ΕΑΠ, μη αποκλειστική άδεια χρήσης του δικαιώματος αναπαραγωγής, προσαρμογής, δημόσιου δανεισμού, παρουσίασης στο κοινό και ψηφιακής διάχυσής τους διεθνώς, σε ηλεκτρονική μορφή και σε οποιοδήποτε μέσο, για διδακτικούς και ερευνητικούς σκοπούς, άνευ ανταλλάγματος και για όλο το χρόνο διάρκειας των δικαιωμάτων πνευματικής ιδιοκτησίας. Η ανοικτή πρόσβαση στο πλήρες κείμενο για μελέτη και ανάγνωση δεν σημαίνει καθ’ οιονδήποτε τρόπο παραχώρηση δικαιωμάτων διανοητικής ιδιοκτησίας του συγγραφέα/δημιουργού ούτε επιτρέπει την αναπαραγωγή, αναδημοσίευση, αντιγραφή, αποθήκευση, πώληση, εμπορική χρήση, μετάδοση, διανομή, έκδοση, εκτέλεση, «μεταφόρτωση» (downloading), «ανάρτηση»

(uploading), μετάφραση, τροποποίηση με οποιονδήποτε τρόπο, τμηματικά ή περιληπτικά της εργασίας, χωρίς τη ρητή προηγούμενη έγγραφη συναίνεση του συγγραφέα/δημιουργού. Ο συγγραφέας/δημιουργός διατηρεί το σύνολο των ηθικών και περιουσιακών του δικαιωμάτων.

(3)

Ηχητική Επαυξημένη Πραγματικότητα : Μελέτη Περίπτωσης σε Χώρους Πολιτισμού

Μιχαήλ Τσεπαπαδάκης

Επιτροπή Επίβλεψης Διπλωματικής Εργασίας Επιβλέπων Καθηγητής:

Δαμιανός Γαβαλάς Επιβλέπων Α’

Πανεπιστήμιο Αιγαίου

Συν-Επιβλέπων Καθηγητής:

Ευγενία Αδαμοπούλου Επιβλέπων B’

Ελληνικό Ανοικτό Πανεπιστήμιο

Πάτρα, Ιούνιος 2021

(4)

Περίληψη

Όσο οι τεχνολογίες τεχνητής νοημοσύνης και μηχανικής μάθησης εξελίσσονται, τόσο θα δημιουργείται έδαφος για νέες εφαρμογές που τις εκμεταλλεύονται. Οι χώροι πολιτισμού αποτελούν ένα πεδίο με πολλές ανεξερεύνητες δυνατότητες και χώρο για τη δημιουργία εφαρμογών κάνοντας χρήση τέτοιων τεχνολογιών. Στην παρούσα διπλωματική εργασία παρουσιάζονται οι διαδικασίες που ακολουθήθηκαν για το σχεδιασμό, την ανάπτυξη και την αξιολόγηση της εφαρμογής Exhibot. Η εφαρμογή Exhibot έχει σχεδιαστεί για χώρους πολιτισμού και κάνει χρήση της ηχητικής επαυξημένης πραγματικότητας ως μέσο για την πρόκληση εμβυθιστικών εμπειριών επίσκεψης και τεχνολογιών τεχνητής νοημοσύνης (chatbots) ως μέσο διάδρασης και εμπλοκής των χρηστών. Στην εφαρμογή Exhibot χρησιμοποιήθηκαν κατάλληλες συσκευές υλικού όπως επίσης και υπηρεσίες cloud.

Πραγματοποιήθηκε αξιολόγηση χρηστών σε πραγματικές συνθήκες πεδίου και κατέδειξε την ευχρηστία της εφαρμογής, παρόλο που οι χρήστες που συμμετείχαν δεν ήταν εξοικειωμένοι με εφαρμογές ηχητικής επαυξημένης πραγματικότητας.

Λέξεις – Κλειδιά

Ηχητική επαυξημένη πραγματικότητα, κινητή εφαρμογή, κινητοί ξεναγοί, προσανατολισμός, τρισδιάστατος ήχος, chatbot, Exhibot

(5)

Audio Augmented Reality : A Case Study on Cultural Sites

Michail Tsepapadakis

Abstract

As artificial intelligence and machine learning technologies evolve, so will the need for new applications which take advantage of them. Cultural spaces represent a field of study with plentiful unexplored capabilities and prospects for innovative applications which employ such technologies. This dissertation presents the procedure followed for the design, development and evaluation of Exhibot application. Exhibot has been designed for cultural sites and makes use of audio augmented reality in order to evoke immersive visiting experiences and artificial intelligence chatbots as a means of user interaction and engagement. Appropriate hardware devices as well as cloud services have been employed in the context of the Exhibot application. The user evaluation trials, which have taken place in real field conditions, demonstrated the usability of the application, even though the participants have not been familiar with audio augmented reality applications.

Keywords

Audio augmented reality, mobile application, mobile guide, orientation, 3D sound, chatbot, Exhibot

(6)

Περιεχόμενα

Περίληψη... iv

Abstract ... v

Περιεχόμενα ... vi

Κατάλογος Εικόνων / Σχημάτων ... viii

Κατάλογος Πινάκων ... x

Συντομογραφίες & Ακρωνύμια ... xi

1. Εισαγωγή ... 1

1.1 Επαυξημένη πραγματικότητα και ηχητική επαυξημένη πραγματικότητα ... 1

1.2 Στόχοι και προσδοκώμενα αποτελέσματα ... 1

1.3 Διάρθρωση διπλωματικής εργασίας ... 4

2. Επαυξημένη Πραγματικότητα σε Χώρους Πολιτισμού ... 6

2.1 Οδηγοί σε χώρους πολιτισμού ... 6

2.2 Ηχητικοί οδηγοί ... 7

2.3 Ηχητική επαυξημένη πραγματικότητα ... 8

2.4 Χρήση chatbot σε χώρους πολιτισμού ... 10

2.5 Συναφείς εργασίες ... 11

2.6 Τεχνολογίες ηχητικής επαυξημένης πραγματικότητας ... 17

2.6.1 Εντοπισμός θέσης... 17

2.6.2 Φορετές συσκευές και ακουστικά ... 18

2.6.3 Τρισδιάστατος ήχος ... 23

2.6.4 Cloud-based chatbots τεχνητής νοημοσύνης ... 24

3. Σχεδιασμός και Υλοποίηση Εφαρμογής ... 26

3.1 Σχεδιασμός ... 26

3.1.1 Μεθοδολογία σχεδιασμού ... 26

3.1.2 Καθορισμός στόχων ... 28

3.1.3 Πλαίσιο χρήσης ... 28

3.1.4 Ανάλυση απαιτήσεων συστήματος ... 30

3.1.5 Μοντελοποίηση περιοχής εκθέματος ... 32

3.2 Υλοποίηση... 33

3.2.1 Τεχνολογίες και εξοπλισμός ... 33

3.2.2 Αρχιτεκτονική συστήματος και επιμέρους μονάδες ... 36

3.2.3 Περιβάλλον ανάπτυξης και εργαλεία ... 40

3.2.4 Επικοινωνία εφαρμογής με beacon ... 41

3.2.5 Επικοινωνία εφαρμογής με φορετή συσκευή IMU ... 42

3.2.6 Υπολογισμός θέσης και προσανατολισμού... 42

3.2.7 Τρισδιάστατος ήχος ... 46

3.2.8 Ενσωμάτωση και χρήση chatbot ... 48

3.2.9 Έναρξη λειτουργίας εφαρμογής ... 53

3.2.10 Ροή λειτουργίας εφαρμογής ... 55

3.2.11 Παραδοχές και περιορισμοί εφαρμογής ... 60

4. Αξιολόγηση Εφαρμογής ... 61

4.1 Παρατήρηση ... 61

4.2 Μέθοδος αξιολόγησης ... 62

4.3 Δοκιμές πεδίου ... 63

4.4 Αποτελέσματα δοκιμών πεδίου ... 67

4.4.1 Ερωτηματολόγιο εφαρμογής Exhibot ... 67

(7)

4.4.2 Ερωτηματολόγιο χρηστικότητας SUS ... 81

4.4.3 Αρχεία logs και δεδομένα chatbot ... 82

4.4.4 Συμπεράσματα αξιολόγησης ... 84

5. Συμπεράσματα και Μελλοντικές Επεκτάσεις ... 86

5.1 Συμπεράσματα ... 86

5.2 Μελλοντικές επεκτάσεις ... 87

Βιβλιογραφία ... 88

Παράρτημα Α: Ερωτηματολόγιο αξιολόγησης εφαρμογής Exhibot ... 94

Παράρτημα Β: Κλίμακα χρηστικότητας συστήματος SUS (System Usability Scale) ... 97

(8)

Κατάλογος Εικόνων / Σχημάτων

Εικόνα 1 Στιγμιότυπο κατά τη δοκιμή της εφαρμογής SARIM [8] ... 15

Εικόνα 2 Στιγμιότυπο κατά τη δοκιμή της εφαρμογής 3DAAR [21] ... 15

Εικόνα 3 Σύστημα CARUSO [11] ... 16

Εικόνα 4 Οθόνες εφαρμογής Vocal Museum [18] ... 16

Εικόνα 5 Ο αισθητήρας MetaMotionC [30] ... 18

Εικόνα 6 Ο αισθητήρας MetaMotionC ενσωματωμένος σε καπέλο... 19

Εικόνα 7 Ο αισθητήρας WT901BLECL [36] ... 19

Εικόνα 8 Ο αισθητήρας InertiaCube [37] ... 20

Εικόνα 9 Handsfree ακουστικά κινητής συσκευής Huawei P30 Pro ... 21

Εικόνα 10 Ασύρματα Over Ear Ακουστικά Bose QuietComfort 35 II ... 21

Εικόνα 11 Ασύρματα Over Ear Ακουστικά Bose QuietComfort 35 II ... 22

Εικόνα 12 Xiaomi Mi True Wireless Earbuds Basic 2 Bluetooth Handsfree ... 22

Εικόνα 13 Philips SHB9100 με ενσωματωμένο αισθητήρα IMU [8] ... 23

Εικόνα 14 Κύκλος ζωής ενοποιημένης προσέγγισης [46] ... 27

Εικόνα 15 Μοντελοποίηση σημείων ενδιαφέροντος γύρω από το έκθεμα ... 33

Εικόνα 16 To beacon BlueBeacon Mini ... 35

Εικόνα 17 Αρχιτεκτονική συστήματος Exhibot ... 37

Εικόνα 18 Ασύρματη επικοινωνία κινητής συσκευής με τους αισθητήρες ... 38

Εικόνα 19 Block diagram συσκευής MetaMotionC [50] ... 39

Εικόνα 20 IBM cloud chatbot [45] ... 39

Εικόνα 21 Τοπική βάση δεδομένων SQLite ... 43

Εικόνα 22 Χαρακτηρισμός θέσης χρήστη σε σχέση με το έκθεμα ... 44

Εικόνα 23 Χαρακτηρισμός προσανατολισμού... 46

Εικόνα 24 Πρόθεση ερώτησης προσωπικών πληροφοριών ... 50

Εικόνα 25 Dialog που αντιστοιχεί στην πρόθεση προσωπικών πληροφοριών ... 52

Εικόνα 26 Στοιχεία διασύνδεσης εφαρμογής με τις υπηρεσίες IBM cloud ... 53

Εικόνα 27 Οθόνη εφαρμογής Exhibot ... 54

Εικόνα 28 Διάγραμμα δραστηριότητας συστήματος Exhibot ... 59

Εικόνα 29 Συσκευή IMU και handsfree ακουστικά ... 64

Εικόνα 30 Συσκευή IMU και Bluetooth ακουστικά ... 64

Εικόνα 31 Τοποθέτηση αισθητήρα beacon πάνω στο άγαλμα ... 65

Εικόνα 32 Στιγμιότυπο από το demo ... 65

Εικόνα 33 Αριστερά και δεξιά χρήστες κατά τη δοκιμή (1) ... 66

Εικόνα 36 Ερωτηματολόγιο Exhibot ερώτηση 1 ... 68

(9)

Εικόνα 53 Logs εφαρμογής σε ερωτήσεις προς το chatbot ... 83

Εικόνα 54 Logs εφαρμογής από μετρήσεις αισθητήρων ... 83

Εικόνα 55 Δεδομένα chatbot ... 84

Σχήμα 1 Χρήση της βιβλιοθήκης OpenAL από την εφαρμογή Exhibot ... 38

(10)

Κατάλογος Πινάκων

Πίνακας 1 Λειτουργικές απαιτήσεις συστήματος ... 31 Πίνακας 2 Μη λειτουργικές απαιτήσεις συστήματος ... 32 Πίνακας 3 Επεξήγηση σκορ SUS ερωτηματολογίου ... 81

(11)

Συντομογραφίες & Ακρωνύμια

AAR Audio Augmented Reality AI Artificial Intelligence

API Application Programming Interface AR Augmented Reality

BLE Bluetooth Low Energy GPS Global Positioning System HRTF Head Related Transfer Functions IMU Inertial Measurement Unit IoT Internet of Things

JNI Java Native Interface ML Machine Learning

NLP Natural Language Processing PDA Personal Digital Assistant RFID Radio Frequency Identification STT Speech To Text

TTS Text To Speech

URL Uniform Resource Locator UWB Ultra Wide Band

(12)

1. Εισαγωγή

1.1 Επαυξημένη πραγματικότητα και ηχητική επαυξημένη πραγματικότητα

Στη βιβλιογραφία, υπάρχουν αρκετοί ορισμοί για την έννοια της επαυξημένης πραγματικότητας (Augmented Reality - AR). Η τεχνολογία αυτή συμπληρώνει τον πραγματικό κόσμο (σε αντίθεση με την εικονική πραγματικότητα) χωρίς όμως να τον υποκαθιστά. Σε ένα AR περιβάλλον φυσικά και ψηφιακά αντικείμενα συνυπάρχουν στο χώρο, με τα ψηφιακά να συμπληρώνουν («επαυξάνουν») τα πραγματικά. Επιπλέον, το περιβάλλον αυτό υποστηρίζει διάδραση σε τρεις διαστάσεις και σε πραγματικό χρόνο [5], [59]. Τεχνικές AR χρησιμοποιούνται σε πληθώρα εφαρμογών και συστημάτων όπως είναι για παράδειγμα εφαρμογές παιχνιδιών, εφαρμογές στον τομέα της ιατρικής, της πλοήγησης, της ξενάγησης και αρκετούς άλλους τομείς [59].

Η ηχητική επαυξημένη πραγματικότητα (Audio Augmented Reality - AAR) είναι μια τεχνολογία που ενσωματώνει εικονικό ηχητικό περιεχόμενο στο πραγματικό ακουστικό περιβάλλον ενός χρήστη [11], [60]. Εφόσον η ακοή είναι τρισδιάστατη, οι άνθρωποι μέσω αυτής έχουν τη δυνατότητα να εκτιμήσουν τη θέση μιας ηχητικής πηγής. Άρα λοιπόν, λαμβάνοντας υπόψη τη θέση και τον προσανατολισμό ενός χρήστη ένα σύστημα AAR μπορεί να δημιουργήσει ήχους δίνοντας την ψευδαίσθηση ότι η πηγή βρίσκεται σε συγκεκριμένο σημείο στον τρισδιάστατο χώρο. Τέτοιες τεχνολογίες χρησιμοποιούνται συνήθως σε εφαρμογές παιχνιδιών [28], [59] και πλέον εξετάζεται ερευνητικά η χρήση τους και σε χώρους πολιτιστικής κληρονομιάς [8], [12].

1.2 Στόχοι και προσδοκώμενα αποτελέσματα

Σήμερα υφίσταται μεγάλο πλήθος εφαρμογών ξενάγησης σε χώρους πολιτισμού που βασίζονται σε τεχνολογίες εικονικής πραγματικότητας, επαυξημένης πραγματικότητας όπως και ηχητικής επαυξημένης πραγματικότητας. Επιπλέον, με τη μεγάλη εξέλιξη που παρουσιάζουν τα τελευταία χρόνια οι τομείς της τεχνητής νοημοσύνης (Artificial Intelligence - AI) και της μηχανικής μάθησης ολοένα και περισσότερες εφαρμογές, όπως αυτές που αφορούν χώρους πολιτισμού, προσπαθούν να εκμεταλλευτούν τα πλεονεκτήματα

(13)

που τους παρέχουν. Την ίδια στιγμή, οι περισσότερες από αυτές τις υπηρεσίες πλέον προσφέρονται ως cloud υπηρεσίες [43], [44] και το γεγονός αυτό έχει δημιουργήσει ένα περιβάλλον ανάπτυξης εφαρμογών διαδικτύου των πραγμάτων (Internet of Things - IoT) με πολλές δυνατότητες και επεκτάσεις σε όλα τα ερευνητικά πεδία. Οι χώροι πολιτισμού είναι ένα από αυτά και στα πλαίσια της παρούσας διπλωματικής εργασίας εξετάστηκε μια μελέτη περίπτωσης ηχητικής επαυξημένης πραγματικότητας με στόχο να αξιοποιήσει τις τεχνολογικές εξελίξεις που αναφέρθηκαν.

Η επίσκεψη ενός μουσείου και ενός χώρου πολιτισμού γενικότερα έχει κατά βάση εκπαιδευτικό χαρακτήρα. Για το λόγο αυτό, κατά τη διάρκεια της περιήγησης ο επισκέπτης θα πρέπει να έχει στραμμένη την προσοχή του στα εκθέματα που βρίσκονται στο χώρο ώστε να μεγιστοποιήσει την εμπειρία επίσκεψης και να δώσει την απαραίτητη προσοχή σε όλες τις λεπτομέρειες που αφορούν την ιστορία ενός εκθέματος αλλά και τα ιδιαίτερα χαρακτηριστικά του [63]. Οι εφαρμογές AR σε χώρους πολιτισμού έχουν ως στόχο να επαυξήσουν τα εκθέματα και τον χώρο στον οποίο κινείται ο χρήστης μέσα από πληροφορίες που προβάλλουν στην οθόνη της συσκευής του. Το πρόβλημα που συχνά προκύπτει χρησιμοποιώντας τέτοιου είδους εφαρμογές είναι ότι ο χρήστης εστιάζει περισσότερο στην οθόνη και δε δίνει την απαραίτητη προσοχή στα ίδια τα εκθέματα. Οι εφαρμογές AAR λόγω της διεπαφής που προσφέρουν (μέσω του ήχου) μπορούν να αντιμετωπίσουν αποτελεσματικά το πρόβλημα απόσπασης της προσοχής του χρήστη.

Επισημαίνεται πως η χρήση AAR σε χώρους πολιτισμού διαφέρει ουσιωδώς από τη χρήση ηχητικών ξεναγών (audio guides). Ενώ οι ηχητικοί ξεναγοί προσφέρουν ηχητική πληροφορία για τον περιβάλλοντα χώρο ή συγκεκριμένα εκθέματα προσομοιάζοντας την πληροφορία που θα έδινε κάποιος τρίτος άνθρωπος-ξεναγός, οι εφαρμογές AAR εμπλέκουν τα ίδια τα εκθέματα ως αφηγηματικά υποκείμενα τα οποία παράγουν ήχους ή αφηγούνται σε πρώτο πρόσωπο, αποκαλύπτοντας έτσι ήχους «κρυμμένους» στο περιβάλλον («επαυξάνοντας» δηλαδή ηχητικά το χώρο) και προκαλώντας πολύ πιο βιωματικές εμπειρίες επίσκεψης.

Στο πεδίο της ηχητικής επαυξημένης πραγματικότητας σε χώρους πολιτισμού υπάρχουν αρκετές εφαρμογές και συστήματα που έχουν προταθεί για να αυξήσουν την εμπειρία επίσκεψης. Στην εργασία [8] προτείνεται ένα σύστημα ηχητικής επαύξησης των εκθεμάτων ενός μουσείου που έχει ως στόχο τον εντοπισμό του χρήστη και την αναπαραγωγή ηχητικής πληροφορίας ανάλογα με τα εκθέματα που υπάρχουν στο χώρο που

(14)

σε χώρους πολιτισμού κάνοντας χρήση τρισδιάστατου ήχου, αξιοποιώντας δεδομένα από συσκευές υλικού, για να αυξήσουν την εμπειρία επίσκεψης. Ακόμα μια εφαρμογή AAR περιγράφεται στην εργασία [18]. Ο στόχος της συγκεκριμένης εργασίας είναι να εντοπίσει το χρήστη σε περιβάλλον εσωτερικού χώρου και να αλληλεπιδράσει μαζί του μέσω ενός chatbot που έχει ενσωματωθεί στο σύστημα.

Στην παρούσα διπλωματική εργασία προτείνεται ένα σύστημα για χώρους πολιτισμού κάνοντας χρήση ηχητικής επαυξημένης πραγματικότητας ως μέσου για την πρόκληση εμβυθιστικών εμπειριών επίσκεψης (immersive visiting experience). Επιπλέον, το σύστημα ενσωματώνει AI chatbot ως μέσο διάδρασης και εμπλοκής του χρήστη στην ιστορία ενός εκθέματος. Σκοπός της προτεινόμενης λύσης είναι να αντιμετωπιστεί επιτυχώς το πρόβλημα της απόσπασης του χρήστη από τα εκθέματα και να προκαλέσει το ενδιαφέρον του ώστε να εμπλακεί και ο ίδιος στην ιστορία του εκθέματος αλληλεπιδρώντας με το έκθεμα και μεγιστοποιώντας έτσι την εμπειρία επίσκεψης. Η προτεινόμενη λύση αποτελεί έναν πρωτότυπο συνδυασμό τεχνικών, τεχνολογιών και συσκευών ενός ολοκληρωμένου συστήματος για χώρους πολιτισμού. Πιο συγκεκριμένα, συνδυάζεται η χρήση τεχνικών AAR, ενός AI chatbot, μιας συσκευής beacon και μιας φορετής συσκευής μικρών διαστάσεων. Οι συσκευές υλικού χρησιμοποιούνται από το σύστημα με κατάλληλο τρόπο, προσφέροντας επίγνωση του πλαισίου (context-awareness) μέσα στο οποίο λειτουργεί. Για τις ανάγκες του συστήματος αναπτύχθηκε η εφαρμογή Exhibot για κινητές συσκευές Android και για την αξιολόγησή της έλαβαν χώρα δοκιμές πεδίου σε πραγματικό περιβάλλον. Το όνομα της εφαρμογής προέρχεται από το συνδυασμό των λέξεων exhibit και chatbot.

Στόχος του προτεινόμενου συστήματος είναι να χρησιμοποιηθούν κατάλληλα τεχνολογίες υλικού και λογισμικού ώστε η εφαρμογή να είναι σε θέση να «αντιλαμβάνεται»

το περιβάλλον, το πλαίσιο (context) και τις ανάγκες του χρήστη κατά την περιήγηση. Για να επιτευχθεί ο στόχος αυτός, επιλέχθηκαν συσκευές υλικού που ενσωματώνονται εύκολα στο χώρο και στους χρήστες (διακριτικές φορετές συσκευές) και επίσης μπορούν να λειτουργούν ασύρματα για μεγαλύτερη ευκολία μεταφοράς κατά την περιήγηση. Επιπλέον, προτείνεται ο εμπλουτισμός του περιεχομένου της αφήγησης ενός εκθέματος με πληροφορίες από τον περιβάλλοντα χώρο στον οποίο βρίσκεται ο χρήστης ώστε να η περιήγηση να αποκτήσει έναν εξερευνητικό χαρακτήρα. Αυτό επιτυγχάνεται με ταυτόχρονο

(15)

υπολογισμό της θέσης και του προσανατολισμού χρήστη. Επίσης, η διαδικασία εμπλοκής του χρήστη στην αφήγηση του εκθέματος αποτελεί στόχο του συστήματος και γι’ αυτό στο σύστημα που προτείνεται γίνεται η χρήση AI chatbot έτσι ώστε μέσω κατάλληλων ερωτήσεων και προτάσεων ο χρήστης να μπορεί να συνομιλήσει με το έκθεμα και να εμπλακεί άμεσα στην ιστορία.

1.3 Διάρθρωση διπλωματικής εργασίας

Η διπλωματική εργασία οργανώθηκε σε κεφάλαια ως εξής :

Στο Κεφάλαιο 2 παρουσιάζονται οι έννοιες της επαυξημένης πραγματικότητας και της ηχητικής επαυξημένης πραγματικότητας. Η τελευταία αποτελεί και τη βασικότερη έννοια που πραγματεύεται η παρούσα εργασία. Ακόμα, αναφέρεται η εξέλιξη σε εφαρμογές οδηγών που χρησιμοποιούνται σε χώρους πολιτισμού όπως και σε ηχητικούς οδηγούς. Σε αυτό το κεφάλαιο παρουσιάζονται επίσης λύσεις chatbot σε μουσεία και άλλους χώρους πολιτισμού γενικότερα, συναφείς εργασίες στο πεδίο της ηχητικής επαυξημένης πραγματικότητας όπως επίσης και το τεχνολογικό υπόβαθρο που χρησιμοποιείται για αυτές τις εφαρμογές.

Στο Κεφάλαιο 3 περιγράφεται η μεθοδολογία σχεδιασμού και η υλοποίηση της εφαρμογής για κινητές συσκευές Android. Σχετικά με το σχεδιασμό της εφαρμογής, αναλύεται η διαδικασία και τα στάδια που ακολουθήθηκαν, καθορίζονται οι στόχοι και το πλαίσιο χρήσης και παρουσιάζεται η ανάλυση των απαιτήσεων. Σχετικά με την υλοποίηση της εφαρμογής, αναφέρονται αναλυτικά οι τεχνολογίες υλικού και λογισμικού που χρησιμοποιήθηκαν για την ανάπτυξη της εφαρμογής όπως επίσης και η αρχιτεκτονική του συστήματος. Επιπλέον, αναλύονται οι επιμέρους μονάδες του συστήματος και η επικοινωνία τους με την εφαρμογή. Ακόμα, αναφέρονται τα εργαλεία ανάπτυξης και οι βιβλιοθήκες που ενσωματώθηκαν στην εφαρμογή, οι τεχνικές AAR που χρησιμοποιήθηκαν όπως επίσης και η περιγραφή των υπηρεσιών cloud για το chatbot ενσωματώθηκε στο σύστημα. Επίσης, παρουσιάζεται ο αλγόριθμος λειτουργίας του συστήματος και οι απαραίτητες παραδοχές για την ομαλή λειτουργία του.

Στο Κεφάλαιο 4 αναφέρονται οι διαδικασίες αξιολόγησης της εφαρμογής και οι μέθοδοι που χρησιμοποιήθηκαν για το σκοπό αυτό. Επιπλέον, περιγράφονται οι δοκιμές πεδίου που πραγματοποιήθηκαν από χρήστες του συστήματος στο χώρο του εκθέματος.

(16)

αποτελεσμάτων αυτών και τα συμπεράσματα που προέκυψαν σε αυτό το στάδιο.

Στο Κεφάλαιο 5 συνοψίζονται τα συνολικά συμπεράσματα που προέκυψαν από την εκπόνηση της διπλωματικής εργασίας και αναφέρονται προτάσεις για μελλοντικές βελτιώσεις του συστήματος που παρουσιάστηκε.

(17)

2. Επαυξημένη Πραγματικότητα σε Χώρους Πολιτισμού

2.1 Οδηγοί σε χώρους πολιτισμού

Ολοένα και αυξανόμενο ενδιαφέρον υπάρχει για έρευνα πάνω στην περιοχή των οδηγών σε μουσεία και χώρους πολιτισμού γενικότερα. Καθώς η τεχνολογία εξελίσσεται, η προσπάθεια να επαυξηθεί η εμπειρία της επίσκεψης ενός τέτοιου χώρου είναι μεγάλη και τείνει να γίνει όσο το δυνατόν περισσότερο διαδραστική ώστε να αντικαταστήσει ή και να βελτιώσει τις υπάρχουσες λύσεις. Οι ασύρματες επικοινωνίες, η δυνατότητα διασύνδεσης και η αύξηση των υπολογιστικών δυνατοτήτων των συσκευών έχουν κάνει πλέον δυνατή την ανάπτυξη εφαρμογών και συστημάτων που έχουν ως βασικό στόχο την παροχή νέων υπηρεσιών στον επισκέπτη, οι οποίες λίγα χρόνια πριν δεν ήταν εφικτό να υλοποιηθούν [1].

Όλο και περισσότερα μουσεία και χώροι πολιτισμού έχουν ξεκινήσει να προσφέρουν στους επισκέπτες τους εφαρμογές οδηγών που κάνουν χρήση τεχνικών εικονικής και επαυξημένης πραγματικότητας [25].

Οι επισκέψεις σε έναν χώρο πολιτισμού γίνονται συνήθως για εκπαιδευτικούς λόγους, παρόλα αυτά θα πρέπει να έχουν έναν ελκυστικό και διασκεδαστικό χαρακτήρα χωρίς ταυτόχρονα να αποσπούν την προσοχή του επισκέπτη από τα εκθέματα [2], [3].

Επιπλέον, οι επισκέψεις μπορούν να διαχωριστούν σε ατομικές και ομαδικές. Έτσι, αυτοί είναι και οι παράγοντες που χρησιμοποιούνται κατά τη σχεδίαση τεχνολογιών για οδηγούς ώστε να μπορούν να προσφέρουν το περιεχόμενο και την εμπειρία επίσκεψης ανάλογα με το γκρουπ στο οποίο στοχεύουν. Οι νέοι οδηγοί για κινητές συσκευές έχουν τη δυνατότητα, σε σχέση με τους παραδοσιακούς οδηγούς μουσείων, να ενσωματώσουν διάφορα είδη πολυμέσων, οι υπηρεσίες μπορούν να παραμετροποιηθούν ανάλογα με τον επισκέπτη και επίσης, έχουν το πλεονέκτημα να είναι σε θέση να εντοπίζουν την κίνηση των επισκεπτών στο χώρο ώστε να δίνεται η σωστή πληροφορία ανάλογα με το σημείο στο οποίο βρίσκονται [23], [24].

Αντιθέτως, οι παραδοσιακοί οδηγοί περιέχουν ένα προκαθορισμένο σύνολο πληροφοριών χωρίς τη δυνατότητα εξατομίκευσης και αλλαγής της αφήγησης [6]. Η εξέλιξη των οδηγών από προηγούμενες δεκαετίες μέχρι και σήμερα είναι μεγάλη, καθώς από συστήματα με μειωμένες υπολογιστικές δυνατότητες όπως ήταν οι προσωπικοί ψηφιακοί βοηθοί (Personal Digital Assistant - PDA [26]) και ογκώδη συστήματα που

(18)

αξιοποιούν την ανάπτυξη κινητών συσκευών όπως τα έξυπνα τηλέφωνα και την ύπαρξη μικρών φορετών συσκευών. Σήμερα, τα ψηφιακά εργαλεία και οι τεχνολογίες υπάρχουν για να αναδείξουν τις τέχνες και τον πολιτισμό. Από την άλλη μεριά, υπάρχει η άποψη ότι οι νέες αυτές τεχνολογίες βάζουν στο περιθώριο τα εκθέματα, όμως η τάση που κυριαρχεί παγκοσμίως σε τέτοιους χώρους δείχνει ότι η χρήση ψηφιακών μέσων είναι η λύση για την ανάδειξη των χώρων αυτών και την προσέλκυση επισκεπτών [2].

2.2 Ηχητικοί οδηγοί

Στις σύγχρονες εφαρμογές πολιτιστικής κληρονομιάς προωθείται η ενίσχυση της αλληλεπίδρασης μεταξύ χρήστη και οδηγού, μέσω φυσικής γλώσσας ή άλλων μεθόδων μη λεκτικής επικοινωνίας. Στην περίπτωση των ηχητικών οδηγών, απαιτείται υψηλός βαθμός ρεαλισμού και ανθρώπινων λεκτικών δεξιοτήτων προκειμένου να γίνουν περισσότερο αποδεκτοί και να κρατήσουν αμείωτο το ενδιαφέρον των χρηστών. Αρχικά, η χρήση ηχητικών οδηγών σε χώρους πολιτισμού ήταν συνδεδεμένη είτε με την ανάγκη διευκόλυνσης των ξένων επισκεπτών, καθώς η ξενάγηση με αυτόν τον τρόπο προσφερόταν στην εκάστοτε γλώσσα του επισκέπτη, είτε ως λύση για άτομα με προβλήματα όρασης.

Πλέον η χρήση τους έχει διευρυνθεί για όλο το κοινό καθώς αποτελεί μια γενική και πιο βολική λύση αυτόνομης περιήγησης σε σχέση με την οργανωμένη περιήγηση με ξεναγό. Οι χρήστες με αυτόν τον τρόπο έχουν την ελευθερία να επιλέγουν οι ίδιοι το ρυθμό και το χρόνο της επίσκεψης τους όπως επίσης και το περιεχόμενο στο οποίο θα δώσουν μεγαλύτερη σημασία ή θα προσπεράσουν. Επίσης, μεγάλο πλεονέκτημα των ηχητικών οδηγών αποτελεί το γεγονός ότι οι χρήστες ακούν την αφήγηση της ιστορίας ενώ την ίδια στιγμή παρατηρούν τα εκθέματα χωρίς τίποτα να αποσπά την προσοχή τους από τον πρωταγωνιστή, που είναι το ίδιο το έκθεμα [8]. Τέλος, εκτός από τον εκπαιδευτικό τους ρόλο, οι ηχητικοί οδηγοί θα πρέπει να μπορούν να μεταφέρουν στους επισκέπτες πληροφορίες για τα εκθέματα με τρόπο διασκεδαστικό και απρόσμενο. Κατ’ αυτόν τον τρόπο, ο επισκέπτης μπορεί να ανακαλύψει πληροφορίες για τα εκθέματα και ταυτόχρονα να περάσει ευχάριστα κατά την περιήγηση του, δίνοντας έτσι ακόμα μεγαλύτερο νόημα στην επίσκεψη του.

(19)

Τα είδη των συστημάτων ηχητικών οδηγών είναι πολλά και διαφορετικά. Διαφέρουν στο περιεχόμενο που παρουσιάζουν, στον τρόπο ενεργοποίησής τους, τις μεθόδους και τις τεχνολογίες που χρησιμοποιούν κατά την περιήγηση, στο ρόλο του ηχητικού οδηγού ως υπεύθυνου της περιήγησης και στους χρήστες για τους οποίους θα παρουσιαστεί το περιεχόμενό τους [8], [9]. Η έννοια της εξατομίκευσης αναφέρεται σε ένα σύστημα που είναι σε θέση να αλλάζει τα χαρακτηριστικά του σύμφωνα με τις ανάγκες των χρηστών. Η προσαρμογή του περιεχομένου του ηχητικού οδηγού στις ανάγκες αυτές βοηθάει στην εξατομίκευσή του. Με βάση την εξατομίκευση, οι ηχητικοί οδηγοί διακρίνονται σε αυτούς που το περιεχόμενο τους δεν αλλάζει καθ’ όλη τη διάρκεια της περιήγησης και σε αυτούς που το περιεχόμενο μπορεί να προσαρμόζεται στον κάθε χρήστη κατά τη λειτουργία του.

Στην εργασία [4] παρουσιάζεται ένας ηχητικός οδηγός σε μια γκαλερί. Οι χρήστες καθοδηγούνται από μια αφηγηματική φωνή που τους περιγράφει τα εκθέματα του χώρου.

Η ηχητική περιγραφή των εκθεμάτων είναι σύντομη προσπαθώντας να κρατήσει την προσοχή τους και ενεργοποιείται σε συγκεκριμένες θέσεις κοντά στα εκθέματα. Εκτός από τη σύντομη αφήγηση, ο ηχητικός οδηγός προτρέπει τους χρήστες να προχωρήσουν στο έκθεμα που ακολουθεί ώστε να υπάρχει συνέχεια στην περιήγηση.

Από την άλλη μεριά, υπάρχουν και κάποια μειονεκτήματα που συνοδεύουν τη χρήση ηχητικών οδηγών. Για παράδειγμα, η ανάγκη ύπαρξης υποδομής και δανεισμού του εξοπλισμού όπως και η μη εξοικείωση των επισκεπτών με τις εκάστοτε συσκευές, καθιστούν τους οδηγούς συχνά δύσχρηστους. Το στατικό περιεχόμενο και ο περιορισμός της χρήσης τους μόνο σε προκαθορισμένες περιοχές είναι επίσης λόγοι που αποτρέπουν πολλούς επισκέπτες από τη χρήση ηχητικών οδηγών [9], [10]. Επιπλέον, λόγω της ραγδαίας εξέλιξης τεχνολογικών καινοτομιών σε υλικό και λογισμικό οι απαιτήσεις των εφαρμογών μεταβάλλονται πολύ γρήγορα. Για το λόγο αυτό, τα συστήματα ηχητικών οδηγών πρέπει να ενημερώνονται συχνά και χρειάζεται να αναπτυχθούν εφικτοί τρόποι αξιοποίησής τους, αυξάνοντας παράλληλα τη χρηστικότητά τους προς όφελος των επισκεπτών.

2.3 Ηχητική επαυξημένη πραγματικότητα

Η εικονική πραγματικότητα απομονώνει τους χρήστες από τον πραγματικό κόσμο και τους βυθίζει σε συνθετικά περιβάλλοντα που έχουν δημιουργηθεί από υπολογιστές [5].

Η AR ορίζεται ως μια τεχνολογία ικανή να επεκτείνει οτιδήποτε είναι ορατό χωρίς να

(20)

φυσικά και ψηφιακά αντικείμενα συνυπάρχουν [5]. Η μεικτή πραγματικότητα συνδυάζει στοιχεία τόσο εικονικής όσο και επαυξημένης πραγματικότητας, δημιουργώντας νέα περιβάλλοντα και οπτικοποιήσεις που επιτρέπουν στα εικονικά αντικείμενα να μην επικαλύπτονται μόνο στον πραγματικό κόσμο, αλλά να μπορούν και να αλληλεπιδρούν με αυτόν [5], [27]. Η AAR είναι μια μέθοδος εμπλουτισμού του πραγματικού κόσμου με εικονικούς ήχους σε ένα δεδομένο πλαίσιο [11]. Η αύξηση των υπολογιστικών δυνατοτήτων των κινητών συσκευών, η ανάπτυξη στον τομέα των αισθητήρων και η πρόοδος των τρισδιάστατων τεχνολογιών για φορητές συσκευές, προσφέρουν τη δυνατότητα στα συστήματα AR για χώρους πολιτιστικής κληρονομιάς να γίνουν ακόμα πιο άνετα στο κομμάτι που αφορά συσκευές τις οποίες πρέπει να μεταφέρει ο χρήστης μαζί του [2]. Επιπλέον, πολλά συστήματα απαιτούν, για ακόμα μεγαλύτερη διευκόλυνση, ο χρήστης να φοράει κάποιο εξοπλισμό (wearables). Διάφορες τεχνολογίες και πολυμέσα σε ποικίλες μορφές έχουν χρησιμοποιηθεί σε εγκαταστάσεις συστημάτων μικτής και επαυξημένης πραγματικότητας, για τις οποίες έχει αναφερθεί ότι προκαλούν ενθουσιασμό, ενθαρρύνουν την αλληλεπίδραση και τη συμμετοχή και ευνοούν τον κοινωνικό χαρακτήρα της επίσκεψης σε έναν χώρο πολιτισμού [6].

Οι άνθρωποι χρησιμοποιούν την ακοή τους για να εντοπίζουν ήχους και να αλληλεπιδρούν με το εξωτερικό περιβάλλον. Επιπλέον, σύμφωνα με τις δυνατότητες της ακοής, μπορεί και γίνεται εκτίμηση της θέσης στην οποία βρίσκεται μια ηχητική πηγή.

Όπως και η όραση, έτσι και η ακοή είναι τρισδιάστατη. Επομένως, σ’ ένα σύστημα AAR η θέση και ο προσανατολισμός του χρήστη πρέπει να παρακολουθούνται συνεχώς [11]. Ο ήχος μπορεί να προσφερθεί στον χρήστη εύκολα χρησιμοποιώντας ακουστικά διαφόρων τύπων. Συνεπώς, η παρακολούθηση της θέσης και του προσανατολισμού του χρήστη μπορεί να επιτευχθεί είτε εξοπλίζοντας τα ακουστικά με συσκευές εντοπισμού θέσης και προσανατολισμού είτε κάνοντας χρήση φορετών συσκευών. Χρησιμοποιώντας κάποια από τις λύσεις που αναφέρθηκαν, η περιστροφή της κεφαλής μπορεί να περιγράψει τον προσανατολισμό του βλέμματος του χρήστη. Μπορούν λοιπόν να αναπτυχθούν συστήματα AAR με χρήση ακουστικών για την αναπαραγωγή τρισδιάστατου ήχου, έτσι ώστε ο εγκέφαλος να μπορεί να αντιληφθεί ότι οι ήχοι προέρχονται από συγκεκριμένη κατεύθυνση.

Υπάρχουν ήδη εφαρμογές που αξιοποιούν τέτοιες τεχνολογίες στον τομέα της αεροπορίας

(21)

[22] και των παιχνιδιών [28], αλλά στον τομέα της πολιτιστικής κληρονομιάς η προσέγγιση αυτή είναι καινοτόμα και δεν υπάρχει ακόμα ευρεία χρήση πολύπλοκων συστημάτων.

Στις εργασίες [8], [12] εξετάζεται η χρήση τεχνικών AAR ώστε να παρέχουν στους χρήστες ηχητικούς οδηγούς εκθεμάτων σε χώρους πολιτιστικής κληρονομιάς. Στόχος τους είναι η πρόκληση εμβυθιστικών εμπειριών στους επισκέπτες μέσω τρισδιάστατου ήχου από το περιβάλλον και η αναπαραγωγή ήχων σχετικών με τα εκθέματα, ελαχιστοποιώντας ταυτόχρονα την προσπάθεια να ανακαλύψουν μόνοι τους αυτές τις πληροφορίες και να αλληλεπιδράσουν με το περιβάλλον. Στην εργασία [11] αναφέρεται η υλοποίηση μιας εφαρμογής για κινητές συσκευές Android που κάνει χρήση αισθητήρων εντοπισμού θέσης και προσανατολισμού. Η επεξεργασία των δεδομένων που λαμβάνονται από τους αισθητήρες γίνεται από έναν μικροελεγκτή. Αντίστοιχα, στην εργασία [12] η υλοποίηση περιλαμβάνει μια εφαρμογή για έξυπνα τηλέφωνα, μια web εφαρμογή και τη χρήση συσκευών Bluetooth beacon. Σε σύγκριση με τους παραδοσιακούς ηχητικούς οδηγούς, οι συγκεκριμένες εφαρμογές δίνουν μια άλλη ηχητική διάσταση στην επίσκεψη και υπερτερούν σε χρηστικότητα χωρίς να χάνουν τον εκπαιδευτικό χαρακτήρα που πρέπει να χαρακτηρίζει τέτοια συστήματα.

2.4 Χρήση chatbot σε χώρους πολιτισμού

Με τον όρο chatbot εννοούμε ένα πρόγραμμα υπολογιστή που επιτρέπει στους ανθρώπους να αλληλεπιδρούν με την τεχνολογία χρησιμοποιώντας διάφορες μεθόδους όπως κείμενο, φωνή, χειρονομίες και αφή [13]. Άλλες ονομασίες που χρησιμοποιούνται ευρέως για το chatbot είναι AI bot, βοηθός τεχνητής νοημοσύνης και εικονικός ή ψηφιακός βοηθός. Τέτοιου είδους προγράμματα χρησιμοποιούνται κυρίως σε περιβάλλοντα εξυπηρέτησης πελατών όμως πλέον είναι αρκετά δημοφιλή και χρησιμοποιούνται σε μεγάλη ποικιλία συστημάτων και εφαρμογών. Οι περισσότερες εταιρείες που τα χρησιμοποιούν, προσπαθούν να προσφέρουν στους χρήστες chatbot με περισσότερη ευφυΐα και χαρακτηριστικά από τη συνηθισμένη χρήση τους, που είναι οι απαντήσεις ερωτήσεων με ορισμένη θεματολογία.

Τα τελευταία χρόνια τα έξυπνα κινητά, οι φορετές συσκευές, οι υπηρεσίες cloud και το IoT έχουν επιφέρει σημαντικές αλλαγές στην ανάπτυξη εφαρμογών. Τα chatbots μπορούν να ενσωματωθούν σαν υπηρεσία σε εφαρμογές για κινητές συσκευές χωρίς να

(22)

υπολογιστικούς πόρους, παρόλο που έχουν και οι ίδιες υψηλές υπολογιστικές δυνατότητες.

Το μόνο που απαιτείται είναι η διασύνδεση, μέσω διαδικτύου, με μια τέτοια υπηρεσία και οι χρήστες στη συνέχεια μπορούν να έχουν πρόσβαση σε αυτήν οποιαδήποτε στιγμή το θελήσουν [13]. Πιο αναλυτικά, ο τρόπος με τον οποίο γίνεται η αλληλεπίδραση με το chatbot είναι μέσω κειμένου, που αποτελεί και την παράμετρο εισόδου στο πρόγραμμα.

Στην περίπτωση που χρησιμοποιείται ως παράμετρος εισαγωγής η φωνή του χρήστη τότε μετατρέπεται η φωνή σε κείμενο μέσω της μεθόδου STT (Speech To Text) πρώτα και στη συνέχεια αναλύεται το κείμενο εισόδου ώστε να παρθεί η κατάλληλη απόφαση για την απάντηση που θα λάβει ο χρήστης. Η απάντηση δίνεται, ανάλογα με την εφαρμογή, είτε με κείμενο είτε με φωνή με κατάλληλη χρήση της μεθόδου TTS (Text To Speech).

Η προσπάθεια εκμετάλλευσης της τεχνητής νοημοσύνης και η χρήση φυσικής γλώσσας ως μέσο αναπαράστασης των εκθεμάτων σε μουσεία και χώρους πολιτισμού έχει ήδη ξεκινήσει από προηγούμενες δεκαετίες [14], [15]. Από τις αρχικές προσπάθειες όπου bots αλληλεπιδρούσαν με το κοινό μέσω οθονών στο διαδίκτυο [17] μέχρι πιο πρόσφατες και προχωρημένες εφαρμογές για κινητές συσκευές που κάνουν χρήση παραμέτρων πλαισίου με σκοπό την εξατομικευμένη εμπειρία του χρήστη κατά την περιήγηση και κατά το διάλογο με το chatbot [14], [18]. Η εμφάνιση ανοιχτών λύσεων chatbot (δωρεάν ή με πολύ μικρό κόστος) δίνουν την ευκαιρία σε όλους τους χώρους πολιτισμού να δοκιμάσουν τις λύσεις αυτές χωρίς να χρειάζεται να σπαταλούν ανθρώπινους πόρους και χρήματα και χωρίς την ανάγκη ύπαρξης υποδομών. Η χρήση chatbot σε τέτοιους χώρους αυξάνει την εμπλοκή των χρηστών και προσφέρει μια διαδραστική, διασκεδαστική και πάντα διαθέσιμη εμπειρία σε σύγκριση με τους παραδοσιακούς οδηγούς μουσείων ή τις οργανωμένες επισκέψεις [14], [16]. Έτσι, οι νέες μεθοδολογίες τεχνητής νοημοσύνης και η εξέλιξη του IoT κάνουν τις εφαρμογές πάνω στο πεδίο της αφήγησης ιστορίας (storytelling) σε χώρους πολιτισμού πολύ ενδιαφέρουσες και ελκυστικές.

2.5 Συναφείς εργασίες

Η έρευνα στο πεδίο της επαυξημένης πραγματικότητας γενικότερα αλλά και πιο συγκεκριμένα πάνω στο πεδίο της ηχητικής επαυξημένης πραγματικότητας έχει ξεκινήσει αρκετά χρόνια πριν και η πρόοδος που έχει σημειωθεί τα τελευταία χρόνια είναι μεγάλη.

(23)

Στην εργασία [19], παρουσιάζονται τεχνικές ανίχνευσης θέσης και προσανατολισμού της κεφαλής του χρήστη, λαμβάνοντας δεδομένα από διάφορους αισθητήρες, με σκοπό την παρουσίαση τρισδιάστατου περιεχομένου ανάλογα με την κίνησή του στο χώρο. Ο υπολογισμός τέτοιου είδους παραμέτρων πλαισίου σε εφαρμογές AR είναι κομβικός καθώς από αυτές συνήθως εξαρτάται το περιεχόμενο που παρουσιάζεται στον χρήστη. Στην Εικόνα 1 παρουσιάζεται ένα στιγμιότυπο κατά τη χρήση ενός συστήματος AAR που έχει ως στόχο την ενίσχυση της επίσκεψης σε ένα μουσείο [8]. Κατά τη λειτουργία της συγκεκριμένης εφαρμογής το μουσείο χωρίζεται σε ακουστικές ζώνες ανάλογα με τα δωμάτια και τα εκθέματα που βρίσκονται σε αυτά. Τα ακουστικά χρησιμοποιούνται για την παρουσίαση των εκθεμάτων του μουσείου κατά την είσοδο του χρήστη στις ακουστικές ζώνες. Επιπλέον, πάνω τους υπάρχει ενσωματωμένος αισθητήρας ανίχνευσης του προσανατολισμού με ασύρματη δυνατότητα επικοινωνίας με υπολογιστή στον οποίο είναι εγκατεστημένη η εφαρμογή. Στη συνέχεια, στην εργασία [20] παρουσιάζεται μια μελέτη σχετικά με τη χωροποίηση του ήχου σε περιβάλλοντα ηχητικής επαύξησης της πραγματικότητας. Τα αποτελέσματα της συγκεκριμένης μελέτης δείχνουν ότι στις περιπτώσεις όπου χρησιμοποιήθηκε τρισδιάστατος ήχος, υπήρξε αύξηση του επιπέδου εμβύθισης στην εμπειρία και μια πιο διερευνητική - παιγνιώδης ανταπόκριση στο περιβάλλον από τη μεριά των χρηστών. Παρομοίως, στην εργασία [21] αναπτύχθηκε ένα τρισδιάστατο φορετό σύστημα ήχου, όπως φαίνεται στην Εικόνα 2, που παρέχει προειδοποιητικές ενδείξεις και ενημερώσεις στο χρήστη. Αξιοποιώντας μετρήσεις από GPS (Global Positioning System) και αισθητήρες ανίχνευσης του προσανατολισμού, οι ενημερώσεις παρουσιάζονται στο χρήστη σαν να προέρχονται από συγκεκριμένες τοποθεσίες στο περιβάλλον όπου κινείται.

Ένα πρωτότυπο σύστημα AAR [11] απεικονίζεται στην Εικόνα 3. Η εφαρμογή για κινητές συσκευές Android απαρτίζεται από έναν προσωπικό οδηγό, κάνοντας χρήση cloud υπηρεσιών, που έχει ως στόχο να προσελκύσει το ενδιαφέρον των χρηστών σχετικά με μνημεία και χώρους πολιτισμού χρησιμοποιώντας τεχνικές τρισδιάστατου ήχου. Οι συγγραφείς της εργασίας [18] προτείνουν ένα σύστημα φωνητικής διάδρασης μεταξύ χρήστη και εκθέματος με σκοπό να μην αποσπάται η προσοχή του χρήστη από το έκθεμα κατά την περιήγηση. Το σύστημα χρησιμοποιεί τεχνολογίες τεχνητής νοημοσύνης και συσκευές IoT για να προσφέρει προσαρμοσμένες εμπειρίες επίσκεψης. Επίσης, ο εντοπισμός του χρήστη πραγματοποιείται μέσω μεθόδων εντοπισμού θέσης σε εσωτερικούς

(24)

Στην Εικόνα 4 απεικονίζονται δυο οθόνες της εφαρμογής, η πρώτη αποτελεί την αρχική οθόνη και η δεύτερη την οθόνη γραπτής αλληλεπίδρασης χρήστη - chatbot.

Η λύση που προτείνεται στην εργασία [19] για τον υπολογισμό του προσανατολισμού του χρήστη είναι μέσω κάμερας. Αυτό δεν είναι πάντα εφικτό να εφαρμοστεί σε όλα τα περιβάλλοντα και ειδικά σε συστήματα που προορίζονται για εξωτερικούς χώρους, όπως το σύστημα Exhibot που προτείνεται στην παρούσα εργασία.

Επιπλέον, η συγκεκριμένη εμπορική κάμερα (Kinect V2) αποτελεί μια ακριβή λύση για τις ανάγκες ενός χώρου πολιτισμού. Το πρωτότυπο σύστημα που παρουσιάζεται στην εργασία [8] δε μεταφέρει στο χρήστη περιεχόμενο σχετικό με τον προσανατολισμό (παρόλο που υπολογίζεται για τον τρισδιάστατο ήχο του συστήματος) και παρέχει απλά στατικό περιεχόμενο με τεχνικές AAR, μετατρέποντας έτσι το χρήστη σε παθητικό ακροατή. Στη συνέχεια, στην εργασία [21] προκύπτει το ζήτημα του αυξημένου όγκου και βάρους στο φορετό εξοπλισμό που προτείνεται (Εικόνα 2), καθώς ο χρήστης θα πρέπει, χρησιμοποιώντας ένα τέτοιο σύστημα, να είναι σε θέση να περιηγείται ελεύθερα χωρίς επιπλέον βάρος. Η εργασία [11] χρησιμοποιεί έναν μικροελεγκτή και μια μονάδα Bluetooth για την επικοινωνία με την κινητή συσκευή. Αυτό προσθέτει στο σύστημα επιπλέον εξοπλισμό και κόστος, σε σχέση με την ασύρματη επικοινωνία της φορετής συσκευής απευθείας με την κινητή, όπως προτείνεται στο σύστημα της παρούσας εργασίας. Επίσης, η διάδραση είναι περιορισμένη καθώς ο χρήστης μπορεί να δώσει στην εφαρμογή [11]

μικρό αριθμό φωνητικών εντολών, χωρίς να γίνεται προσπάθεια εμπλοκής του χρήστη στην αφήγηση της ιστορίας του εκθέματος. Τέλος, στην εργασία [18] το chatbot που χρησιμοποιείται έχει υλοποιηθεί με τέτοιο τρόπο, ώστε η εκκίνηση της διάδρασης να γίνεται από τη μεριά του χρήστη και όχι από τη μεριά της εφαρμογής όπως επίσης και οι απαντήσεις που μπορεί να δώσει, σχετίζονται αποκλειστικά με το έκθεμα. Επιπλέον, όπως αναφέρουν και οι συγγραφείς, η έλλειψη αξιολόγησης του συστήματος σε πραγματικές συνθήκες είναι ένα μειονέκτημα καθώς οι δοκιμές έλαβαν χώρα μόνο σε περιβάλλον εργαστηρίου.

Στο σύστημα Exhibot γίνεται προσπάθεια να αντιμετωπιστούν μια σειρά από ανοικτά θέματα που συναντώνται σε συστήματα AAR σε χώρους πολιτισμού. Αρχικά, το κόστος ενός τέτοιου συστήματος θα πρέπει είναι χαμηλό και οι διαστάσεις των συσκευών που θα έχει ο χρήστης επάνω του, όσο το δυνατόν πιο μικρές. Στη συνέχεια, ο τρόπος επικοινωνίας των συσκευών μεταξύ τους για την ανταλλαγή πληροφορίας (μετρήσεων) θα

(25)

πρέπει να γίνεται ασύρματα ώστε να αποφεύγεται η χρήση καλωδίων στον εξοπλισμό του χρήστη αλλά και επιπλέον συσκευών (π.χ. μικροελεγκτές). Για το λόγο αυτό, στο προτεινόμενο σύστημα χρησιμοποιήθηκαν εμπορικές συσκευές με χαμηλή τιμή, μικρές διαστάσεις και δυνατότητα ασύρματης επικοινωνίας μέσω Bluetooth [29], [30]. Επιπλέον, το περιεχόμενο που παρουσιάζεται από την εφαρμογή προς το χρήστη θα πρέπει να έχει άμεση σχέση με τη θέση του και τον προσανατολισμό του, ζήτημα που έχει αντιμετωπιστεί στην παρούσα εργασία. Επίσης, η διαδικασία εμπλοκής του χρήστη στην αφήγηση του εκθέματος είναι κάτι που δεν αντιμετωπίζεται επαρκώς από τις εργασίες που προαναφέρθηκαν καθώς είτε ο χρήστης είναι παθητικός δέκτης πληροφορίας χωρίς να υπάρχει δυνατότητα αλληλεπίδρασης [8], [11], [21], είτε υπάρχει έλλειψη ηχητικών μηνυμάτων προς το χρήστη για να ενθαρρύνουν την εμπλοκή του [18]. Στο σύστημα Exhibot η εμπλοκή του χρήστη επιτυγχάνεται με τη χρήση ενός chatbot και ερωτήσεις αλλά και προτάσεις σχετικών με την ιστορία του εκθέματος από την πλευρά της εφαρμογής προς το χρήστη. Επίσης, το chatbot είναι σε θέση να απαντήσει και πιο γενικές ερωτήσεις που μπορεί να εκφράσει ο χρήστης (π.χ. λεπτομέρειες για την τοποθεσία ή την τρέχουσα θερμοκρασία). Για την αντιμετώπιση των ανοικτών θεμάτων που αναφέρθηκαν, η λύση που προτείνεται από την παρούσα εργασία είναι ο συνδυασμός beacon και φορετών συσκευών μικρών διαστάσεων, τεχνικών AAR και χρήση ενός AI chatbot με στόχο την υλοποίηση ενός ολοκληρωμένου συστήματος για χώρους πολιτισμού.

(26)

Εικόνα 1 Στιγμιότυπο κατά τη δοκιμή της εφαρμογής SARIM [8]

Εικόνα 2 Στιγμιότυπο κατά τη δοκιμή της εφαρμογής 3DAAR [21]

(27)

Εικόνα 3 Σύστημα CARUSO [11]

Εικόνα 4 Οθόνες εφαρμογής Vocal Museum [18]

(28)

2.6 Τεχνολογίες ηχητικής επαυξημένης πραγματικότητας

2.6.1 Εντοπισμός θέσης

Η δυνατότητα εντοπισμού της θέσης ενός χρήστη, σε συστήματα που αναπτύσσονται για χώρους πολιτισμού, είναι μια πολύ σημαντική παράμετρος πλαισίου ως προς το περιεχόμενο που παρουσιάζεται στο χρήστη κατά την περιήγηση. Ανάλογα με το είδος του χώρου στον οποίο αναμένεται να εφαρμοστεί το σύστημα, υπάρχουν και οι αντίστοιχες τεχνικές εντοπισμού θέσης. Οι χώροι διακρίνονται σε εσωτερικούς και εξωτερικούς. Για τους εξωτερικούς χώρους χρησιμοποιείται δέκτης GPS είτε ως ξεχωριστή μονάδα είτε ενσωματωμένος σε κάποια κινητή συσκευή (π.χ. έξυπνο τηλέφωνο) [11], [31].

Από την άλλη μεριά, για τους εσωτερικούς χώρους υπάρχουν διάφορες τεχνικές εντοπισμού θέσης μέσω WiFi σήματος, μέσω UWB (Ultra Wide Band), μέσω RFID (Radio Frequency Identification), μέσω κάμερας, μέσω συσκευών Bluetooth beacon και μέσω της τεχνολογίας εσωτερικού GPS (indoor GPS technology) [32], [33]. Ειδικότερα για μουσεία και εσωτερικούς χώρους πολιτισμού, οι προκλήσεις για τον εντοπισμό της θέσης ενός χρήστη είναι αρκετές λόγω του περιορισμένου χώρου, την απαίτηση οι συσκευές να είναι αόρατες, την ανάγκη ύπαρξης υποδομής, την αξιοπιστία των τεχνικών εντοπισμού θέσης και του υψηλού κόστους που απαιτούν κάποιες τεχνικές [34].

Στην εργασία [18] ο εντοπισμός θέσης του χρήστη επιτυγχάνεται από ένα δίκτυο UWB κεραιών που είναι τοποθετημένες εσωτερικά στο μουσείο (χωρίζοντάς το σε περιοχές) και από μια ετικέτα που έχει μαζί του ο χρήστης κατά την περιήγηση. Από τη θέση της ετικέτας η εφαρμογή εντοπίζει το πλησιέστερο έκθεμα του μουσείου και στη συνέχ