ΕΘΝΙΚΟ ΚΑΙ ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ
ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ
ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ
ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ
Μέθοδοι Μηχανικής Μάθησης για την Πρόβλεψη Αυτοματοποίησης Επαγγελμάτων
Βασίλειος Σ. Σταματόπουλος
Επιβλέπων: Παναγιώτης Σταματόπουλος, Επίκουρος Καθηγητής
ΑΘΗΝΑ ΜΑΪΟΣ 2018
ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ
Μέθοδοι Μηχανικής Μάθησης για την Πρόβλεψη Αυτοματοποίησης Επαγγελμάτων
Βασίλειος Σ. Σταματόπουλος Α.Μ.: 1115201400188
ΕΠΙΒΛΕΠΟΝΤΕΣ: Παναγιώτης Σταματόπουλος, Επίκουρος Καθηγητής
Με τον όρο αυτοματοποίηση ορίζεται η τεχνολογία με την οποία μια διαδικασία πραγματοποιείται δίχως ανθρώπινη παρέμβαση. Μία εργασία αποτελείται από πολλές διαφορετικές διαδικασίες, πολλές εκ των οποίων μπορεί να έχουν αυτοματοποιηθεί σε ορισμένο βαθμό. Στον κόσμο των επιχειρήσεων, ο απώτερος στόχος ήταν και είναι η επίτευξη μεγαλύτερου κέρδους. Συνεπώς, εάν μια εργασία ή ορισμένες από τις διαδικασίες που την αποτελούν μπορεί να γίνει δίχως την βοήθεια μισθωτού ανθρωπίνου δυναμικού, η εργασία αυτή βρίσκεται σε κίνδυνο αυτοματοποίησης.
Τα τελευταία χρόνια, η επίτευξη αυτού του στόχου έχει πάψει να είναι ένα όνειρο και, με την άνοδο της τεχνητής νοημοσύνης, μπορεί να γίνει πραγματικότητα. Πλέον, ρομποτικές και υπολογιστικές μηχανές μπορούν να πραγματοποιήσουν μια πληθώρα εργασιών, εξίσου καλά ή και καλύτερα από τους ανθρώπους. Υπάλληλοι τηλεφωνικών κέντρων, αγρότες [1], υπάλληλοι ασφάλειας [2] και καταστημάτων λιανικής [3], ακόμη και οδηγοί αυτοκινήτων [4], είναι ορισμένες από τις εργασίες που πραγματοποιούνται, σε ορισμένο βαθμό, από μηχανές. Έρευνα από τους Frey και Osborne [5], έδειξε πως το 47% των εργασιών που γνωρίζουμε σήμερα είναι πιθανό να αυτοματοποιηθούν στο σύντομο μέλλον.
Τι είναι όμως αυτό που κάνει μια εργασία ευάλωτη στην αυτοματοποίηση; Στην εργασία αυτή θα μελετηθούν τα διάφορα χαρακτηριστικά που απαρτίζουν μια πληθώρα επαγγελμάτων, καθώς και το ποσοστό αυτοματοποίησης τους σήμερα. Στόχος είναι η δημιουργία ενός μοντέλου μηχανικής μάθησης, το οποίο λαμβάνοντας ως είσοδο τα χαρακτηριστικά αυτά θα μπορεί να κάνει προβλέψεις για το ποσοστό της αυτοματοποίησης ενός επαγγέλματος. Οι διάφοροι αλγόριθμοι που θα χρησιμοποιηθούν θα επεξεργαστούν την βάση δεδομένων για χαρακτηριστικά εργασίας που βρίσκεται στο O*NET. Η βάση δεδομένων αυτή περιέχει στοιχεία από διάφορα επαγγέλματα, παρμένα από έρευνες σε επαγγελματίες. Σε ένα παιχνίδι της μοίρας, θα χρησιμοποιηθεί τεχνητή νοημοσύνη, για να γίνουν σχετικές προβλέψεις στο ρόλο που θα έχει η ίδια στην αγορά εργασίας του μέλλοντος.
ΘΕΜΑΤΙΚΗ ΠΕΡΙΟΧΗ: Τεχνητή Νοημοσύνη
ΛΕΞΕΙΣ ΚΛΕΙΔΙΑ: αυτοματοποίηση, εργασία, οικονομία, μηχανική μάθηση
Automation is the technology with which a process can be done without any human involvement. Labor is comprised of many different processes, many of which may have been automated to a certain degree. In business, the main goal has always been the maximization of profit. Thus, if a job or some of its processes can be done without the help of payed human labor, then this job is at risk of automation.
Lately, with the advent of artificial intelligence, the fulfillment of this goal can become a reality. Today, robotic and computer machines can perform a variety of tasks, as well, or sometimes even better than humans. Call center employees, farmers [1], security guards [2], shop clerks [3], even car drivers [4], are some of the jobs that are practiced, in part, by machines. A study by Frey and Osborne [5], found that 47% of the jobs that we know today are likely to be automated in the near future.
What makes a job susceptible to automation? This paper studies the different attributes that constitute a variety of occupations, as well as their degree of automation today. The goal is to create a machine learning model, which will take as input a set of attributes and will output a predicted degree of automation of a certain job. The algorithms that will be used will work on the database provided by O*NET. This database provides a set of data from different occupations, extracted from surveys on professionals. In a twist of fate, artificial intelligence will be used to predict its role in the labor market of tomorrow.
SUBJECT AREA: Artificial Intelligence
KEYWORDS: automation, labor, economy, machine learning
Στη σελίδα αυτή θα ήθελα να ευχαριστήσω τον κύριο Σταματόπουλο για την υπομονή του και την συνεχή του καθοδήγηση στην εκπόνηση αυτής της εργασίας. Επιπλέον, θα ήθελα να ευχαριστήσω όλους τους φίλους μου που στήριξαν αυτή την προσπάθεια και τους γονείς μου που πάντα πιστεύουν σε ό,τι κάνω. Τέλος, ευχαριστώ ανώνυμα τον άνθρωπο εκείνο που γέννησε τις ανησυχίες μου για τα οικονομικά και εργασιακά προβλήματα, που οδήγησαν στην εύρεση αυτού του θέματος. Σε ευχαριστώ, που ακόμα και σήμερα ακούς αυτά που έχω να πω.
ΠΡΟΛΟΓΟΣ ... 12
1. ΕΙΣΑΓΩΓΗ ... 13
1.1 Ιστορία της Αυτοματοποίησης - Βιομηχανική Επανάσταση ... 13
1.2 Επιστημονική Επανάσταση ... 13
1.3 Τεχνολογική Επανάσταση ... 13
1.4 Τεχνητή Νοημοσύνη ... 14
2. ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ ... 16
2.1 Εισαγωγή ... 16
2.2 Είδη Μάθησης ... 16
2.2.1 Επιβλεπόμενη Μάθηση ... 16
2.2.2 Μη-επιβλεπόμενη Μάθηση... 17
2.2.3 Ενισχυτική Μάθηση ... 17
2.3 Μοντέλα Μηχανικής Μάθησης ... 17
2.3.1 Νευρωνικά Δίκτυα ... 17
2.3.2 Μοντελοποίηση Νευρωνικών Δικτύων ... 18
2.3.3 Δίκτυο Αισθητήρα ... 18
2.4 Σύνοψη ... 19
3. ΠΕΡΙΓΡΑΦΗ ΠΡΟΓΡΑΜΜΑΤΟΣ WEKA ... 20
3.1 Αλγόριθμοι WEKA ... 20
4. ΕΠΙΛΟΓΗ ΔΕΔΟΜΕΝΩΝ (DATASET) ... 22
4.1 Μορφοποίηση ... 22
5. ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ (LINEAR REGRESSION) ... 24
5.1.1 Σκοπός της Συνάρτησης ... 24
5.2 Αποτελέσματα ... 25
5.3 Εξέταση χαρακτηριστικών dataset ... 26
5.3.1 Correlation Attribute Evaluator ... 27
5.3.2 Wrapper Subset Evaluator ... 27
6. ΠΕΡΙΓΡΑΦΗ ΑΛΓΟΡΙΘΜΩΝ ... 29
6.1 k-nearest Neighbors ... 29
6.2 Support Vector Machine (SVM) ... 30
6.2.1 Support vector machines – η γραμμική περίπτωση ... 30
6.2.2 Υπολογισμός Διαχωριστή ... 31
6.2.3 Kernel Trick ... 32
6.2.4 Kernel Function ... 34
6.2.5 Kernels ... 34
6.2.6 Pearson VII Universal Kernel ... 35
Για τον λόγο αυτό το PUK, μπορεί να χρησιμοποιηθεί ως kernel function. ... 35
6.2.7 Support Vector Regression (SVR) [30]... 36
6.3 Multilayer Perceptron ... 37
6.3.1 Οπισθοδιάδοση (Back-propagation) ... 38
6.4 Ensemble Learning ... 38
6.4.1 Stacking ... 38
7. ΠΕΙΡΑΜΑΤΑ ... 39
7.1 Αρχικά Πειράματα ... 39
7.1.1 k-nearest Neighbors ... 39
7.1.2 Support Vector Regression ... 39
7.1.3 Multilayer Perceptron ... 40
7.2 Πειράματα Βελτιστοποίησης ... 41
7.2.1 Διεύρυνση των παραδειγμάτων ... 41
7.2.2 Μείωση των Χαρακτηριστικών ... 42
7.2.3 Παραγωγή μοντέλου μέσω Stacking ... 43
8. ΣΥΜΠΕΡΑΣΜΑΤΑ ... 45
ΣΥΝΤΜΗΣΕΙΣ – ΑΡΚΤΙΚΟΛΕΞΑ – ΑΚΡΩΝΥΜΙΑ ... 50 ΑΝΑΦΟΡΕΣ ... 51
Σχήμα 1: Τρόποι χαρτογράφησης δεδομένων ... 17
Σχήμα 2: Περιγραφή κόμβου, νευρωνικού δικτύου ... 19
Σχήμα 3: Δύο διαφορετικοί διαχωρισμοί δεδομένων ... 21
Σχήμα 4: Αρνητικά και Θετικά Χαρακτηριστικά ... 27
Σχήμα 5: Αριστερά, οι διάφοροι διαχωριστές των δεδομένων Δεξιά, ο Maximum Margin Separator, με τους Support Vectors κυκλωμένους ... 31
Σχήμα 6: Μη-διαχωρίσιμα δεδομένα στον δισδιάστατο χώρο. ... 33
Σχήμα 7: Τα ίδια δεδομένα, διαχωρισμένα στον τρισδιάστατο χώρο ... 33
Σχήμα 8: Μη-γραμμικός διαχωρισμός... 34
Σχήμα 9: Περιγραφή perceptron ... 37
Σχήμα 10:Αριθμός δεδομένων σε διάφορα πεδία τιμών ... 45
Σχήμα 11: Προβλεπόμενος αριθμός δεδομένων σε διάφορα πεδία τιμών ... 46
Εικόνα 1: Αρχική Μορφή Παραδειγμάτων ... 22 Εικόνα 2: Μορφοποίηση Παραδειγμάτων ... 22
Πίνακας 1: Levels ... 25
Πίνακας 2: Importance ... 25
Πίνακας 3: Level/Importance ... 26
Πίνακας 4: Αποτελέσματα 21-nearest neighbors ... 39
Πίνακας 5: Αποτελέσματα SVM με PUK ... 40
Πίνακας 6: Αποτελέσματα MLP ... 41
Πίνακας 7: Αποτελέσματα SVM και στις δύο βάσεις δεδομένων ... 42
Πίνακας 8: Τελικά χαρακτηριστικά και γνώσεις που επιλέχθηκαν ... 42
Πίνακας 9: Αποτελέσματα SVM στο νέο dataset με feature reduction ... 43
Πίνακας 10: Αποτελέσματα Stacking ... 44
Την περίοδο την οποία συλλήφθηκε η ιδέα για την εργασία αυτή, η τεχνητή νοημοσύνη ήταν το πιο «καυτό» επιστημονικό θέμα στη δημοσιότητα. Φυσικά, τους τελευταίους έξι μήνες δεν έχουν αλλάξει πολλά στον τρόπο που αυτή γίνεται αντιληπτή από τον κόσμο.
Από τον Δεκέμβρη του 2017, τα μέσα μαζικής ενημέρωσης, μας βομβαρδίζουν με έρευνες και μελέτες πάνω στην αυτοματοποίηση των επαγγελμάτων. Κάτι τέτοιο είναι αρκετά λογικό, καθώς η εργασία ενός ανθρώπου αποτελεί ίσως το μεγαλύτερο κομμάτι της ημέρας του και συνεπώς οτιδήποτε μπορεί να την θέτει σε κίνδυνο, καλό θα ήταν να του ήταν γνωστό.
Η τεχνητή νοημοσύνη είναι ένας κλάδος της πληροφορικής που βρίσκω αρκετά ενδιαφέρον και καθώς βρισκόμουν σε επικοινωνία με τον κύριο Σταματόπουλο, βρήκα την ευκαιρία να του ζητήσω ένα θέμα πτυχιακής εργασίας πάνω στο θέμα. Εκείνος, αποκρίθηκε άμεσα και μου έστειλε μια λίστα από διάφορα θέματα. Όμως, καθώς το θέμα της αυτοματοποίησης της εργασίας ήταν και είναι αρκετά επίκαιρο, τον ρώτησα εάν μπορούσαμε να κάνουμε κάτι πάνω σε αυτό.
Έτσι, με την καθοδήγηση του, μπόρεσα να συλλέξω ικανοποιητικά στοιχεία πάνω στο θέμα, για την εκπόνηση μιας εργασίας. Μέσα από αυτή την προσπάθεια, κατάφερα να επεκτείνω τόσο της γνώσεις μου στο ερευνητικό αλλά και στο τεχνικό κομμάτι. Διάβασα και κατανόησα μεθόδους μηχανικής μάθησης και διαχείρισης δεδομένων που εάν δεν είχα ασχοληθεί με την εργασία μπορεί να μην γνώριζα πότε. Συνεπώς, με τις γνώσεις αυτές τις οποίες αναπτύσσω συνεχώς, βρίσκομαι στη θέση να μελετήσω οποιοδήποτε θέμα κρίνω ενδιαφέρον στο μέλλον και να εφαρμόσω σε αυτό παρόμοιες μεθόδους.
Η εκπόνηση της εργασίας αυτής ήταν μια προκλητική διαδικασία μέσω της οποίας κατάφερα να διευρύνω τις γνώσεις μου και τις ικανότητες μου. Ήταν μια διαδικασία με την οποία δεν μετανιώνω που ασχολήθηκα και την οποία θα πρότεινα σε όποιον θέλει να εξετάσει τα γνωστικά του όρια στο προπτυχιακό, να δοκιμάσει.
1. ΕΙΣΑΓΩΓΗ
1.1 Ιστορία της Αυτοματοποίησης - Βιομηχανική Επανάσταση
Η αυτοματοποίηση μιας εργασίας έχει πραγματοποιηθεί με διάφορους τρόπους ανά τα έτη. Στην εποχή της βιομηχανικής επανάστασης και όσο προχωρούσε η τεχνολογία, πολλές δουλειές στα εργοστάσια, που πριν γινόντουσαν στο χέρι, υποβοηθήθηκαν από μηχανήματα. Στην βιομηχανία ρούχων, για παράδειγμα, η ένταξη μηχανών κλώσης και ύφανσης έκανε την διαδικασία παραγωγής νήματος, μία εργασία που πριν γινόταν στο χέρι, πολύ πιο γρήγορη. Παρ’ όλα αυτά, ο εργάτης δεν έπαψε να εργάζεται, απλά αυτό που συνέβη ήταν ότι άλλαξε ο τρόπος με τον οποίο διεξαγόταν η εργασία του, μιας και ένα σημαντικό ποσοστό αυτής γινόταν πλέον αυτόματα.
Το σημαντικότερο παράδειγμα μηχανής που αρχικά ενώ υποβοηθούσε την εργασία, στην βιομηχανία ρούχων, κατέληξε να μπορεί να κάνει την δουλειά εξ ολοκλήρου, είναι αυτό του αργαλειού. Με τον αργαλειό, ένας άνθρωπος ύφαινε τις κλωστές και δημιουργούσε υφάσματα. Αρχικά ο εργάτης λειτουργούσε τον αργαλειό εξ ολοκλήρου, σιγά-σιγά όμως, με την δημιουργία μηχανικών αργαλειών, η διαδικασία αυτή ξεκίνησε να αυτοματοποιείται. Ο Edmund Cartwright το 1784 [6] δημιουργεί την πρώτη τέτοια μηχανή, η οποία υπέστη αρκετές τροποποιήσεις ανά τα έτη. Αρχικά, λειτουργούσε με την βοήθεια ενός βοδιού, ενώ το 1786 το βόδι αντικαταστάθηκε από μία ατμομηχανή, εκτοξεύοντας έτσι την υφαντουργία στην Βιομηχανική Επανάσταση. Έτσι, μέχρι και τα μέσα του 19ου αιώνα και παρατηρώντας το οικονομικό όφελος που είχε μια τέτοια συσκευή για τους βιομήχανους, η διαδικασία της ύφανσης είχε αυτοματοποιηθεί πλήρως.
1.2 Επιστημονική Επανάσταση
Η εφεύρεση της ατμομηχανής, ήταν το πρώτο στάδιο για την εξέλιξη της μοντέρνας κοινωνίας. Όμως, ήδη από τα τέλη του 19ου αιώνα, και ειδικότερα στις αρχές του 20ου, η μεγάλη βελτίωση στους διάφορους επιστημονικούς τομείς (Μαθηματικά, Φυσική, Χημεία, Βιολογία), οδήγησε σε μια πληθώρα εφευρέσεων, οι οποίες δεν άλλαξαν μόνο την καθημερινή ζωή της ανθρωπότητας, αλλά και τον τρόπο που εκτελεί την εργασία της.
Τα κατορθώματα της Μηχανικής και της Χημείας, για παράδειγμα, πρόσφεραν σε διάφορους τομείς, όπως τον αγροτικό (λιπάσματα, εντομοκτόνα), τον βιομηχανικό (δημιουργία του αυτοκινήτου και του αεροπλάνου) αλλά και τον ιατρικό, αφού πρόσφεραν τρόπους για την καλύτερη κατανόηση των λειτουργιών του ανθρωπίνου οργανισμού. Επιπλέον, η εφεύρεση του ηλεκτρικού φωτισμού, του τηλεφώνου και του ραδιοφώνου, έκαναν την ζωή στις πόλεις πιο προσιτή, κάτι που σε συνδυασμό με την πληθώρα εργασιών σε αυτές, οδήγησε πολλούς, να φύγουν από την επαρχία και να αναζητήσουν έναν αστικό τρόπο ζωής.
Παρ’ όλο που όλες αυτές οι εφευρέσεις οδήγησαν ορισμένους εκτός της αγοράς εργασίας, καθώς δυσκολεύονταν να προσαρμοστούν στους νέους ρυθμούς ζωής, τα επαγγέλματα και οι ευκαιρίες που δημιουργήθηκαν για όλους, ήταν πολύ περισσότερα από αυτά που αυτοματοποιήθηκαν ή έπαψαν να υπάρχουν.
1.3 Τεχνολογική Επανάσταση
Από την βιομηχανική επανάσταση όμως, πολλά έχουν αλλάξει. Η αυτοματοποίηση της εργασίας δεν περιορίστηκε μόνο στις βιομηχανίες, αλλά επεκτάθηκε και σε άλλους τομείς. Με την εφεύρεση του υπολογιστή στα μέσα του 20ου αιώνα, ο κόσμος οδηγήθηκε
σε μια Τεχνολογική Επανάσταση η οποία άλλαξε ριζικά τον τρόπο με τον οποίο οι άνθρωποι διεξάγουν την εργασία τους. Ειδικότερα, από το 1954 και έπειτα ο τρόπος με τον οποίο λειτουργούν οι επιχειρήσεις ανά τον κόσμο άλλαξε δραστικά. Εκείνη ήταν η χρονιά που η IBM, εισήγαγε στην αγορά τον πρώτο γενικής χρήσης, μαζικά παραγόμενο υπολογιστή, ΙΒΜ 650 [7]. Το γεγονός ότι ο υπολογιστής αυτός ήταν γενικής χρήσης σημαίνει πως ο κάθε επαγγελματίας με ορισμένη εκπαίδευση μπορούσε να τον χρησιμοποιήσει για να αναλύσει ένα μεγάλο εύρος εργασιακών προβλημάτων, κάτι το οποίο μέχρι τότε γινόταν από εξειδικευμένους επαγγελματίες, τους αποκαλούμενους «υπολογιστές» [8]. Ένα τέτοιο πρόβλημα, για παράδειγμα, ήταν η εύρεση του ποσού που θα πρέπει να πληρώσει μία ασφαλιστική στους μετόχους της [9].
Φυσικά, η επίλυση των προβλημάτων αυτών απαιτούσε γνώση προγραμματισμού, κάτι το οποίο δεν μπορούσε να κάνει ο οποιοσδήποτε εκείνη την εποχή, αφού ήταν ακόμη στα πρώιμα στάδια του. Αυτό σημαίνει πως η δημιουργία αυτού του υπολογιστή δεν απείλησε με αυτοματοποίηση κάποια άλλη εργασία πέρα από αυτή του ανθρώπινου υπολογιστή. Αντιθέτως, έθεσε την αρχή για πολλές άλλες με τις οποίες είμαστε γνώριμοι σήμερα, όπως αυτές των τεχνικών υπολογιστών και των μοντέρνων προγραμματιστών.
Επιπλέον, παρουσιάζει αρκετό ενδιαφέρον η μελέτη αυτής της υπολογιστικής μηχανής, καθώς ήταν ο πρόγονος των υπολογιστικών μηχανών που θα ακολουθούσαν και κατά συνέπεια και του προσωπικού υπολογιστή.
Με την εφεύρεση των μικροεπεξεργαστών, έγινε εφικτή η ύπαρξη τεράστιας υπολογιστικής δύναμης σε πολύ μικρό χώρο, πράγμα το οποίο άνοιξε το δρόμο σε μια μεγάλη ποικιλία δυνατοτήτων. Ο προσωπικός υπολογιστής και το smartphone είναι τέτοιου είδους παραδείγματα που δίνουν την ελευθερία στον οποιοδήποτε να κάνει πολυάριθμες διαδικασίες από όπου κι αν βρίσκεται. Ιδιαίτερα, στην εργασία που είναι και η ασχολία της παρούσας μελέτης, οι εργαζόμενοι μπορούν να ερευνούν, να υπολογίζουν, να επικοινωνούν με συναδέλφους τους και να αποστέλλουν μεγάλα ποσά δεδομένων, με το πάτημα ενός κουμπιού. Αυτό σημαίνει πως πλέον δεν χρειάζεται κάποιος εταιρικός συνεργάτης για να εκτελεί τις παραπάνω εργασίες, ενώ όσον αφορά άλλες διαδικασίες δεν χρειάζονται πλέον να γίνονται εξ ολοκλήρου από έναν άνθρωπο.
Οι δυνατότητες συνεπώς των μικροεπεξεργαστών όσον αφορά την αυτοματοποίηση της εργασίας είναι αναρίθμητες και αυτό είναι κάτι το οποίο δεν έχει διστάσει να χρησιμοποιήσει η βιομηχανία. Μετά την μηχανοποίηση, σειρά έχει η αυτοματοποίηση να αντικαταστήσει τον εναπομείναντα ανθρώπινο παράγοντα στα εργοστάσια.
Ρομποτικές μηχανές πλέον μπορούν και κάνουν τις εργασίες που απαιτούν αυτοματοποιημένες κινήσεις, με το θετικό σε σύγκριση με τον άνθρωπο στοιχείο, ότι εργάζονται ακατάπαυστα, χωρίς πτώση στην παραγωγικότητα. Φυσικά, οι διαδικασίες που πραγματοποιούνται από αυτές τις μηχανές είναι προγραμματισμένες και διεξάγονται με συγκεκριμένο τρόπο, κάτι το οποίο στην βιομηχανία δεν είναι αρνητικό, αφού η εργασία χρειάζεται ακρίβεια. Είναι δυνατόν όμως, μία τέτοια μηχανή να προγραμματιστεί με τρόπο τέτοιο, που οι διαδικασίες οι οποίες θα εκτελεί δεν θα είναι προκαθορισμένες, αλλά θα αποφασίζονται από την ίδια, όπως ακριβώς θα έκανε και ένας άνθρωπος.
1.4 Τεχνητή Νοημοσύνη
Ένας όρος που την τελευταία δεκαετία βρίσκεται όλο και περισσότερο στο προσκήνιο είναι αυτός της τεχνητής νοημοσύνης. Έτσι ονομάστηκε το 1956 ο ευρύτερος κλάδος της επιστήμης των υπολογιστών που ασχολείται με μηχανές που επιδεικνύουν νοημοσύνη. Φυσικά, δεν είναι ανάγκη κάθε μηχανή να είναι ρομποτική ή ανθρωπόμορφη, για να έχει τεχνητή νοημοσύνη, αλλά αρκεί να έχει έναν δυνατό
επεξεργαστή, πράγμα που η ύπαρξη του microchip κατέστησε εφικτό για πολλές συσκευές. Παραδείγματος χάρη, ένα λογισμικό παιχνιδιού λειτουργεί με τέτοιο τρόπο ώστε να κατανοεί και να εξετάζει την κατάσταση στην οποία βρίσκεται και να δρα αναλόγως. Η μηχανή αναζήτησης βάσει φωτογραφιών της Google, είναι κι αυτή μια μορφή τεχνητής νοημοσύνης, καθώς μπορεί να συγκρίνει μια φωτογραφία με δισεκατομμύρια άλλες, και να επιστρέψει ακριβή αποτελέσματα πάνω σε αυτό που απεικονίζεται.
Η τέταρτη αυτή επανάσταση που βιώνει η ανθρωπότητα του 21ου αιώνα, παρότι έχει αρκετές ομοιότητες με τις τρεις προηγούμενες, όσον αφορά τον τρόπο με τον οποίο αλλάζει η καθημερινότητα και η εργασία, διαφέρει αρκετά σε άλλους τομείς. Δεν είναι μόνο οι απλές εργασίες που απειλούνται με αυτοματοποίηση, αλλά και ορισμένες πολυσύνθετες εργασίες, που περιλαμβάνουν μια πληθώρα διεργασιών και εγκεφαλικών λειτουργιών. Ένα παράδειγμα είναι αυτό του οδηγού. Η εργασία αυτή απαιτεί έναν συνδυασμό ενεργειών, όπως είναι η συνεχής παρατήρηση του γύρω περιβάλλοντος, η ταχύτατη λήψη αποφάσεων, καθώς και η επιλογή βέλτιστων διαδρομών και γενικότερα η βελτιστοποίηση της εργασίας στην πάροδο του χρόνου. Όλες αυτές είναι διαδικασίες, οι οποίες μπορούν να πραγματοποιηθούν σε πολύ καλό επίπεδο από μια μοντέρνα μηχανή Τεχνητής Νοημοσύνης, και ιδιαίτερα η τελευταία υποβοηθείται μέσω της μηχανικής μάθησης. Είναι λοιπόν αρκετά ανησυχητική, για τους εργαζομένους, η δύναμη των A.I (Artificial Intelligence) μηχανών, όσον αφορά τις εφαρμογές τους στην αγορά εργασίας.
Άλλες εφαρμογές της τεχνητής νοημοσύνης είναι, οι προσωπικοί βοηθοί στα κινητά (Siri, Google Now), οι οποίοι αναλύουν τις φωνητικές εντολές και δίνουν απαντήσεις, όπως ακριβώς θα έκανε και ένας άνθρωπος. Μάλιστα, πολλές είναι οι περιπτώσεις που οι νοήμονες μηχανές έχουν ξεπεράσει και τους ανθρώπους. Για παράδειγμα, η Google ανέπτυξε μία μηχανή που διαβάζει χείλη πολύ γρηγορότερα από επαγγελματία του είδους, ενώ τον Μάρτιο του 2016 ο παγκόσμιος πρωταθλητής στο GO ένα αρκετά περίπλοκο παιχνίδι, νικήθηκε από έναν υπολογιστή [10].
Πέρα όμως από ανθρώπινες γνωστικές λειτουργίες, η μοντέρνα τεχνητή νοημοσύνη, έχει καταφέρει να μιμηθεί αισθήσεις και συναισθήματα, με ελπιδοφόρα αποτελέσματα.
Ρομπότ με «δέρμα» το οποίο αισθάνεται επιφάνειες και αντικείμενα και μηχανές που αντιλαμβάνονται συναισθηματικές αντιδράσεις σε διαφημίσεις, είναι ορισμένα τέτοια παραδείγματα [10]. Παρ’ όλα αυτά κάθε τέτοια μηχανή είναι εκπαιδευμένη στο να εκτελεί μια ορισμένη λειτουργία και της είναι αδύνατο να χρησιμοποιήσει τα δεδομένα που πήρε από αυτή για κάτι άλλο. Διαφέρει συνεπώς από την γενική νοημοσύνη του ανθρώπου, ο οποίος μπορεί να εκπαιδευτεί σε πολλές διαφορετικές λειτουργίες, ενώ όταν χρειάζεται να μάθει κάτι καινούριο, δεν ξεκινάει από το μηδέν.
2. Μηχανική Μάθηση
2.1 Εισαγωγή
Ο τρόπος με τον οποίο επιτυγχάνεται η εκπαίδευση μίας μηχανής μιμείται σε μεγάλο βαθμό τον τρόπο που επιτυγχάνεται η ανθρώπινη εκπαίδευση. Αυτό γιατί, σε αντίθεση με το να μαθαίνει ένας προγραμματιστής στον υπολογιστή όσα χρειάζεται να ξέρει, χρησιμοποιεί ορισμένους αλγορίθμους, με σκοπό ο υπολογιστής να μάθει μόνος του, μέσα από μια σειρά δεδομένων. Αυτή η ανακάλυψη, αποτελεί τον πυλώνα της μοντέρνας τεχνητής νοημοσύνης, και αποδίδεται στον Arthur Samuel, ο οποίος έμαθε σε έναν υπολογιστή να παίζει το παιχνίδι checkers, μιμούμενο τις κινήσεις που περιγράφονταν στο βιβλίο, «Lee’s Guide to Checkers» [11].
Η εκπαίδευση των μηχανών σε μια διαδικασία, αποτελείται από μια πληθώρα μοντέλων καθώς και διάφορους τρόπους εκμάθησης.
2.2 Είδη Μάθησης
Οι πιο διαδεδομένες διαδικασίες μάθησης που χρησιμοποιούνται στην μηχανική μάθηση είναι οι εξής:
1. Επιβλεπόμενη μάθηση (Supervised learning) 2. Μη-επιβλεπόμενη μάθηση (Unsupervised learning) 3. Ενισχυτική μάθηση (Reinforcement learning)
Η πρώτη εξ αυτών, είναι η διαδικασία που θα χρησιμοποιηθεί στην παρούσα εργασία.
Αυτό γιατί, το ποσοστό της αυτοματοποίησης ενός επαγγέλματος, είναι ένας αριθμός που ανήκει σε ένα σύνολο από άπειρους αριθμούς. Θα πρέπει λοιπόν η μηχανή να γνωρίζει την αντιστοιχία των δεδομένων με ένα αποτέλεσμα, για να κάνει μια επιτυχή πρόβλεψη. Στην συγκεκριμένη περίπτωση, το αποτέλεσμα αυτό είναι ο βαθμός αυτοματοποίησης μιας εργασίας.
2.2.1 Επιβλεπόμενη Μάθηση
Σε αυτή την μορφή μάθησης, ο ευφυής πράκτορας, παρατηρεί μια σειρά από παραδείγματα ζευγαριών εισόδου-εξόδου (𝑥𝑖, 𝑦𝑖), όπου
1 ≤ 𝑖 ≤ 𝑁, 𝑁 = 𝛼𝜌𝜄𝜃𝜇ό𝜍 𝜋𝛼𝜌𝛼𝛿𝜀𝜄𝛾𝜇ά𝜏𝜔𝜈
Κάθε 𝑦𝑖, παράχθηκε από μια άγνωστη συνάρτηση, 𝑦 = 𝑓(𝑥). Σκοπός της επιβλεπόμενης μάθησης, λοιπόν, είναι η εύρεση μιας συνάρτησης υπόθεσης, ℎ(𝑥), η οποία θα προσεγγίζει όσον το δυνατόν καλύτερα την συνάρτηση 𝑓.
Η συνάρτηση αυτή μπορεί να είναι γραμμική ή πολυωνυμική, και θα χαρτογραφεί τα δεδομένα με έναν από τους τρόπους που φαίνονται στο Σχήμα 1. [12]
Σχήμα 1: Τρόποι χαρτογράφησης δεδομένων
2.2.2 Μη-επιβλεπόμενη Μάθηση
Στην περίπτωση αυτή που η έξοδος 𝑦 προέρχεται από ένα σύνολο κατηγοριών, όπως π.χ βροχερός, ηλιόλουστος ή συννεφιασμένος (για την περιγραφή του καιρού), τότε το πρόβλημα μάθησης είναι πρόβλημα ταξινόμησης. Η πιο συνήθης διαδικασία ταξινόμησης είναι η ομαδοποίηση (clustering). Σε αυτή τη διαδικασία, τα δεδομένα διαχωρίζονται σε ομάδες βάσει ορισμένων χαρακτηριστικών τους. Ο πράκτορας μελετά τα δεδομένα και με τη βοήθεια αλγορίθμων μη-επιβλεπόμενης μάθησης, τα κατατάσσει στην κατάλληλη κατηγορία.
2.2.3 Ενισχυτική Μάθηση
Η διαδικασία αυτή, επιβραβεύει τον πράκτορα όταν κάνει μια σωστή κίνηση, και τον τιμωρεί όταν κάνει μια λάθος. Με τον τρόπο αυτό μαθαίνει από τις κινήσεις του και σε κάθε προσέγγιση του προβλήματος, ακολουθεί το χαρτογραφημένο μονοπάτι με τις περισσότερες επιβραβεύσεις και τις λιγότερες τιμωρίες. Αυτή η μορφή μάθησης είναι ιδιαίτερα χρήσιμη σε προβλήματα περιπλάνησης σε περίπλοκους χώρους, όπως έναν λαβύρινθο. Γενικότερα, είναι μια μορφή μάθησης που περιγράφει την Τεχνητή Νοημοσύνη: Ένας πράκτορας τοποθετείται σε ένα περιβάλλον και πρέπει να μάθει να συμπεριφέρεται με επιτυχία, μέσα σε αυτό [13]. Παρότι αποτελεί μια πολύ ενδιαφέρουσα μορφή μάθησης, το πεδίο μελέτης της είναι εκτενές και συνεπώς δεν θα επεκταθεί σε αυτή την εργασία, στην οποία και δεν χρησιμοποιείται.
2.3 Μοντέλα Μηχανικής Μάθησης
2.3.1 Νευρωνικά Δίκτυα
Τα επικρατέστερα μοντέλα μηχανικής μάθησης, είναι τα λεγόμενα νευρωνικά δίκτυα. Τα μοντέλα αυτά, αποτελούν μια υπολογιστική απεικόνιση των νευρώνων του ανθρωπίνου εγκεφάλου. Ένα νευρωνικό δίκτυο αποτελείται από κόμβους (units), οι οποίοι συνδέονται μεταξύ τους με κατευθυνόμενους συνδέσμους (links). Κάθε κόμβος i, έχει μια συνάρτηση ενεργοποίησης g, η οποία λαμβάνει την είσοδο inj και παράγει έξοδο σε έναν άλλο κόμβο j, aj = g(inj).
𝑔(𝑖𝑛𝑗) = 𝑔(∑ 𝑊𝑗,𝑖𝑎𝑗)
𝑁
𝐽=0
Επιπλέον, κάθε σύνδεση έχει ένα βάρος πόλωσης, 𝑊0,𝑖, το οποίο θέτει το κατώφλι (threshold), για την ενεργοποίηση του νευρώνα. Ένας νευρώνας ενεργοποιείται όταν έχει τιμή κοντά στο 1, ενώ παραμένει ανενεργός για τιμές κοντά στο 0. Έτσι θα ενεργοποιηθεί μονάχα αν το σταθμισμένο άθροισμα, των εισόδων 𝑖𝑛𝑗, εξαιρουμένου του j=0, υπερβαίνει το βάρος πόλωσης [14].
2.3.2 Μοντελοποίηση Νευρωνικών Δικτύων
Η επικοινωνία μεταξύ των κόμβων συνήθως γίνεται από τους προηγούμενους στους επόμενους, δίχως ανατροφοδότηση (feed forward), αλλά μπορεί να γίνει και αναδρομικά. Στη τελευταία περίπτωση, το δίκτυο ανατροφοδοτεί τις εξόδους του στις εισόδους του. Έτσι, καθώς η απόκριση του δικτύου σε μια είσοδο εξαρτάται από τις προηγούμενες εισόδους του, τα μοντέλα αυτά μπορούν να υποστηρίξουν βραχυπρόθεσμη μνήμη. Είναι συνεπώς, μια καλύτερη απεικόνιση της λειτουργίας του εγκεφάλου.
Τα εμπροσθοτροφοδότούμενα (feed-forward) Νευρωνικά Δίκτυα με τα οποία και θα ασχοληθεί αυτή η εργασία, αποτελούνται συνήθως από επίπεδα (layers), σε αυτά ανήκουν τα επίπεδα εισόδου και εξόδου, καθώς και τα κρυφά επίπεδα τα οποία είναι αυτά που βρίσκονται μεταξύ των προηγουμένων.
2.3.3 Δίκτυο Αισθητήρα
Το δίκτυο που δεν έχει κρυφά επίπεδα ονομάζεται δίκτυο αισθητήρα (perceptron). Με την βοήθεια αλγορίθμων μάθησης, οι αισθητήρες μπορούν να προσαρμοστούν σε οποιοδήποτε γραμμικά διαχωρίσιμο σύνολο εκπαίδευσης [14]. Με τη βοήθεια της μεθόδου κατάβασης πλαγιάς (gradient descent), είναι δυνατόν να ελαχιστοποιηθεί το τετράγωνο των σφαλμάτων (𝑦 − ℎ𝑤(𝑥))2, όπου ℎ𝑤(𝑥) ή έξοδος του αισθητήρα.
Προκύπτει λοιπόν για τα βάρη
𝑊𝑗 ← 𝑊𝑗+ 𝑎 ∗ 𝐸𝑟𝑟𝑜𝑟 ∗ 𝑔′(𝑖𝑛) ∗ 𝑥𝑗
Όπου, α είναι ο ρυθμός μάθησης (learning rate). Αν το σφάλμα είναι θετικό, τότε η έξοδος είναι πολύ μικρή και τα βάρη αυξάνονται για τις θετικές εξόδους ενώ μειώνονται για τις αρνητικές. Το αντίθετο συμβαίνει για τα αρνητικά σφάλματα [14].
Παρότι τα perceptrons, δεν έχουν μεγάλη υπολογιστική δύναμη (αδυνατούν να αναπαραστήσουν πολλές Boolean συναρτήσεις), είναι η βάση των πολύ-επίπεδων νευρωνικών δικτύων. Ένα τέτοιο δίκτυο (Multilayer Perceptron), θα χρησιμοποιηθεί και σε αυτή την εργασία.
Στο Σχήμα 2, περιγράφεται ένα perceptron και η λειτουργία του.
Σχήμα 2: Περιγραφή κόμβου, νευρωνικού δικτύου
2.4 Σύνοψη
Οι μηχανές που έχουν προικιστεί με τεχνητή νοημοσύνη είναι ικανές να κάνουν πολυάριθμες διαδικασίες, που απαιτούν υψηλά επίπεδα νόησης από έναν άνθρωπο.
Δεν θα ήταν συνεπώς παράλογο να χρησιμοποιήσει κανείς μία υπολογιστική ή και ρομποτική μηχανή, για να κάνει μία επαγγελματική εργασία. Ήδη για εργασίες που χρησιμοποιούν πληθώρα δεδομένων, ένας υπολογιστής μπορεί να δώσει πολύ καλύτερα αποτελέσματα, σε λιγότερο χρόνο, από έναν άνθρωπο. Είναι λοιπόν πιθανόν η τεχνητή νοημοσύνη να οδηγήσει σε μια καινούρια εποχή αυτοματοποίησης, ανόμοια με αυτές τους παρελθόντος.
3. Περιγραφή προγράμματος WEKA
Το πρόγραμμα που χρησιμοποιήθηκε για να γίνει η εκπαίδευση ονομάζεται WEKA (Waikato Environment for Knowledge Analysis) [15] και αναπτύχθηκε από ερευνητές του πανεπιστημίου του Waikato, στη Νέα Ζηλανδία. Σκοπός του είναι να γίνει η μηχανική μάθηση πιο προσβάσιμη, καθώς περιλαμβάνει ένα σύνολο έτοιμων αλγορίθμων, για χρήση πάνω σε datasets.
3.1 Αλγόριθμοι WEKA
Το WEKA περιέχει μια πληθώρα αλγορίθμων μηχανικής μάθησης και εξόρυξης δεδομένων. Οι κυριότερες κατηγορίες αλγορίθμων είναι οι εξής:
1. Ταξινομητές Bayes
2. Μηχανές Διανυσμάτων Υποστήριξης και Νευρωνικά Δίκτυα (Support Vector Machine, Multilayer Perceptron)
3. Lazy Αλγόριθμοι (Κοντινότεροι Γείτονες) 4. Trees
Η δεύτερη και τρίτη κατηγορία θα αναλυθούν εκτενώς στη συνέχεια αυτής της εργασίας, καθώς έχουν την δυνατότητα να χρησιμοποιηθούν για προβλήματα παλινδρόμησης, όπως αυτό που μελετάται.
Εκτός αυτού, προσφέρει τη δυνατότητα διασταυρωμένης επικύρωσης σε k μέρη (k-fold cross-validation) στα δεδομένα. Έτσι, χωρίζει το dataset σε k περίπου ίσα μέρη και χρησιμοποιεί το καθένα από αυτά σαν σύνολο εκπαίδευσης (training set) και τα k-1 υπόλοιπα, σαν σύνολο ελεγχου (testing set). Έτσι, εξετάζεται με πολλούς τρόπους το δίκτυο σε άγνωστα δεδομένα αποφεύγοντας την πολύ καλή αλλά ειδικευμένη εκπαίδευση σε ένα σύνολο δεδομένων. Το φαινόμενο αυτό ονομάζεται υπερπροσαρμογή (overfitting) και αποτρέπει μια εκπαιδευμένη μηχανή από το να γενικεύει σε άγνωστα δεδομένα. [16]
Ένα μοντέλο προβλέψεων προσπαθεί να βρει την γενική εικόνα και να διαχωρίσει τα δεδομένα κατάλληλα. Για παράδειγμα, στο Σχήμα 3 το μοντέλο θα διαχωρίσει σωστά τα δεδομένα με την μαύρη και όχι με την πράσινη γραμμή. Αυτό, γιατί, θέλει να πάρει το γενικότερο σήμα και όχι τον θόρυβο (noise) που μπορεί να υπάρχει. Θόρυβος, είναι τα διάφορα κόκκινα στοιχεία που μπορεί να υπάρχουν στον χώρο των μπλε ή το αντίθετο.
[17]
Σχήμα 3: Δύο διαφορετικοί διαχωρισμοί δεδομένων
Γενικότερα, στη στατιστική, η προσαρμογή αναφέρεται στο πόσο καλά οι προβλεπόμενες τιμές του μοντέλου ταιριάζουν στις αληθινές. Ένα μοντέλο που έχει υποστεί υπερπροσαρμογή, δυσκολεύεται να διαχωρίσει το σήμα από το θόρυβο και καταλήγει να απομνημονεύει το θόρυβο στα δεδομένα και να δυσκολεύεται στην γενίκευση. [17]
4. Επιλογή Δεδομένων (Dataset)
Το πρώτο βήμα στην αρχή του πειράματος, είναι η επιλογή των δεδομένων. Σκοπός της εργασίας αυτής είναι να βρεθεί ένα ποσοστό αυτοματοποίησης μιας εργασίας, βάσει ορισμένων στοιχείων που την απαρτίζουν. Συνεπώς, ένα σύνολο δεδομένων που αποτελείται από ατομικές εργασίες, ικανότητες και δεξιότητες που χρειάζονται σε ένα επάγγελμα, θα ήταν βέλτιστο. Ευτυχώς, η βάση δεδομένων του O*NET έχει και τα τρία προαναφερθέντα στοιχεία, ενώ περιλαμβάνει και στοιχεία πάνω στις γνώσεις και τη μόρφωση των διαφόρων επαγγελματιών. Με το WEKA είναι δυνατό να ληφθεί ως εισαγωγικό dataset ένα αρχείο CSV, αλλά πρέπει πρώτα να μορφοποιηθεί καταλλήλως.
Συνεπώς, τα δεδομένα που προέρχονται από το O*NET, παρότι είναι χρήσιμα για την εργασία θα πρέπει να μορφοποιηθούν καταλλήλως.
4.1 Μορφοποίηση
Τα αρχικά δεδομένα είναι χαοτικά και καθόλου εύκολα στην διαχείριση καθώς κατηγοριοποιούνται ανά στήλες και όχι κατά επάγγελμα. Αυτό φαίνεται και στην Εικόνα 1.
Συνεπώς χρησιμοποιήθηκε ένας συγκεντρωτικός πίνακας (pivot table) στο Excel για την ταξινόμηση τους βάσει επαγγέλματος, όπως φαίνεται στην Εικόνα 2.
Εικόνα 1: Αρχική Μορφή Παραδειγμάτων
Εικόνα 2: Μορφοποίηση Παραδειγμάτων
Κάθε χαρακτηριστικό χωρίζεται σε Level (Επίπεδο χρηστικότητας) και Importance (Σημασία της ικανότητας στην εργασία). Τα Levels παίρνουν τιμές 𝑥, 0 ≤ 𝑥 ≤ 7 ενώ για τις τιμές του Importance ισχύει, 0 < 𝑥 ≤ 5 . Η τελευταία βάση δεδομένων του O*NET (έκδοση 22.2) [18], περιέχει χαρακτηριστικά για 966 διαφορετικά επαγγέλματα. Ενώ περιέχει, 35, 52, 34 και 41 χαρακτηριστικά, στα Skills, Abilities, Knowledge και Work Activities, αντίστοιχα.
Συνολικά, το dataset το οποίο χρησιμοποιήθηκε περιέχει 162 χαρακτηριστικά.
5. Γραμμική Παλινδρόμηση (Linear Regression)
Για να βρεθούν ποια δεδομένα θα χρησιμοποιηθούν, εξετάστηκαν αρκετοί συνδυασμοί τους, με χρήση γραμμικής παλινδρόμησης (linear regression). Ο λόγος που χρησιμοποιήθηκε αυτός ο αλγόριθμος είναι γιατί, μπορεί να δώσει αρκετά καλά αποτελέσματα χωρίς πολλούς υπολογισμούς. Η μέθοδος αυτή, χρησιμοποιείται για να συγκρίνει μια εξαρτημένη παράμετρο Υ, με ένα σύνολο παραμέτρων Χ, δίνοντας μια συνάρτηση του τύπου:
𝑦𝑖 = 𝛽0+ 𝛽1𝑥𝑖1+ ⋯ + 𝛽𝑘𝑥𝑖𝑘+ 𝜀𝜄, 𝑖 = 1, … , 𝑛 όπου:
• 𝑦 = (𝑦1, 𝑦2, … , 𝑦𝑘), ονομάζεται εξαρτημένη μεταβλητή και είναι η μεταβλητή που χρησιμοποιείται σαν label για την επιβλεπόμενη μάθηση.
• 𝛸 = (𝑥𝑖1, 𝑥𝑖2, … , 𝑥𝑖𝑘), ονομάζονται ανεξάρτητες μεταβλητές, και αυτές χρησιμοποιούνται για την πρόβλεψη μιας μεταβλητής Y.
• Τα 𝛽0 𝜅𝛼𝜄 𝛽1…𝑘, είναι άγνωστες σταθερές που αναπαριστούν, το σημείο τομής στο Υ και την κλίση της συνάρτησης αντίστοιχα. Ειδικότερα, το 𝛽0 δείχνει την τιμή της εξαρτημένης μεταβλητής, όταν όλες οι επεξηγηματικές είναι 0. Tα 𝛽1…𝑘, δείχνουν την μεταβολή που θα υποστεί κατά μέση τιμή η y, όταν υπάρξει μεταβολή μιας
επεξηγηματικής μεταβλητής κατά μια μονάδα, ενώ οι υπόλοιπες παραμείνουν σταθερές. [19]
• To ε ονομάζεται λανθασμένος όρος ή θόρυβος . Αυτή η μεταβλητή καλύπτει όλους τους άλλους παράγοντες που επηρεάζουν την εξαρτημένη μεταβλητή, εκτός των μεταβλητών Χ. Η σχέση μεταξύ του όρου σφάλματος και των μεταβλητών, είναι ένα κρίσιμο βήμα για τη διαμόρφωση ενός μοντέλου γραμμικής παλινδρόμησης, καθώς ορίζει τη μέθοδο που θα χρησιμοποιηθεί για την εκτίμηση.
5.1 Συνάρτηση Γραμμικής Παλινδρόμησης
To μοντέλο μπορεί να γραφτεί σε μορφή πινάκων ως εξής.
𝛶 = (
𝑦1 𝑦2 𝑦⋮𝑛
) , 𝑋 =
( 11
⋮ 1
𝑥11 𝑥21
⋮ 𝑥𝑛1
⋯⋯
⋮
⋯ 𝑥1𝑘 𝑥2𝑘
⋮ 𝑥𝑛𝑘)
, 𝛽 = (
𝛽0 𝛽1
⋮ 𝛽𝑘
) , 𝜀 =
( 𝜀1 𝜀2 𝜀⋮𝑛
) Προκύπτει λοιπόν, η συνάρτηση διανυσμάτων
𝛶 = 𝛸𝛽 + 𝜀 5.1.1 Σκοπός της Συνάρτησης
Σκοπός του αλγορίθμου γραμμικής παλινδρόμησης, είναι η σχεδίαση μιας συνάρτησης η οποία θα διασχίζει γραμμικά τα δεδομένα. Πιο συγκεκριμένα, προσπαθεί να βρει συντελεστές β οι οποίοι θα περιγράφουν την επίδραση της κάθε μεταβλητής Χ πάνω στην Υ. Μια καλή μέθοδος εκτίμησης των καλύτερων παραμέτρων είναι η μέθοδος των ελαχίστων τετραγώνων. Με τη μέθοδο αυτή, η εκτίμηση των συντελεστών 𝛽 βασίζεται στο ότι οι εκτιμήσεις της εξαρτημένης μεταβλητής Y θα πρέπει να έχουν την ελάχιστη δυνατή απόσταση από τις παρατηρούμενες τιμές τους. [19]
5.2 Αποτελέσματα
Αρχικά, η γραμμική παλινδρόμηση χρησιμοποιήθηκε σε 3 set δεδομένων. Το πρώτο περιείχε τα δεδομένα των Επιπέδων Χρήσης των διάφορων χαρακτηριστικών, το δεύτερο το Importance και το τρίτο έναν λόγο των δύο. Ο τελευταίος λόγος προκύπτει από την διαίρεση Level/Importance, αφού πρώτα πολλαπλασιαστούν οι τιμές x των Levels με το 5/7=0.71, ώστε να ισχύει, 0 ≤ 𝑥 ≤ 5. Τα αποτελέσματα των τριών παλινδρομήσεων δίνονται με τη σειρά, στους τρεις πίνακες που ακολουθούν.
Πίνακας 1: Levels
Correlation coefficient 0.6839
Kendall's tau 0.5053
Mean absolute logarithmic error NaN Mean absolute percentage error 0.3959 Root mean square logarithmic error NaN Root mean square percentage error 0.8053
Spearman's rho 0.6923
Mean absolute error 7.8888
Root mean squared error 10.0119
Relative absolute error 71.0658 %
Root relative squared error 73.8166 %
Total Number of Instances 966
Πίνακας 2: Importance
Correlation coefficient 0.6783
Kendall's tau 0.4987
Mean absolute logarithmic error NaN Mean absolute percentage error 0.4174 Root mean square logarithmic error NaN Root mean square percentage error 0.9359
Spearman's rho 0.6881
Mean absolute error 8.0007
Root mean squared error 10.1121
Relative absolute error 72.0804 %
Root relative squared error 74.49 %
Total Number of Instances 966
Πίνακας 3: Level/Importance
Correlation coefficient 0.6588 Kendall's tau 0.4879 Mean absolute logarithmic error NaN Mean absolute percentage error 0.4482 Root mean square logarithmic error NaN Root mean square percentage error 1.202 Spearman's rho 0.6733 Mean absolute error 8.1462 Root mean squared error 10.3724 Relative absolute error 73.392 % Root relative squared error 76.4076 % Total Number of Instances 966
Ο τρόπος με τον οποίο γίνεται η αξιολόγηση των αποτελεσμάτων είναι βάσει των συσχετίσεων που δίνει το WEKA. Η πρώτη συσχέτιση correlation coefficient (Pearson correlation), δείχνει την γραμμική σχέση μεταξύ δύο μεταβλητών. Στη περίπτωση αυτή, οι δύο μεταβλητές είναι, το πραγματικό ποσοστό αυτοματοποίησης και το προβλεπόμενο. Η συσχέτιση παίρνει τιμές c, όπου −1 ≤ 𝑐 ≤ 1. Όσο μεγαλύτερη είναι η απόλυτη τιμή του c, τόσο καλύτερη είναι η συσχέτιση. Η επόμενη μέτρηση συσχέτισης του WEKA, ονομάζεται Spearman correlation coefficient. Σε αυτή την περίπτωση, υπολογίζεται η δύναμη και η διεύθυνση της μονοτονίας δύο μεταβλητών. Ελέγχει δηλαδή, την αναλογία των ποσών και τον λόγο αύξησης/μείωσης του ενός με του άλλου. [20]
Γενικότερα, αποτελέσματα μεταξύ του 0 και του 0.3 θεωρούνται κακά και δείχνουν μηδενική συσχέτιση. Αποτελέσματα μεταξύ του 0.3 και του 0.6 θεωρούνται μέτρια, δηλαδή υπάρχει μικρή συσχέτιση. Μεταξύ του 0.6 και του 0.8 τα αποτελέσματα είναι καλά, υπάρχει δηλαδή σημαντική συσχέτιση. Ενώ, αποτελέσματα από το 0.8 έως το 1, είναι άριστα και σε περίπτωση που το μοντέλο δεν είναι υπερπροσαρμοσμένο, θεωρείται εκπαιδευμένο.
Συμπεραίνεται, λοιπόν, πως το dataset με τα Levels είναι αυτό που δίνει την καλύτερη συσχέτιση μεταξύ των προβλεπόμενων και των πραγματικών τιμών (correlation- coefficient: 0.6839), με αυτό του Importance να έρχεται δεύτερο με correlation 0.6783.
Συνεπώς, στα επόμενα πειράματα θα χρησιμοποιηθεί το πρώτο εξ’ αυτών.
5.3 Εξέταση χαρακτηριστικών dataset
Επειδή από τα 162 χαρακτηριστικά που προσφέρονται, ορισμένα είναι πιθανόν λιγότερο χρήσιμα για την πρόβλεψη της αυτοματοποίησης, θα ήταν θεμιτό να απαλειφθούν πριν ξεκινήσουν οι υπολογισμοί. Μια άλλη δυνατότητα που προσφέρει το WEKA, είναι η επιλογή χαρακτηριστικών στο dataset. Πιο συγκεκριμένα, στο tab Select Attributes, υπάρχει μια πληθώρα αλγορίθμων για feature selection. H διαδικασία αυτή χωρίζεται σε δύο μέρη, Αξιολογητής Χαρακτηριστικών (Attribute Evaluator) και Μέθοδος Αναζήτησης (Search Method). Το πρώτο είναι η τεχνική με την οποία κάθε στήλη-χαρακτηριστικό του dataset αξιολογείται με βάση την μεταβλητή εξόδου (Degree of Automation), ενώ το δεύτερο είναι η μέθοδος αναζήτησης με την οποία βρίσκονται τα χαρακτηριστικά που καλύτερα περιγράφουν τη ζητούμενη έξοδο. Και οι δύο μέθοδοι περιέχουν ρυθμίσεις λειτουργίας καθώς και περιγραφή των αλγορίθμων που χρησιμοποιούν.
5.3.1 Correlation Attribute Evaluator
Ο αλγόριθμος που χρησιμοποιήθηκε για την αξιολόγηση των χαρακτηριστικών είναι ο Correlation Attribute Evaluator, δηλαδή αξιολογητής βάσει της συσχέτισης. Με αυτόν τον αλγόριθμο, είναι δυνατόν να μειωθούν οι διαστάσεις του dataset απαλείφοντας τα δεδομένα τα οποία έχουν χαμηλή συσχέτιση (κοντά στο 0). [21]
Με μια απλή εφαρμογή του αλγορίθμου και χωρίς να θέσουμε κάποιον περιορισμό δίνονται οι συσχετίσεις με το DoA (Degree of Automation), για κάθε ένα από τα 161 χαρακτηριστικά. Παρατηρώντας τα βάρη που έδωσε ο αλγόριθμος στα χαρακτηριστικά, συμπεραίνεται πως το σύνολο δεδομένων που χρησιμοποιήθηκε είναι αρκετά καλό. Οι θετικότερες συσχετίσεις ανήκουν στα πιο υπολογιστικά χαρακτηριστικά, ενώ οι αρνητικότερες στα πιο ανθρωπιστικά. Πιο συγκεκριμένα τα 5 θετικότερα είναι, Interacting with Computers, Production and Processing, Perceptual Speed, Programming, Number Facility, ενώ τα 5 αρνητικότερα είναι, Philosophy and Theology, Sociology and Anthropology, History and Archaeology, Thinking Creatively, Fine arts.
Τα τελευταία είναι επιστήμες και εργασίες, πολύ επικεντρωμένες στο ανθρώπινο στοιχείο, η μελέτη των οποίων βασίζεται σε δημιουργικές διαδικασίες του εγκεφάλου, που όχι μόνο δεν μιμούνται από υπολογιστές αλλά ούτε από άνθρωπο σε άνθρωπο.
Γενικότερα, η κατανομή του συνόλου δεδομένων μπορεί να υποστεί βελτίωση, καθώς τα χαρακτηριστικά με αρνητική συσχέτιση είναι περισσότερα σε αριθμό από τα θετικά (120 και 41 αντίστοιχα), αυτό φαίνεται και στο Σχήμα 4. Συνεπώς, θα ήταν θεμιτό για καλύτερες προβλέψεις, να μειωθεί το ποσό των αρνητικών χαρακτηριστικών.
Σχήμα 4: Αρνητικά και Θετικά Χαρακτηριστικά
5.3.2 Wrapper Subset Evaluator
Λόγω του μεγέθους του dataset και της αδυναμίας του WEKA να αφαιρέσει τα μη σχετιζόμενα χαρακτηριστικά όταν τα εντοπίσει με τον προηγούμενο αλγόριθμο, χρησιμοποιήθηκε ένας ακόμη αξιολογητής. O Wrapper Subset Evaluator, χρησιμοποιεί κάποιον δυνατό αλγόριθμο μηχανικής μάθησης σε διάφορα υποσύνολα των χαρακτηριστικών του dataset, με σκοπό να βρει πιο από αυτά δίνει καλύτερα αποτελέσματα. Ο τρόπος που μπορεί να αξιολογήσει τα χαρακτηριστικά, είναι είτε με την συσχέτισή τους μοντέλου, είτε με το μικρότερο RMSE (Root Mean Squared Error), δηλαδή,
RMSE = √∑𝑛𝑖=1(𝑦̂𝑖 − 𝑦𝑖)2 𝑛
Όπου, 𝑦̂𝑖 είναι η προβλεπόμενη τιμή της παλινδρόμησης για τις παρατηρήσεις 𝑖, μιας εξαρτημένης μεταβλητή 𝑦𝑖.
Έτσι, εφαρμόζοντας την μέθοδο αυτή με τη βοήθεια του αλγορίθμου γραμμικής παλινδρόμησης και μέθοδο αναζήτησης βάσει των συσχετίσεων, τα χαρακτηριστικά του dataset μειώνονται από 161 σε 38. Η συσχέτιση της γραμμικής παλινδρόμησης σε αυτό το υποσύνολο είναι ίση με 0.722, αρκετά καλύτερη από ότι σε ολόκληρο το σύνολο.