Γιατί τα προϊόντα τεχνητής νοημοσύνης αποτυγχάνουν όταν τα δεδομένα εκπαίδευσης δεν αντιστοιχούν στον πραγματικό κόσμο

Εισαγωγή

Την πρώτη φορά που είδα ένα προϊόν τεχνητής νοημοσύνης να καταρρέει μετά από μια πολλά υποσχόμενη κυκλοφορία, το πρόβλημα δεν ήταν η διεπαφή, η υποδομή ή ακόμη και το ίδιο το μοντέλο. Το σύστημα είχε αποδώσει καλά κατά τη διάρκεια των εσωτερικών δοκιμών. Οι μετρήσεις φαίνονταν ισχυρές, οι επιδείξεις εντυπωσίασαν τους ενδιαφερόμενους και η κυκλοφορία προχώρησε με σιγουριά. Στη συνέχεια, οι πραγματικοί χρήστες άρχισαν να αλληλεπιδρούν με αυτό σε μη ελεγχόμενα περιβάλλοντα και τα προβλήματα εμφανίστηκαν σχεδόν αμέσως. Αυτή η εμπειρία άλλαξε τον τρόπο με τον οποίο σκέφτομαι την ανάπτυξη της τεχνητής νοημοσύνης. Σήμερα, όταν οι ομάδες αρχίζουν να συζητούν για συνθετικά δεδομένα για την υπολογιστική όραση, συνήθως το βλέπω λιγότερο ως μια πειραματική τεχνολογία και περισσότερο ως μια απάντηση σε ένα πολύ βαθύτερο πρόβλημα: τα περισσότερα συστήματα τεχνητής νοημοσύνης εκπαιδεύονται σε κόσμους που είναι πολύ πιο καθαροί και περιορισμένοι από την πραγματικότητα.

Τα συστήματα τεχνητής νοημοσύνης κληρονομούν τα όρια των περιβαλλόντων εκπαίδευσής τους

Μία από τις μεγαλύτερες παρανοήσεις γύρω από την τεχνητή νοημοσύνη είναι η πεποίθηση ότι τα μοντέλα γίνονται ευφυή με την ευρεία, ανθρώπινη έννοια. Στην πράξη, τα περισσότερα συστήματα εξαρτώνται σε μεγάλο βαθμό από τα περιβάλλοντα από τα οποία μαθαίνουν.

Εάν ένα μοντέλο εκπαιδεύεται κυρίως σε καθαρά παραδείγματα, μαθαίνει να αναμένει καθαρές εισόδους. Εάν σπάνια συναντά αμφισημία, αργότερα δυσκολεύεται με την αμφισημία. Εάν σημαντικές ακραίες συνθήκες απουσιάζουν κατά τη διάρκεια της εκπαίδευσης, το μοντέλο δεν έχει κανένα ουσιαστικό σημείο αναφοράς όταν αυτές οι συνθήκες εμφανίζονται στην παραγωγή.

Αυτός είναι ο λόγος για τον οποίο πολλά προϊόντα τεχνητής νοημοσύνης φαίνονται εντυπωσιακά κατά τη διάρκεια ελεγχόμενων επιδείξεων, αλλά συμπεριφέρονται ασυνεπώς μετά την ανάπτυξη. Το πρόβλημα δεν είναι πάντα ότι το μοντέλο είναι αδύναμο. Συχνά, το σύστημα απλώς λειτουργεί εκτός των ορίων αυτού που είχε προετοιμαστεί να ερμηνεύσει.

Οι συνθήκες του πραγματικού κόσμου είναι πιο δύσκολες από ό,τι αναμένουν οι ομάδες

Οι πρώιμες δοκιμές προϊόντων τείνουν να γίνονται υπό ευνοϊκές συνθήκες.

Οι εικόνες είναι σχετικά καθαρές. Η συμπεριφορά των χρηστών είναι κάπως προβλέψιμη. Τα σενάρια επιλέγονται σκόπιμα. Οι ροές δεδομένων είναι ακόμα αρκετά μικρές ώστε να μπορούν να διαχειριστούν προσεκτικά.

Τα πραγματικά περιβάλλοντα είναι διαφορετικά. Ο φωτισμός αλλάζει. Οι συσκευές συμπεριφέρονται ασυνεπώς. Οι εισόδους γίνονται πιο θορυβώδεις. Η ανθρώπινη συμπεριφορά γίνεται λιγότερο δομημένη. Σπάνιες συνθήκες εμφανίζονται πιο συχνά από το αναμενόμενο. Οι μεταβλητές αλληλεπιδρούν σε συνδυασμούς που κανείς δεν έχει δοκιμάσει ρητά.

Αυτό το χάσμα μεταξύ ελεγχόμενων δοκιμών και πραγματικών συνθηκών λειτουργίας είναι το σημείο όπου πολλά συστήματα τεχνητής νοημοσύνης αρχίζουν να αποτυγχάνουν.

Το πρόβλημα είναι ιδιαίτερα εμφανές στα προϊόντα υπολογιστικής όρασης, επειδή τα οπτικά περιβάλλοντα είναι εγγενώς ασταθή. Μικρές αλλαγές που είναι σχεδόν ανεπαίσθητες για τον άνθρωπο μπορούν να επηρεάσουν ριζικά την αξιοπιστία του μοντέλου και την ποιότητα των προβλέψεων.

Τα περισσότερα δεδομένα δεν λύνουν αυτόματα το πρόβλημα

Όταν εμφανίζονται προβλήματα απόδοσης, η προεπιλεγμένη απάντηση είναι συνήθως απλή: συλλογή περισσότερων δεδομένων.

Επιφανειακά, αυτό φαίνεται λογικό. Περισσότερα παραδείγματα θα πρέπει να βελτιώνουν τη μάθηση. Στην πράξη, όμως, τα σύνολα δεδομένων του πραγματικού κόσμου συχνά επεκτείνονται άνισα. Οι ομάδες συλλέγουν περισσότερα από αυτά που είναι εύκολο να καταγραφούν, ενώ εξακολουθούν να παραλείπουν τις συνθήκες που έχουν τη μεγαλύτερη σημασία.

Το αποτέλεσμα είναι κλίμακα χωρίς ουσιαστική κάλυψη.

Ένα σύστημα τεχνητής νοημοσύνης μπορεί να επεξεργαστεί εκατομμύρια παραδείγματα και να αποτύχει σε συγκεκριμένες περιβαλλοντικές συνθήκες, επειδή αυτές οι συνθήκες παραμένουν υποεκπροσωπημένες. Ο οργανισμός ερμηνεύει αυτό ως πρόβλημα μοντελοποίησης, ενώ στην πραγματικότητα είναι πρόβλημα περιβάλλοντος δεδομένων.

Αυτός είναι ένας από τους λόγους για τους οποίους πολλές πρωτοβουλίες τεχνητής νοημοσύνης σταματούν να εξελίσσονται. Οι πρόσθετες προσπάθειες αποφέρουν μικρότερες βελτιώσεις, επειδή το σύστημα μαθαίνει από έναν κόσμο που παραμένει δομικά ατελής.

Οι επιδείξεις ανταμείβουν την τελειότητα, η παραγωγή ανταμείβει την ανθεκτικότητα

Ένας λόγος για τον οποίο αυτό το ζήτημα παραμένει είναι ότι οι επιδείξεις και οι πραγματικές εφαρμογές βελτιστοποιούνται για διαφορετικά πράγματα.

Οι επιδείξεις ανταμείβουν την ομαλότητα. Οι ομάδες παρουσιάζουν φυσικά περιβάλλοντα όπου το σύστημα αποδίδει καλά. Ο στόχος είναι η εμπιστοσύνη και η δυναμική.

Τα περιβάλλοντα παραγωγής ανταμείβουν την ανθεκτικότητα. Τα συστήματα πρέπει να συμπεριφέρονται προβλέψιμα ακόμη και όταν οι συνθήκες επιδεινώνονται, οι χρήστες συμπεριφέρονται απρόβλεπτα ή οι εισροές γίνονται ασυνεπείς.

Μια καλοφτιαγμένη επίδειξη μπορεί να κρύψει ευάλωτες υποθέσεις σχετικά με τα δεδομένα στα οποία βασίζεται το σύστημα. Αυτές οι υποθέσεις συχνά παραμένουν αόρατες έως ότου η κλίμακα εισάγει μεταβλητότητα που δεν ήταν ποτέ μέρος της εκπαίδευσης.

Αυτός είναι ο λόγος για τον οποίο οι οργανισμοί αισθάνονται μερικές φορές αιφνιδιασμένοι μετά την κυκλοφορία. Από τη δική τους οπτική γωνία, το προϊόν «λειτουργούσε» πριν από την ανάπτυξη. Στην πραγματικότητα, λειτουργούσε μέσα σε ένα προσεκτικά περιορισμένο περιβάλλον.

Τα προϊόντα τεχνητής νοημοσύνης αποτυγχάνουν σταδιακά πριν αποτύχουν ορατά

Ένα από τα πιο ενδιαφέροντα πράγματα σχετικά με τα προβλήματα αξιοπιστίας της τεχνητής νοημοσύνης είναι ότι συχνά εμφανίζονται αργά.

Αρχικά, οι χρήστες παρατηρούν περιστασιακές ασυνέπειες. Οι ομάδες εισάγουν βήματα χειροκίνητης επανεξέτασης. Τα όρια εμπιστοσύνης προσαρμόζονται. Οι ακραίες περιπτώσεις αναφέρονται σε ανθρώπους.

Με την πάροδο του χρόνου, αυξάνεται η κρυφή λειτουργική τριβή. Οι εργαζόμενοι σταματούν να εμπιστεύονται πλήρως την αυτοματοποίηση. Οι πελάτες αντιμετωπίζουν απρόβλεπτες εμπειρίες. Οι ομάδες υποστήριξης αφιερώνουν περισσότερο χρόνο στη διαχείριση εξαιρέσεων.

Το προϊόν εξακολουθεί να λειτουργεί τεχνικά, αλλά το λειτουργικό βάρος που το περιβάλλει αυξάνεται σταθερά.

Αυτή η σταδιακή διάβρωση της εμπιστοσύνης είναι πολύ πιο συχνή από τις καταστροφικές βλάβες και συνήθως οφείλεται στο ίδιο υποκείμενο πρόβλημα: το σύστημα δεν έμαθε ποτέ από ένα επαρκώς αντιπροσωπευτικό περιβάλλον.

Γιατί τα συνθετικά περιβάλλοντα γίνονται όλο και πιο σημαντικά

Εδώ είναι που τα συνθετικά δεδομένα γίνονται στρατηγικά χρήσιμα.

Δεν θεωρώ τα συνθετικά περιβάλλοντα ως υποκατάστατα της πραγματικότητας. Τα βλέπω ως εργαλεία για την επέκταση αυτού που η πραγματικότητα από μόνη της δυσκολεύεται να προσφέρει. Οι ομάδες μπορούν να εισαγάγουν ελεγχόμενες παραλλαγές, να προσομοιώσουν σπάνιες συνθήκες και να δοκιμάσουν ακραίες περιπτώσεις σκόπιμα, αντί να περιμένουν να εμφανιστούν οργανικά.

Αυτό αλλάζει σημαντικά τη διαδικασία ανάπτυξης.

Αντί να βασίζονται εξ ολοκλήρου στην παθητική συλλογή δεδομένων, οι οργανισμοί μπορούν να διαμορφώνουν ενεργά τις συνθήκες υπό τις οποίες μαθαίνουν τα συστήματα τεχνητής νοημοσύνης. Μπορούν να διερευνήσουν τις διακυμάνσεις του φωτισμού, τον περιβαλλοντικό θόρυβο, τις αλληλεπιδράσεις αντικειμένων και τα ασυνήθιστα σενάρια με δομημένο τρόπο.

Η αξία δεν είναι μόνο ο τεχνητός ρεαλισμός. Η αξία είναι η ελεγχόμενη κάλυψη.

Η αξιοπιστία εξαρτάται από τη σκόπιμη παραλλαγή

Τα ισχυρά συστήματα τεχνητής νοημοσύνης δεν εκπαιδεύονται απλώς σε μεγάλες ποσότητες δεδομένων. Εκπαιδεύονται σε ουσιαστικές παραλλαγές.

Αυτή η διάκριση έχει σημασία επειδή τα περιβάλλοντα του πραγματικού κόσμου είναι γεμάτα από λεπτές διαφορές. Οι γωνίες λήψης της κάμερας αλλάζουν. Ο καιρός επηρεάζει την ορατότητα. Η συμπεριφορά των χρηστών εξελίσσεται. Η ποιότητα του υλικού ποικίλλει.

Εάν αυτές οι διακυμάνσεις απουσιάζουν κατά τη διάρκεια της εκπαίδευσης, η εφαρμογή γίνεται απρόβλεπτη.

Τα συνθετικά περιβάλλοντα επιτρέπουν στις ομάδες να μοντελοποιούν αυτές τις διαφορές σκόπιμα. Αντί να ελπίζουν ότι σημαντικές συνθήκες θα εμφανιστούν φυσικά στα συλλεχθέντα δεδομένα, μπορούν να τις εισάγουν συστηματικά και να αξιολογούν πώς συμπεριφέρεται το σύστημα.

Αυτό καθιστά την ανθεκτικότητα μετρήσιμη και όχι τυχαία.

Η ανάπτυξη της τεχνητής νοημοσύνης γίνεται μια επιστήμη υποδομών

Μια ευρύτερη αλλαγή λαμβάνει χώρα σε ολόκληρο τον κλάδο.

Η πρώιμη ανάπτυξη της τεχνητής νοημοσύνης εστίαζε σε μεγάλο βαθμό στην αρχιτεκτονική των μοντέλων και στον πειραματισμό. Όλο και περισσότερο, τα δύσκολα προβλήματα είναι υποδομικά. Η ποιότητα των δεδομένων, η αναπαραγωγιμότητα, ο έλεγχος του περιβάλλοντος και οι διαδικασίες επικύρωσης διαμορφώνουν πλέον τα αποτελέσματα όσο και η επιλογή των αλγορίθμων.

Οι οργανισμοί αρχίζουν να συνειδητοποιούν ότι τα συστήματα τεχνητής νοημοσύνης δεν είναι απλώς προϊόντα λογισμικού. Είναι συστήματα μάθησης, η αξιοπιστία των οποίων εξαρτάται από τα περιβάλλοντα στα οποία λειτουργούν κατά τη διάρκεια της εκπαίδευσης.

Αυτή η συνειδητοποίηση αλλάζει τον τρόπο με τον οποίο οι ομάδες σκέφτονται τη στρατηγική δεδομένων.

Τα περιβάλλοντα εκπαίδευσης παύουν να αντιμετωπίζονται ως προσωρινά περιουσιακά στοιχεία και αρχίζουν να αντιμετωπίζονται ως λειτουργική υποδομή.

Η αναπαραγωγιμότητα έχει μεγαλύτερη σημασία από ό,τι συνειδητοποιούν οι περισσότερες ομάδες

Ένας λόγος για τον οποίο τα ελεγχόμενα περιβάλλοντα έχουν σημασία είναι η αναπαραγωγιμότητα.

Όταν η απόδοση αλλάζει απροσδόκητα, οι ομάδες πρέπει να κατανοήσουν το γιατί. Αυτό γίνεται εξαιρετικά δύσκολο όταν τα σύνολα δεδομένων εξελίσσονται με ανεξέλεγκτους τρόπους ή όταν οι περιβαλλοντικές διακυμάνσεις δεν τεκμηριώνονται επαρκώς.

Τα συνθετικά περιβάλλοντα διευκολύνουν τον ελεγχόμενο πειραματισμό. Οι συνθήκες μπορούν να αναπαραχθούν, οι παράμετροι να προσαρμοστούν και η συμπεριφορά του συστήματος να συγκριθεί σε επαναλαμβανόμενα σενάρια.

Αυτό μειώνει τις εικασίες και επιτρέπει στις ομάδες να διαγνώσουν τις αδυναμίες πιο συστηματικά.

Για προϊόντα τεχνητής νοημοσύνης που λειτουργούν σε μεγάλη κλίμακα, αυτή η λειτουργική σαφήνεια γίνεται όλο και πιο πολύτιμη.

Γιατί είναι δύσκολο να ανακτηθεί η εμπιστοσύνη των χρηστών

Ίσως η μεγαλύτερη πρόκληση με τα αναξιόπιστα συστήματα τεχνητής νοημοσύνης είναι ότι η εμπιστοσύνη είναι εύθραυστη.

Οι χρήστες μπορεί να ανέχονται περιστασιακά σφάλματα στο παραδοσιακό λογισμικό, επειδή η λογική φαίνεται κατανοητή. Οι αποτυχίες της τεχνητής νοημοσύνης συχνά φαίνονται ασυνεπείς και δύσκολο να προβλεφθούν. Αυτή η απρόβλεπτη φύση αλλάζει τον τρόπο με τον οποίο οι άνθρωποι αλληλεπιδρούν με το προϊόν.

Μόλις οι χρήστες αρχίσουν να αναμένουν αναξιόπιστη συμπεριφορά, η υιοθέτηση επιβραδύνεται. Η χειροκίνητη επαλήθευση αυξάνεται. Η εμπιστοσύνη μειώνεται ακόμη και αν το σύστημα βελτιωθεί αργότερα.

Αυτός είναι ο λόγος για τον οποίο τα ισχυρά περιβάλλοντα εκπαίδευσης έχουν τόσο μεγάλη σημασία. Η αξιοπιστία δεν είναι απλώς ένας τεχνικός δείκτης. Διαμορφώνει τον τρόπο με τον οποίο οι άνθρωποι σχετίζονται συναισθηματικά με το ίδιο το προϊόν.

Η επόμενη γενιά προϊόντων τεχνητής νοημοσύνης

Η επόμενη γενιά επιτυχημένων προϊόντων τεχνητής νοημοσύνης πιθανότατα θα διαφέρει από πολλά από τα πρώιμα συστήματα.

Δεν θα βασίζονται απλώς σε μεγαλύτερα μοντέλα ή περισσότερη υπολογιστική ισχύ. Θα εξαρτώνται από καλύτερα ελεγχόμενα περιβάλλοντα μάθησης, ισχυρότερες στρατηγικές επικύρωσης και πιο προσεκτικές προσεγγίσεις όσον αφορά τις παραλλαγές και την κάλυψη ακραίων περιπτώσεων.

Οι οργανισμοί που το κατανοούν αυτό έχουν ήδη αλλάξει τις προτεραιότητές τους. Επενδύουν περισσότερο σε υποδομές δεδομένων, διαδικασίες προσομοίωσης και ελεγχόμενα περιβάλλοντα δοκιμών, επειδή αναγνωρίζουν ότι η ποιότητα του μοντέλου από μόνη της δεν αρκεί.

Τελική σκέψη

Τα περισσότερα προϊόντα τεχνητής νοημοσύνης δεν αποτυγχάνουν επειδή η τεχνολογία είναι ανεπαρκής. Αποτυγχάνουν επειδή τα περιβάλλοντα που χρησιμοποιούνται για την εκπαίδευσή τους είναι πολύ περιορισμένα σε σύγκριση με τα περιβάλλοντα που τελικά αντιμετωπίζουν.

Μόλις εμφανιστεί αυτή η αναντιστοιχία, οι ροές εργασίας γίνονται ασταθείς, η εμπιστοσύνη των χρηστών υπονομεύεται και τα λειτουργικά κόστη αυξάνονται αθόρυβα στο παρασκήνιο.

Οι οργανισμοί που δημιουργούν πιο αξιόπιστα συστήματα είναι συνήθως εκείνοι που είναι πρόθυμοι να αντιμετωπίζουν τα περιβάλλοντα εκπαίδευσης με την ίδια σοβαρότητα με την οποία αντιμετωπίζουν τον κώδικα, την υποδομή και τις διαδικασίες ανάπτυξης.

Αυτή η αλλαγή μπορεί να μην είναι τόσο ορατή όσο η κυκλοφορία ενός νέου μοντέλου, αλλά στην πράξη είναι συχνά αυτό που καθορίζει αν ένα προϊόν τεχνητής νοημοσύνης παραμένει εντυπωσιακό μόνο στις επιδείξεις ή συνεχίζει να λειτουργεί αξιόπιστα όταν συναντά τον πραγματικό κόσμο.