Οι αδυναμίες των chatbots τεχνητής νοημοσύνης

Τα μεγαλύτερα chatbots τεχνητής νοημοσύνης μπορεί να γράφουν ακόμη και ανοησίες και πως οι άνθρωποι δεν αντιλαμβάνονται πάντα τις απαντήσεις τους, διαβάζουμε στον ιστότοπο Nature.com. Τονίζεται δε ότι τα μοντέλα τεχνητής νοημοσύνης ναι μεν βελτιώνονται συνολικά, αλλά είναι πιο πιθανό να δώσουν τις περισσότερες φορές, λάθος απαντήσεις.

Ειδικότερα μια μελέτη νεότερων, μεγαλύτερων εκδόσεων τριών μεγάλων chatbots τεχνητής νοημοσύνης (AI) δείχνει ότι είναι περισσότερο διατεθειμένα να δώσουν λάθος απαντήσεις παρά να παραδεχτούν άγνοια. Η αξιολόγηση διαπίστωσε επίσης ότι οι άνθρωποι δεν είναι ικανοί στο να εντοπίζουν τις λανθασμένες απαντήσεις. Η μελέτη επισημαίνει ότι έχει δοθεί αρκετή προσοχή στο γεγονός ότι τα μεγάλα γλωσσικά μοντέλα (LLM) που χρησιμοποιούνται για την τροφοδοσία των chatbots μερικές φορές κάνουν τα πράγματα λάθος ή δίνουν παράδοξες απαντήσεις σε ερωτήματα. Οπως τονίζει το Ερευνητικό Ινστιτούτο Τεχνητής Νοημοσύνης της Βαλένθια στην Ισπανία ειδικοί ανέλυσαν τέτοια λάθη για να δουν πώς αλλάζουν καθώς τα μοντέλα καθίστανται «σοφότερα» χρησιμοποιώντας περισσότερα δεδομένα εκπαίδευσης και περιλαμβάνοντας περισσότερες παραμέτρους. Σημειώνεται ακόμη ότι οι ειδικοί παρακολούθησαν επίσης εάν η πιθανότητα σφαλμάτων ταιριάζει με τις ανθρώπινες αντιλήψεις για τη δυσκολία των ερωτήσεων και πόσο καλά οι άνθρωποι μπορούν τελικώς να εντοπίσουν τις λάθος απαντήσεις.

Η μελέτη που δημοσιεύτηκε πριν από λίγες ημέρες στο Nature διαπίστωσε ότι οι μεγαλύτερες εκδόσεις των LLM είναι, όπως αναμενόταν, πιο ακριβείς, χάρη στο ότι διαμορφώθηκαν με μεθόδους λεπτομέρειας, όπως η ενίσχυση της μάθησης από την ανθρώπινη ανατροφοδότηση. Αυτά είναι καλά νέα. Τα κακά είναι ωστόσο ότι αποδεικνύονται λιγότερο αξιόπιστες: Λανθασμένες απαντήσεις, με το ποσοστό λάθους να έχει αυξηθεί επειδή τα μοντέλα είναι λιγότερο πιθανό να αποφύγουν να απαντήσουν σε μια ερώτηση λέγοντας ότι δεν γνωρίζουν, ή αλλάζοντας το θέμα.

Με άλλα λόγια, η τάση των chatbots να «εκφράσουν» απόψεις πέρα από τις δικές τους γνώσεις έχει αυξηθεί. «Αυτό μου μοιάζει με... σαχλαμάρες» υποστηρίζει ο Μάικ Χικς, φιλόσοφος της επιστήμης και της τεχνολογίας στο Πανεπιστήμιο της Γλασκόβης, στο Ηνωμένο Βασίλειο. Ο Χικς υπογραμμίζει ότι τα chatbots «γίνονται καλύτερα στο να προσποιούνται ότι είναι γνώστες της σωστής απάντησης. Ολα καταλήγουν στη διαπίστωση ότι οι καθημερινοί χρήστες είναι πιθανό να υπερεκτιμούν τις ικανότητες των chatbots και αυτό είναι επικίνδυνο».

Το άρθρο του Nature σημειώνει ότι εξετάσθηκαν τρεις «οικογένειες» LLM : το GPT του OpenAI, το LLaMA του Meta και το BLOOM, ένα μοντέλο ανοιχτού κώδικα που δημιουργήθηκε από την ακαδημαϊκή ομάδα BigScience. Για το καθένα, εξέτασαν πρώιμες, ακατέργαστες εκδόσεις μοντέλων και μεταγενέστερες, πολύ πιο πληροφορημένες. Μάλιστα δοκίμασαν τα μοντέλα σε χιλιάδες ερωτήσεις σχετικά με την αριθμητική, τους αναγραμματισμούς, τη γεωγραφία και την επιστήμη, καθώς και προτροπές που δοκίμασαν την ικανότητα των ρομπότ να μετασχηματίζουν πληροφορίες, όπως π.χ. η τοποθέτηση μιας λίστας με αλφαβητική σειρά.

Κατέταξαν επίσης τη δυσκολία των ερωτήσεων που αντιλαμβάνονται οι άνθρωποι. Για παράδειγμα, μια ερώτηση για το Τορόντο του Καναδά, κατατάχθηκε ως ευκολότερη από μια ερώτηση σχετικά με την πολύ λιγότερο γνωστή και μικρότερη πόλη Ακίλ στο Μεξικό.

Η μελέτη συμπεραίνει ότι το ποσοστό των λανθασμένων απαντήσεων μεταξύ εκείνων που, είτε ήταν όντως λανθασμένες, είτε αποφεύχθηκαν, αυξήθηκε και έφτασε για αρκετά μοντέλα, πάνω από το 60%. Επιπροσθέτως η ομάδα ανακάλυψε ότι όλα τα μοντέλα έστω και περιστασιακά θα έδιναν λάθος απαντήσεις, κάτι που σημαίνει ότι δεν υπάρχει «ασφαλής περιοχή λειτουργίας» στην οποία ένας χρήστης μπορεί να έχει απόλυτη εμπιστοσύνη στις απαντήσεις των chatbots.