Οι εκπληκτικές ικανότητες του ChatGPT, του chatbot από τη startup εταιρεία OpenAI, έχουν προκαλέσει ένα κύμα νέου ενδιαφέροντος και επενδύσεων στην τεχνητή νοημοσύνη», σχολιάζει στις στήλες τεχνολογίας το BBC. Επισημαίνει ωστόσο ότι προσφάτως ο διευθύνων σύμβουλος του OpenAI προειδοποίησε πως η ερευνητική στρατηγική που γέννησε το bot έχει εφαρμοστεί σε μεγάλο βαθμό και δεν είναι σαφές ακριβώς από πού θα προέλθουν οι μελλοντικές πρόοδοι, σημειώνει σε άρθρο του το αμερικανικό περιοδικό τεχνολογίας Wired.
Τονίζει ότι το OpenAI έχει προσφέρει μια σειρά από εντυπωσιακές προόδους, λαμβάνοντας υπάρχοντες αλγόριθμους μηχανικής μάθησης και κλιμακώνοντάς τους σε μέγεθος που ουδείς είχε φανταστεί προηγουμένως. Το GPT-4, το τελευταίο από τα μοντέλα ΑΙ, «εκπαιδεύτηκε» χρησιμοποιώντας τρισεκατομμύρια λέξεις κειμένου και πολλές χιλιάδες ισχυρά τσιπ υπολογιστών, μια διαδικασία που κόστισε πάνω από 100 εκατομμύρια δολάρια.
Ωστόσο, ο διευθύνων σύμβουλος της εταιρείας, Σαμ Αλτμαν, υποστήριξε ότι περαιτέρω πρόοδος δεν θα προέλθει από τη μεγαλύτερη ανάπτυξη των μοντέλων, μιλώντας σε εκδήλωση που πραγματοποιήθηκε στο MIT στα τέλη της περασμένης εβδομάδας.
Η δήλωση του Αλτμαν υποδηλώνει μια απροσδόκητη ανατροπή στον αγώνα ανάπτυξης νέων αλγόριθμων AI. Από τότε που το OpenAI κυκλοφόρησε το ChatGPT τον Νοέμβριο, η Microsoft χρησιμοποίησε την υποκείμενη τεχνολογία για να προσθέσει ένα chatbot στη μηχανή αναζήτησής της Bing και η Google κυκλοφόρησε ένα ανταγωνιστικό chatbot που ονομάζεται Bard.
Την ίδια ώρα, υπογραμμίζει το περιοδικό, πολυάριθμες καλά χρηματοδοτούμενες νεοφυείς επιχειρήσεις, συμπεριλαμβανομένων των Anthropic, AI21, Cohere και Character.AI, διαθέτουν τεράστιους πόρους στη δημιουργία ολοένα και μεγαλύτερων αλγόριθμων, σε μια προσπάθεια να φτάσουν την τεχνολογία του OpenAI. Η αρχική έκδοση του ChatGPT βασίστηκε σε μια ελαφρώς αναβαθμισμένη έκδοση του GPT-3, αλλά οι χρήστες μπορούν πλέον να έχουν πρόσβαση σε μια έκδοση που υποστηρίζεται από το πιο ικανό GPT-4. Οι εκτιμήσεις του Αλτμαν υποδηλώνουν ότι το GPT-4 θα μπορούσε να είναι η τελευταία σημαντική πρόοδος που θα προκύψει από τη στρατηγική του OpenAI να κάνει τα μοντέλα ισχυρότερα και να τα τροφοδοτεί με περισσότερα δεδομένα. Ωστόσο δεν διευκρίνισε τι είδους ερευνητικές στρατηγικές ή τεχνικές θα μπορούσαν να αντικαταστήσουν, καθώς ο Αλτμαν τόνισε ότι υπάρχουν φυσικά όρια στο πόσα κέντρα δεδομένων μπορεί να δημιουργήσει η εταιρεία και κυρίως, πόσο γρήγορα.
Από την πλευρά του ο Νικ Φροστ, συνιδρυτής της Cohere, είπε ότι τα νέα σχέδια μοντέλων τεχνητής νοημοσύνης και ο περαιτέρω συντονισμός τους με βάση την ανθρώπινη ανατροφοδότηση είναι πολλά υποσχόμενες κατευθύνσεις που πολλοί ερευνητές ήδη εξερευνούν.
Οπως γράφει το Wired, το πρώτο από αυτά τα μοντέλα γλώσσας, το GPT-2, ανακοινώθηκε το 2019 και στην ισχυρότερη έκδοσή του είχε 1,5 δισεκατομμύριο παραμέτρους και η εταιρεία δημιούργησε τον διάδοχο του GPT-2, το GPT-3, που ανακοινώθηκε το 2020, με 175 δισεκατομμύρια παραμέτρους. Οι ευρείες ικανότητες αυτού του συστήματος να δημιουργεί ποιήματα, μηνύματα ηλεκτρονικού ταχυδρομείου και άλλα κείμενα βοήθησαν να πειστούν άλλες εταιρείες και ερευνητικά ιδρύματα να προωθήσουν τα δικά τους μοντέλα τεχνητής νοημοσύνης σε παρόμοιο και ακόμη μεγαλύτερο μέγεθος.
Αν και το OpenAI κρατά μυστικά το μέγεθος και την εσωτερική λειτουργία του GPT-4, είναι πιθανό ότι μέρος της ευφυΐας του προέρχεται ήδη από το γεγονός πως μπορεί να «κοιτάζει» πέρα από την απλή κλίμακα. Το πιθανότερο είναι, σύμφωνα με το αμερικανικό περιοδικό, ότι χρησιμοποίησε μια μέθοδο που ονομάζεται ενισχυτική μάθηση με ανθρώπινη ανατροφοδότηση, η οποία χρησιμοποιήθηκε για τη βελτίωση του ChatGPT. Αυτή περιλαμβάνει το πώς να κρίνουν οι άνθρωποι την ποιότητα των απαντήσεων του μοντέλου για να το κατευθύνουν προς την παροχή απαντήσεων που είναι πιο πιθανό να κριθούν «υψηλής ακρίβειας».
