- Ο Thomas Wolf από το “Hir of the Face” λέει ότι γίνεται όλο και πιο δύσκολο να πούμε ποιο μοντέλο τεχνητής νοημοσύνης Είναι το καλύτερο, αφού οι παραδοσιακές δοκιμές του AI είναι κορεσμένες. Στο μέλλον, ο Wolf δήλωσε ότι η βιομηχανία τεχνητής νοημοσύνης θα μπορούσε να βασιστεί σε δύο νέες προσεγγίσεις για τη σύγκριση – με βάση τον οργανισμό και τη συγκεκριμένη χρήση.
Ο Thomas Wolf, ο συνολικός και ο κύριος επιστήμονας στο “Hugging Face”, πιστεύει ότι μπορεί να χρειαστούμε νέους τρόπους για τη μέτρηση των μοντέλων τεχνητής νοημοσύνης.
Ο λύκος είπε στο κοινό Εγκυμοσύνη AI Στο Λονδίνο, όταν τα μοντέλα τεχνητής νοημοσύνης γίνονται πιο προχωρημένα, γίνεται όλο και πιο δύσκολο να πούμε ποια εκτελεί το καλύτερο.
“Έγινε δύσκολο να πούμε ποιο είναι το καλύτερο μοντέλο”, είπε, δείχνοντας τις ονομαστικές διαφορές μεταξύ των πρόσφατων κυκλοφοριών από το OpenAI και το Google. “Όλοι τους, φαίνεται, είναι στην πραγματικότητα πολύ κοντά.”
“Ο κόσμος των κριτηρίων έχει αναπτυχθεί πολύ, προηγουμένως, είχαμε αυτό το πολύ ακαδημαϊκό πρότυπο, το οποίο μετράται κυρίως η γνώση του μοντέλου – νομίζω ότι το πιο διάσημο ήταν MMLU (μαζική πολυπλοκότητα της γλώσσας), η οποία ήταν κυρίως ένα σύνολο ερωτήσεων μεταπτυχιακών σε επίπεδο ή διδακτορικών σπουδών, το οποίο το μοντέλο έπρεπε να απαντήσει”, δήλωσε. “Αυτές οι δοκιμές είναι κυρίως κορεσμένες τώρα.”
Κατά το παρελθόν έτος, υπήρξε μια αυξανόμενη χορωδία ψήφων από επιστημονικούς κύκλους, βιομηχανία και πολιτικούς, υποστηρίζοντας ότι οι γενικές κατευθυντήριες γραμμές στο AI, όπως η MMLU, η κόλλα και η Hellaswag, έχουν φτάσει στον κορεσμό και δεν αντικατοπτρίζουν πλέον την πραγματική χρησιμότητα.
Σε μια μελέτη που δημοσιεύθηκε τον Φεβρουάριο, ερευνητές στο Ηνωμένο ερευνητικό κέντρο της Ευρωπαϊκής Επιτροπής δημοσίευσαν ένα άρθρο με τίτλο “Μπορούμε να εμπιστευόμαστε τα κριτήρια για την AI, τη διεπιστημονική ανασκόπηση των σημερινών ζητημάτων στην αξιολόγηση της τεχνητής νοημοσύνης”, στην οποία βρέθηκαν “συστηματικές αδυναμίες στις τρέχουσες μεθόδους ελέγχου”, συμπεριλαμβανομένων των λανθασμένων εγχειριδίων, των δυσλειτουργιών, των προβλημάτων και των δεδομένων.
Στο μέλλον, ο Wolf δήλωσε ότι η βιομηχανία τεχνητής νοημοσύνης θα πρέπει να βασίζεται σε δύο κύριους τύπους δεικτών ελέγχου που περιλαμβάνονται το 2025: ένα για να αξιολογήσει την υπηρεσία μοντέλων, όπου αναμένεται ότι η LLMS εκτελεί καθήκοντα και το άλλο για κάθε περίπτωση για μοντέλα.
Τα χέρια του προσώπου εργάζονται ήδη στο τελευταίο.
Το νέο πρόγραμμα της εταιρείας “Ο πάγκος σας” αποσκοπεί στο να βοηθήσει τους χρήστες να καθορίσουν ποιο μοντέλο θα χρησιμοποιήσει για μια συγκεκριμένη εργασία. Οι χρήστες υποβάλλουν διάφορα έγγραφα στο πρόγραμμα, τα οποία στη συνέχεια δημιουργούν αυτόματα ένα συγκεκριμένο πρότυπο για τον τύπο εργασίας που οι χρήστες μπορούν να εφαρμόσουν σε διαφορετικά μοντέλα για να δουν ποια από αυτά είναι καλύτερα για χρήση.
“Το γεγονός ότι όλα αυτά τα μοντέλα λειτουργούν τα ίδια σε αυτό το ακαδημαϊκό πρότυπο δεν σημαίνει πραγματικά ότι είναι όλα τα ίδια”, δήλωσε ο Wolf.
Open -South ‘Catgpt Moment’
Ο Ιδρυμένος Λύκος, ο Clément Delangue και ο Julien Chaumond το 2016, το πρόσωπο του προσώπου είναι από καιρό ο πρωταθλητής του AI Open -Source.
Η εταιρεία, που συχνά ονομάζεται Github of Machine Learning, παρέχει μια πλατφόρμα με ανοιχτό ιστορικό που επιτρέπει στους προγραμματιστές, τους ερευνητές και τις επιχειρήσεις να κατασκευάζουν, να ανταλλάσσουν και να αναπτύξουν μοντέλα μηχανικής μάθησης, σύνολα δεδομένων και εφαρμογές σε κλίμακα. Οι χρήστες μπορούν επίσης να δουν μοντέλα και σύνολα δεδομένων που έχουν φορτωθεί από άλλους.
Ο Wolf δήλωσε στο κοινό Brainstorm AI ότι “η επιχείρηση -το μοντέλο του προσώπου αγκαλιά είναι πραγματικά συμβατό με το Open Source” και “ο στόχος της εταιρείας είναι να καταστήσει το μέγιστο αριθμό ατόμων που εμπλέκονται σε μια τέτοια ανοιχτή κοινότητα και μοντέλα ανταλλαγής”.
Ο Wulf προέβλεψε ότι το AI Open -Stouce AI θα συνεχίσει να ευημερούν, ειδικά μετά την επιτυχία του Deepseek στις αρχές του τρέχοντος έτους.
Μετά την εκτόξευση στο τέλος του περασμένου έτους, το κινεζικό μοντέλο τεχνητής νοημοσύνης Deepseek R1 έστειλε σοκ μέσα από τον κόσμο της τεχνητής νοημοσύνης, όταν οι δοκιμαστές διαπίστωσαν ότι συμπίπτει ή ακόμα και ξεπέρασε τα αμερικανικά μοντέλα με κλειστή τέχνη.
Ο Wolf είπε ότι η Deepseek ήταν η στιγμή “Catgpt” για την AI Open -Source.
“Ακριβώς όπως το Chatgpt ήταν η στιγμή που ολόκληρος ο κόσμος ανακάλυψε AI, ο Dipseeec ήταν μια στιγμή που ολόκληρος ο κόσμος διαπίστωσε ότι αυτό ήταν ένα είδος ανοιχτής κοινωνίας”, είπε.
Αυτή η ιστορία παρουσιάστηκε αρχικά στο Fortune.com
