Τα μοντέλα σε συσκευή γίνονται αρκετά καλά για να αφήσουν το cloud πίσω
Ένα νέο κύμα μικρών μοντέλων τρέχει εξ ολοκλήρου στον υπολογιστή ή το τηλέφωνό σας — γρήγορα, ιδιωτικά και χωρίς μετρητή API.
Για χρόνια η υπόθεση ήταν ότι χρήσιμο AI έπρεπε να ζει στο data center κάποιου άλλου. Αυτή η υπόθεση καταρρέει σιωπηλά.
Η πιο πρόσφατη γενιά μικρών μοντέλων — μερικά δισεκατομμύρια παραμέτρων, κβαντισμένα για λειτουργία σε hardware καταναλωτή — είναι πλέον αρκετά καλά για σύνοψη, σύνταξη, ταξινόμηση και συμπλήρωση κώδικα χωρίς να αγγίξει ποτέ ένα δίκτυο.
Ιδιωτικό από προεπιλογή
Η τοπική εκτέλεση αναστρέφει την ιστορία της ιδιωτικότητας. Τίποτα δεν φεύγει από τη συσκευή, δεν υπάρχει κόστος ανά αίτηση, και το μοντέλο συνεχίζει να λειτουργεί σε αεροπλάνο ή σε υπόγειο.
Η ανταλλαγή είναι η ικανότητα: τα μεγαλύτερα μοντέλα συνόρων κερδίζουν ακόμα στις πιο δύσκολες εργασίες reasoning. Αλλά για τη μακρά ουρά καθημερινών εργασιών, “αρκετά καλό και στο μηχάνημά μου” αρχίζει να νικά το “υπέροχο και με μετρητή.”
