Құрылғыдағы модельдер бұлтты тастап кетуге жеткілікті жақсы болып жатыр
Шағын модельдердің жаңа толқыны толығымен сіздің ноутбугіңізде немесе телефоныңызда жұмыс істейді — жылдам, жеке және API счетчигінсіз.
Жылдар бойы пайдалы AI басқа біреудің деректер орталығында тұруы керек деген болжам болды. Бұл болжам тыныш құлдырап жатыр.
Шағын модельдердің соңғы буыны — бірнеше миллиард параметр, тұтынушы жабдығында іске қосу үшін квантталған — енді қысқаша мазмұндау, жобалау, жіктеу және кодты аяқтау үшін желіге тимей-ақ жеткілікті жақсы.
Әдепкі бойынша жеке
Жергілікті түрде іске қосу құпиялылық әңгімесін аударады. Ешнәрсе құрылғыдан шықпайды, сұрау бойынша шығын жоқ, және модель ұшақта немесе жертөледе де жұмыс істей береді.
Бір артықшылығы — мүмкіндік: ең үлкен шекаралық модельдер ең қиын себептеу тапсырмаларында әлі де жеңеді. Бірақ күнделікті жұмыстардың ұзын құйрығында “жеткілікті жақсы және менің машинамда” “тамаша және өлшенген” нәрсені жеңе бастайды.
