Modelele pe dispozitiv sunt suficient de bune pentru a abandona norul
O nouă undă de modele mici rulează complet pe laptopul sau telefonul tău — rapid, privat și fără contor API.
Timp de ani, s-a presupus că AI-ul util trebuia să trăiască în centrul de date al cuiva. Acea presupunere se destramă liniștit.
Noua generație de modele mici — câțiva miliarde de parametri, cuantizați pentru a rula pe hardware de consum — este acum suficient de bună pentru rezumare, redactare, clasificare și completare de cod fără a atinge o rețea.
Privat în mod implicit
Rularea local schimbă povestea confidențialității. Nimic nu părăsește dispozitivul, nu există cost per cerere, iar modelul continuă să funcționeze într-un avion sau într-un subsol.
Compromisul este capacitatea: cele mai mari modele de frontieră câștigă încă în sarcinile de raționament cel mai dificile. Dar pentru coada lungă a joburilor zilnice, „suficient de bun și pe mașina mea” începe să învingă „excelent și măsurat”.
