Modeli na uređaju postaju dovoljno dobri da ostave oblak iza sebe

Godinama se pretpostavljalo da koristan AI mora živjeti u tuđem data centru. Ta pretpostavka se tiho raspada.

Najnovija generacija malih modela — nekoliko milijardi parametara, kvantiziranih za rad na potrošačkom hardveru — sada je dovoljno dobra za sažimanje, pisanje nacrta, klasifikaciju i dopunjavanje koda bez ikakvog kontakta s mrežom.

Privatno po defaultu

Lokalno pokretanje preokreće priču o privatnosti. Ništa ne napušta uređaj, nema troškova po zahtjevu i model nastavlja raditi u avionu ili podrumu.

Kompromis je sposobnost: najveći frontier modeli i dalje pobjeđuju na najtežim zadacima rasuđivanja. Ali za dugi rep svakodnevnih poslova, “dovoljno dobro i na mojoj mašini” počinje pobjeđivati “odlično, ali s mjeračem.”