Modeli na uređaju postaju dovoljno dobri da ostave oblak iza sebe

Godinama je pretpostavka bila da korisna umjetna inteligencija mora živjeti u nečijem drugom podatkovnom centru. Ta se pretpostavka tiho ruši.

Najnovija generacija malih modela — nekoliko milijardi parametara, kvantiziranih za rad na potrošačkom hardveru — sada je dovoljno dobra za sažimanje, pisanje nacrta, klasifikaciju i dovršavanje koda bez ikakvog korištenja mreže.

Privatno prema zadanim postavkama

Lokalno pokretanje preokreće priču o privatnosti. Ništa ne napušta uređaj, nema troška po zahtjevu, a model nastavlja raditi u avionu ili podrumu.

Kompromis je u mogućnosti: najveći rubni modeli i dalje pobjeđuju u najtežim zadacima zaključivanja. Ali za dugački rep svakodnevnih poslova, “dovoljno dobro i na mom stroju” počinje pobjeđivati “izvrsno i mjereno.”