Modeller på enheden bliver gode nok til at lade clouden bag sig

I årevis var antagelsen, at nyttig AI måtte leve i en andens datacenter. Den antagelse kollapser stille og roligt.

Den nyeste generation af små modeller — et par milliarder parametre, kvantiseret til at køre på forbrugerhardware — er nu god nok til opsummering, udkast, klassificering og kodeafslutning uden nogensinde at berøre et netværk.

Privat som standard

Lokal kørsel vendes privatlivshistorien på hovedet. Intet forlader enheden, der er ingen omkostning pr. anmodning, og modellen fortsætter med at fungere i et fly eller en kælder.

Kompromissen er kapacitet: de største frontend-modeller vinder stadig på de sværeste ræsonneringsopgaver. Men for den lange hale af hverdagsopgaver begynder “godt nok og på min maskine” at slå “udmålt og fremragende.”