Lokale modeller blir gode nok til å forlate skyen
En ny bølge av små modeller kjører helt på laptopen eller telefonen din – raske, private og uten en API-måler.
I årevis var antakelsen at nyttig KI måtte bo i noen andres datasenter. Den antakelsen faller stille sammen.
Den nyeste generasjonen av små modeller – noen få milliarder parametere, kvantisert for å kjøre på forbrukerutstyr – er nå gode nok til oppsummering, utkast, klassifisering og kod fullføring uten å berøre et nettverk.
Privat som standard
Å kjøre lokalt snur personvernhistorien. Ingenting forlater enheten, det er ingen kostnad per forespørsel, og modellen fortsetter å fungere på et fly eller i en kjeller.
Avveiningen er kapasitet: de største grensemodellene vinner fortsatt på de vanskeligste resonneringsoppgavene. Men for den lange halen av hverdagsjobber begynner «god nok og på min maskin» å slå «utmerket og målt».
