Toestelgebaseerde modelle word goed genoeg om die wolk agter te laat
'n Nuwe golf klein modelle loop geheel en al op jou skootrekenaar of foon — vinnig, privaat en vry van 'n API-meter.
Vir jare was die aanname dat nuttige KI in iemand anders se datasentrum moet woon. Daardie aanname is stilweg besig om in te stort.
Die nuutste generasie klein modelle — ‘n paar miljard parameters, gekwantiseer om op verbruikershardeware te loop — is nou goed genoeg vir opsomming, konsepskrywing, klassifikasie en kodevoltooiing sonder om ooit ‘n netwerk aan te raak.
Privaat by verstek
Om plaaslik te hardloop draai die privaatheidstorie om. Niks verlaat die toestel nie, daar is geen koste per versoek nie, en die model bly werk op ‘n vliegtuig of in ‘n kelder.
Die afruil is vermoë: die grootste frontiermodelle wen steeds op die moeilikste redenasietake. Maar vir die lang stert van alledaagse take, begin “goed genoeg en op my masjien” beter wees as “uitstekend en gemeet.”
