Modellen op het apparaat worden goed genoeg om de cloud achter zich te laten
Een nieuwe generatie kleine modellen draait volledig op je laptop of telefoon — snel, privé en zonder API-meter.
Jarenlang was de aanname dat nuttige AI in iemand anders datacenter moest wonen. Die aanname stort stilletjes in.
De nieuwste generatie kleine modellen — een paar miljard parameters, gekwantiseerd om op consumentenhardware te draaien — is nu goed genoeg voor samenvattingen, concepten, classificatie en codeaanvulling zonder ooit een netwerk aan te raken.
Standaard privé
Lokaal draaien keert het privacyverhaal om. Niets verlaat het apparaat, er zijn geen kosten per verzoek en het model blijft werken in een vliegtuig of een kelder.
De afweging is vermogen: de grootste frontiermodellen winnen nog steeds op de moeilijkste redeneertaken. Maar voor de lange staart van dagelijkse klussen begint “goed genoeg en op mijn machine” te winnen van “uitstekend en gemeten.”
