Modeller på enheten är tillräckligt bra för att lämna molnet bakom sig
En ny våg av små modeller körs helt på din bärbara dator eller telefon — snabb, privat och utan API-mätare.
I många år antogs att användbar AI måste existera i någon annans datacenter. Det antagandet kollapsar tyst.
Den senaste generationen små modeller — några miljarder parametrar, kvantiserade för att köras på konsumenthårdvara — är nu tillräckligt bra för sammanfattning, utskrivning, klassificering och kodkomplettering utan att röra ett nätverk.
Privat som standard
Att köra lokalt vänder om sekretessprincipen. Ingenting lämnar enheten, det finns ingen kostnad per förfrågan, och modellen fortsätter att fungera på ett flygplan eller i en källare.
Kompromissen är förmåga: de största gränsmodellerna vinner fortfarande på de svåraste uppgifterna för resonemang. Men för den långa svansen av vardagliga jobb börjar “tillräckligt bra och på min maskin” slå “utmärkt och mätt”.
