Modely v zariadení sú dosť dobré na to, aby opustili cloud
Nová vlna malých modelov beží úplne na vašom notebooku alebo telefóne — rýchlo, súkromne a bez merača API.
Roky sa predpokladalo, že užitočná AI musí existovať v cudzom dátovom centre. Tento predpoklad ticho kolapuje.
Posledná generácia malých modelov — niekoľko miliárd parametrov, kvantizovaných na spustenie na spotrebiteľskom hardvéri — je teraz dosť dobrá na zhrnutie, redaktúru, klasifikáciu a doplnenie kódu bez dotyku siete.
Predvolene súkromné
Miestne spustenie zmení príbeh súkromia. Nič neopúšťa zariadenie, neexistuje cena za požiadavku a model pokračuje v práci v lietadle alebo v pivnici.
Kompromisom je schopnosť: najväčšie hraničné modely stále vyhrávajú v najťažších úlohách uvažovania. Ale pre dlhý chvost každodenných úloh, „dosť dobré a na mojom počítači” začína poraziť „vynikajúce a merané”.
