Modeli v napravi so dovolj dobri za zapustitev oblaka
Novo valovanje majhnih modelov se izvaja v celoti na vaš prenosni računalnik ali telefon — hitro, zasebno in brez merilnika API.
Leta se je predpostavljalo, da mora biti koristna AI v tujem podatkovnem središču. Ta predpostavka se tiho sesipa.
Najnovejša generacija manjših modelov — nekaj milijard parametrov, kvantiziranih za delovanje na potrošniškem strojnem opremljenju — je zdaj dovolj dobra za povzemanje, pisanje, razvrščanje in dopolnjevanje kode brez dotikanja omrežja.
Zasebno po privzetku
Lokalno zaganjanje preureja zgodbo o zasebnosti. Nič ne zapusti napravo, ni stroškov na zahtevo, model pa deluje na letalu ali v kleti.
Kompromis je zmogljivost: največji mejni modeli še vedno zmagajo pri najtežjih nalogah razmišljanja. Toda za dolgi rep vsakodnevnih nalog se „dovolj dobro in na mojem računalniku” začenja bojevati s „odličnim in merskim”.
