Modele na urządzeniu są wystarczająco dobre, aby opuścić chmurę
Nowa fala małych modeli działa całkowicie na Twoim laptopie lub telefonie — szybko, prywatnie i bez miernika API.
Przez lata założono, że przydatna AI musiała żyć w czyimś centrum danych. To założenie cicho się rozpada.
Najnowsza generacja małych modeli — kilka miliardów parametrów, skwantyzowana do uruchamiania na sprzęcie konsumenckim — jest teraz wystarczająco dobra do podsumowania, redagowania, klasyfikacji i uzupełniania kodu bez dotykania sieci.
Domyślnie prywatne
Uruchomienie lokalnie zmienia historię prywatności. Nic nie opuszcza urządzenia, nie ma kosztu na żądanie, a model działa w samolocie lub w piwnicy.
Kompromisem jest możliwość: największe modele graniczne nadal wygrywają w najtrudniejszych zadaniach rozumowania. Ale dla długiego ogona codziennych prac, „wystarczająco dobre i na moim komputerze” zaczyna pokonywać „doskonałe i mierzone”.
