A készüléken futó modellek elég jók ahhoz, hogy maguk mögött hagyják a felhőt
Kis modellek új hulláma teljesen az Ön laptopján vagy telefonján fut — gyors, privát és API-mérce nélkül.
Évekig az volt a feltételezés, hogy a hasznos AI-nak valaki más adatközpontjában kell élnie. Ez a feltételezés csendesen összeomlik.
A kis modellek legújabb generációja — néhány milliárd paraméter, fogyasztói hardveren futásra quantizálva — most elég jó összefoglalásra, vázlatra, osztályozásra és kód kiegészítésre anélkül, hogy valaha is hozzáérne a hálózathoz.
Alapértelmezetten privát
Helyi futtatás megfordítja a privátság történetét. Semmi sem hagyja el az eszközt, nincs kérésenkénti költség, és a modell továbbra is működik egy repülőn vagy egy pince.
A kompromisszum a képesség: a legnagyobb határmodellek továbbra is nyernek a legnehezebb érvelési feladatokban. De a mindennapi munkák hosszú farkának, az „elég jó és az én gépemben” kezdi legyőzni a „kiváló és mért”.
