Modely na zařízení se stávají dostatečně dobré, aby nechaly cloud za sebou

Po léta byl předpoklad, že užitečná AI musí žít v něčím cizím datovém centru. Tento předpoklad se tiše hroutí.

Nejnovější generace malých modelů — několik miliard parametrů, kvantizovaných pro běh na spotřebitelském hardwaru — je nyní dostatečně dobrá pro sumarizaci, psaní konceptů, klasifikaci a dokončování kódu, aniž by se kdy dotkla sítě.

Soukromí ve výchozím nastavení

Lokální běh obrací příběh o soukromí. Nic neopouští zařízení, neexistují žádné náklady na požadavek a model funguje dál v letadle nebo ve sklepě.

Kompromisem je schopnost: největší hraniční modely stále vítězí v nejtěžších úkolech uvažování. Ale pro dlouhý ocas každodenních úkolů začíná “dost dobré a na mém stroji” porážet “vynikající a měřené.”