Laitteelle omistetut mallit ovat muuttuneet tarpeeksi hyviksi jättääksesi pilven taakse

Vuositkaat oletus oli, että hyödyllinen AI piti olla jonkun muun tietokeskuksessa. Tuo oletus horjuu hiljaisuudessa.

Uusin sukupolvi pieniä malleja — muutama miljardi parametria, kvantisoitu kuluttajalaitteille — on nyt tarpeeksi hyvä yhteenvedon laatimiseen, luonnosteluluokitteluun ja koodin täydentämiseen koskettamatta verkkoa.

Yksityinen oletuksena

Paikallinen suorittaminen kääntää yksityisyystarinan. Mitään ei lähde laitteelta, ei ole pyyntökustannuksia, ja malli jatkaa toimintaansa lennolla tai kellarissa.

Vaihtokauppa on kyky: suurimmat raja-alueen mallit voittavat vielä vaikeimmissa reasoning-tehtävissä. Mutta pitkän hännän arkitöiden osalta “tarpeeksi hyvä ja omalla koneellani” alkaa voittaa “erinomainen ja mittarilla.”