I modelli su dispositivo stanno diventando abbastanza bravi da lasciare il cloud alle spalle
Una nuova ondata di piccoli modelli funziona interamente sul tuo laptop o telefono — veloce, privata e senza contatore API.
Per anni si è dato per scontato che l’IA utile dovesse vivere nel data center di qualcun altro. Quel presupposto sta silenziosamente crollando.
L’ultima generazione di piccoli modelli — pochi miliardi di parametri, quantizzati per funzionare su hardware consumer — è ora abbastanza brava per riassunti, bozze, classificazioni e completamento di codice senza mai toccare una rete.
Privato per impostazione predefinita
L’esecuzione locale capovolge la storia della privacy. Niente lascia il dispositivo, non c’è alcun costo per richiesta, e il modello continua a funzionare in aereo o in cantina.
Il compromesso riguarda le capacità: i più grandi modelli frontier vincono ancora nei compiti di ragionamento più difficili. Ma per la lunga coda dei lavori quotidiani, “abbastanza buono e sulla mia macchina” sta iniziando a battere “eccellente e misurato.”
