Os modelos no dispositivo estão a tornar-se bons o suficiente para deixar a nuvem para trás

Durante anos, a suposição era que a IA útil tinha de viver no centro de dados de outra pessoa. Essa suposição está silenciosamente a desmoronar-se.

A mais recente geração de pequenos modelos — alguns milhares de milhões de parâmetros, quantizados para funcionar em hardware de consumo — é agora suficientemente boa para sumarização, redação, classificação e conclusão de código sem nunca tocar numa rede.

Privado por defeito

A execução local inverte a história da privacidade. Nada sai do dispositivo, não há custo por pedido, e o modelo continua a funcionar num avião ou numa cave.

A contrapartida é a capacidade: os maiores modelos de fronteira ainda ganham nas tarefas de raciocínio mais difíceis. Mas para a longa cauda dos trabalhos quotidianos, “bom suficiente e na minha máquina” está a começar a vencer “excelente e medido.”