Ang mga modelo sa device ay nagiging sapat na mabuti para iwan ang cloud
Isang bagong alon ng maliliit na modelo ay tumatakbo nang buong-buo sa iyong laptop o telepono — mabilis, pribado, at libre mula sa API meter.
Sa loob ng maraming taon ang paniniwala ay ang kapaki-pakinabang na AI ay kailangang nasa data center ng ibang tao. Ang paniniwalang ito ay tahimik na gumuguho.
Ang pinakabagong henerasyon ng maliliit na modelo — ilang bilyong parameter, quantized para tumatakbo sa consumer hardware — ay sapat na mabuti na para sa summarization, drafting, classification at code completion nang hindi kailanman hinahawakan ang network.
Pribado sa pamamagitan ng default
Ang pagtatakbo nang lokal ay nagpapabaligtad sa kuwento ng privacy. Walang umalis sa device, walang bayad bawat request, at ang modelo ay patuloy na gumagana sa eroplano o sa basement.
Ang kapalit ay kakayahan: ang pinakamalaking frontier modelo ay nananalo pa rin sa pinakamahirap na gawain ng reasoning. Pero para sa mahabang buntot ng pang-araw-araw na trabaho, “sapat na mabuti at nasa aking machine” ay nagsisimulang talunin ang “excellent at may meter.”
