Model on-device menjadi cukup baik untuk meninggalkan cloud
Gelombang baru model kecil berjalan sepenuhnya di laptop atau ponsel Anda — cepat, pribadi, dan tanpa pengukuran API.
Selama bertahun-tahun asumsinya adalah AI yang berguna harus hidup di pusat data orang lain. Asumsi itu diam-diam runtuh.
Generasi terbaru model kecil — beberapa miliar parameter, dikuantisasi untuk berjalan di perangkat keras konsumen — sekarang cukup baik untuk ringkasan, draf, klasifikasi dan pelengkapan kode tanpa pernah menyentuh jaringan.
Pribadi secara default
Menjalankan secara lokal membalik cerita privasi. Tidak ada yang meninggalkan perangkat, tidak ada biaya per-permintaan, dan model terus bekerja di pesawat atau di ruang bawah tanah.
Komprominya adalah kemampuan: model batas terbesar masih menang pada tugas penalaran tersulit. Tapi untuk ekor panjang pekerjaan sehari-hari, “cukup baik dan di mesin saya” mulai mengalahkan “unggul dan diukur.”
