Model pada peranti menjadi cukup baik untuk meninggalkan awan
Gelombang model kecil yang baru berjalan sepenuhnya pada komputer riba atau telefon anda — pantas, peribadi, dan bebas daripada meter API.
Selama bertahun-tahun anggapannya ialah AI yang berguna mesti tinggal di pusat data orang lain. Andaian itu sedang runtuh secara senyap.
Generasi terkini model kecil — beberapa bilion parameter, dikuantisasi untuk berjalan pada perkakasan pengguna — kini cukup baik untuk ringkasan, draf, klasifikasi dan pelengkapan kod tanpa pernah menyentuh rangkaian.
Peribadi secara lalai
Berjalan secara tempatan membalikkan cerita privasi. Tiada apa-apa yang meninggalkan peranti, tiada kos setiap permintaan, dan model terus berfungsi dalam kapal terbang atau di ruang bawah tanah.
Pertukarannya adalah keupayaan: model sempadan terbesar masih menang pada tugas penaakulan yang paling sukar. Tetapi untuk ekor panjang kerja harian, “cukup baik dan pada mesin saya” mula mengalahkan “cemerlang dan bermeter.”
