Cihazda Modeller Bulutdan Ayrılmak İçin Yeterince İyi
Küçük modellerin yeni dalgası, dizüstü bilgisayarınız veya telefonunuzda tamamen çalışır — hızlı, özel ve API ölçütü olmadan.
Yıllardır faydalı yapay zeka, başkasının veri merkezinde yaşaması gerektiği varsayılmıştır. Bu varsayım sessizce çöküyor.
Küçük modellerin en son nesli — tüketici donanımında çalıştırmak için birkaç milyar parametre, nicemlenmiş — artık ağa dokunmadan özet, yazı, sınıflandırma ve kod tamamlama için yeterince iyidir.
Varsayılan Olarak Özel
Yerel olarak çalıştırmak gizlilik hikayesini döndürür. Cihazdan hiçbir şey ayrılmaz, istek başına bir maliyet yoktur ve model bir uçakta veya bodrum katında çalışmaya devam eder.
Ödün vermek yeteneğidir: en büyük sınır modeller hala en zor akıl yürütme görevlerinde kazanır. Ancak günlük işlerin uzun kuyruğu için, “yeterince iyi ve makinemde” “mükemmel ve ölçülmüş” öğeleri yenmeye başlıyor.
