ऑन-डिवाइस मॉडल इतने अच्छे हो रहे हैं कि क्लाउड को पीछे छोड़ सकते हैं
छोटे मॉडलों की एक नई लहर पूरी तरह से आपके लैपटॉप या फोन पर चलती है — तेज़, निजी, और API मीटर से मुक्त।
वर्षों से यह मान्यता थी कि उपयोगी AI को किसी और के डेटा सेंटर में रहना होगा। वह मान्यता चुपचाप ढह रही है।
छोटे मॉडलों की नवीनतम पीढ़ी — कुछ अरब पैरामीटर, उपभोक्ता हार्डवेयर पर चलने के लिए क्वांटाइज्ड — अब सारांश, ड्राफ्टिंग, वर्गीकरण और कोड पूर्णता के लिए काफी अच्छे हैं बिना कभी नेटवर्क को छुए।
डिफ़ॉल्ट द्वारा निजी
स्थानीय रूप से चलाना गोपनीयता की कहानी को पलट देता है। डिवाइस से कुछ भी नहीं निकलता, कोई प्रति-अनुरोध लागत नहीं है, और मॉडल विमान या तहखाने में भी काम करता रहता है।
व्यापार क्षमता है: सबसे बड़े फ्रंटियर मॉडल अभी भी सबसे कठिन तर्क कार्यों में जीतते हैं। लेकिन रोजमर्रा के कामों के लंबे पूंछ के लिए, “काफी अच्छा और मेरी मशीन पर” “उत्कृष्ट और मीटर्ड” को हराना शुरू कर रहा है।
