डिव्हाइसवरील मॉडेल्स क्लाउड सोडण्याइतके चांगले होत आहेत
छोट्या मॉडेल्सची एक नवीन लाट तुमच्या लॅपटॉप किंवा फोनवर पूर्णपणे चालते — वेगवान, खाजगी, आणि API मीटरशिवाय.
वर्षानुवर्षे असे गृहीत धरले जायचे की उपयुक्त AI दुसर्याच्या डेटा सेंटरमध्ये राहायला हवे. ते गृहीतक शांतपणे कोसळत आहे.
छोट्या मॉडेल्सची नवीनतम पिढी — काही अब्ज पॅरामीटर्स, ग्राहक हार्डवेअरवर चालण्यासाठी क्वांटाइझ केलेली — आता सारांश, मसुदा, वर्गीकरण आणि कोड पूर्ण करण्यासाठी नेटवर्कला स्पर्श न करता पुरेशी चांगली आहे.
डीफॉल्टनुसार खाजगी
स्थानिक पातळीवर चालवणे खाजगीपणाची कथा उलटवते. काहीही डिव्हाइस सोडत नाही, प्रति-विनंती खर्च नाही, आणि मॉडेल विमानात किंवा तळघरात काम करत राहते.
तडजोड क्षमता आहे: सर्वात मोठी फ्रंटियर मॉडेल्स अजूनही सर्वात कठीण रिझनिंग कामांवर जिंकतात. पण दैनंदिन कामांच्या लांब शेपटीसाठी, “माझ्या मशीनवर पुरेसे चांगले” हे “उत्कृष्ट आणि मोजलेले” ला मागे टाकायला सुरुवात करते.
