Модели на уређају су довољно добри да оставе облак позади
Нови талас малих модела ради потпуно на вашем лаптопу или телефону — брзо, приватно и без бројача API-ја.
Годинама се претпостављало да мораće корисна ИИ да живи у туђем дата центру. Та претпоставка се тихо урушава.
Најновија генерација малих модела — неколико миљарди параметара, квантизирана да ради на потрошачкој хардверској опреми — је сада довољно добра за сумирање, писање, класификацију и довршавање кода без додира мреже.
Подразумевано приватно
Локално извршавање преокреће причу о приватности. Ништа не напушта уређај, нема трошка по захтеву, а модел наставља да ради у авиону или подруму.
Компромис је способност: највећи граничари модели и даље побеђују у наjtежім задатаама размишљања. Али за дугу завршницу свакодневних послова, „довољно добро и на мојој машини” почиње да побеђује „одличан и измерен”.
