Моделите на устройството стават достатъчно добри, за да оставят облака зад гърба си
Нова вълна от малки модели работи изцяло на вашия лаптоп или телефон — бързо, частно и без API измервателен уред.
С години се предполагаше, че полезният AI трябва да живее в нечий център за данни. Това предположение тихо се разпада.
Най-новото поколение малки модели — няколко милиарда параметъра, квантувани за работа на потребителски хардуер — вече е достатъчно добро за обобщаване, писане на чернови, класификация и допълване на код, без изобщо да докосва мрежа.
Частни по подразбиране
Локалното изпълнение обръща историята за поверителност. Нищо не напуска устройството, няма цена на заявка и моделът продължава да работи в самолет или в изба.
Компромисът е възможност: най-големите frontier модели все още печелят на най-трудните задачи за разсъждение. Но за дългата опашка от ежедневни задачи, “достатъчно добро и на моята машина” започва да побеждава “отлично, но с измервател.”
