Модели на устройстве достаточно хороши, чтобы оставить облако позади
Новая волна малых моделей работает полностью на вашем ноутбуке или телефоне — быстро, приватно и без счетчика API.
Годами предполагалось, что полезный AI должен жить в чужом центре обработки данных. Это предположение тихо рушится.
Последнее поколение малых моделей — несколько миллиардов параметров, квантованных для работы на потребительском оборудовании — теперь достаточно хорошо для суммирования, написания, классификации и дополнения кода без касания сети.
Приватное по умолчанию
Локальное выполнение переворачивает историю конфиденциальности. Ничего не покидает устройство, нет стоимости за запрос, и модель продолжает работать на самолете или в подвале.
Компромисс — это возможность: самые большие пограничные модели все еще выигрывают в наиболее сложных задачах рассуждения. Но для длинного хвоста повседневных работ «достаточно хорошо и на моей машине» начинает побеждать «отлично и измеренно».
