Убудаваныя мадэлі становяцца дастаткова добрымі, каб пакінуць воблака
Новая хваля маленькіх мадэляў цалкам працуе на вашым ноўтбуку ці тэлефоне — хутка, прыватна і без API-лічыльніка.
Гадамі лічылася, што карысны AI павінен жыць у чыімсьці цэнтры апрацоўкі даных. Гэтае меркаванне ціха разбураецца.
Апошняе пакаленне маленькіх мадэляў — некалькі мільярдаў параметраў, квантаваных для працы на спажывецкім абсталяванні — цяпер дастаткова добрае для рэзюмавання, складання тэксту, класіфікацыі і дапаўнення кода без неабходнасці дакранацца да сеткі.
Прыватныя па змаўчанні
Лакальны запуск пераварочвае гісторыю прыватнасці. Нічога не пакідае прыладу, няма кошту за кожны запыт, і мадэль працягвае працаваць у самалёце ці ў падвале.
Кампраміс — гэта магчымасці: самыя вялікія фронтирныя мадэлі ўсё яшчэ перамагаюць у самых складаных задачах разважання. Але для доўгага хваста штодзённых задач “дастаткова добра і на маёй машыне” пачынае перамагаць “выдатна, але з лічыльнікам”.
