مدلهای روی دستگاه به اندازه کافی خوب هستند تا از ابر فاصله بگیرند
موج جدیدی از مدلهای کوچک به طور کامل در لپ تاپ یا تلفن شما اجرا میشوند — سریع، خصوصی و بدون متر API.
برای سالها فرض بر این بود که هوش مصنوعی مفید باید در مرکز داده شخص دیگری زندگی کند. این فرض به آرامی در حال فروپاشی است.
آخرین نسل مدلهای کوچک — چند میلیارد پارامتر، کوانتیزه شده برای اجرا بر روی سختافزار مصرفی — اکنون برای خلاصهسازی، نوشتن، طبقهبندی و تکمیل کد بدون تماس با شبکه کافی خوب است.
خصوصی به طور پیشفرض
اجرای محلی داستان حریم خصوصی را برمیگرداند. هیچ چیزی از دستگاه خارج نمیشود، هیچ هزینهای در هر درخواست وجود ندارد، و مدل در هواپیما یا سردخانه کار میکند.
مبادلۀ این امر توانایی است: بزرگترین مدلهای مرزی هنوز در سختترین وظایف استدلال برنده هستند. اما برای دنباله بلند کارهای روزمره، “کافی خوب و بر ماشین من” شروع به شکست دادن “عالی و اندازهگیری شده” میکند.
