מודלים על המכשיר משתפרים מספיק כדי להשאיר את הענן מאחור
גל חדש של מודלים קטנים פועל כולו על המחשב הנייד או הטלפון שלך — מהיר, פרטי וללא מדידת API.
למשך שנים ההנחה הייתה ש-AI שימושי חייב לחיות במרכז נתונים של מישהו אחר. ההנחה הזו מתמוטטת בשקט.
הדור האחרון של המודלים הקטנים — כמה מיליארדי פרמטרים, מכווצים כדי לרוץ על חומרה צרכנית — טוב כעת מספיק לסיכום, כתיבה, סיווג והשלמת קוד אף פעם לא נוגע ברשת.
פרטי כברירת מחדל
הרצה מקומית הופכת את סיפור הפרטיות. שום דבר לא עוזב את המכשיר, אין עלות פר-בקשה, והמודל ממשיך לעבוד במטוס או במרתף.
הפשרה היא יכולת: מודלי הגבול הגדולים עדיין מנציחים במשימות ההיקש הקשות ביותר. אבל עבור הזנב הארוך של יומיום, “טוב מספיק ועל המכשיר שלי” מתחיל לנצח את “מעולה ועם מדידה.”
