Lokale Modelle werden gut genug, um die Cloud hinter sich zu lassen
Eine neue Welle kleiner Modelle läuft vollständig auf Ihrem Laptop oder Telefon — schnell, privat und ohne API-Zähler.
Jahrelang ging man davon aus, dass nützliche KI in den Rechenzentren anderer Leute leben muss. Diese Annahme bröckelt leise.
Die neueste Generation kleiner Modelle — ein paar Milliarden Parameter, quantisiert für den Betrieb auf Consumer-Hardware — ist jetzt gut genug für Zusammenfassungen, Entwürfe, Klassifikationen und Code-Vervollständigungen, ohne jemals ein Netzwerk zu berühren.
Standardmäßig privat
Der lokale Betrieb dreht die Privatsphäre-Geschichte um. Nichts verlässt das Gerät, es fallen keine Kosten pro Anfrage an, und das Modell funktioniert auch im Flugzeug oder im Keller weiter.
Der Kompromiss liegt in der Leistungsfähigkeit: Die größten Frontier-Modelle gewinnen immer noch bei den schwierigsten Denkaufgaben. Aber für die breite Masse alltäglicher Aufgaben beginnt “gut genug und auf meinem Rechner”, “exzellent und abgerechnet” zu schlagen.
