Los modelos en el dispositivo son lo suficientemente buenos para dejar la nube atrás
Una nueva ola de modelos pequeños se ejecutan completamente en tu portátil o teléfono — rápidos, privados y sin medidor de API.
Durante años se asumía que la IA útil tenía que vivir en el centro de datos de alguien más. Esa suposición se está derrumbando silenciosamente.
La última generación de modelos pequeños — con algunos miles de millones de parámetros, cuantificados para ejecutarse en hardware de consumidor — ahora es lo suficientemente buena para resumen, redacción, clasificación y finalización de código sin nunca tocar una red.
Privado por defecto
Ejecutar localmente gira la historia de privacidad. Nada sale del dispositivo, no hay costo por solicitud, y el modelo sigue funcionando en un avión o en un sótano.
La compensación es capacidad: los modelos de frontera más grandes todavía ganan en las tareas de razonamiento más difíciles. Pero para la cola larga de trabajos cotidianos, “lo suficientemente bueno y en mi máquina” está comenzando a vencer a “excelente y medido”.
More in AI
El laboratorio europeo de IA de código abierto acaba de hacer gratuito su mayor modelo para todos
La pequeña herramienta de código abierto que reemplazó un stack de logging de $40k
