Các mô hình trên thiết bị đủ tốt để rời khỏi đám mây
Một làn sóng mới các mô hình nhỏ chạy hoàn toàn trên máy tính xách tay hoặc điện thoại của bạn — nhanh, riêng tư và không có bộ đo API.
Trong nhiều năm, giả định là AI hữu ích phải tồn tại trong trung tâm dữ liệu của ai đó. Giả định đó đang bị sập một cách lặng lẽ.
Thế hệ mô hình nhỏ mới nhất — một vài tỷ tham số, được lượng tử hóa để chạy trên phần cứng tiêu dùng — hiện đủ tốt cho tóm tắt, soạn thảo, phân loại và hoàn thành mã mà không cần chạm vào mạng.
Riêng tư theo mặc định
Chạy cục bộ lật câu chuyện về quyền riêng tư. Không có gì rời khỏi thiết bị, không có chi phí trên mỗi yêu cầu, và mô hình tiếp tục hoạt động trên máy bay hoặc hầm.
Sự đánh đổi là khả năng: các mô hình biên giới lớn nhất vẫn thắng các nhiệm vụ lý luận khó nhất. Nhưng đối với phần đuôi dài các công việc hàng ngày, “đủ tốt và trên máy của tôi” bắt đầu đánh bại “xuất sắc và được đo lường”.
