온디바이스 모델이 클라우드를 떠날 만큼 충분히 좋아지고 있습니다

수년 동안 유용한 AI는 다른 누군가의 데이터 센터에 살아야 한다는 가정이 있었습니다. 그 가정은 조용히 무너지고 있습니다.

소형 모델의 최신 세대 — 수십억 개의 매개변수, 소비자 하드웨어에서 실행되도록 양자화됨 — 이제 요약, 작성, 분류 및 코드 완성에 네트워크를 건드리지 않고도 충분히 좋습니다.

기본적으로 비공개

로컬에서 실행하면 개인정보 보호 이야기가 뒤집힙니다. 아무것도 기기를 떠나지 않고, 요청당 비용도 없으며, 모델은 비행기나 지하실에서 계속 작동합니다.

트레이드오프는 능력입니다: 가장 큰 최첨단 모델은 여전히 가장 어려운 추론 작업에서 승리합니다. 그러나 일상 작업의 긴 꼬리에서 “충분히 좋고 내 기계에서”가 “훌륭하고 측정됨”을 이기기 시작합니다.