デバイス上のモデルはクラウドから脱出するのに十分優れている

長年の間、有用なAIは誰かのデータセンターに存在する必要があるという仮説がありました。その仮説は静かに崩れています。

最新の小型モデルのジェネレーション — 数十億のパラメータで、消費者向けハードウェア上で実行するように量子化されたもの — は、ネットワークに触れることなく、要約、作成、分類、およびコード補完に十分優れています。

デフォルトでプライベート

ローカルで実行すると、プライバシーのストーリーが変わります。デバイスの外に何も出ていかず、要求あたりのコストがなく、モデルは飛行機の中または地下室で動作し続けます。

トレードオフは機能です: 最大のフロンティアモデルは最も難しい推論タスクで勝っています。しかし、日常的な仕事の長い尾部では、「十分に良く、私のマシンで」は「優れており、計測された」に勝つ始めています。