Modelet në pajisje po bëhen mjaft të mira për të lënë pas renë
Një valë e re modelesh të vogla punojnë tërësisht në laptop ose telefon — të shpejta, private dhe pa matës API.
Për vite me radhë supozimi ishte se AI i dobishëm duhej të jetonte në qendrën e të dhënave të dikujt tjetër. Ky supozim po shembet në heshtje.
Gjenerata më e re e modeleve të vogla — disa miliardë parametra, të kuantizuara për të punuar në pajisje konsumatore — tani janë mjaft të mira për përmbledhje, hartim draftesh, klasifikim dhe plotësim kodi pa prekur kurrë një rrjet.
Private si parazgjedhje
Të punosh lokalisht e kthen historinë e privatësisë. Asgjë nuk largohet nga pajisja, nuk ka kosto për kërkesë dhe modeli vazhdon të punojë në aeroplan ose në bodrum.
Shkëmbimi është aftësia: modelet më të mëdha kufitare ende fitojnë në detyrat më të vështira të arsyetimit. Por për bishtin e gjatë të punëve të përditshme, “mjaft i mirë dhe në makinën time” po fillon të mposht “i shkëlqyer dhe i matur.”
