অন-ডিভাইস মডেলগুলি ক্লাউড ছেড়ে দেওয়ার মতো যথেষ্ট ভালো হচ্ছে
ছোট মডেলের একটি নতুন তরঙ্গ সম্পূর্ণরূপে আপনার ল্যাপটপ বা ফোনে চলে — দ্রুত, ব্যক্তিগত এবং কোনো API মিটার ছাড়া।
বছরের পর বছর ধরে ধারণা ছিল যে দরকারী AI কে অন্য কারও ডেটা সেন্টারে থাকতে হবে। সেই ধারণাটি নীরবে ভেঙে পড়ছে।
ছোট মডেলগুলির সর্বশেষ প্রজন্ম — কয়েক বিলিয়ন প্যারামিটার, ভোক্তা হার্ডওয়্যারে চালানোর জন্য কোয়ান্টাইজড — এখন নেটওয়ার্ক স্পর্শ না করেই সারাংশ, খসড়া, শ্রেণীবিভাগ এবং কোড সম্পূর্ণতার জন্য যথেষ্ট ভালো।
ডিফল্টভাবে ব্যক্তিগত
স্থানীয়ভাবে চালানো গোপনীয়তার গল্পটি উল্টে দেয়। কিছুই ডিভাইস ছেড়ে যায় না, কোনও প্রতি-অনুরোধ খরচ নেই এবং মডেলটি প্লেনে বা বেসমেন্টে কাজ করতে থাকে।
ট্রেড-অফ হল সক্ষমতা: সবচেয়ে বড় ফ্রন্টিয়ার মডেলগুলি এখনও সবচেয়ে কঠিন যুক্তির কাজে জয়ী হয়। তবে প্রতিদিনের কাজের দীর্ঘ লেজের জন্য, “যথেষ্ট ভালো এবং আমার মেশিনে” “চমৎকার কিন্তু মিটারযুক্ত” কে হারাতে শুরু করেছে।
