খোলা উৎসের এআই আগের চেয়ে অনেক বেশি গুরুত্বপূর্ণ, হাগিং ফেসের ক্লেম ডেলাঙ্গু বলছেন

অ্যান্থ্রপিক তার ফেবল রিলিজ লক করার চেষ্টা করেছিল। হাগিং ফেসের সিইও তা লক্ষ্য করেছেন — এবং তিনি এই বিষয়ে নীরব নন। ক্লেম ডেলাঙ্গু টেকক্রাঞ্চের ইকুইটি পডকাস্টে গিয়ে যুক্তি দিয়েছেন যে খোলা উৎসের এআই আগের চেয়ে অনেক বেশি গুরুত্বপূর্ণ, এবং তার এই যুক্তি এখনই এশিয়ায় যারা নির্মাণ করছেন তাদের প্রতিটি ডেভেলপারের জন্য প্রাসঙ্গিক।

হাগিং ফেস নিঃশব্দে বিশ্বের এআই উন্নয়নের একটি উল্লেখযোগ্য অংশের অবকাঠামো স্তর হয়ে উঠেছে। এটিকে এআইয়ের জন্য গিটহাবের মতো ভাবুন: একটি প্ল্যাটফর্ম যেখানে নির্মাতারা খোলা মডেল, ডেটাসেট এবং অন্যান্য সবকিছু শেয়ার এবং ডাউনলোড করেন। টেকক্রাঞ্চ ইকুইটি পডকাস্ট অনুযায়ী, ফরচুন ৫০০ এর প্রায় অর্ধেক এখন হাগিং ফেস ব্যবহার করে। এটি আর কোনো নিশ খোলা উৎসের প্রকল্প নয় — এটি গুরুত্বপূর্ণ অবকাঠামো। এবং ডেলাঙ্গুর উদ্বেগ সরল: যদি মুষ্টিমেয় শক্তিশালী কোম্পানি সেই ভিত্তিগত এআই মডেলগুলি নিয়ন্ত্রণ করে যার উপর সবাই নির্ভর করে, তাহলে সম্পূর্ণ ইকোসিস্টেম এমন কিছু হারায় যা সহজে ফিরে পাওয়া যায় না।

কী ঘটেছে

ডেলাঙ্গুর ইকুইটি পডকাস্টে উপস্থিতির তাৎক্ষণিক কারণ ছিল অ্যান্থ্রপিকের বন্ধ করা ফেবল রিলিজ। যদিও ফেবল পরিস্থিতির সম্পূর্ণ বিবরণ সীমিত রয়েছে, ডেলাঙ্গু যে বৃহত্তর প্যাটার্ন বর্ণনা করেন তা এআই শিল্পকে ঘনিষ্ঠভাবে পর্যবেক্ষণকারী যে কাউকে পরিচিত: একটি কোম্পানি একটি শক্তিশালী মডেল তৈরি করে, তারপর সিদ্ধান্ত নেয় — এমন কারণে যা খুব কমই সম্পূর্ণভাবে স্বচ্ছ — জনসাধারণের অ্যাক্সেস সীমাবদ্ধ বা বিলম্ব করতে। ন্যায্যতা নিরাপত্তা, প্রতিযোগিতামূলক সুবিধা বা নিয়ন্ত্রক সতর্কতা যাই হোক না কেন, ফলাফল একই। যে ডেভেলপাররা সেই মডেলের চারপাশে ওয়ার্কফ্লো তৈরি করেছেন তাদের নিজস্ব স্ট্যাকের উপর কম নিয়ন্ত্রণ থাকে।

ডেলাঙ্গুর বিপরীত বর্ণনা হাগিং ফেসের ব্যবহারকারী বেস জুড়ে বারবার পর্যবেক্ষণ করা একটি প্যাটার্নের উপর নির্মিত। কোম্পানিগুলি সীমাবদ্ধ এপিআই দিয়ে তাদের এআই যাত্রা শুরু করে — এটি একটি কাজের প্রোটোটাইপের দ্রুততম পথ। কিন্তু যখন তারা স্কেল করে, অর্থনীতি নাটকীয়ভাবে পরিবর্তিত হয়। অনুমান খরচ যৌগিক হয়, হার সীমা একটি বাস্তব অপারেশনাল সীমাবদ্ধতা হয়ে ওঠে, এবং মডেল সূক্ষ্ম-সুর করতে বা পরিদর্শন করতে অক্ষমতা যা প্রকৃতপক্ষে অর্জনযোগ্য তার একটি সীমা তৈরি করে। সেই মুহূর্তে, ডেলাঙ্গু বলেন, দলগুলি খোলা উৎসের মডেলের দিকে স্থানান্তরিত হয়। বন্ধ এপিআই একটি দুর্দান্ত অন-র্যাম্প; এটি একটি দুর্বল দীর্ঘমেয়াদী ভিত্তি।

কথোপকথন থেকে আরও একটি চমকপ্রদ ডেটা পয়েন্ট: চীনা ল্যাবরেটরিগুলি এখন হাগিং ফেসে ডাউনলোড করা খোলা মডেলের সংখ্যাগরিষ্ঠতা তৈরি করছে। এটি প্রযুক্তিগত যেমন একটি ভূ-রাজনৈতিক সংকেত। খোলা এআই উন্নয়নে মাধ্যাকর্ষণের কেন্দ্র স্থানান্তরিত হচ্ছে, এবং এটি এশিয়ার দিকে স্থানান্তরিত হচ্ছে।

এটি এশিয়ার জন্য কেন গুরুত্বপূর্ণ

দক্ষিণ-পূর্ব এশিয়া, পূর্ব এশিয়া এবং দক্ষিণ এশিয়া জুড়ে ডেভেলপার এবং উদ্যোক্তাদের জন্য, খোলা উৎসের এআই আন্দোলন শুধুমাত্র দার্শনিকভাবে আকর্ষণীয় নয় — এটি কাঠামোগতভাবে প্রয়োজনীয়। এশিয়া প্রযুক্তি ইকোসিস্টেম সিলিকন ভ্যালি স্টার্টআপগুলির চেয়ে ভিন্ন সীমাবদ্ধতার একটি সেটের অধীনে কাজ করে যাদের মার্কিন-ভিত্তিক উদ্যোগ পুঁজি এবং এন্টারপ্রাইজ বিক্রয় পাইপলাইনে সহজ অ্যাক্সেস রয়েছে।

প্রথমে অর্থনীতি বিবেচনা করুন। জাকার্তা বা হো চি মিন্ হ শহরে একটি স্টার্টআপ স্কেলে ওপেনএআই এপিআই ক্রেডিট পোড়াচ্ছে এমন মার্জিনের সাথে কাজ করছে যা একটি ভালভাবে অর্থায়িত মার্কিন প্রতিপক্ষের জন্য একই উপায়ে বিদ্যমান নয়। খোলা উৎসের মডেল — স্থানীয় অবকাঠামোতে বা খরচ-দক্ষ ক্লাউড অঞ্চলে স্থাপন করা — সেই সমীকরণ মৌলিকভাবে পরিবর্তন করে। আপনার নিজের শর্তে একটি সক্ষম মডেল চালানোর ক্ষমতা, আপনার নিজের ডেটায় সুর করা, প্রতি-টোকেন ফি ছাড়াই অনির্দেশ্যভাবে যৌগিক হচ্ছে, একটি প্রকৃত প্রতিযোগিতামূলক আনলক।

তারপর ভাষার মাত্রা রয়েছে। প্রভাবশালী বন্ধ মডেলগুলি ইংরেজির জন্য অপ্টিমাইজ করা হয়েছে। তারা ম্যান্ডারিন এবং জাপানিকে যুক্তিসঙ্গতভাবে ভালভাবে পরিচালনা করে, উপলব্ধ প্রশিক্ষণ ডেটার পরিমাণ দেওয়া। কিন্তু বাহাসা ইন্দোনেশিয়া, থাই, ভিয়েতনামী, তাগালগ, বাংলা — এই ভাষাগুলি বন্ধ সীমান্ত মডেল দ্বারা এমনভাবে অপ্রতিষ্ঠিত যা স্থানীয় ব্যবহারকারীদের জন্য নির্মিত পণ্যগুলির জন্য অত্যন্ত গুরুত্বপূর্ণ। খোলা উৎসের মডেলগুলি স্থানীয় ভাষা ডেটাসেটে সূক্ষ্ম-সুর করা যেতে পারে। বন্ধ এপিআইগুলি বেশিরভাগ অংশে পারে না, বা অন্তত এমনভাবে নয় যা ডেভেলপারদের আউটপুটের উপর অর্থপূর্ণ নিয়ন্ত্রণ দেয়।

চীনা ল্যাবরেটরিগুলি হাগিং ফেসে খোলা মডেল রিলিজ নেতৃত্ব দিচ্ছে এই তথ্যটি সাবধানে পড়ার যোগ্য। এটি সংকেত দেয় যে এআইয়ে পশ্চিমা প্রযুক্তিগত প্রাধান্যের অনুমান ইতিমধ্যে পুরানো। এশিয়ার ডেভেলপারদের একটি সক্ষম খোলা মডেল রিলিজ করার জন্য একটি মার্কিন ল্যাবের জন্য অপেক্ষা করতে হবে না — খোলা এআইয়ের সরবরাহ শৃঙ্খল ক্রমবর্ধমান আঞ্চলিক। এটি যারা মনোযোগ দিচ্ছে তাদের নির্মাতাদের জন্য একটি কাঠামোগত সুবিধা।

একটি এআই-নেটিভ উন্নয়ন প্ল্যাটফর্ম দৃষ্টিকোণ থেকে, এই পরিবর্তন গুরুত্বপূর্ণ কারণ সরঞ্জাম স্তরটি মডেল স্তরের সাথে বিকশিত হতে হবে। যখন ডেভেলপাররা বন্ধ এপিআই থেকে স্ব-হোস্ট করা খোলা মডেলে চলে যায়, তাদের অবকাঠামোর প্রয়োজন যা মডেল নির্বাচন, স্থাপনা এবং একীকরণের জটিলতা পরিচালনা করে প্রকৌশল ওভারহেড সপ্তাহ যোগ না করে।

এটি ডেভেলপারদের জন্য কী অর্থ

ডেলাঙ্গুর যুক্তির একটি ব্যবহারিক প্রভাব রয়েছে যা মিস করা সহজ যদি আপনি খোলা বনাম বন্ধের আদর্শে মনোনিবেশ করছেন: যারা এখন খোলা মডেলগুলির সাথে কাজ করতে শিখবে তারা শিল্প পরিপক্ক হওয়ার সাথে সাথে একটি টেকসই দক্ষতা সুবিধা থাকবে।

খোলা মডেলগুলির সাথে কাজ করা একটি এপিআই কল করার চেয়ে আরও দাবিদার। আপনাকে মডেল কোয়ান্টাইজেশন, অনুমান অপ্টিমাইজেশন, মডেল পরিবারগুলি জুড়ে প্রম্পট ফর্ম্যাটিং পার্থক্য এবং মডেল আকার এবং লেটেন্সির মধ্যে ট্রেডঅফগুলি বুঝতে হবে। এগুলি অপ্রতিরোধ্য চ্যালেঞ্জ নয় — খোলা মডেলগুলির চারপাশে সরঞ্জাম ইকোসিস্টেম উল্লেখযোগ্যভাবে পরিপক্ক হয়েছে — তবে তাদের প্রকৃত প্রযুক্তিগত বিনিয়োগ প্রয়োজন।

অনুশীলনে সেই বিনিয়োগ কেমন দেখায় তা এখানে:

• মডেল নির্বাচন: প্রতিটি খোলা মডেল প্রতিটি কাজের জন্য সঠিক নয়। একটি ৭বি প্যারামিটার মডেল কোডে সূক্ষ্ম-সুর করা একটি নির্দিষ্ট কোডিং কাজে একটি ৭০বি সাধারণ মডেলকে ছাড়িয়ে যাবে। বেঞ্চমার্ক লিডারবোর্ডের বিপরীতে আপনার প্রকৃত ব্যবহারের ক্ষেত্রে মডেলগুলি মূল্যায়ন করতে শেখা একটি মূল দক্ষতা।
• স্থানীয় ডেটায় সূক্ষ্ম-সুর করা: খোলা মডেলগুলিতে প্রকৃত লিভারেজ সূক্ষ্ম-সুর করার ক্ষমতা। স্থানীয় বাজারের জন্য পণ্য তৈরি করা এশিয়ার ডেভেলপারদের জন্য, এর অর্থ স্থানীয় ভাষা ডেটা, ডোমেন-নির্দিষ্ট পরিভাষা এবং সাংস্কৃতিকভাবে প্রাসঙ্গিক উদাহরণগুলিতে প্রশিক্ষণ। প্রকৃত থাই গ্রাহক সেবা কথোপকথনে সূক্ষ্ম-সুর করা একটি থাই ই-কমার্স চ্যাটবট সেই নির্দিষ্ট কাজে যেকোনো অফ-দ্য-শেল্ফ বন্ধ মডেলকে ছাড়িয়ে যাবে।
• স্থাপনা স্থাপত্য: উৎপাদন স্কেলে খোলা মডেল চালানোর জন্য কোয়ান্টাইজেশন (জিজিইউএফ, এডাব্লিউকিউ, জিপিটিকিউ), পরিবেশন ফ্রেমওয়ার্ক (ভিএলএলএম, ওলামা, টিজিআই) এবং হার্ডওয়্যার নির্বাচন সম্পর্কে সিদ্ধান্ত প্রয়োজন। এই সিদ্ধান্তগুলির উল্লেখযোগ্য খরচ প্রভাব রয়েছে।
• একীকরণ প্যাটার্ন: খোলা মডেলগুলি আপনার স্ট্যাকের বাকি অংশের সাথে সংযোগ করতে হবে — ডাটাবেস, এপিআই, ফ্রন্টএন্ড অ্যাপ্লিকেশন। সংযোগকারী এবং একটি খোলা মডেলের চারপাশে আপনি যে একীকরণ প্যাটার্ন তৈরি করেন তা প্রায়শই যেখানে প্রকৃত পণ্য পার্থক্য থাকে।

বৃহত্তর পয়েন্ট হল যে খোলা উৎসের এআই এটি বোঝার জন্য বিনিয়োগ করে এমন ডেভেলপারদের জন্য লিভারেজ তৈরি করে। বন্ধ এপিআইগুলি মডেল স্তরকে পণ্যায়ন করে — সবাই একই জিপিটি-৪ বা ক্লডে অ্যাক্সেস করে। খোলা মডেলগুলি সূক্ষ্ম-সুর করা, কাস্টম স্থাপনা এবং মালিকানাধীন ডেটার সাথে গভীর একীকরণের মাধ্যমে পার্থক্যকরণ অনুমতি দেয়। এশিয়ায় নির্মাণকারী প্রতিষ্ঠাতাদের জন্য, যেখানে স্থানীয় বাজার জ্ঞান একটি প্রকৃত পরিখা, সেই পার্থক্য গুরুত্বপূর্ণ।

একটি ঝুঁকি ব্যবস্থাপনা যুক্তিও রয়েছে। ডেলাঙ্গুর উদ্বেগ মুষ্টিমেয় কোম্পানি ভিত্তিগত এআই নিয়ন্ত্রণ সম্পর্কে অনুমানমূলক নয় — এটি বন্ধ মডেল বাজারের বর্তমান অবস্থার একটি বর্ণনা। যেকোনো স্টার্টআপ যা একটি একক বন্ধ এপিআইতে তার মূল পণ্য তৈরি করেছে তার একটি নির্ভরতা ঝুঁকি রয়েছে যা দেখা যায় না