திறந்த மூல AI இப்போது முன்னெப்போதும் இல்லாத அளவுக்கு முக்கியமானது, Hugging Face இன் Clem Delangue கூறுகிறார்

Anthropic அதன் Fable வெளியீட்டை பூட்டிவிட முயற்சித்தது. Hugging Face இன் CEO இதை கவனித்தார் — மற்றும் அவர் அதைப் பற்றி அமைதியாக இருக்கவில்லை. Clem Delangue TechCrunch இன் Equity பாட்காஸ்டில் திறந்த மூல AI இப்போது முன்னெப்போதும் இல்லாத அளவுக்கு முக்கியமானது என்ற வாதத்தை முன்வைக்க சென்றார், மற்றும் அவரது வாதம் இப்போது ஆசியாவில் கட்டமைக்கும் ஒவ்வொரு டெவலப்பருக்கும் உண்மையான எடை வைத்திருக்கிறது.

Hugging Face அமைதியாக உலகின் AI வளர்ச்சியின் ஒரு குறிப்பிடத்தக்க பகுதির கீழ் உள்ள உள்கட்டமைப்பு அடுக்கு ஆனது. இதை AI க்கான GitHub என்று நினைத்துக் கொள்ளுங்கள்: ஒரு தளம் இதில் கட்டமைப்பாளர்கள் திறந்த மாதிரிகள், தரவுத்தொகுப்புகள் மற்றும் அனைத்தையும் பகிர்ந்து கொள்கிறார்கள் மற்றும் பதிவிறக்கம் செய்கிறார்கள். TechCrunch Equity பாட்காஸ்ட் இன் படி, Fortune 500 இன் சுமார் பாதி இப்போது Hugging Face ஐ பயன்படுத்துகிறது. இது இனி ஒரு சிறிய திறந்த மூல திட்டம் அல்ல — இது முக்கியமான உள்கட்டமைப்பு. மற்றும் Delangue இன் கவலை நேரடியானது: சில சக்திவாய்ந்த நிறுவனங்கள் அனைவரும் சார்ந்திருக்கும் அடிப்படை AI மாதிரிகளை கட்டுப்படுத்துவதில் முடிந்தால், முழு ஈக்கோசிஸ்டம் அதை எளிதாக திரும்பப் பெற முடியாத ஒன்றை இழக்கிறது.

என்ன நடந்தது

Delangue இன் Equity தோற்றத்திற்கான உடனடி ட்রிகர் Anthropic இன் நிறுத்தப்பட்ட Fable வெளியீடு ஆகும். Fable சூழ்நிலையின் முழு விவரங்கள் வரையறுக்கப்பட்டுள்ளன என்றாலும், Delangue விவரிக்கும் பரந்த முறை AI தொழிலை நெருக்கமாக கவனிக்கும் யாருக்கும் பரிச்சயமானது: ஒரு நிறுவனம் ஒரு சக்திவாய்ந்த மாதிரி உருவாக்குகிறது, பின்னர் முடிவு செய்கிறது — பெரும்பாலும் முழுமையாக வெளிப்படையாக இல்லாத காரணங்களுக்காக — பொது அணுகலை கட்டுப்படுத்த அல்லது தாமதப்படுத்த. பாதுகாப்பு, போட்டிமுறை நன்மை அல்லது ஒழுங்குமுறை எச்சரிக்கை என்பது நியாயம் என்றாலும், ফলாফல் ஒன்றுதான். அந்த மாதிரியைச் சுற்றி பணிப்பாய்வுகளை கட்டமைத்த டெவலப்பர்கள் திடீரென்று தங்கள் சொந்த அடுக்கின் மீது குறைந்த கட்டுப்பாட்டைக் கொண்டுள்ளனர்.

Delangue இன் எதிர்-கதை Hugging Face இன் பயனர் தளம் முழுவதும் மீண்டும் மீண்டும் கவனித்த ஒரு முறையின் மீது கட்டமைக்கப்பட்டுள்ளது. நிறுவனங்கள் அவற்றின் AI பயணத்தை எல்லை மூடிய API களில் தொடங்குகின்றன — இது ஒரு வேலை செய்யும் முன்மாதிரிக்கான வேகமான பாதை. ஆனால் அவை அளவிடும்போது, பொருளாதாரம் வியத்தகு முறையில் மாறுகிறது. அனுமান செலவுகள் கூட்டுவதாக, விகித வரம்புகள் ஒரு உண்மையான செயல்பாட்டு கட்டுப்பாடு ஆகிறது, மற்றும் மாதிரியை நன்றாக-ட்யூன் அல்லது ஆய்வு செய்ய முடியாமை என்பது உண்மையில் அடையக்கூடிய ஒன்றின் மீது ஒரு உச்சவரம்பு உருவாக்குகிறது. அது தான் தருணம், Delangue கூறுகிறார், போது குழுக்கள் திறந்த மூல மாதிரிகளை நோக்கி இடம்பெயர்ந்து செல்கின்றன. மூடிய API ஒரு சிறந்த ஆன்-ராம்ப்; இது ஒரு மோசமான நீண்ட-கால அடிப்படை.

உரையாடலிலிருந்து மிகவும் சுவாரஸ்யமான தரவு புள்ளிகளில் ஒன்று: சீன ল்যாபுகள் இப்போது Hugging Face இல் பதிவிறக்கம் செய்யப்படும் திறந்த மாதிரிகளின் பெரும்பாலான பகுதியை உற்பத்தி செய்கின்றன. அது ஒரு புவிரাজনீதி சமிக்ஞை அதிகம் ஒரு தொழில்நுட்ப ஒன்று. திறந்த AI வளர்ச்சியில் ஈர்ப்பு மையம் மாறுகிறது, மற்றும் இது ஆசியாவை நோக்கி மாறுகிறது.

ஆசியার்க்கு இது ஏன் முக்கியமானது

தென்கிழக்கு ஆசியா, கிழக்கு ஆசியா மற்றும் தென் ஆசியா முழுவதும் டெவலப்பர்கள் மற்றும் நிறுவனர்களுக்கு, திறந்த மூல AI இயக்கம் தத்துவ ரீதியாக கவர்ச்சிகரமாக இல்லை — இது கட்டமைப்பு ரீதியாக அவசியம். ஆசிய தொழில்நுட்ப ஈக்கோசிஸ்டம் சிலிக்கான் பள்ளத்தாக்கு ஸ்டார்টআப்களை விட வேறுபட்ட கட்டுப்பாடுகளின் கீழ் செயல்படுகிறது, அவை US-அடிப்படையிலான உদ்যோக மூலதனம் மற்றும் நிறுவன விற்பனை பைப்லைனுக்கு எளிய அணுகல் கொண்டுள்ளன.

முதலில் பொருளாதாரத்தைக் கவனியுங்கள். ஜகார்த்தா அல்லது ஹோ சி மின் நகரத்தில் ஒரு ஸ்டார்টআப் அளவிலான OpenAI API கிரெடிட்களை எரிக்கிறது, அது US இன் நன்கு நிதியுள்ள சகாக்களுக்கு அதே வழியில் இல்லாத விளிம்புகளுடன் செயல்படுகிறது. திறந்த மூல மாதிரிகள் — உள்ளூர் உள்கட்டமைப்பு அல்லது செலவு-திறமையான மேக பகுதிகளில் பயன்படுத்தப்படுகிறது — அந்த சமன்பாட்டை அடிப்படையாக மாற்றுகிறது. உங்கள் சொந்த விதிமுறைகளில் ஒரு திறமையான மாதிரியை இயக்க, உங்கள் சொந்த தரவுக்கு ட்யூன் செய்ய, ஒரு-டோகன் கட்டணம் இல்லாமல் முடிவிலி வரை கூட்டுவதாக, ஒரு உண்மையான போட்டিமுறை திறக்கும் ஆகும்.

பின்னர் மொழி பரிமாணம் உள்ளது. ஆধிக்ய மூடிய மாதிரிகள் ஆங்கிலத்திற்கு உகந்தவை. அவை மாண்டரின் மற்றும் ஜப்பானிய நியாயமாக நன்றாக கையாளுகின்றன, கிடைக்கும் பயிற்சி தரவுவின் அளவு கொடுக்கப்பட்டுள்ளது. ஆனால் Bahasa Indonesia, தாய், வியட்நামீய, Tagalog, வங்காள — இந்த மொழிகள் மூடிய எல்லை மாதிரிகளால் உள்ளூர் பயனர்களுக்கு கட்டமைக்கப்பட்ட பொருட்களுக்கு பெரிதும் முக்கியமான வழிகளில் குறைந்த சேவை பெறுகின்றன. திறந்த மூல மாதிரிகள் உள்ளூர் மொழி தரவுத்தொகுப்புகளில் நன்றாக-ட்யூன் செய்யப்படலாம். மூடிய API கள் பெரும்பாலும் முடியாது, அல்லது குறைந்தபட்சம் டெவலப்பர்களுக்கு வெளியீட்டின் மீது அর্থপூর்ண கட்டுப்பாடு கொடுக்கும் வழிகளில் அல்ல.

சீன ল்যாபுகள் Hugging Face இல் திறந்த மாதிரி வெளியீடுகளை வழிநடத்துகிறது என்ற உண்மை கவனமாக படிக்க வேண்டும். இது AI இல் மேற்கத்திய தொழில்நுட்ப প்রাধிக்ய அனுமান ஏற்கனவே பழைய என்று சமிக்ஞை. ஆசிய டெவலப்பர்கள் திறமையான திறந்த மாதிரியை வெளியிட ஒரு US ল்যாபுக்கு காத்திருக்க வேண்டாம் — திறந்த AI க்கான সরবரাহ சங்கிலி ক্রমவளர்ச்சியாக ஞ்சல். அது கவனம் செலுத்தும் கட்டமைப்பாளர்களுக்கு ஒரு கட்டமைப்பு நன்மை.

AI-பூர்வ வளர்ச்சி தளம் கண்ணோட்டத்திலிருந்து, இந்த மாற்றம் முக்கியமானது, ஏனெனில் கருவிப்பட்டை அடுக்கு மாதிரி அடுக்குடன் பக்கத்தில் பரিணமிக்க வேண்டும். டெவலப்பர்கள் மூடிய API களிலிருந்து சுய-ஹோஸ்ட் திறந்த மாதிரிகளுக்கு நகரும்போது, அவர்களுக்கு மாதிரி தேர்வு, பயன்பாடு மற்றும் ஒருங்கிணைப்பின் சிக்கலை கையாளும் உள்கட்டமைப்பு தேவை, பொறியியல் ওভারহெட்ட வாரங்களைச் சேர்க்காமல்.

டெவலப்பர்களுக்கு இது என்ன அர்த்தம்

Delangue இன் வாதம் ஒரு நடைமுறை প্রভাব உள்ளது, அது திறந்த மற்றும் மூடிய மீது கவனம் செலுத்தினால் মিஸ் செய்ய எளிது: திறந்த மாதிரிகளுடன் இப்போது வேலை செய்ய கற்றுக்கொள்ளும் டெவலப்பர்கள் தொழிலை முதிர்ச்சி அடையும்போது ஒரு நீடித்த திறன் நன்மை இருக்கும்.

திறந்த மாதிரிகளுடன் வேலை செய்வது ஒரு API ஐ அழைப்பதை விட மிகவும் கோரும். நீங்கள் மாதிரி quantization, அনுமান தேர்வ, மாதிரி குடும்பங்களில் உரை வடிவமைப்பு வேறுபாடுகள் மற்றும் மாதிரி அளவு மற்றும் latency இடையே tradeoffs புரிந்து கொள்ள வேண்டும். இவை கடக்க முடியாத சவால்கள் அல்ல — திறந்த மாதிரிகளைச் சுற்றிய கருவிப்பட்டை ஈக்கோசிஸ்டம் குறிப்பிடத்தக்க முறையில் முதிர்ச்சி அடைந்துள்ளது — ஆனால் அவை உண்மையான தொழில்நுட்ப முதலீட்டு தேவை.

அந்த முதலீடு நடைமுறையில் என்ன போல் தெரிகிறது:

• மாதிரி தேர்வு: ஒவ்வொரு திறந்த மாதிரி ஒவ்வொரு பணிக்கும் சரியாக இல்லை. ஒரு 7B அளவுரு மாதிரி குறியீட்டில் நன்றாக-ட்யூன் செய்யப்பட்ட ஒரு 70B பொது மாதிரியை குறிப்பிட்ட குறியீடு பணிகளில் outperform செய்யும். உங்கள் உண்மையான பயன்பாட்டு வழக்கு — பெஞ்சமார்க் leaderboards அல்ல — எதிரான மாதிரிகளை மதிப்பீடு செய்ய கற்றுக்கொள்ளுவது ஒரு முக்கிய திறன்.
• உள்ளூர் தரவுவில் நன்றாக-ட்யூனிங்: திறந்த மாதிரிகளில் உண்மையான leverage நன்றாக-ட்யூன் செய்ய திறன் ஆகும். உள்ளூர் சந்தைகளுக்கு பொருட்களை கட்டமைக்கும் ஆசிய டெவலப்பர்களுக்கு, இது உள்ளூர் மொழி தரவு, டொமைன்-குறிப்பிட்ட சொல்லாட்சி மற்றும் সাংஸ்கৃதிகமாக பொருத்தமான எடுத்துக்காட்டுகளில் பயிற்சி பொருள். ஒரு தாய் ই-வணிக chatbot உண்மையான தாய் வாடிக்கையாளர் சேவை உரையாடல்களில் நன்றாக-ட்யூன் செய்யப்பட்ட அந்த குறிப்பிட்ட பணிতে எந்த off-the-shelf மூடிய மாதிரியையும் outperform செய்யும்.
• பயன்பாடு স்থাপত்யம்: உற்பத்தி அளவிலான திறந்த மாதிரிகளை இயக்குவது quantization (GGUF, AWQ, GPTQ), சேவை கাঠামো (vLLM, Ollama, TGI) மற்றும் வன்பொருள் தேர்வு பற்றி முடிவுகள் தேவை. இந்த முடிவுகள் குறிப்பிடத்தக்க செலவு தாக்கங்கள் உள்ளன.
• ஒருங்கிணைப்பு முறைகள்: திறந்த மாதிரிகள் உங்கள் அடுக்கின் மீதமுள்ள — தரவுத்தொகுப்புகள், API கள், frontend பயன்பாடுகள் — இணைக்க வேண்டும். connectors மற்றும் ஒருங்கிணைப்பு முறைகள் நீங்கள் ஒரு திறந்த மாதிரியைச் சுற்றி கட்டமைக்கும் பெரும்பாலும் உண்மையான பொருள் வேறுபாடு வாழ்கிறது.

பரந்த புள்ளி திறந்த மூல AI அதை புரிந்து கொள்ள முதலீடு செய்யும் டெவலப்பர்களுக்கு leverage உருவாக்குகிறது. மூடிய API கள் மாதிரி அடுக்கு commoditize — ஒவ்வொருவரும் அதே GPT-4 அல்லது Claude அணுகல் உள்ளது. திறந்த மாதிரிகள் நன்றாக-ட்யூனிங், தனிப்பயன் பயன்பாடு மற்றும் proprietary தரவுவுடன் ஆழ்ந்த ஒருங்கிணைப்பு மூலம் வேறுபாடு அனுமதி. ஆசியாவில் கட்டமைக்கும் நிறுவனர்களுக்கு, இதில் உள்ளூர் சந்தை அறிவு ஒரு உண்மையான moat ஆகும், அந்த வேறுபாடு முக்கியமானது.

ஒரு ঝுக்கி ব்যবস্థাপனை வாதம் உள்ளது. Delangue இன் கவலை சில நிறுவனங்கள் அடிப்படை AI கட்டுப்படுத்துவது பற்றி ஒரு கைக்குறிப்பு அல்ல — இது மூடிய மாதிரி சந்தையின் தற்போதைய நிலையின் விளக்கம். எந்த ஸ்டார்টআப் ஒரு ஒক்கொ மூடிய API இல் அதன் மূல பொருள் கட்டமைத்துள்ளது ஒரு சார்பு ঝுக்கி உள்ளது, அது மேல் தெரிய முடியாது