ஜூன் மாத இறுதியில், யாண்டெக்ஸ் 100 பில்லியன் அளவுருக்கள் கொண்ட நரம்பியல் வலையமைப்பை YaLM 100B என்று பொதுமக்களுக்கு வெளியிட்டது . இது பொது களத்தில் உள்ள மிகப்பெரிய GPT போன்ற நரம்பியல் நெட்வொர்க் ஆகும். அவர்கள் எவ்வாறு கற்பித்தார்கள், சிறந்த எடுத்துக்காட்டுகளைக் காட்டினார்கள் மற்றும் நியூரானின் திறன் என்ன என்பதைப் பற்றி இது கூறுகிறது. ஆனால் இது நடைமுறையில் மிகவும் நல்லதா மற்றும் வீட்டில் பொருந்துமா? கட்டுரை இதைப் பற்றி அமைதியாக உள்ளது, மேலும், சுமார் 200 ஜிபி ஜிபியு ரேம் தேவைப்படுவதால், அதை இயக்கி சரிபார்ப்பது அவ்வளவு எளிதானது அல்ல. ஹப்ரே பற்றிய இந்தக் கருத்து நிலைமையை மிகத் துல்லியமாக வெளிப்படுத்துகிறது .
Yandex இல், அத்தகைய புத்திசாலிகள் அனைவரும், அவர்கள் ஒரு சாதாரண எப்படி-என்று கூட இடுகையிடவில்லை என்று கூறப்படுகிறது. பெரிய மாடலுக்கு api கிடையாது, சாதாரண மக்களுக்கு (Google Colabல்) ரெடிமேட் ஸ்டிரிப்ட் டவுன் மீடியம் அல்லது ஸ்மால் மாடல் கிடையாது. மாதிரியை எவ்வாறு அமைப்பது, உரையை எவ்வாறு உருவாக்குவது என்பதற்கான எடுத்துக்காட்டு எதுவும் கொடுக்கப்படவில்லை. மேதாவிகளுக்கான ஓரிரு நுணுக்கங்களை கட்டுரை குறிப்பிடுகிறது அவ்வளவுதான். “சி” என்ற எழுத்தில் வங்கி எப்படி செய்தது என்பதை கூர்ந்து கவனித்து அதையே செய்தால் போதும். இந்த மாதிரியானது தோல்வியுற்ற சோதனைகளில் ஒன்றாகும் என்ற எண்ணம் எனக்கு வந்தது, இது குப்பையில் போடுவதற்கு பரிதாபமாக இருந்தது, எனவே யாண்டெக்ஸ் என்ன சிறந்த மாதிரிகளை உருவாக்குகிறது என்பதைக் காட்ட இது திறந்த மூலத்தில் வெளியிடப்பட்டது, மேலும் இது திறந்த மூலமாகும்!
இணையத்தில் யாழ் ஓட்டுவது அல்லது ஆன்லைனில் முயற்சி செய்வது எப்படி என்று பல கேள்விகள் உள்ளன, ஆனால் இதற்கான பதில்கள் இல்லை. இந்தக் கேள்விகளைக் கேட்ட பயனர்களில் நானும் ஒருவன். மற்றும் அதை கண்டறிவதில் அமைக்கவும். நிதி ரோபோக்களுக்கான உரைகளை உருவாக்க எனக்கு ஒரு வழி தேவைப்பட்டதால். அதனால் அவர்கள் மதிப்புகளை மட்டும் கணிக்க முடியாது, ஆனால் நிதி அறிக்கைகளின் அடிப்படையில் உரையில் கருத்து தெரிவிக்கலாம். சாராம்சத்தில், நிதி ஆய்வாளர்கள் என்ன செய்கிறார்களோ, அது செயற்கை நுண்ணறிவைப் பயன்படுத்தினால் மட்டுமே இருக்கும். யாழ் ஓட்ட இரண்டு வழிகள் உள்ளன. கிளவுட்டில் ஒரு சேவையகத்தை வாடகைக்கு விடுங்கள்200+ ஜிபி ஜிபியு ரேம் அல்லது குறியீட்டை மாற்றியமைத்து, டீப்ஸ்பீட் ஜீரோ ஆஃப்லோடுடன் இயக்கவும் (ஜிபியு நரம்பியல் நெட்வொர்க்கின் ஒரு பகுதியை தொடர்ச்சியாக செயலாக்கும் போது, மீதமுள்ளவை CPU RAM அல்லது NVMe இல் சேமிக்கப்படும்). முதல் மிகவும் விலை உயர்ந்தது, ஒரு மணி நேரத்திற்கு சுமார் 2500 ரூபிள் அல்லது மாதத்திற்கு 1.7 மில்லியன். இரண்டாவது தெரியவில்லை, ஏனெனில் களஞ்சியத்தில் உள்ள குறியீடு வழங்கப்படவில்லை, களஞ்சியத்தின் சிக்கலில் குறிப்புகள் மட்டுமே உள்ளன, அதைச் செய்வது கடினம் அல்ல. எளிமையாக ஆரம்பிக்கலாம்.
1. நாங்கள் 200 ஜிபி ஜிபியு ரேம் வாடகைக்கு விடுகிறோம், உதாரணமாக இங்கே .
உங்களுக்கு குறைந்தபட்சம் 200 ஜிபி மொத்த வீடியோ நினைவகம் தேவை. 8×40 = 320 ஜிபி. இது மட்டுமே பொருந்தும். 200 க்கும் குறைவாக சாத்தியமற்றது, மேலும் சாத்தியம். அம்புக்குறி CPU RAM ஐக் குறிக்கிறது, நாங்கள் அதைப் பார்க்கவில்லை. அவள் யாராக வேண்டுமானாலும் இருக்கலாம்.
சுமார் 300 ஜிபி வட்டை நாங்கள் குறிப்பிடுகிறோம், எனவே உதிரி மற்றும் முன்னுரிமை வேகமான வட்டு, ஏனெனில். பல்லாயிரக்கணக்கான ஜிகாபைட் தரவுகள் அதற்கு மாற்றப்படும்.
ஆதாரங்களில் உருவாக்கும்போது, உபுண்டு எம்எல் (இயந்திர கற்றல்) என்பதைத் தேர்ந்தெடுக்கவும். வீடியோ அட்டைகள் கட்டமைக்கப்படுவதற்கு இது கட்டாயமாகும், மேலும் எதுவும் நிறுவப்பட வேண்டியதில்லை.
ஒரு சேவையகத்தை உருவாக்கும் போது, ஒதுக்கீடுகளுடன் நுணுக்கங்கள் உள்ளன, உபகரணங்கள் கிடைக்கவில்லை என்ற உணர்வை நீங்கள் பெறலாம், ஆனால் உண்மையில் நீங்கள் அமைப்புகளில் ஒதுக்கீட்டை அதிகரிக்க வேண்டும். சேவையகம் செயல்படுத்தப்பட்ட பிறகு (இது 5-10 நிமிடங்கள் ஆகலாம்), சேவையகத்துடன் ssh வழியாக அல்லது நேரடியாக சர்வர் பக்கத்தில் உள்ள வலை கன்சோலில் இணைத்து கட்டளையை இயக்கவும்.
என்விடியா-ஸ்மி
இதன் விளைவாக வீடியோ அட்டைகள், இயக்கி பதிப்பு மற்றும் குடா கொண்ட அட்டவணை இருக்க வேண்டும். தோராயமாக இப்படி. இயக்கி பதிப்பு தலைப்பு மற்றும் எங்கே. இடது பக்கத்தில் சாதன எண்கள் உள்ளன, மையத்தில் சாதன நினைவகத்தின் அளவு உள்ளது. உங்களிடம் இந்த தகவல் இல்லையென்றால், நீங்கள் தவறான மூலத்திலிருந்து சேவையகத்தை சேகரித்துள்ளீர்கள். மேலே விவரிக்கப்பட்டுள்ளபடி உபுண்டு எம்எல் (மெஷின் லேர்னாங்) தேவை.
உங்கள் முகப்பு கோப்புறையை குளோன் செய்யுங்கள், அதன் பிறகு நீங்கள் டோக்கர் கட்டமைப்பைத் திருத்த வேண்டியதில்லை. வேறு எங்காவது குளோன் செய்யப்பட்டிருந்தால், இங்கே சென்று குளோன் செய்யப்பட்ட இடத்திற்கு பாதையைச் சேர்க்கவும்.
3. சோதனைச் சாவடிகளைப் பதிவிறக்கவும் (அடிப்படை மாதிரி பயிற்சித் தகவல்)
இதற்கு ஒரு மணி நேரம் ஆகும். வீணாக நேரத்தை வீணாக்காமல் இருக்க, நாங்கள் ஒரு புதிய ssh இணைப்பை உருவாக்குகிறோம் மற்றும் இணையாக ஒரு டாக்கர் கொள்கலனை உருவாக்கத் தொடங்குகிறோம்.
cd yalm sudo chmod +x ./docker/* sudo bash ./docker/build.sh
அதுவும் ஒரு மணி நேரம் ஆகும்.
வாழ்க்கை ஊடுருவல். நீங்கள் சோதனைச் சாவடிகளைப் பதிவிறக்கலாம், டோக்கரை நிறுவலாம் மற்றும் ஒரு வீடியோ அட்டை மூலம் மலிவான சேவையகத்தில் கொள்கலனை உருவாக்கலாம். இது காலப்போக்கில் ஒரே மாதிரியாக இருக்கும், எனவே நீங்கள் சிறிது சேமிக்கலாம். மலிவான சேவையகத்தில் அசெம்பிளி செய்த பிறகு, அதை நீக்கி, மலிவான சேவையகத்திலிருந்து ஒரு வட்டைப் பயன்படுத்தி போர் சேவையகத்தை உருவாக்குகிறோம். சட்டசபைக்காக காத்திருப்பதற்கும் சோதனைச் சாவடிகளை வெளியேற்றுவதற்கும் நீங்கள் அதிக நேரம் செலுத்த மாட்டீர்கள்.
6. உள்ளடக்கத்தை தயார் செய்யவும்
6.1 சோதனைச் சாவடிகள்
சோதனைச் சாவடிகளின் பதிவிறக்கம் முடிந்ததும், நீங்கள் அவற்றை கட்டமைப்புகளுக்குள் நழுவ வேண்டும். இரண்டு வழிகள் உள்ளன, சரியான அளவுருக்கள் அல்லது பரிமாற்ற சோதனைச் சாவடிகள். எல்லா இடங்களிலும் சோதனைச் சாவடிகள் திட்டத்தின் முக்கிய கோப்பகத்தில் இருக்கும் என்று எதிர்பார்க்கப்படுகிறது, பதிவிறக்கம் செய்யப்பட்டவை மேலே உள்ள பதிவிறக்க கோப்புறையிலிருந்து மாற்றப்பட வேண்டும். yalm கோப்புறை இயக்கத்தில் இருப்பது
mv ./download/yalm100b_checkpoint ./
அல்லது எடுத்துக்காட்டுக் கோப்புகளில் உள்ள கோப்புகளுக்கான பாதைகளை மாற்றவும்
6.2 வீடியோ அட்டைகள்
வீடியோ அட்டைகள் சரியாக அமைக்கப்பட்டுள்ளதா என்பதை நாங்கள் சரிபார்க்கிறோம். உங்களிடம் எட்டு வீடியோ அட்டைகள் இருந்தால், எதையும் மாற்ற வேண்டியதில்லை. எண் வேறுபட்டால், இந்த வரிகளை இரண்டாவது வரியில், பயன்படுத்தப்படும் சாதனங்களின் எண்களை மாற்றுவோம் (நீங்கள் ஏற்கனவே தொடங்கியுள்ள nvidia-smi இல் அவற்றைப் பார்க்கலாம்). நான்காவது, அவர்களின் எண்ணிக்கை.
7. டாக்கர் கொள்கலனை இயக்கவும்
யாழ் கோப்புறையில் இருப்பதால், கட்டளையை இயக்கவும்
sudo bash ./docker/run.sh
எல்லாம் சரியாக இருந்தால், நீங்கள் ஒரு கொள்கலனுக்கு அழைத்துச் செல்லப்படுவீர்கள், அதில் உங்கள் ஹோம் டைரக்டரியில் உள்ள யாழ் கோப்புறைக்குச் செல்ல வேண்டும்.
cd ~/yalm
8. YaLM 100B இலிருந்து உதாரணத்தை இயக்கவும்
உதாரணங்களில் ஒன்றைத் தொடங்க நாங்கள் தயாராக இருக்கிறோம். அவை இங்கே விவரிக்கப்பட்டுள்ளன .
பொறுமையாக இருங்கள், GPT மாதிரி உருவாக்கப்பட்டு சோதனைச் சாவடிகளில் இருந்து எடைகள் ஏற்றப்படும் வரை இன்னும் 10-15 நிமிடங்கள் காத்திருக்க வேண்டும்.
உருவாக்கம் முடிந்ததும், உரையை உருவாக்க ஒரு சூழலை உள்ளிட MegatronML உங்களைத் தூண்டும். நீங்கள் தட்டச்சு செய்யும் போது கவனமாக இருங்கள். சில சூழ்நிலைகளில், ஒரு பிழை ஏற்படுகிறது, நிரல் செயலிழக்கிறது மற்றும் நீங்கள் மீண்டும் சட்டசபையைத் தொடங்க வேண்டும். எனவே, ஒரு கோப்பிலிருந்து உரையை எடுக்கும் எடுத்துக்காட்டுகளைப் பயன்படுத்துவது நல்லது.
9. வேலையின் முடிவுகள்
சுவாரஸ்யமாக தெரிகிறது. நிச்சயமாக, இவை நல்ல உதாரணங்கள் மட்டுமே. நான் வெவ்வேறு மாதிரிகளில் சோதனை நடத்தினேன். எதிர்பார்த்தபடி, சிறந்த சூழல், அதிக அர்த்தமுள்ள உரை உருவாக்கப்படும். சோதனை தலைமுறைகளின் முழு தொகுப்பையும் இணைப்புகளில் பார்க்கலாம்:
விலையைப் பொறுத்தவரை, பயிற்சி மற்றும் தயாரிப்பிலிருந்து தலைமுறைக்கு வெவ்வேறு திறன்களின் சேவையகங்களை வாடகைக்கு எடுப்பதற்கு எனக்கு சுமார் 9 ஆயிரம் ரூபிள் செலவாகும். ஒரு குறிப்பிட்ட ஏமாற்றம் என்னவென்றால், நீங்கள் அனைத்தையும் உடனடியாக உருவாக்க முடியாது. இது தொடங்குவதற்கு மிக நீண்ட நேரம் எடுக்கும் மற்றும் ஒரு மணி நேரத்திற்கு சேவையகத்தின் விலையைப் பொறுத்தவரை, உரை நாம் விரும்பும் அளவுக்கு விரைவாக உருவாக்கப்படாது.
200Gb GPU RAM இல்லாமல் YaLM ஐ இயக்குவது எப்படி?
நீங்கள் config இல் டீப்ஸ்பீட் ஜீரோ ஆஃப்லோடைச் சேர்க்க வேண்டும். நாம் எதைப் பற்றி பேசுகிறோம் என்பதை அறிந்தவர்களுக்கு, அதைச் செய்வது மிகவும் எளிதாக இருக்கும். மற்றவர்களுக்கு, இது ஒரு சிறிய பணி அல்ல. ஆஃப்லோடு CPU RAM அல்லது NVMe இல் இருக்கலாம் என்பதை அறிவது அவசியம். இந்த நேரத்தில் நீங்கள் NVMe பற்றி மறந்துவிடலாம், ஏனெனில். ஒரு பெரிய அளவிலான தரவு செயலாக்கப்படுகிறது மற்றும் வட்டு அதை சமாளிக்க முடியாது. ஜீரோ ஆஃப்லோட் CPU மிகவும் உண்மையானது. உண்மை, இதற்காக உங்களிடம் 200+ ஜிபி CPU ரேம் இருக்க வேண்டும், இது மலிவானது அல்ல. இரண்டு வீடியோ கார்டுகளில் இன்னும் இணையாகச் செய்ய முடியாததால், ஒரு உரை சுமார் 20-40 நிமிடங்களுக்கு உருவாக்கப்படும். கீழே உள்ள ஸ்கிரீன்ஷாட்டில் நீங்கள் பார்க்க முடியும் என, ஒரே ஒரு வீடியோ அட்டை தலைமுறையில் ஈடுபட்டுள்ளது, பின்னர் நினைவகத்தின் கால் பகுதிக்கு மட்டுமே. 24 ஜிபி ஏன் பயன்படுத்தப்படவில்லை என்பதைப் பார்க்க வேண்டும். சரி, முடிவில், ஒரு RTX 3070 TI இல் கூட இயக்க முடியும் என்று கூறுவேன். ஆனால் இதில் குறிப்பிட்ட உணர்வு எதுவும் இல்லை, ஏனெனில். 96 ஜிபி ரேமின் பிற்சேர்க்கையில் உள்ள ஸ்வாப்பில் 150 ஜிபி டேட்டாவை விரைவாகச் செயல்படுத்த NVMe உங்களை அனுமதிக்காது.
சுருக்கமாகக்
நிச்சயமாக, நான் இன்னும் உகந்த வெளியீட்டு பாதைகளைக் கண்டறிய முயற்சிப்பேன். ஆனால் இதுவரை நான் YaLM 100b மிகவும் விலை உயர்ந்தது / எனது பணிகளுக்கு மிகவும் மெதுவாக உள்ளது என்ற முடிவுக்கு வந்துள்ளேன். அதே பணத்தில், மக்கள் அதிகமாகவும் சிறப்பாகவும் எழுதுவார்கள். ஆனால் இது தற்காலிகமானது என்று நினைக்கிறேன், பார்ப்போம். தொடங்குதல், யாழ் அமைப்பது போன்றவற்றில் உங்களுக்கு உதவி தேவைப்பட்டால் அல்லது உங்கள் சூழல் எடுத்துக்காட்டுகளில் முடிவுகளைப் பார்க்க விரும்பினால், அஞ்சல் அல்லது தந்திக்கு எழுதவும்.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?