ജൂൺ അവസാനം, Yandex 100 ബില്യൺ പാരാമീറ്ററുകളുള്ള ഒരു ന്യൂറൽ നെറ്റ്‌വർക്ക് YaLM 100B എന്ന് വിളിക്കുന്നു . പൊതുസഞ്ചയത്തിലെ ഏറ്റവും വലിയ GPT പോലുള്ള ന്യൂറൽ നെറ്റ്‌വർക്കാണിത്. അവർ എങ്ങനെ പഠിപ്പിച്ചു, മികച്ച ഉദാഹരണങ്ങൾ കാണിച്ചു, ന്യൂറോണിന്റെ കഴിവ് എന്താണെന്ന് ഇത് പറയുന്നു. എന്നാൽ ഇത് പ്രായോഗികമായി വളരെ നല്ലതാണോ വീട്ടിൽ ബാധകമാണോ? ലേഖനം ഇതിനെക്കുറിച്ച് നിശബ്ദമാണ്, മാത്രമല്ല, ഇത് പ്രവർത്തിപ്പിക്കുന്നതും പരിശോധിക്കുന്നതും അത്ര എളുപ്പമല്ല, കാരണം ഏകദേശം 200 Gb GPU റാം ആവശ്യമാണ്. ഹബ്രെയെക്കുറിച്ചുള്ള ഈ അഭിപ്രായം സാഹചര്യം ഏറ്റവും കൃത്യമായി വെളിപ്പെടുത്തുന്നു .
Yandex-ൽ, അത്തരത്തിലുള്ള എല്ലാ മിടുക്കന്മാരും ആരോപിക്കപ്പെടുന്നു, മാത്രമല്ല അവർ ഒരു സാധാരണ എങ്ങനെ ചെയ്യണമെന്ന് പോലും പോസ്റ്റ് ചെയ്തിട്ടില്ല. ഒരു വലിയ മോഡലിന് api ഇല്ല, സാധാരണക്കാർക്ക് (Google Colab-ൽ) റെഡിമെയ്ഡ് സ്ട്രിപ്പ്ഡ് ഡൗൺ മീഡിയമോ ചെറിയ മോഡലോ ഇല്ല. മോഡൽ എങ്ങനെ സജ്ജീകരിക്കാം, ടെക്സ്റ്റ് എങ്ങനെ സൃഷ്ടിക്കാം എന്നതിന് ഒരു ഉദാഹരണവും നൽകിയിട്ടില്ല. ഞരമ്പുകൾക്കുള്ള രണ്ട് സൂക്ഷ്മതകൾ ലേഖനം സൂചിപ്പിക്കുന്നു, അത്രമാത്രം. “സി” എന്ന അക്ഷരത്തിൽ ബാങ്ക് എങ്ങനെ ചെയ്തുവെന്ന് സൂക്ഷ്മമായി പരിശോധിച്ച് അത് ചെയ്താൽ മതി. ഈ മോഡൽ പരാജയപ്പെട്ട പരീക്ഷണങ്ങളിൽ ഒന്ന് മാത്രമാണെന്ന് എനിക്ക് തോന്നി, അത് ചവറ്റുകൊട്ടയിൽ എറിയുന്നതിൽ ദയനീയമാണ്, അതിനാൽ Yandex എന്ത് മികച്ച മോഡലുകളാണ് സൃഷ്ടിക്കുന്നതെന്ന് കാണിക്കാൻ ഇത് ഓപ്പൺ സോഴ്‌സിൽ പോസ്റ്റുചെയ്‌തു, മാത്രമല്ല, ഇത് ഓപ്പൺ സോഴ്‌സാണ്!
യാം എങ്ങനെ പ്രവർത്തിപ്പിക്കാം അല്ലെങ്കിൽ ഓൺലൈനിൽ പരീക്ഷിക്കാം എന്നതിന് ഇന്റർനെറ്റിൽ ധാരാളം ചോദ്യങ്ങൾ ഉണ്ട്, എന്നാൽ ഇതിന് ഉത്തരങ്ങളില്ല. ഈ ചോദ്യങ്ങൾ ചോദിച്ച ഉപയോക്താക്കളിൽ ഞാനും ഉൾപ്പെടുന്നു. അത് കണ്ടുപിടിക്കാൻ തുടങ്ങി. സാമ്പത്തിക റോബോട്ടുകൾക്കായി ടെക്‌സ്‌റ്റുകൾ സൃഷ്ടിക്കാൻ എനിക്ക് ശരിക്കും ഒരു മാർഗം ആവശ്യമായിരുന്നതിനാൽ. അതിനാൽ അവർക്ക് മൂല്യങ്ങൾ മാത്രമല്ല, സാമ്പത്തിക റിപ്പോർട്ടുകളെ അടിസ്ഥാനമാക്കി വാചകത്തിൽ അഭിപ്രായമിടാനും കഴിയും. സാരാംശത്തിൽ, ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് ഉപയോഗിച്ചാൽ മാത്രം സാമ്പത്തിക വിശകലന വിദഗ്ധർ ചെയ്യുന്നതുപോലെയായിരിക്കും ഇത്. യാൽം പ്രവർത്തിപ്പിക്കാൻ രണ്ട് വഴികളുണ്ട്. ക്ലൗഡിൽ ഒരു സെർവർ വാടകയ്ക്ക് എടുക്കുക200+ Gb GPU റാം ഉപയോഗിച്ച് അല്ലെങ്കിൽ കോഡ് പരിഷ്‌ക്കരിച്ച് ഡീപ്‌സ്പീഡ് സീറോ ഓഫ്‌ലോഡിൽ പ്രവർത്തിപ്പിക്കുക (ജിപിയു ന്യൂറൽ നെറ്റ്‌വർക്കിന്റെ ഭാഗം തുടർച്ചയായി പ്രോസസ്സ് ചെയ്യുമ്പോൾ, ബാക്കിയുള്ളത് CPU RAM അല്ലെങ്കിൽ NVMe-ൽ സൂക്ഷിക്കുമ്പോൾ). ആദ്യത്തേത് വളരെ ചെലവേറിയതാണ്, മണിക്കൂറിൽ ഏകദേശം 2500 റൂബിൾസ് അല്ലെങ്കിൽ പ്രതിമാസം 1.7 ദശലക്ഷം. രണ്ടാമത്തേത് അജ്ഞാതമാണ്, കാരണം റിപ്പോസിറ്ററിയിലെ കോഡ് നൽകിയിട്ടില്ല, റിപ്പോസിറ്ററിയുടെ ലക്കത്തിലെ സൂചനകൾ മാത്രം , അത് ചെയ്യാൻ പ്രയാസമില്ല. ലളിതമായി തുടങ്ങാം.
നിങ്ങൾക്ക് മൊത്തം വീഡിയോ മെമ്മറിയുടെ കുറഞ്ഞത് 200 GB ആവശ്യമാണ്. 8×40 = 320 GB. ഇത് മാത്രം യോജിക്കുന്നു. 200 ൽ താഴെ അസാധ്യമാണ്, കൂടുതൽ സാധ്യമാണ്. അമ്പടയാളം സിപിയു റാമിനെ സൂചിപ്പിക്കുന്നു, ഞങ്ങൾ അത് നോക്കുന്നില്ല. അവൾക്ക് ആരുമാകാം.
ഞങ്ങൾ ഏകദേശം 300 GB ഡിസ്കിനെ സൂചിപ്പിക്കുന്നു, അങ്ങനെ ഒരു സ്പെയർ, വെയിലത്ത് ഫാസ്റ്റ് ഡിസ്ക്, കാരണം. പതിനായിരക്കണക്കിന് ജിഗാബൈറ്റ് ഡാറ്റ ഇതിലേക്ക് കൈമാറും.
ഉറവിടങ്ങളിൽ സൃഷ്ടിക്കുമ്പോൾ, ഉബുണ്ടു ML (മെഷീൻ ലേണിംഗ്) തിരഞ്ഞെടുക്കുക. ഇത് നിർബന്ധമാണ്, അതിനാൽ വീഡിയോ കാർഡുകൾ ക്രമീകരിച്ചിരിക്കുന്നു കൂടാതെ അധികമായി ഒന്നും ഇൻസ്റ്റാൾ ചെയ്യേണ്ടതില്ല.
ഒരു സെർവർ സൃഷ്ടിക്കുമ്പോൾ, ക്വാട്ടകളുള്ള സൂക്ഷ്മതകളുണ്ട്, ഉപകരണങ്ങൾ ലഭ്യമല്ലെന്ന തോന്നൽ നിങ്ങൾക്ക് ലഭിച്ചേക്കാം, എന്നാൽ വാസ്തവത്തിൽ നിങ്ങൾ ക്രമീകരണങ്ങളിൽ ക്വാട്ടകൾ വർദ്ധിപ്പിക്കേണ്ടതുണ്ട്. സെർവർ സജീവമാക്കിയ ശേഷം (ഇതിന് 5-10 മിനിറ്റ് എടുത്തേക്കാം), സെർവറിലേക്ക് ssh വഴിയോ അല്ലെങ്കിൽ സെർവർ പേജിലെ വെബ് കൺസോളിൽ നേരിട്ട് കണക്‌റ്റ് ചെയ്‌ത് കമാൻഡ് എക്സിക്യൂട്ട് ചെയ്യുക.
nvidia-smi
ഫലം വീഡിയോ കാർഡുകൾ, ഡ്രൈവർ പതിപ്പ്, cuda എന്നിവയുള്ള ഒരു പട്ടിക ആയിരിക്കണം. ഏകദേശം ഇതുപോലെ. ഡ്രൈവർ പതിപ്പിന്റെ തലക്കെട്ടിലും എവിടെയും. ഇടതുവശത്ത് ഉപകരണ നമ്പറുകൾ ഉണ്ട്, മധ്യഭാഗത്ത് ഉപകരണ മെമ്മറിയുടെ വലുപ്പമുണ്ട്. നിങ്ങൾക്ക് ഈ വിവരങ്ങൾ ഇല്ലെങ്കിൽ, തെറ്റായ ഉറവിടത്തിൽ നിന്നാണ് നിങ്ങൾ സെർവർ ശേഖരിച്ചത്. മുകളിൽ വിവരിച്ചതുപോലെ ഉബുണ്ടു ML (മെഷീൻ ലേണിംഗ്) ആവശ്യമാണ്.
2. YaLM ഉപയോഗിച്ച് റിപ്പോസിറ്ററി ക്ലോൺ ചെയ്യുക
സുഡോ ജിറ്റ് ക്ലോൺ https://github.com/yandex/YaLM-100B/ yalm cd yalm
നിങ്ങളുടെ ഹോം ഫോൾഡറിലേക്ക് ക്ലോൺ ചെയ്യുക, അതിനാൽ നിങ്ങൾ പിന്നീട് ഡോക്കർ കോൺഫിഗറേഷൻ എഡിറ്റ് ചെയ്യേണ്ടതില്ല. മറ്റെവിടെയെങ്കിലും ക്ലോൺ ചെയ്‌തിട്ടുണ്ടെങ്കിൽ, ഇവിടെ പോയി ക്ലോൺ ചെയ്ത സ്ഥലത്തേക്ക് പാത്ത് ചേർക്കുക.
3. ചെക്ക്പോസ്റ്റുകൾ ഡൗൺലോഡ് ചെയ്യുക (അടിസ്ഥാന മോഡൽ പരിശീലന വിവരങ്ങൾ)
ഇത് ഏകദേശം ഒരു മണിക്കൂർ എടുക്കും. വെറുതെ സമയം പാഴാക്കാതിരിക്കാൻ, ഞങ്ങൾ ഒരു പുതിയ ssh കണക്ഷൻ സൃഷ്ടിക്കുകയും സമാന്തരമായി ഞങ്ങൾ ഒരു ഡോക്കർ കണ്ടെയ്നർ നിർമ്മിക്കാൻ തുടങ്ങുകയും ചെയ്യുന്നു.
cd yalm sudo chmod +x ./docker/* sudo bash ./docker/build.sh
അതും ഏകദേശം ഒരു മണിക്കൂർ.
ലൈഫ് ഹാക്ക്. നിങ്ങൾക്ക് ചെക്ക്പോസ്റ്റുകൾ ഡൗൺലോഡ് ചെയ്യാനും ഡോക്കർ ഇൻസ്റ്റാൾ ചെയ്യാനും ഒരു വീഡിയോ കാർഡ് ഉപയോഗിച്ച് വിലകുറഞ്ഞ സെർവറിൽ ഒരു കണ്ടെയ്നർ നിർമ്മിക്കാനും കഴിയും. കാലക്രമേണ ഇത് സമാനമായിരിക്കും, അതിനാൽ നിങ്ങൾക്ക് കുറച്ച് ലാഭിക്കാം. വിലകുറഞ്ഞ സെർവറിൽ അസംബ്ലി ചെയ്ത ശേഷം, ഞങ്ങൾ അത് ഇല്ലാതാക്കുകയും വിലകുറഞ്ഞ സെർവറിൽ നിന്ന് ഒരു ഡിസ്ക് ഉപയോഗിച്ച് ഒരു കോംബാറ്റ് സെർവർ സൃഷ്ടിക്കുകയും ചെയ്യുന്നു. അസംബ്ലിക്കായി കാത്തിരിക്കുന്നതിനും ചെക്ക്പോസ്റ്റുകൾ പമ്പ് ചെയ്യുന്നതിനുമുള്ള സമയം നിങ്ങൾ അമിതമായി നൽകില്ല.
6. ഉള്ളടക്കം തയ്യാറാക്കുക
6.1 ചെക്ക്പോസ്റ്റുകൾ
ചെക്ക്‌പോസ്റ്റുകളുടെ ഡൗൺലോഡ് പൂർത്തിയായ ശേഷം, നിങ്ങൾ അവയെ കോൺഫിഗറുകളിലേക്ക് സ്ലിപ്പ് ചെയ്യേണ്ടതുണ്ട്. രണ്ട് വഴികളുണ്ട്, ശരിയായ പാരാമീറ്ററുകൾ അല്ലെങ്കിൽ ട്രാൻസ്ഫർ ചെക്ക്പോസ്റ്റുകൾ. എല്ലായിടത്തും ചെക്ക്പോസ്റ്റുകൾ യഥാക്രമം പ്രോജക്റ്റിന്റെ പ്രധാന ഡയറക്‌ടറിയിലായിരിക്കുമെന്ന് പ്രതീക്ഷിക്കുന്നു, ഡൗൺലോഡ് ചെയ്‌തത് മുകളിലുള്ള ഡൗൺലോഡ് ഫോൾഡറിൽ നിന്ന് കൈമാറണം. yalm ഫോൾഡറിൽ ആയിരിക്കുക എക്സിക്യൂട്ട്
വീഡിയോ കാർഡുകൾ ശരിയായി സജ്ജീകരിച്ചിട്ടുണ്ടോയെന്ന് ഞങ്ങൾ പരിശോധിക്കുന്നു. നിങ്ങൾക്ക് എട്ട് വീഡിയോ കാർഡുകൾ ഉണ്ടെങ്കിൽ, ഒന്നും മാറ്റേണ്ടതില്ല. നമ്പർ വ്യത്യസ്തമാണെങ്കിൽ, ഞങ്ങൾ ഈ വരികൾ മാറ്റുന്നു രണ്ടാമത്തെ വരിയിൽ, ഉപയോഗിച്ച ഉപകരണങ്ങളുടെ നമ്പറുകൾ (നിങ്ങൾ ഇതിനകം സമാരംഭിച്ച nvidia-smi-യിൽ നിങ്ങൾക്ക് അവ നോക്കാം). നാലാമത്, അവരുടെ എണ്ണം.
7. ഡോക്കർ കണ്ടെയ്നർ പ്രവർത്തിപ്പിക്കുക
yalm ഫോൾഡറിൽ ആയതിനാൽ, കമാൻഡ് എക്സിക്യൂട്ട് ചെയ്യുക
sudo bash ./docker/run.sh
എല്ലാം ശരിയാണെങ്കിൽ, നിങ്ങളുടെ ഹോം ഡയറക്ടറിയിലെ യാം ഫോൾഡറിലേക്ക് പോകേണ്ട ഒരു കണ്ടെയ്‌നറിലേക്ക് നിങ്ങളെ കൊണ്ടുപോകും.
cd ~/yalm
8. YaLM 100B-ൽ നിന്ന് ഉദാഹരണം പ്രവർത്തിപ്പിക്കുക
ഉദാഹരണങ്ങളിൽ ഒന്ന് സമാരംഭിക്കാൻ ഞങ്ങൾ തയ്യാറാണ്. അവ ഇവിടെ വിവരിച്ചിരിക്കുന്നു .
ക്ഷമയോടെയിരിക്കുക, GPT മോഡൽ സൃഷ്ടിക്കുകയും ചെക്ക്‌പോസ്റ്റുകളിൽ നിന്നുള്ള ഭാരം ലോഡ് ചെയ്യുകയും ചെയ്യുന്നതുവരെ മറ്റൊരു 10-15 മിനിറ്റ് കാത്തിരിക്കുക.
ബിൽഡ് പൂർത്തിയാകുമ്പോൾ, ടെക്സ്റ്റ് സൃഷ്ടിക്കാൻ ഒരു സന്ദർഭം നൽകാൻ MegatronML നിങ്ങളോട് ആവശ്യപ്പെടും. ടൈപ്പ് ചെയ്യുമ്പോൾ ശ്രദ്ധിക്കുക. ചില സാഹചര്യങ്ങളിൽ, ഒരു പിശക് സംഭവിക്കുന്നു, പ്രോഗ്രാം തകരാറിലാകുന്നു, നിങ്ങൾ വീണ്ടും അസംബ്ലി ആരംഭിക്കേണ്ടതുണ്ട്. അതിനാൽ, ഒരു ഫയലിൽ നിന്ന് വാചകം എടുക്കുന്ന ഉദാഹരണങ്ങൾ ഉപയോഗിക്കുന്നതാണ് നല്ലത്.
9. ജോലിയുടെ ഫലങ്ങൾ
രസകരമായി തോന്നുന്നു. തീർച്ചയായും, ഇവ നല്ല ഉദാഹരണങ്ങൾ മാത്രമാണ്. ഞാൻ വ്യത്യസ്ത സാമ്പിളുകളിൽ പരിശോധന നടത്തി. പ്രതീക്ഷിച്ചതുപോലെ, സന്ദർഭം മെച്ചപ്പെടുമ്പോൾ, കൂടുതൽ അർത്ഥവത്തായ വാചകം സൃഷ്ടിക്കപ്പെടും. പരീക്ഷണാത്മക തലമുറകളുടെ മുഴുവൻ സെറ്റും ലിങ്കുകളിൽ കാണാൻ കഴിയും:
വിലയ്ക്ക്, പരിശീലനത്തിൽ നിന്നും തയ്യാറെടുപ്പിൽ നിന്നും തലമുറയിലേക്ക് വ്യത്യസ്ത ശേഷിയുള്ള സെർവറുകൾ വാടകയ്‌ക്കെടുക്കുന്നതിന് എനിക്ക് ഏകദേശം 9 ആയിരം റുബിളുകൾ ചിലവായി. നിങ്ങൾക്ക് എല്ലാം ഉടനടി സൃഷ്ടിക്കാൻ കഴിയില്ല എന്നതാണ് ഒരു പ്രത്യേക നിരാശ. ഇത് ആരംഭിക്കാൻ വളരെ സമയമെടുക്കും, കൂടാതെ മണിക്കൂറിൽ സെർവറിന്റെ വില കണക്കിലെടുക്കുമ്പോൾ ടെക്സ്റ്റ് ഞങ്ങൾ ആഗ്രഹിക്കുന്നത്ര വേഗത്തിൽ ജനറേറ്റുചെയ്യുന്നില്ല.
200Gb GPU RAM ഇല്ലാതെ YLM എങ്ങനെ പ്രവർത്തിപ്പിക്കാം?
കോൺഫിഗറിലേക്ക് നിങ്ങൾ ഡീപ്‌സ്പീഡ് സീറോ ഓഫ്‌ലോഡ് ചേർക്കേണ്ടതുണ്ട്. നമ്മൾ എന്താണ് സംസാരിക്കുന്നതെന്ന് അറിയുന്നവർക്ക് അത് ചെയ്യാൻ വളരെ എളുപ്പമായിരിക്കും. മറ്റുള്ളവരെ സംബന്ധിച്ചിടത്തോളം ഇത് നിസ്സാരമായ ഒരു ജോലിയല്ല. ഓഫ്‌ലോഡ് CPU RAM-ലോ NVMe-ലോ ആയിരിക്കാമെന്ന് അറിയേണ്ടത് പ്രധാനമാണ്. നിങ്ങൾക്ക് ഇപ്പോൾ NVMe-യെ കുറിച്ച് മറക്കാൻ കഴിയും, കാരണം. വളരെ വലിയ അളവിലുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നു, ഡിസ്കിന് അതിനെ നേരിടാൻ കഴിയില്ല. സീറോ ഓഫ്‌ലോഡ് സിപിയു കൂടുതൽ യഥാർത്ഥമാണ്. ശരിയാണ്, ഇതിനായി നിങ്ങൾക്ക് 200+ ജിബി സിപിയു റാം സ്റ്റോക്കിൽ ഉണ്ടായിരിക്കണം, അത് വിലകുറഞ്ഞതല്ല. രണ്ട് വീഡിയോ കാർഡുകളിൽ സമാന്തരമാക്കാൻ ഇതുവരെ സാധ്യമായിട്ടില്ലാത്തതിനാൽ, ഏകദേശം 20-40 മിനിറ്റ് നേരത്തേക്ക് ഒരു വാചകം ജനറേറ്റുചെയ്യും. ചുവടെയുള്ള സ്ക്രീൻഷോട്ടിൽ നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഒരു വീഡിയോ കാർഡ് മാത്രമേ ജനറേഷനിൽ ഉൾപ്പെട്ടിട്ടുള്ളൂ, തുടർന്ന് മെമ്മറിയുടെ നാലിലൊന്ന് മാത്രം. എന്തുകൊണ്ടാണ് എല്ലാ 24 ജിബിയും ഉപയോഗിക്കാത്തതെന്ന് കണ്ടറിയണം. ശരി, ഉപസംഹാരമായി, ഒരു RTX 3070 TI-യിൽ പോലും പ്രവർത്തിപ്പിക്കാൻ കഴിയുമെന്ന് ഞാൻ പറയും. എന്നാൽ ഇതിൽ പ്രത്യേകിച്ച് അർത്ഥമൊന്നുമില്ല, കാരണം. 96 GB റാമിന്റെ അനുബന്ധമായ സ്വാപ്പിൽ 150 GB ഡാറ്റ വേഗത്തിൽ പ്രോസസ്സ് ചെയ്യാൻ NVMe നിങ്ങളെ അനുവദിക്കില്ല.
സംഗ്രഹിക്കുന്നു
തീർച്ചയായും, ഒപ്റ്റിമൽ ലോഞ്ച് പാതകൾ കണ്ടെത്താൻ ഞാൻ ഇപ്പോഴും ശ്രമിക്കും. എന്നാൽ YaLM 100b വളരെ ചെലവേറിയതാണ് / എന്റെ ജോലികൾക്ക് വളരെ മന്ദഗതിയിലാണെന്ന നിഗമനത്തിലാണ് ഇതുവരെ ഞാൻ എത്തിയിരിക്കുന്നത്. അതേ പണത്തിന്, ആളുകൾ കൂടുതൽ കൂടുതൽ നന്നായി എഴുതും. പക്ഷെ ഇത് താൽക്കാലികമാണെന്ന് ഞാൻ കരുതുന്നു, നമുക്ക് നോക്കാം. ലോഞ്ച് ചെയ്യുന്നതിനോ, യാം സജ്ജീകരിക്കുന്നതിനോ, അല്ലെങ്കിൽ നിങ്ങളുടെ സന്ദർഭ ഉദാഹരണങ്ങളിൽ ഫലങ്ങൾ കാണാൻ ആഗ്രഹിക്കുന്നെങ്കിലോ, മെയിലിലേക്കോ ടെലിഗ്രാമിലേക്കോ എഴുതുക.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?