Fl-aħħar ta ‘Ġunju, Yandex ħareġ netwerk newrali b’100 biljun parametru msejjaħ YaLM 100B għall-pubbliku . Huwa l-akbar netwerk newrali bħal GPT fid-dominju pubbliku. Jirrakkonta dwar kif għallmu, wera l-aqwa eżempji u x’inhu kapaċi n-newron. Imma hija daqshekk tajba fil-prattika u applikabbli fid-dar? L-artikolu huwa sieket dwar dan, barra minn hekk, mhuwiex daqshekk faċli li tħaddem u tiċċekkja, peress li madwar 200 Gb ta ‘GPU RAM hija meħtieġa. Dan il-kumment dwar Habré jiżvela s-sitwazzjoni bl-aktar mod preċiż .
Allegatament, f’Yandex, in-nies intelliġenti kollha bħal dawn, u lanqas biss ippubblikaw How-to normali. M’hemm l-ebda api għal mudell kbir, m’hemm l-ebda mudell lest imqaxxar medju jew żgħir għal nies ordinarji (f’Google Colab). Ma jingħata l-ebda eżempju dwar kif twaqqaf il-mudell, kif tiġġenera test. Huwa biss li l-artiklu jindika koppja ta ‘sfumaturi għal nerds u dak hu. Huwa biżżejjed li tagħti ħarsa aktar mill-qrib lejn kif il-bank għamel dan bl-ittra “C” u tagħmel l-istess. Sibt l-impressjoni li dan il-mudell huwa biss wieħed mill-esperimenti falluti li kien ħasra li tarmi fit-trash, għalhekk ġie stazzjonat f’Open Source biex juri liema mudelli kbar joħloq Yandex, u barra minn hekk, huwa sors miftuħ!
Hemm ħafna mistoqsijiet fuq l-Internet kif tmexxi yalm jew saħansitra tipprova online, iżda m’hemm l-ebda tweġibiet għal dan. Jien kont fost l-utenti li staqsew dawn il-mistoqsijiet. U ddejjaqha. Peress li jien verament kelli bżonn mod biex niġġenera testi għar-robots finanzjarji. Sabiex ikunu jistgħu jbassru mhux biss il-valuri, iżda wkoll jikkummentaw dwarha fit-test, ibbażati fuq rapporti finanzjarji. Essenzjalment, se jkun l-istess bħal dak li jagħmlu l-analisti finanzjarji, biss bl-użu ta ‘intelliġenza artifiċjali. Hemm żewġ modi kif tmexxi yalm. Kiri server fis-sħabb’200+ Gb GPU RAM jew immodifika l-kodiċi u mmexxi b’deepspeed zero offload (meta l-GPU tipproċessa b’mod sekwenzjali parti min-netwerk newrali, u l-bqija jinħażen f’CPU RAM jew NVMe). L-ewwel waħda hija għalja ħafna, madwar 2500 rublu fis-siegħa jew 1.7 miljun fix-xahar. It-tieni mhux magħruf, għaliex il-kodiċi fir-repożitorju mhux ipprovdut, ħjiel biss fil-ħruġ tar -repożitorju, li mhuwiex diffiċli li tagħmel. Ejja nibdew sempliċi.
Għandek bżonn mill-inqas 200 GB ta ‘memorja tal-vidjo totali. 8×40 = 320 GB. Din biss jaqbel. Inqas minn 200 huwa impossibbli, aktar huwa possibbli. Il-vleġġa tindika s-CPU RAM, ma nħarsux lejha. Hija tista ‘tkun xi ħadd.
Aħna nindikaw disk ta ‘madwar 300 GB, sabiex b’diska spare u preferibbilment veloċi, għaliex. għexieren ta ‘gigabytes ta’ dejta se jiġu trasferiti lejha u minnha.
Meta toħloq fis-sorsi, agħżel Ubuntu ML (Tagħlim bil-Magni). Dan huwa obbligatorju sabiex il-kards tal-vidjo jkunu kkonfigurati u xejn ma jeħtieġ li jiġi installat addizzjonali.
Meta toħloq server, hemm sfumaturi bi kwoti, jista ‘jkollok is-sensazzjoni li t-tagħmir mhuwiex disponibbli, iżda fil-fatt għandek bżonn biss li żżid il-kwoti fis-settings. Wara li s-server jiġi attivat (jista ‘jieħu 5-10 minuti), qabbad mas-server permezz ta’ ssh jew direttament fil-console tal-web fuq il-paġna tas-server u tesegwixxi l-kmand.
nvidia-smi
Ir-riżultat għandu jkun tabella b’kards tal-vidjo, verżjoni tas-sewwieq u cuda. Bejn wieħed u ieħor bħal dan. Fl-intestatura tal-verżjoni tas-sewwieq u fejn. Fuq in-naħa tax-xellug hemm in-numri tal-apparat, fiċ-ċentru hemm id-daqs tal-memorja tal-apparat. Jekk ma jkollokx din l-informazzjoni, allura inti ġabar is-server minn sors ħażin. Ubuntu ML (Machine Learnong) huwa meħtieġ, kif deskritt hawn fuq.
2. Ikklonja r-repożitorju ma’ YaLM
sudo git clone https://github.com/yandex/YaLM-100B/ yalm cd yalm
Ikklona fil-folder tad-dar tiegħek sabiex ma jkollokx għalfejn teditja l-konfigurazzjoni tad-docker wara. Jekk ikklonat x’imkien ieħor, imbagħad mur hawn u żid it-triq għal fejn ikklonat.
3. Niżżel il-punti ta ‘kontroll (informazzjoni bażika dwar it-taħriġ tal-mudell)
cd yalm sudo chmod +x ./docker/* sudo bash ./docker/build.sh
Huwa wkoll madwar siegħa.
Hack tal-ħajja. Tista ‘tniżżel punti ta’ kontroll, tinstalla docker u tibni kontenitur fuq server irħis b’karta tal-vidjo waħda. Se jkun l-istess fil-ħin, sabiex tkun tista ‘tiffranka ftit. Wara l-assemblaġġ fuq server irħas, aħna nħassruh, u noħolqu server tal-ġlied bl-użu ta ‘diska minn server irħas. Imbagħad int mhux se tħallas żejda l-ħin għall-istennija għall-assemblaġġ u l-ippumpjar tal-punti ta ‘kontroll.
6. Ipprepara kontenut
6.1 Punti ta’ kontroll
Wara li jintemm it-tniżżil tal-punti ta ‘kontroll, għandek bżonn tiżloqhom fil-konfigurazzjonijiet. Hemm żewġ modi, parametri korretti jew punti ta ‘kontroll tat-trasferiment. Kullimkien huwa mistenni li l-punti ta ‘kontroll se jkunu fid-direttorju ewlieni tal-proġett, rispettivament, dak li jkun ġie mniżżel għandu jiġi trasferit mill-folder tat-tniżżil hawn fuq. Li tkun fil-folder yalm tesegwixxi
Aħna niċċekkjaw li l-kards tal-vidjo huma ssettjati b’mod korrett. Jekk għandek tmien karti tal-vidjo, allura xejn ma jeħtieġ li jinbidel. Jekk in-numru huwa differenti, allura nbiddlu dawn il-linji Fit-tieni linja, in-numri tal-apparati użati (tista ‘tħares lejhom f’nvidia-smi, li diġà nediet). Fir-raba, in-numru tagħhom.
7. Mexxi l-kontenitur docker
Li tkun fil-folder tal-yalm, tesegwixxi l-kmand
sudo bash ./docker/run.sh
Jekk kollox huwa OK, allura inti se jittieħed f’kontenitur li fih trid tmur fil-folder tal-yalm fid-direttorju tad-dar tiegħek.
cd ~/yalm
8. Mexxi l-eżempju minn YaLM 100B
Aħna lesti li nniedu wieħed mill-eżempji. Dawn huma deskritti hawn .
Kun paċenzjuż, għad trid tistenna 10-15-il minuta oħra sakemm jinħoloq il-mudell GPT u jitgħabba l-piżijiet mill-punti ta ‘kontroll.
Meta l-bini jintemm, MegatronML iqanqlek biex tidħol f’kuntest biex tiġġenera test. Oqgħod attent meta tittajpja. Taħt ċerti ċirkostanzi, iseħħ żball, il-programm jiġġarraf u għandek bżonn terġa ‘tibda l-assemblaġġ. Għalhekk, huwa aħjar li tuża eżempji li jieħdu test minn fajl.
9. Riżultati tax-xogħol
Jidher interessanti. Naturalment, dawn huma biss eżempji tajbin. I dam it-test fuq kampjuni differenti. Kif mistenni, iktar ma jkun il-kuntest aħjar, iktar ikun iġġenerat test sinifikanti. Is-sett sħiħ ta’ ġenerazzjonijiet sperimentali jista’ jarahom fil-links:
Għall-prezz, swietni madwar 9 elf rublu għall-kiri ta ‘servers ta’ kapaċitajiet differenti mit-taħriġ u mill-preparazzjoni għall-ġenerazzjoni. Diżappunt partikolari kien li ma tistax tiġġenera kollox istantanjament. Huwa jieħu żmien twil ħafna biex jibda u t-test ma jiġġenerax malajr kemm nixtiequ, minħabba l-ispiża tas-server fis-siegħa.
Kif tħaddem YaLM mingħajr 200Gb GPU RAM?
Ikollok bżonn iżżid deepspeed zero offload mal-konfigurazzjoni. Għal dawk li jafu dwar xiex qed nitkellmu, ikun faċli ħafna li tagħmel dan. Għal oħrajn, dan mhu biċċa xogħol trivjali xejn. Huwa importanti li tkun taf li l-offload jista ‘jkun jew fis-CPU RAM jew NVMe. Tista’ tinsa dwar NVMe bħalissa, għax. qed jiġi pproċessat ammont kbir ħafna ta ‘data u d-disk ma jistax ilaħħaq magħha. Zero offload CPU huwa aktar reali. Veru, għal dan jeħtieġ li jkollok 200+ Gb CPU RAM fl-istokk, li lanqas mhi rħisa. U test wieħed se jiġi ġġenerat għal madwar 20-40 minuta, peress li għadu ma kienx possibbli li jiġi parallelizzat fuq żewġ karti tal-vidjo. Kif tistgħu taraw fil-screenshot hawn taħt, karta tal-vidjo waħda biss kienet involuta fil-ġenerazzjoni, u mbagħad biss għal kwart tal-memorja. Wieħed irid jara għaliex l-24 GB kollha mhumiex użati, Ukoll, bħala konklużjoni, jiena ngħid li huwa possibbli li taħdem anke fuq RTX 3070 TI wieħed. Imma m’hemm l-ebda sens partikolari f’dan, għaliex. NVMe mhux se jippermettilek tipproċessa malajr 150 GB ta ‘dejta fit-tpartit, li huma fl-appendiċi ta’ 96 GB ta ‘RAM.
Fil-qosor
Naturalment, xorta se nipprova nsib l-aħjar mogħdijiet ta ‘tnedija. Imma s’issa wasalt għall-konklużjoni li YaLM 100b huwa għali wisq / bil-mod wisq għall-kompiti tiegħi. Għall-istess flus, in-nies se jiktbu ħafna aktar u ħafna aħjar. Imma naħseb li huwa temporanju, naraw. Jekk għandek bżonn għajnuna fit-tnedija, it-twaqqif tal-yalm, jew trid tara r-riżultati fuq l-eżempji tal-kuntest tiegħek, ikteb lill-posta jew telegramma.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?