Eku heleni ka June, Yandex yi humese neural network leyi nga ni tipharamitha ta 100 wa tibiliyoni leti vuriwaka YaLM 100B eka vaaki . I netiweke leyikulu swinene ya nyurali leyi fanaka ni GPT eka ndhawu ya mani na mani. Yi vulavula hi ndlela leyi va dyondziseke ha yona, va kombise swikombiso leswinene ngopfu ni leswi nyuroni yi kotaka ku swi endla. Kambe xana i swinene swonghasi hi ku tirhisa naswona swa tirha ekaya? Xihloko lexi xi miyerile hi mhaka leyi, ku tlula kwalaho, a swi olovi ngopfu ku xi tsutsuma ni ku xi kambela, tanihi leswi ku lavekaka kwalomu ka 200 Gb ya GPU RAM. Nhlamuselo leyi ya Habré yi paluxa xiyimo hi ndlela leyi kongomeke swinene .
Ku hehliwa leswaku, eka Yandex, vanhu hinkwavo vo tlhariha vo tano, naswona a va nga postanga hambi ku ri How-to leyi tolovelekeke. Ku hava api ya modele leyikulu, a ku na modele leyi lunghekeleke leyi hluvuriweke ehansi kumbe modele leyitsongo ya vanhu lava tolovelekeke (eka Google Colab). Ku hava xikombiso lexi nyikiweke xa ndlela yo veka modele, ndlela yo tumbuluxa tsalwa. I ntsena leswaku xihloko xi kombisa ti nuances timbirhi eka ti nerds naswona hi swona. Swi ringanerile ku languta hi vukheta ndlela leyi bangi yi swi endleke ha yona hi letere ra “C” ivi u endla leswi fanaka. Ndzi kume mianakanyo ya leswaku modele leyi i yin’wana ntsena ya swikambelo leswi tsandzekeke leswi a swi ri khombo ku swi lahlela thyaka, kutani swi rhumeriwile eka Open Source ku kombisa leswaku i timodeli tihi letikulu leti Yandex yi ti tumbuluxaka, naswona ku tlula kwalaho, i xihlovo lexi pfulekeke!
Kuna swivutiso swotala eka internet leswaku u nga fambisa njhani yalm kumbe hambi ku ri ku ringeta eka inthanete, kambe a ku na tinhlamulo ta leswi. A ndzi ri exikarhi ka vatirhisi lava vutiseke swivutiso leswi. Naswona u sungula ku swi hlela. Tanihi leswi hakunene a ndzi lava ndlela yo endla matsalwa ya tirhoboto ta swa timali. Leswaku va ta kota ku vhumbha ku nga ri ntsena mimpimanyeto, kambe va tlhela va nyika mavonelo eka yona hi tsalwa, hi ku ya hi swiviko swa timali. Kahle-kahle, swi ta fana ni leswi vaxopaxopi va swa timali va swi endlaka, ntsena hi ku tirhisa vutlhari byo endliwa. Kuna tindlela timbirhi to tsutsuma yalm. Rhelela server eka xigwitsirisihi 200+ Gb GPU RAM kutani u cinca khodi ivi u famba hi deepspeed zero offload (loko GPU hi ku landzelelana yi tirhisa xiphemu xa netiweke ya nyurali, naswona leswi seleke swi hlayisiwa eka CPU RAM kumbe NVMe). Xo sungula xa durha swinene, kwalomu ka 2500 wa tirhandi hi awara kumbe 1,7 wa timiliyoni hi n’hweti. Xa vumbirhi a xi tiviwi, hikuva khodi eka vuhlayiselo a yi nyikiwanga, ntsena switsundzuxo eka mhaka ya vuhlayiselo, leswi swi nga nonon’hwiki ku swi endla. A hi sunguleni hi ku olova.
U lava kwalomu ka 200 GB ya memori ya vhidiyo hinkwayo. 8×40 = 320 wa GB. I leyi ntsena leyi faneleke. Leswi nga ehansi ka 200 a swi koteki, swo tala swa koteka. Museve wu kombisa CPU RAM, a hi yi languti. A nga va un’wana ni un’wana.
Hi kombisa disk ya kwalomu ka 300 GB, leswaku hi spare naswona ku antswa disk yo hatlisa, hikuva. makume ya ti- gigabyte ta data ti ta hundziseriwa eka yona ni ku suka eka yona.
Loko u tumbuluxa eka swihlovo, hlawula Ubuntu ML (Machine Learning). Leswi swa boha leswaku makhadi ya vhidiyo ma lulamisiwa naswona ku nga vi na nchumu lowu lavaka ku nghenisiwa ku engetela.
Loko u endla server, kuna ti nuances letingana ti quota, unga kuma ku titwa ka leswaku switirhisiwa aswi kumeki, kambe entiyisweni u lava ntsena ku engetela ti quota eka swiyimiso. Endzhaku ka loko sevha yi tirhisiwile (swi nga teka timinete ta 5-10), hlanganisa na sevha hi ku tirhisa ssh kumbe hi ku kongoma eka web console eka tluka ra sevha ivi u tirhisa xileriso.
nvidia-smi yi vula leswaku
Vuyelo byi fanele ku va tafula leri nga na makhadi ya vhidiyo, driver version na cuda. Kwalomu ka ku fana na leswi. Eka nhlokomhaka ya vuhundzuluxeri bya muchayeri na laha. Eka tlhelo ra ximatsi ku ni tinomboro ta xitirhisiwa, exikarhi ku ni mpimo wa memori ya xitirhisiwa. Loko u nga ri na vuxokoxoko lebyi, kutani u hlengeletile sevha ku suka eka xihlovo lexi hoxeke. Ubuntu ML (Machine Learnong) ya laveka, tanihilaha swi hlamuseriweke hakona laha henhla.
Clone eka folda ya wena ya le kaya leswaku u nga boheki ku hlela docker config endzhaku ka sweswo. Loko yi cloned kun’wana, kutani famba laha u engetela ndlela ya laha ku cloned kona.
3. Ku dawuniloda tindhawu to kambela (vuxokoxoko bya masungulo bya xikombiso xa ndzetelo) .
Leswi swi ta teka kwalomu ka awara. Leswaku hi nga tlangi hi nkarhi mahala, hi endla vuhlanganisi lebyintshwa bya ssh naswona hi ku fambisana hi sungula ku aka xikhomela-ndhawu xa docker.
4. Nghenisa nvidia – docker 2. Ndzi ta ku nyika yini
Vutomi hack. U nga kopa tindhawu to kambela, u nghenisa docker na ku aka xigwitsirisi eka sevha yo chipa hi khadi rin’we ra vhidiyo. Swi ta va tano hi ku famba ka nkarhi, leswaku u ta kota ku hlayisa mali yitsongo. Endzhaku ko hlengeletana eka sevha yo chipa, hi yi susa, ivi hi endla sevha ya nyimpi hi ku tirhisa disk ku suka eka sevha yo chipa. Kutani a wu nge wu hakeli ku tlula mpimo nkarhi wo rindza nhlengeletano ni ku pompa tindhawu to kambela eka tona.
6. Lunghiselela leswi nga endzeni
6.1 Tindhawu to kambela eka tona
Endzhaku ka loko ku dawuniloda ti checkpoints ku herile, u fanele u ti rhetela eka ti config. Kuna tindlela timbirhi, ti parameters leti faneleke kumbe ti transfer checkpoints. Hinkwako ku languteriwile leswaku tindhawu to kambela ti ta va eka xikombo lexikulu xa phurojeke, hi ku landzelelana, leswi dawunilodiweke swi fanele ku hundziseriwa ku suka eka folda yo dawuniloda leyi nga laha henhla. Ku va eka folda ya yalm execute
Hi kambela leswaku makhadi ya vhidiyo ma vekiwile kahle. Loko u ri ni makhadi ya vhidiyo ya tsevu, kutani a ku na nchumu lowu lavaka ku cinciwa. Loko nomboro yi hambanile, kutani hi cinca milayeni leyi Eka layini ya vumbirhi, tinomboro ta switirhisiwa leswi tirhisiweke (u nga swi languta eka nvidia-smi, leswi se u swi sunguleke). Eka ya vumune, nhlayo ya vona.
7. Tirhisa xigwitsirisi xa docker
Ku va eka folda ya yalm, tirhisa xileriso
sudo bash ./docker/ku tsutsuma.sh
Loko hinkwaswo swi ri kahle, kutani u ta yisiwa eka xigwitsirisi lexi eka xona u faneleke ku ya eka folda ya yalm eka xikombo xa wena xa le kaya.
cd ~/yalm ya xitsonga
8. Tirhisa xikombiso ku suka eka YaLM 100B
Hi lunghekele ku sungula xin’wana xa swikombiso. Swi hlamuseriwile laha .
Lehisa mbilu, swi sala ku rindza timinete tin’wana ta 10-15 ku kondza ku endliwa modele wa GPT naswona swipimelo leswi humaka eka tindhawu to kambela swi layicha.
Loko ku aka ku hela, MegatronML yi ta ku kombela ku nghenisa mongo ku tumbuluxa tsalwa. Tivonele loko u thayipa. Ehansi ka swiyimo swo karhi, ku humelela xihoxo, nongonoko wu wa naswona u fanele u sungula nhlengeletano nakambe. Hikwalaho, swa antswa ku tirhisa swikombiso leswi tekaka tsalwa eka fayili.
9. Vuyelo bya ntirho
Swi languteka swi tsakisa. I ntiyiso leswaku leswi i swikombiso leswinene ntsena. Ndzi tsutsumise xikambelo eka swikombiso swo hambana-hambana. Hilaha swi languteriweke hakona, loko mongo wu antswa, tsalwa ri ta va ri ri na nhlamuselo yo tala. Nxaxamelo lowu heleleke wa tinxaka ta swikambelo wu nga voniwa eka swihlanganisi:
Hi nxavo, swi ndzi tekele kwalomu ka 9 wa magidi ya tirhandi yo hirha tisevha ta vuswikoti byo hambana-hambana ku sukela eka ndzetelo ni ku sukela eku lunghiseleleni ku ya eka xitukulwana. Lexi khomisaka gome ngopfu a ku ri leswaku a wu nge swi koti ku humesa hinkwaswo hi ku hatlisa. Swi teka nkarhi wo leha swinene ku sungula naswona tsalwa a ri humesi hi ku hatlisa hilaha hi nga tsakelaka hakona, loko hi languta ntsengo wa sevha hi awara.
Xana u nga yi tirhisa njhani YaLM handle ka 200Gb GPU RAM?
U fanele ku engetela deepspeed zero offload eka config. Eka lava va tivaka leswi hi vulavulaka ha swona, swi ta olova swinene ku swi endla. Eka van’wana, lowu a hi ntirho lowu nga riki wa nkoka nikatsongo. I swa nkoka ku tiva leswaku offload yingava eka CPU RAM kumbe NVMe. U nga rivala hi NVMe eka nkarhi wa sweswi, hikuva. nhlayo leyikulu swinene ya data yi le ku tirhisiweni naswona disk a yi nge swi koti ku langutana na yona. Zero offload CPU i ya xiviri swinene. I ntiyiso, eka leswi u fanele ku va na 200+ Gb CPU RAM exitokweni, leyi na yona yi nga chipangiki. Naswona tsalwa rin’we ri ta endliwa ku ringana kwalomu ka 20-40 wa timinete, tanihi leswi swi nga si kotekaka ku ri ringanisa eka makhadi mambirhi ya vhidiyo. Hilaha u nga swi vonaka hakona eka xifaniso lexi nga laha hansi, i khadi rin’we ntsena ra vhidiyo leri katsekeke eka xitukulwana lexi, ivi endzhaku ku katseka ntsena kotara ya memori. Swi ta vonaka leswaku ha yini ti 24 GB hinkwato ti nga tirhisiwi, . Kahle kahle, loko ndzi gimeta, ndzi ta vula leswaku swa koteka ku tsutsuma hambi ku ri eka RTX 3070 TI yin’we. Kambe a ku na nhlamuselo yo karhi eka leswi, hikuva. NVMe a yi nge ku pfumeleli ku hatlisa u tirhisa 150 GB ya data eka swap, leyi nga eka appendage ya 96 GB ya RAM.
Ku katsakanya
I ntiyiso, ndza ha ta ringeta ku kuma tindlela letinene to rhumela. Kambe ku fikela sweswi ndzi fikelele makumu ya leswaku YaLM 100b ya durha ngopfu / ya nonoka ngopfu eka mintirho ya mina. Hi mali leyi fanaka, vanhu va ta tsala swo tala swinene ni ku antswa swinene. Kambe ndzi ehleketa leswaku i swa xinkarhana, hi ta swi vona. Loko u lava mpfuneto wo sungula, ku veka yalm, kumbe u lava ku vona mbuyelo eka swikombiso swa wena swa mongo, tsalela eka poso kumbe thelegiramu.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?