Ko te whatunga neural YaLM 100B kei te mahi.

I te mutunga o Hune, i tukuna e Yandex
he whatunga neural me te 100 piriona tawhā e kiia nei ko YaLM 100B ki te marea . Koia te whatunga neural penei i te GPT nui rawa atu i te rohe whanui. Ka korero mo te pehea i whakaakona ai ratou, i whakaatu i nga tauira tino pai me nga mea e taea ana e te neuron. Engari he tino pai ki te mahi me te whakamahi i te kainga? Kei te wahangu te tuhinga mo tenei, ano, ehara i te mea ngawari ki te whakahaere me te tirotiro, na te mea ko te 200 Gb o te GPU RAM e hiahiatia ana. Ko tenei korero mo Habré
e whakaatu tika ana i te ahuatanga
.

E kiia ana, i Yandex, nga tangata mohio katoa, a kaore i tukuna e ratou he pehea te tikanga. Karekau he api mo te tauira nui, karekau he reo kua rerihia, he tauira iti ranei mo nga tangata noa (kei a Google Colab). Karekau he tauira mo te whakatakoto i te tauira, me pehea te whakaputa tuhinga. Ko te mea noa ko te tuhinga e whakaatu ana i nga ahuatanga e rua mo nga nerds, a koinei. He nui ki te ata titiro ki te mahi a te peeke me te reta “C” me te pera ano. I puta te whakaaro ko tenei tauira ko tetahi noa o nga whakamatautau i rahua he pouri ki te maka ki roto i te paru, no reira i whakairihia ki Open Source hei whakaatu he aha nga tauira pai ka hangaia e Yandex, me te mea ano, he puna tuwhera!

He maha nga patai kei runga ipurangi me pehea te whakahaere i te yalm me te whakamatau i runga ipurangi, engari kaore he whakautu ki tenei. Ko ahau tetahi o nga kaiwhakamahi i patai i enei patai. A ka timata ki te whakaaro. I te mea i tino hiahia ahau ki te whakaputa tuhinga mo nga robots putea. Kia taea ai e ratou te matapae ehara i te mea ko nga uara anake, engari he korero ano i runga i te tuhinga, i runga i nga purongo putea. Ko te tikanga, ka rite tonu ki nga mahi a nga kaitirotiro putea, engari ma te whakamahi i te matauranga mohio. E rua nga huarahi ki te rere yalm.
Rēti i tētahi tūmau i te kapuame te 200+ Gb GPU RAM ka whakarereke ranei i te waehere ka oma me te tere tere kore whakaheke (i te wa e tukatuka ana te GPU i tetahi waahanga o te whatunga neural, a ko te toenga ka rongoa ki te RAM CPU, NVMe ranei). Ko te tuatahi he tino utu, mo te 2500 rubles ia haora, 1.7 miriona ranei ia marama. Ko te tuarua e kore e mohiotia, no te mea kaore i te whakaratohia te waehere i roto i te rehitatanga, he
tohu noa i roto i te take o te rehitatanga, ehara i te mea uaua ki te mahi. Me timata maatau.

YaLM 100B Tohutohu Whakarewa

1. Ka haea e matou te 200 GB GPU RAM, hei tauira i konei .

Me 200 GB o te mahara ataata katoa. 8×40 = 320 GB. Ko tenei anake e pai ana. He iti ake i te 200 kaore e taea, ka nui ake. Ko te pere e tohu ana i te RAM CPU, kaore matou e titiro. Ka taea e ia te tangata.

Ka tohuhia e matou he kopae mo te 300 GB, na te mea he kopae e manawapa ana me te pai ake he kōpae tere, na te mea. tekau o nga gigabytes o nga raraunga ka whakawhitia atu ki reira.

A, no te hanga i roto i nga puna, tohua te Ubuntu ML (Ako Miihini). He whakahau tenei kia whirihorahia nga kaari ataata kaore he mea hei whakauru taapiri.

I te wa e hanga ana i te kaimau, he maha nga ahuatanga me nga waahi, ka whakaaro pea koe kaore i te waatea nga taputapu, engari ko te mea me whakanui noa koe i nga waahi i roto i nga tautuhinga. I muri i te whakahohenga o te tūmau (he 5-10 meneti pea te roa), hono atu ki te tūmau mā te ssh, tika rānei ki te papatohu tukutuku i te whārangi tūmau ka mahia te whakahau.

nvidia-smi

Ko te hua ko te tepu me nga kaari ataata, te putanga taraiwa me te cuda. He penei te ahua.
I roto i te pane putanga atekōkiri me te wahi. Kei te taha maui nga nama taputapu, kei waenganui ko te rahi o te mahara taputapu. Mena kaore koe i enei korero, kua kohia e koe te tūmau mai i te puna he. Ko te Ubuntu ML (Machine Learnong) e hiahiatia ana, pera i te korero i runga ake nei.

2. Whakakohia te putunga ki a YaLM

sudo git clone https://github.com/yandex/YaLM-100B/ yalm
cd yalm

Kawa ki to kōpaki kaainga kia kore koe e whakatika i te whirihora docker i muri mai. Mēnā ka kapohia ki tētahi wāhi kē,
haere ki konei ka tāpirihia te ara ki te wāhi i whakakaohia.

3. Tikina nga waahi tirotiro (nga korero whakangungu tauira taketake)

sudo chmod +x ./download/download.sh
sudo bash ./download/download.sh

Ka roa pea te haora. Kia kore ai e moumou noa te taima, ka hangaia e matou he hononga ssh hou, a, ka timata matou ki te hanga i tetahi ipu docker.

4. Tāuta nvidia – docker 2

Kaore i te pai
te kaipakihi noa, me hiahia a nvidia-docker2 .
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#setting-up-nvidia-container-toolkit

5. Te hanga ipu mo YaLM

cd yalm
sudo chmod +x ./docker/*
sudo bash ./docker/build.sh

He haora ano pea.

Te ora hack. Ka taea e koe te tango i nga waahi tirotiro, te whakauru docker me te hanga i tetahi ipu ki runga i te tūmau iti me te kaari ataata kotahi. Ka rite tonu te waa, ka taea e koe te penapena iti. I muri i te huihuinga i runga i te tūmau iti, ka mukua e matou, ka hangaia he tūmau whawhai mā te whakamahi i te kōpae mai i te tūmau iti. Na ka kore koe e utu i te wa mo te tatari mo te huihuinga me te pupuhi i nga waahi tirotiro.

6. Whakaritea ihirangi

6.1 Nga waahi tirotiro

Ka mutu te tangohanga o nga waahi tirotiro, me kuhu koe ki roto i nga whirihora. E rua nga huarahi, ko nga tawhā tika, ko nga tohu whakawhiti ranei. I nga waahi katoa e kiia ana ko nga waahi tirotiro kei roto i te raarangi matua o te kaupapa, ko nga mea kua tangohia me whakawhiti mai i te kōpaki tango i runga ake nei. Kei roto i te kōpaki yalm mahia

mv ./download/yalm100b_checkpoint ./

Hurihia ranei nga ara ki nga konae kei roto i nga konae tauira
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 Kaari ataata

Ka tirohia e matou kei te tika te whakatakoto o nga kaari ataata. Mena kei a koe nga kaari ataata e waru, kaore he mea hei whakarereke. Mena he rereke te tau, ka huri tatou i enei rarangi
I te rarangi tuarua, ko nga nama o nga taputapu i whakamahia (ka taea e koe te titiro ki roto i te nvidia-smi, kua whakarewahia e koe). I te tuawha, ko to ratou tokomaha.

7. Whakahaerehia te ipu docker

Kei roto i te kōpaki yalm, mahia te whakahau

sudo bash ./docker/run.sh

Mena he pai nga mea katoa, ka haria koe ki tetahi ipu me haere koe ki te kōpaki yalm kei roto i to raarangi kaainga.

cd ~/yalm

8. Whakahaerehia te tauira mai i a YaLM 100B

Kua reri matou ki te whakarewa i tetahi o nga tauira. Kei te whakaahuatia i
konei .

chmod +x ./examples/generate_interactive.sh
./examples/generate_interactive.sh

Kia manawanui, me tatari ano mo te 10-15 meneti kia hangaia te tauira GPT ka utaina nga taumahatanga mai i nga waahi tirotiro.

Ka mutu te hanga, ka akiaki koe a MegatronML ki te whakauru i tetahi horopaki hei whakaputa tuhinga. Kia tupato ina pato koe. I raro i etahi ahuatanga, ka puta he hapa, ka pakaru te papatono ka hiahia koe ki te timata ano i te huihuinga. Na reira, he pai ake te whakamahi i nga tauira ka tango tuhinga mai i te konae.

9. Nga hua o te mahi

He ahua whakamere. Ko te tikanga, he tauira pai noa enei. I whakahaerehia e ahau te whakamatautau mo nga tauira rereke. Ka rite ki te tumanako, ka pai ake te horopaki, ka nui ake nga tuhinga e whai kiko ana. Ko te huinga katoa o nga whakatipuranga whakamatautau ka taea te tiro ki nga hononga:

• generate_conditional_sampling.sh
• generate_conditional_greedy.sh
• generate_unconditional.sh

Mo te utu, he tata ki te 9 mano rubles te utu mo te reti i nga kaitoro o nga momo kaha mai i te whakangungu me te whakarite mai i nga whakatipuranga. Ko tetahi tino pouri ko te kore e taea e koe te whakaputa i nga mea katoa. He roa rawa te wa ki te tiimata me te kore e tere te whakaputa i te tuhinga i ta matou e pai ai, na te utu o te tūmau ia haora.
 

Me pehea te whakahaere i a YaLM kaore he 200Gb GPU RAM?

Me taapiri e koe te tere tere kore whakaheke ki te whirihora. Mo te hunga e mohio ana ki ta matou e korero nei, ka tino ngawari te mahi. Ki etahi atu, ehara tenei i te mahi iti. He mea nui kia mohio ka taea te whakaheke i te CPU RAM, i te NVMe ranei. Ka taea e koe te wareware mo te NVMe i tenei wa, na te mea. he nui rawa nga raraunga kei te tukatukahia kaore e taea e te kōpae te whakatutuki. Ko te PTM whakaheke kore he tino pono. Pono, mo tenei me whai koe i te 200+ Gb CPU RAM i roto i nga taonga, kaore ano i te iti. A ka hangaia tetahi tuhinga mo te 20-40 meneti, na te mea kaore ano kia taea te whakarara i runga i nga kaari ataata e rua. Ka taea e koe te kite i te Whakaahuamata i raro nei, kotahi anake te kaari ataata i uru ki roto i te reanga, katahi mo te hauwha o te mahara. Ka kitea tonu he aha te 24 GB katoa kaore e whakamahia,
Ae, hei mutunga, ka kii ahau ka taea te whakahaere ahakoa i runga i tetahi RTX 3070 TI. Engari kaore he tikanga motuhake mo tenei, na te mea. Kaore a NVMe e tuku kia tere koe ki te tukatuka i te 150 GB o nga raraunga i roto i te whakawhiti, kei roto i te taapiri o te 96 GB o RAM.

Whakarāpopoto

Ae ra, ka ngana tonu ahau ki te kimi i nga huarahi whakarewatanga tino pai. Engari i tenei wa kua tae ahau ki te whakatau he nui te utu / puhoi rawa te YaLM 100b mo aku mahi. Mo te moni kotahi, ka nui ake te tuhi a te tangata me te pai ake. Engari ki taku whakaaro he wa poto, ka kite tatou. Mena ka hiahia awhina koe ki te whakarewa, ki te whakatu i te yalm, ki te hiahia ranei ki te kite i nga hua i runga i o tauira horopaki, tuhia ki te mēra, waea waea ranei.