Ko te whatunga neural YaLM 100B kei te mahi.

Программирование

I te mutunga o Hune, i tukuna e Yandex
he whatunga neural me te 100 piriona tawhā e kiia nei ko YaLM 100B ki te marea . Koia te whatunga neural penei i te GPT nui rawa atu i te rohe whanui. Ka korero mo te pehea i whakaakona ai ratou, i whakaatu i nga tauira tino pai me nga mea e taea ana e te neuron. Engari he tino pai ki te mahi me te whakamahi i te kainga? Kei te wahangu te tuhinga mo tenei, ano, ehara i te mea ngawari ki te whakahaere me te tirotiro, na te mea ko te 200 Gb o te GPU RAM e hiahiatia ana. Ko tenei korero mo Habré
e whakaatu tika ana i te ahuatanga
.

E kiia ana, i Yandex, nga tangata mohio katoa, a kaore i tukuna e ratou he pehea te tikanga. Karekau he api mo te tauira nui, karekau he reo kua rerihia, he tauira iti ranei mo nga tangata noa (kei a Google Colab). Karekau he tauira mo te whakatakoto i te tauira, me pehea te whakaputa tuhinga. Ko te mea noa ko te tuhinga e whakaatu ana i nga ahuatanga e rua mo nga nerds, a koinei. He nui ki te ata titiro ki te mahi a te peeke me te reta “C” me te pera ano. I puta te whakaaro ko tenei tauira ko tetahi noa o nga whakamatautau i rahua he pouri ki te maka ki roto i te paru, no reira i whakairihia ki Open Source hei whakaatu he aha nga tauira pai ka hangaia e Yandex, me te mea ano, he puna tuwhera!

He maha nga patai kei runga ipurangi me pehea te whakahaere i te yalm me te whakamatau i runga ipurangi, engari kaore he whakautu ki tenei. Ko ahau tetahi o nga kaiwhakamahi i patai i enei patai. A ka timata ki te whakaaro. I te mea i tino hiahia ahau ki te whakaputa tuhinga mo nga robots putea. Kia taea ai e ratou te matapae ehara i te mea ko nga uara anake, engari he korero ano i runga i te tuhinga, i runga i nga purongo putea. Ko te tikanga, ka rite tonu ki nga mahi a nga kaitirotiro putea, engari ma te whakamahi i te matauranga mohio. E rua nga huarahi ki te rere yalm.
Rēti i tētahi tūmau i te kapuame te 200+ Gb GPU RAM ka whakarereke ranei i te waehere ka oma me te tere tere kore whakaheke (i te wa e tukatuka ana te GPU i tetahi waahanga o te whatunga neural, a ko te toenga ka rongoa ki te RAM CPU, NVMe ranei). Ko te tuatahi he tino utu, mo te 2500 rubles ia haora, 1.7 miriona ranei ia marama. Ko te tuarua e kore e mohiotia, no te mea kaore i te whakaratohia te waehere i roto i te rehitatanga, he
tohu noa i roto i te take o te rehitatanga, ehara i te mea uaua ki te mahi. Me timata maatau.

YaLM 100B Tohutohu Whakarewa

1. Ka haea e matou te 200 GB GPU RAM, hei tauira i konei .

Ko te whatunga neural YaLM 100B kei te mahi.

Me 200 GB o te mahara ataata katoa. 8×40 = 320 GB. Ko tenei anake e pai ana. He iti ake i te 200 kaore e taea, ka nui ake. Ko te pere e tohu ana i te RAM CPU, kaore matou e titiro. Ka taea e ia te tangata.

Ka tohuhia e matou he kopae mo te 300 GB, na te mea he kopae e manawapa ana me te pai ake he kōpae tere, na te mea. tekau o nga gigabytes o nga raraunga ka whakawhitia atu ki reira.

Ko te whatunga neural YaLM 100B kei te mahi.A, no te hanga i roto i nga puna, tohua te Ubuntu ML (Ako Miihini). He whakahau tenei kia whirihorahia nga kaari ataata kaore he mea hei whakauru taapiri.

I te wa e hanga ana i te kaimau, he maha nga ahuatanga me nga waahi, ka whakaaro pea koe kaore i te waatea nga taputapu, engari ko te mea me whakanui noa koe i nga waahi i roto i nga tautuhinga. I muri i te whakahohenga o te tūmau (he 5-10 meneti pea te roa), hono atu ki te tūmau mā te ssh, tika rānei ki te papatohu tukutuku i te whārangi tūmau ka mahia te whakahau.

nvidia-smi

Ko te hua ko te tepu me nga kaari ataata, te putanga taraiwa me te cuda. He penei te ahua.
Ko te whatunga neural YaLM 100B kei te mahi.I roto i te pane putanga atekōkiri me te wahi. Kei te taha maui nga nama taputapu, kei waenganui ko te rahi o te mahara taputapu. Mena kaore koe i enei korero, kua kohia e koe te tūmau mai i te puna he. Ko te Ubuntu ML (Machine Learnong) e hiahiatia ana, pera i te korero i runga ake nei.

2. Whakakohia te putunga ki a YaLM

sudo git clone https://github.com/yandex/YaLM-100B/ yalm
cd yalm

Kawa ki to kōpaki kaainga kia kore koe e whakatika i te whirihora docker i muri mai. Mēnā ka kapohia ki tētahi wāhi kē,
haere ki konei ka tāpirihia te ara ki te wāhi i whakakaohia.

3. Tikina nga waahi tirotiro (nga korero whakangungu tauira taketake)

sudo chmod +x ./download/download.sh
sudo bash ./download/download.sh

Ka roa pea te haora. Kia kore ai e moumou noa te taima, ka hangaia e matou he hononga ssh hou, a, ka timata matou ki te hanga i tetahi ipu docker.

4. Tāuta nvidiadocker 2

Kaore i te pai
te kaipakihi noa, me hiahia a nvidia-docker2 .
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#setting-up-nvidia-container-toolkit

5. Te hanga ipu mo YaLM

cd yalm
sudo chmod +x ./docker/*
sudo bash ./docker/build.sh

He haora ano pea.

Te ora hack. Ka taea e koe te tango i nga waahi tirotiro, te whakauru docker me te hanga i tetahi ipu ki runga i te tūmau iti me te kaari ataata kotahi. Ka rite tonu te waa, ka taea e koe te penapena iti. I muri i te huihuinga i runga i te tūmau iti, ka mukua e matou, ka hangaia he tūmau whawhai mā te whakamahi i te kōpae mai i te tūmau iti. Na ka kore koe e utu i te wa mo te tatari mo te huihuinga me te pupuhi i nga waahi tirotiro.

6. Whakaritea ihirangi

6.1 Nga waahi tirotiro

Ka mutu te tangohanga o nga waahi tirotiro, me kuhu koe ki roto i nga whirihora. E rua nga huarahi, ko nga tawhā tika, ko nga tohu whakawhiti ranei. I nga waahi katoa e kiia ana ko nga waahi tirotiro kei roto i te raarangi matua o te kaupapa, ko nga mea kua tangohia me whakawhiti mai i te kōpaki tango i runga ake nei. Kei roto i te kōpaki yalm mahia

mv ./download/yalm100b_checkpoint ./

Hurihia ranei nga ara ki nga konae kei roto i nga konae tauira
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 Kaari ataata

Ka tirohia e matou kei te tika te whakatakoto o nga kaari ataata. Mena kei a koe nga kaari ataata e waru, kaore he mea hei whakarereke. Mena he rereke te tau, ka huri tatou i enei rarangi
Ko te whatunga neural YaLM 100B kei te mahi.I te rarangi tuarua, ko nga nama o nga taputapu i whakamahia (ka taea e koe te titiro ki roto i te nvidia-smi, kua whakarewahia e koe). I te tuawha, ko to ratou tokomaha.

7. Whakahaerehia te ipu docker

Kei roto i te kōpaki yalm, mahia te whakahau

sudo bash ./docker/run.sh

Mena he pai nga mea katoa, ka haria koe ki tetahi ipu me haere koe ki te kōpaki yalm kei roto i to raarangi kaainga.

cd ~/yalm

8. Whakahaerehia te tauira mai i a YaLM 100B

Kua reri matou ki te whakarewa i tetahi o nga tauira. Kei te whakaahuatia i
konei .

chmod +x ./examples/generate_interactive.sh
./examples/generate_interactive.sh

Kia manawanui, me tatari ano mo te 10-15 meneti kia hangaia te tauira GPT ka utaina nga taumahatanga mai i nga waahi tirotiro.
Ko te whatunga neural YaLM 100B kei te mahi.

Ka mutu te hanga, ka akiaki koe a MegatronML ki te whakauru i tetahi horopaki hei whakaputa tuhinga. Kia tupato ina pato koe. I raro i etahi ahuatanga, ka puta he hapa, ka pakaru te papatono ka hiahia koe ki te timata ano i te huihuinga. Na reira, he pai ake te whakamahi i nga tauira ka tango tuhinga mai i te konae.

9. Nga hua o te mahi

Ko te whatunga neural YaLM 100B kei te mahi.
Ko te whatunga neural YaLM 100B kei te mahi.He ahua whakamere. Ko te tikanga, he tauira pai noa enei. I whakahaerehia e ahau te whakamatautau mo nga tauira rereke. Ka rite ki te tumanako, ka pai ake te horopaki, ka nui ake nga tuhinga e whai kiko ana. Ko te huinga katoa o nga whakatipuranga whakamatautau ka taea te tiro ki nga hononga:

Mo te utu, he tata ki te 9 mano rubles te utu mo te reti i nga kaitoro o nga momo kaha mai i te whakangungu me te whakarite mai i nga whakatipuranga. Ko tetahi tino pouri ko te kore e taea e koe te whakaputa i nga mea katoa. He roa rawa te wa ki te tiimata me te kore e tere te whakaputa i te tuhinga i ta matou e pai ai, na te utu o te tūmau ia haora.
Ko te whatunga neural YaLM 100B kei te mahi. 

Me pehea te whakahaere i a YaLM kaore he 200Gb GPU RAM?

Me taapiri e koe te tere tere kore whakaheke ki te whirihora. Mo te hunga e mohio ana ki ta matou e korero nei, ka tino ngawari te mahi. Ki etahi atu, ehara tenei i te mahi iti. He mea nui kia mohio ka taea te whakaheke i te CPU RAM, i te NVMe ranei. Ka taea e koe te wareware mo te NVMe i tenei wa, na te mea. he nui rawa nga raraunga kei te tukatukahia kaore e taea e te kōpae te whakatutuki. Ko te PTM whakaheke kore he tino pono. Pono, mo tenei me whai koe i te 200+ Gb CPU RAM i roto i nga taonga, kaore ano i te iti. A ka hangaia tetahi tuhinga mo te 20-40 meneti, na te mea kaore ano kia taea te whakarara i runga i nga kaari ataata e rua. Ka taea e koe te kite i te Whakaahuamata i raro nei, kotahi anake te kaari ataata i uru ki roto i te reanga, katahi mo te hauwha o te mahara. Ka kitea tonu he aha te 24 GB katoa kaore e whakamahia,
Ko te whatunga neural YaLM 100B kei te mahi.Ae, hei mutunga, ka kii ahau ka taea te whakahaere ahakoa i runga i tetahi RTX 3070 TI. Engari kaore he tikanga motuhake mo tenei, na te mea. Kaore a NVMe e tuku kia tere koe ki te tukatuka i te 150 GB o nga raraunga i roto i te whakawhiti, kei roto i te taapiri o te 96 GB o RAM.
Ko te whatunga neural YaLM 100B kei te mahi.

Whakarāpopoto

Ae ra, ka ngana tonu ahau ki te kimi i nga huarahi whakarewatanga tino pai. Engari i tenei wa kua tae ahau ki te whakatau he nui te utu / puhoi rawa te YaLM 100b mo aku mahi. Mo te moni kotahi, ka nui ake te tuhi a te tangata me te pai ake. Engari ki taku whakaaro he wa poto, ka kite tatou. Mena ka hiahia awhina koe ki te whakarewa, ki te whakatu i te yalm, ki te hiahia ranei ki te kite i nga hua i runga i o tauira horopaki, tuhia ki te mēra, waea waea ranei.

pskucherov
Rate author
Add a comment

  1. Olha

    Статья на Мега актуальную тему! Спасибо.

    Reply
  2. Данила

    Крутая статья! Спасибо автору!

    Reply
  3. Дмитрий

    СПАСИБО !!!
    три дня эту информацию искал
    нет подобного о RuGPT3 и Порфириче?

    Reply