Rhwydwaith nerfol YaLM 100B yn ymarferol.

Программирование

Ar ddiwedd mis Mehefin, rhyddhaodd Yandex
rwydwaith niwral gyda 100 biliwn o baramedrau o’r enw YaLM 100B i’r cyhoedd . Dyma’r rhwydwaith niwral tebyg i GPT mwyaf yn y parth cyhoeddus. Mae’n dweud sut y bu iddynt ddysgu, dangos yr enghreifftiau gorau a’r hyn y gall y niwron ei wneud. Ond a yw mor dda yn ymarferol ac yn berthnasol gartref? Mae’r erthygl yn dawel am hyn, ar ben hynny, nid yw mor hawdd ei redeg a’i wirio, gan fod angen tua 200 Gb o GPU RAM. Mae’r sylw hwn ar Habré
yn datgelu’r sefyllfa fwyaf cywir
.

Honnir, yn Yandex, yr holl bobl glyfar o’r fath, ac ni wnaethant hyd yn oed bostio Sut i wneud arferol. Nid oes ap ar gyfer model mawr, nid oes model canolig neu fach parod wedi’i dynnu i lawr ar gyfer pobl gyffredin (yn Google Colab). Ni roddir enghraifft o sut i osod y model, sut i gynhyrchu testun. Dim ond bod yr erthygl yn nodi ychydig o arlliwiau ar gyfer nerds a dyna ni. Mae’n ddigon edrych yn agosach ar sut y gwnaeth y banc hynny gyda’r llythyren “C” a gwneud yr un peth. Cefais yr argraff mai dim ond un o’r arbrofion a fethwyd yw’r model hwn a oedd yn drueni ei daflu yn y sbwriel, felly fe’i postiwyd yn Ffynhonnell Agored i ddangos pa fodelau gwych y mae Yandex yn eu creu, ac ar ben hynny, mae’n ffynhonnell agored!

Mae yna lawer o gwestiynau ar y Rhyngrwyd sut i redeg ialm neu hyd yn oed geisio ar-lein, ond nid oes atebion i hyn. Roeddwn i ymhlith y defnyddwyr a ofynnodd y cwestiynau hyn. Ac aeth ati i’w ddarganfod. Gan fod gwir angen ffordd arnaf i gynhyrchu testunau ar gyfer robotiaid ariannol. Er mwyn iddynt allu rhagweld nid yn unig y gwerthoedd, ond hefyd gwneud sylwadau arno mewn testun, yn seiliedig ar adroddiadau ariannol. Yn ei hanfod, bydd yr un peth â’r hyn y mae dadansoddwyr ariannol yn ei wneud, dim ond gyda’r defnydd o ddeallusrwydd artiffisial. Mae dwy ffordd i redeg ialm.
Rhentu gweinydd yn y cwmwlgyda 200+ Gb GPU RAM neu gwblhau’r cod a’i redeg gan ddefnyddio dadlwythiad sero dwfn (pan fydd y GPU yn prosesu rhan o’r rhwydwaith niwral yn olynol, a’r gweddill yn cael ei storio yn CPU RAM neu NVMe). Mae’r un cyntaf yn ddrud iawn, tua 2500 rubles yr awr neu 1.7 miliwn y mis. Yr ail anhysbys, oherwydd ni ddarperir y cod yn yr ystorfa, dim ond
awgrymiadau yn y mater o ystorfa, nad yw’n anodd ei wneud. Gadewch i ni ddechrau syml.

Cyfarwyddiadau Lansio YaLM 100B

1. Rydym yn rhentu 200 GB GPU RAM , er enghraifft yma .

Rhwydwaith nerfol YaLM 100B yn ymarferol.

Mae angen o leiaf 200 GB o gof fideo cyfan. 8×40 = 320 GB. Dim ond hwn sy’n ffitio. Mae llai na 200 yn amhosibl, mae mwy yn bosibl. Mae’r saeth yn nodi’r CPU RAM, nid ydym yn edrych arno. Gall hi fod yn unrhyw un.

Rydyn ni’n nodi disg o tua 300 GB, fel bod gyda disg sbâr ac yn ddelfrydol disg gyflym, oherwydd. bydd degau o gigabeit o ddata yn cael ei drosglwyddo iddo ac ohono.

Rhwydwaith nerfol YaLM 100B yn ymarferol.Wrth greu mewn ffynonellau, dewiswch Ubuntu ML (Machine Learning). Mae hyn yn orfodol fel bod y cardiau fideo wedi’u ffurfweddu ac nid oes angen gosod unrhyw beth ychwanegol.

Ar ôl i’r gweinydd gael ei actifadu (gall gymryd 5-10 munud), cysylltwch â’r gweinydd trwy ssh neu’n uniongyrchol yn y consol gwe ar dudalen y gweinydd a gweithredwch y gorchymyn.

nvidia-smi

Dylai’r canlyniad fod yn dabl gyda chardiau fideo, fersiwn gyrrwr a cuda. Yn fras fel hyn.
Rhwydwaith nerfol YaLM 100B yn ymarferol.Ym mhennyn y fersiwn gyrrwr a ble. Ar yr ochr chwith mae niferoedd y ddyfais, yn y canol mae maint cof y ddyfais. Os nad oes gennych y wybodaeth hon, yna rydych wedi casglu’r gweinydd o’r ffynhonnell anghywir. Mae angen Ubuntu ML (Machine Learnong), fel y disgrifir uchod.

2. Cloniwch yr ystorfa gyda YaLM

clôn sudo git https://github.com/yandex/YaLM-100B/ yalm
cd yalm

Cloniwch i’ch ffolder cartref fel nad oes rhaid i chi olygu ffurfwedd y docwr wedyn. Os yw wedi’i glonio yn rhywle arall, yna
ewch yma ac ychwanegu’r llwybr i’r man lle mae wedi’i glonio.

3. Lawrlwythwch bwyntiau gwirio (gwybodaeth hyfforddiant model sylfaenol)

sudo chmod +x ./download/download.sh
sudo bash ./download/download.sh

Bydd hyn yn cymryd tua awr. Er mwyn peidio â gwastraffu amser yn ofer, rydym yn creu cysylltiad ssh newydd ac yn gyfochrog rydym yn dechrau adeiladu cynhwysydd docwr.

4. Gosod nvidiadocwr 2

Nid yw docwr arferol yn addas,
mae angen nvidia-docker2 .
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#setting-up-nvidia-container-toolkit

5. Adeiladu cynhwysydd ar gyfer YaLM

cd yalm
sudo chmod +x ./docker/*
sudo bash ./docker/build.sh

Mae hefyd tua awr.

Hac bywyd. Gallwch chi lawrlwytho pwyntiau gwirio, gosod docwr ac adeiladu cynhwysydd ar weinydd rhad gydag un cerdyn fideo. Bydd yr un peth mewn amser, felly gallwch arbed ychydig. Ar ôl cydosod ar weinydd rhad, rydyn ni’n ei ddileu, ac yn creu gweinydd ymladd gan ddefnyddio disg o weinydd rhad. Yna ni fyddwch yn gordalu’r amser ar gyfer aros am y cynulliad a phwmpio pwyntiau gwirio.

6. Paratoi cynnwys

6.1 Pwyntiau siec

Ar ôl i’r broses o lawrlwytho pwyntiau gwirio ddod i ben, mae angen i chi eu llithro i’r ffurfweddau. Mae dwy ffordd, paramedrau cywir neu bwyntiau gwirio trosglwyddo. Ym mhobman disgwylir y bydd y pwyntiau gwirio ym mhrif gyfeiriadur y prosiect, yn y drefn honno, rhaid trosglwyddo’r hyn sy’n cael ei lawrlwytho o’r ffolder lawrlwytho uchod. Bod yn y ffolder ialm gweithredu

mv ./download/yalm100b_checkpoint ./

Neu newidiwch y llwybrau i’r ffeiliau yn y ffeiliau enghreifftiol
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 Cardiau fideo

Rydym yn gwirio bod y cardiau fideo wedi’u gosod yn gywir. Os oes gennych wyth cerdyn fideo, yna nid oes angen newid unrhyw beth. Os yw’r rhif yn wahanol, yna rydym yn newid y llinellau hyn
Rhwydwaith nerfol YaLM 100B yn ymarferol.Yn yr ail linell, nifer y dyfeisiau a ddefnyddir (gallwch edrych arnynt yn nvidia-smi, yr ydych eisoes wedi’i lansio). Yn y bedwaredd, eu rhif.

7. Rhedeg y cynhwysydd docwr

Gan fod yn y ffolder ialm, gweithredwch y gorchymyn

bash sudo ./docker/run.sh

Os yw popeth yn iawn, yna fe’ch cymerir i gynhwysydd lle mae angen i chi fynd i’r ffolder ialm yn eich cyfeiriadur cartref.

cd ~/yalm

8. Rhedeg yr enghraifft o YaLM 100B

Rydym yn barod i lansio un o’r enghreifftiau. Fe’u disgrifir
yma .

chmod +x ./examples/generate_interactive.sh
./examples/generate_interactive.sh

Byddwch yn amyneddgar, mae’n rhaid aros 10-15 munud arall nes bod y model GPT2 yn cael ei greu a’r pwysau o’r pwyntiau gwirio wedi’u llwytho.
Rhwydwaith nerfol YaLM 100B yn ymarferol.

Pan ddaw’r gwaith adeiladu i ben, bydd MegatronML yn eich annog i nodi cyd-destun i gynhyrchu testun. Byddwch yn ofalus wrth deipio. O dan rai amgylchiadau, mae gwall yn digwydd, mae’r rhaglen yn chwalu ac mae angen i chi ddechrau’r gwasanaeth eto. Felly, mae’n well defnyddio enghreifftiau sy’n cymryd testun o ffeil.

9. Canlyniadau’r gwaith

Rhwydwaith nerfol YaLM 100B yn ymarferol.
Rhwydwaith nerfol YaLM 100B yn ymarferol.Edrych yn ddiddorol. Wrth gwrs, dim ond enghreifftiau da yw’r rhain. Cynhaliais y prawf ar wahanol samplau. Yn ôl y disgwyl, y gorau yw’r cyd-destun, y mwyaf ystyrlon y bydd testun yn cael ei gynhyrchu. Gellir gweld y set lawn o genedlaethau arbrofol yn y dolenni:

Am y pris, costiodd tua 9 mil rubles i mi ar gyfer rhentu gweinyddwyr o wahanol alluoedd o hyfforddiant ac o baratoi i genhedlaeth. Siom arbennig oedd na allwch chi gynhyrchu popeth ar unwaith. Mae’n cymryd amser hir iawn i ddechrau ac nid yw’r testun yn cynhyrchu mor gyflym ag yr hoffem, o ystyried cost y gweinydd yr awr.
Rhwydwaith nerfol YaLM 100B yn ymarferol. 

Sut i redeg YaLM heb 200Gb GPU RAM?

Mae angen i chi ychwanegu dadlwythiad sero dwfn i’r ffurfwedd. I’r rhai sy’n gwybod am beth yr ydym yn sôn, bydd yn hawdd iawn ei wneud. I eraill, nid yw hon yn dasg ddibwys o gwbl. Mae’n bwysig gwybod y gall dadlwytho fod naill ai yn CPU RAM neu NVMe. Gallwch chi anghofio am NVMe ar hyn o bryd, oherwydd. mae llawer iawn o ddata yn cael ei brosesu ac ni all y ddisg ymdopi ag ef. Mae CPU dadlwytho sero yn fwy real. Yn wir, ar gyfer hyn mae angen i chi gael 200 + Gb CPU RAM mewn stoc, nad yw hefyd yn rhad. A bydd un testun yn cael ei gynhyrchu am tua 20-40 munud, gan nad yw wedi bod yn bosibl eto i’w gyfochrog â dau gerdyn fideo. Fel y gwelwch yn y screenshot isod, dim ond un cerdyn fideo oedd yn ymwneud â’r genhedlaeth, ac yna dim ond am chwarter y cof. Mae’n dal i gael ei weld pam na ddefnyddir pob un o’r 24 GB,
Rhwydwaith nerfol YaLM 100B yn ymarferol.Wel, i gloi, dywedaf ei bod yn bosibl rhedeg hyd yn oed ar un RTX 3070 TI. Ond nid oes unrhyw synnwyr penodol yn hyn, oherwydd. Ni fydd NVMe yn caniatáu ichi brosesu 150 GB o ddata yn gyflym yn y cyfnewid, sydd yn atodiad 96 GB o RAM.
Rhwydwaith nerfol YaLM 100B yn ymarferol.

Crynhoi

Wrth gwrs, byddaf yn dal i geisio dod o hyd i’r llwybrau lansio gorau posibl. Ond hyd yn hyn rwyf wedi dod i’r casgliad bod YaLM 100b yn rhy ddrud / rhy araf ar gyfer fy nhasgau. Am yr un arian, bydd pobl yn ysgrifennu llawer mwy a llawer gwell. Ond rwy’n meddwl ei fod yn rhywbeth dros dro, gawn ni weld. Os oes angen help arnoch i lansio, sefydlu ialm, neu os hoffech weld y canlyniadau ar eich enghreifftiau cyd-destun, ysgrifennwch at y post neu’r telegram.

pskucherov
Rate author
Add a comment

  1. Olha

    Статья на Мега актуальную тему! Спасибо.

    Reply
  2. Данила

    Крутая статья! Спасибо автору!

    Reply
  3. Дмитрий

    СПАСИБО !!!
    три дня эту информацию искал
    нет подобного о RuGPT3 и Порфириче?

    Reply