Ar ddiwedd mis Mehefin, rhyddhaodd Yandex rwydwaith niwral gyda 100 biliwn o baramedrau o’r enw YaLM 100B i’r cyhoedd . Dyma’r rhwydwaith niwral tebyg i GPT mwyaf yn y parth cyhoeddus. Mae’n dweud sut y bu iddynt ddysgu, dangos yr enghreifftiau gorau a’r hyn y gall y niwron ei wneud. Ond a yw mor dda yn ymarferol ac yn berthnasol gartref? Mae’r erthygl yn dawel am hyn, ar ben hynny, nid yw mor hawdd ei redeg a’i wirio, gan fod angen tua 200 Gb o GPU RAM. Mae’r sylw hwn ar Habré yn datgelu’r sefyllfa fwyaf cywir .
Honnir, yn Yandex, yr holl bobl glyfar o’r fath, ac ni wnaethant hyd yn oed bostio Sut i wneud arferol. Nid oes ap ar gyfer model mawr, nid oes model canolig neu fach parod wedi’i dynnu i lawr ar gyfer pobl gyffredin (yn Google Colab). Ni roddir enghraifft o sut i osod y model, sut i gynhyrchu testun. Dim ond bod yr erthygl yn nodi ychydig o arlliwiau ar gyfer nerds a dyna ni. Mae’n ddigon edrych yn agosach ar sut y gwnaeth y banc hynny gyda’r llythyren “C” a gwneud yr un peth. Cefais yr argraff mai dim ond un o’r arbrofion a fethwyd yw’r model hwn a oedd yn drueni ei daflu yn y sbwriel, felly fe’i postiwyd yn Ffynhonnell Agored i ddangos pa fodelau gwych y mae Yandex yn eu creu, ac ar ben hynny, mae’n ffynhonnell agored!
Mae yna lawer o gwestiynau ar y Rhyngrwyd sut i redeg ialm neu hyd yn oed geisio ar-lein, ond nid oes atebion i hyn. Roeddwn i ymhlith y defnyddwyr a ofynnodd y cwestiynau hyn. Ac aeth ati i’w ddarganfod. Gan fod gwir angen ffordd arnaf i gynhyrchu testunau ar gyfer robotiaid ariannol. Er mwyn iddynt allu rhagweld nid yn unig y gwerthoedd, ond hefyd gwneud sylwadau arno mewn testun, yn seiliedig ar adroddiadau ariannol. Yn ei hanfod, bydd yr un peth â’r hyn y mae dadansoddwyr ariannol yn ei wneud, dim ond gyda’r defnydd o ddeallusrwydd artiffisial. Mae dwy ffordd i redeg ialm. Rhentu gweinydd yn y cwmwlgyda 200+ Gb GPU RAM neu gwblhau’r cod a’i redeg gan ddefnyddio dadlwythiad sero dwfn (pan fydd y GPU yn prosesu rhan o’r rhwydwaith niwral yn olynol, a’r gweddill yn cael ei storio yn CPU RAM neu NVMe). Mae’r un cyntaf yn ddrud iawn, tua 2500 rubles yr awr neu 1.7 miliwn y mis. Yr ail anhysbys, oherwydd ni ddarperir y cod yn yr ystorfa, dim ond awgrymiadau yn y mater o ystorfa, nad yw’n anodd ei wneud. Gadewch i ni ddechrau syml.
Mae angen o leiaf 200 GB o gof fideo cyfan. 8×40 = 320 GB. Dim ond hwn sy’n ffitio. Mae llai na 200 yn amhosibl, mae mwy yn bosibl. Mae’r saeth yn nodi’r CPU RAM, nid ydym yn edrych arno. Gall hi fod yn unrhyw un.
Rydyn ni’n nodi disg o tua 300 GB, fel bod gyda disg sbâr ac yn ddelfrydol disg gyflym, oherwydd. bydd degau o gigabeit o ddata yn cael ei drosglwyddo iddo ac ohono.
Wrth greu mewn ffynonellau, dewiswch Ubuntu ML (Machine Learning). Mae hyn yn orfodol fel bod y cardiau fideo wedi’u ffurfweddu ac nid oes angen gosod unrhyw beth ychwanegol.
Ar ôl i’r gweinydd gael ei actifadu (gall gymryd 5-10 munud), cysylltwch â’r gweinydd trwy ssh neu’n uniongyrchol yn y consol gwe ar dudalen y gweinydd a gweithredwch y gorchymyn.
nvidia-smi
Dylai’r canlyniad fod yn dabl gyda chardiau fideo, fersiwn gyrrwr a cuda. Yn fras fel hyn. Ym mhennyn y fersiwn gyrrwr a ble. Ar yr ochr chwith mae niferoedd y ddyfais, yn y canol mae maint cof y ddyfais. Os nad oes gennych y wybodaeth hon, yna rydych wedi casglu’r gweinydd o’r ffynhonnell anghywir. Mae angen Ubuntu ML (Machine Learnong), fel y disgrifir uchod.
2. Cloniwch yr ystorfa gyda YaLM
clôn sudo git https://github.com/yandex/YaLM-100B/ yalm cd yalm
Cloniwch i’ch ffolder cartref fel nad oes rhaid i chi olygu ffurfwedd y docwr wedyn. Os yw wedi’i glonio yn rhywle arall, yna ewch yma ac ychwanegu’r llwybr i’r man lle mae wedi’i glonio.
3. Lawrlwythwch bwyntiau gwirio (gwybodaeth hyfforddiant model sylfaenol)
Bydd hyn yn cymryd tua awr. Er mwyn peidio â gwastraffu amser yn ofer, rydym yn creu cysylltiad ssh newydd ac yn gyfochrog rydym yn dechrau adeiladu cynhwysydd docwr.
cd yalm sudo chmod +x ./docker/* sudo bash ./docker/build.sh
Mae hefyd tua awr.
Hac bywyd. Gallwch chi lawrlwytho pwyntiau gwirio, gosod docwr ac adeiladu cynhwysydd ar weinydd rhad gydag un cerdyn fideo. Bydd yr un peth mewn amser, felly gallwch arbed ychydig. Ar ôl cydosod ar weinydd rhad, rydyn ni’n ei ddileu, ac yn creu gweinydd ymladd gan ddefnyddio disg o weinydd rhad. Yna ni fyddwch yn gordalu’r amser ar gyfer aros am y cynulliad a phwmpio pwyntiau gwirio.
6. Paratoi cynnwys
6.1 Pwyntiau siec
Ar ôl i’r broses o lawrlwytho pwyntiau gwirio ddod i ben, mae angen i chi eu llithro i’r ffurfweddau. Mae dwy ffordd, paramedrau cywir neu bwyntiau gwirio trosglwyddo. Ym mhobman disgwylir y bydd y pwyntiau gwirio ym mhrif gyfeiriadur y prosiect, yn y drefn honno, rhaid trosglwyddo’r hyn sy’n cael ei lawrlwytho o’r ffolder lawrlwytho uchod. Bod yn y ffolder ialm gweithredu
Rydym yn gwirio bod y cardiau fideo wedi’u gosod yn gywir. Os oes gennych wyth cerdyn fideo, yna nid oes angen newid unrhyw beth. Os yw’r rhif yn wahanol, yna rydym yn newid y llinellau hyn Yn yr ail linell, nifer y dyfeisiau a ddefnyddir (gallwch edrych arnynt yn nvidia-smi, yr ydych eisoes wedi’i lansio). Yn y bedwaredd, eu rhif.
7. Rhedeg y cynhwysydd docwr
Gan fod yn y ffolder ialm, gweithredwch y gorchymyn
bash sudo ./docker/run.sh
Os yw popeth yn iawn, yna fe’ch cymerir i gynhwysydd lle mae angen i chi fynd i’r ffolder ialm yn eich cyfeiriadur cartref.
cd ~/yalm
8. Rhedeg yr enghraifft o YaLM 100B
Rydym yn barod i lansio un o’r enghreifftiau. Fe’u disgrifir yma .
Byddwch yn amyneddgar, mae’n rhaid aros 10-15 munud arall nes bod y model GPT2 yn cael ei greu a’r pwysau o’r pwyntiau gwirio wedi’u llwytho.
Pan ddaw’r gwaith adeiladu i ben, bydd MegatronML yn eich annog i nodi cyd-destun i gynhyrchu testun. Byddwch yn ofalus wrth deipio. O dan rai amgylchiadau, mae gwall yn digwydd, mae’r rhaglen yn chwalu ac mae angen i chi ddechrau’r gwasanaeth eto. Felly, mae’n well defnyddio enghreifftiau sy’n cymryd testun o ffeil.
9. Canlyniadau’r gwaith
Edrych yn ddiddorol. Wrth gwrs, dim ond enghreifftiau da yw’r rhain. Cynhaliais y prawf ar wahanol samplau. Yn ôl y disgwyl, y gorau yw’r cyd-destun, y mwyaf ystyrlon y bydd testun yn cael ei gynhyrchu. Gellir gweld y set lawn o genedlaethau arbrofol yn y dolenni:
Am y pris, costiodd tua 9 mil rubles i mi ar gyfer rhentu gweinyddwyr o wahanol alluoedd o hyfforddiant ac o baratoi i genhedlaeth. Siom arbennig oedd na allwch chi gynhyrchu popeth ar unwaith. Mae’n cymryd amser hir iawn i ddechrau ac nid yw’r testun yn cynhyrchu mor gyflym ag yr hoffem, o ystyried cost y gweinydd yr awr.
Sut i redeg YaLM heb 200Gb GPU RAM?
Mae angen i chi ychwanegu dadlwythiad sero dwfn i’r ffurfwedd. I’r rhai sy’n gwybod am beth yr ydym yn sôn, bydd yn hawdd iawn ei wneud. I eraill, nid yw hon yn dasg ddibwys o gwbl. Mae’n bwysig gwybod y gall dadlwytho fod naill ai yn CPU RAM neu NVMe. Gallwch chi anghofio am NVMe ar hyn o bryd, oherwydd. mae llawer iawn o ddata yn cael ei brosesu ac ni all y ddisg ymdopi ag ef. Mae CPU dadlwytho sero yn fwy real. Yn wir, ar gyfer hyn mae angen i chi gael 200 + Gb CPU RAM mewn stoc, nad yw hefyd yn rhad. A bydd un testun yn cael ei gynhyrchu am tua 20-40 munud, gan nad yw wedi bod yn bosibl eto i’w gyfochrog â dau gerdyn fideo. Fel y gwelwch yn y screenshot isod, dim ond un cerdyn fideo oedd yn ymwneud â’r genhedlaeth, ac yna dim ond am chwarter y cof. Mae’n dal i gael ei weld pam na ddefnyddir pob un o’r 24 GB, Wel, i gloi, dywedaf ei bod yn bosibl rhedeg hyd yn oed ar un RTX 3070 TI. Ond nid oes unrhyw synnwyr penodol yn hyn, oherwydd. Ni fydd NVMe yn caniatáu ichi brosesu 150 GB o ddata yn gyflym yn y cyfnewid, sydd yn atodiad 96 GB o RAM.
Crynhoi
Wrth gwrs, byddaf yn dal i geisio dod o hyd i’r llwybrau lansio gorau posibl. Ond hyd yn hyn rwyf wedi dod i’r casgliad bod YaLM 100b yn rhy ddrud / rhy araf ar gyfer fy nhasgau. Am yr un arian, bydd pobl yn ysgrifennu llawer mwy a llawer gwell. Ond rwy’n meddwl ei fod yn rhywbeth dros dro, gawn ni weld. Os oes angen help arnoch i lansio, sefydlu ialm, neu os hoffech weld y canlyniadau ar eich enghreifftiau cyd-destun, ysgrifennwch at y post neu’r telegram.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?