Ag deireadh mhí an Mheithimh, d’eisigh Yandex líonra neural le 100 billiún paraiméadair ar a dtugtar YaLM 100B don phobal . Is é an gréasán néarúil is mó atá cosúil le GPT san fhearann poiblí. Insíonn sé conas a mhúin siad, a léirigh na samplaí is fearr agus a bhfuil an néaróin in ann. Ach an bhfuil sé chomh maith sin i gcleachtas agus infheidhme sa bhaile? Tá an t-alt ciúin faoi seo, ina theannta sin, níl sé chomh furasta é a rith agus a sheiceáil, ós rud é go dteastaíonn thart ar 200 Gb de GPU RAM. Léiríonn an trácht seo ar Habré an cás is cruinne .
Líomhnaítear, i Yandex, gach duine cliste den sórt sin, agus níor phostáil siad fiú gnáth-Conas a dhéanamh. Níl aon api do mhúnla mór, níl aon mhúnla meánmhéide nó mionsamhail réidh-déanta ann do ghnáthdhaoine (i Google Colab). Ní thugtar sampla ar conas an tsamhail a shocrú, conas téacs a ghiniúint. Níl ann ach go léiríonn an t-alt cúpla nuances do nerds agus sin é. Is leor breathnú níos dlúithe a dhéanamh ar conas a rinne an banc é leis an litir “C” agus an rud céanna a dhéanamh. Fuair mé an tuiscint go bhfuil an tsamhail seo ach ceann amháin de na turgnaimh theip a bhí an trua a chaitheamh sa bhruscar, agus mar sin bhí sé sa phost i Foinse Oscailte a thaispeáint cad samhlacha iontach a chruthaíonn Yandex, agus ina theannta sin, tá sé foinse oscailte!
Tá go leor ceisteanna ar an Idirlíon conas yalm a rith nó fiú iarracht a dhéanamh ar líne, ach níl aon fhreagraí air seo. Bhí mé i measc na n-úsáideoirí a chuir na ceisteanna seo. Agus thosaigh sé ag figuring sé amach. Ós rud é gur theastaigh bealach uaim chun téacsanna a ghiniúint le haghaidh robots airgeadais. Ionas gur féidir leo a thuar ní hamháin na luachanna, ach freisin trácht a dhéanamh air i dtéacs, bunaithe ar thuarascálacha airgeadais. Go bunúsach, beidh sé mar an gcéanna leis an méid a dhéanann anailísithe airgeadais, ach amháin le húsáid na hintleachta saorga. Tá dhá bhealach ann chun yalm a rith. Cíos freastalaí sa scamallle 200+ Gb GPU RAM nó a mhodhnú an cód agus a reáchtáil le deepspeed náid díluchtú (nuair a phróiseáil an GPU seicheamhach cuid den líonra neural, agus an chuid eile a stóráil i LAP RAM nó NVMe). Tá an chéad cheann an-daor, thart ar 2500 rúbal in aghaidh na huaire nó 1.7 milliún in aghaidh na míosa. An dara anaithnid, mar gheall ar ní sholáthraítear an cód sa stór, ach leideanna maidir le heisiúint an stór, rud nach bhfuil sé deacair a dhéanamh. Let tús simplí.
Ní mór duit ar a laghad 200 GB de chuimhne físeán iomlán. 8×40 = 320 GB. Ní oireann ach an ceann seo. Níos lú ná 200 dodhéanta, is féidir níos mó. Léiríonn an tsaighead an LAP RAM, ní fhéachaimid air. Is féidir léi a bheith ina duine ar bith.
Léiríonn muid diosca de thart ar 300 GB, ionas go mbeidh le spártha agus b’fhearr diosca tapa, mar gheall ar. aistreofar na deich ghigibheart sonraí chuige agus uaidh.
Agus tú ag cruthú i bhfoinsí, roghnaigh Ubuntu ML (Machine Learning). Tá sé seo éigeantach ionas go mbeidh na cártaí físeán cumraithe agus ní gá aon rud a shuiteáil sa bhreis.
Nuair a bhíonn freastalaí ag cruthú, tá nuances le cuótaí, b’fhéidir go bhfaighidh tú an mothú nach bhfuil an trealamh ar fáil, ach i ndáiríre ní mór duit ach na cuótaí a mhéadú sna socruithe. Tar éis an freastalaí a ghníomhachtú (d’fhéadfadh sé 5-10 nóiméad a ghlacadh), ceangal leis an bhfreastalaí trí ssh nó go díreach sa chonsól gréasáin ar leathanach an fhreastalaí agus an t-ordú a fhorghníomhú.
nvidia-smi
Ba chóir go mbeadh tábla le cártaí físeán, leagan tiománaí agus cuda mar thoradh air. Thart ar mar seo. Sa cheanntásc leagan tiománaí agus i gcás ina. Ar an taobh clé tá na huimhreacha gléas, sa lár tá méid an chuimhne gléas. Mura bhfuil an fhaisnéis seo agat, tá an freastalaí bailithe agat ón bhfoinse mícheart. Tá gá le Ubuntu ML (Machine Learnong), mar a thuairiscítear thuas.
2. Clón an stór le YaLM
clón sudo git https://github.com/yandex/YaLM-100B/ yalm cd yalm
Clón chuig d’fhillteán baile ionas nach mbeidh ort an cumraíocht docker a chur in eagar ina dhiaidh sin. Má tá clónáilte áit éigin eile, ansin téigh anseo agus cuir an cosán go dtí an áit clónáilte.
Tógfaidh sé seo thart ar uair an chloig. D’fhonn gan am a chur amú in vain, cruthaímid nasc ssh nua agus ag an am céanna tosaímid ag tógáil coimeádán docker.
cd yalm sudo chmod +x ./docker/* sudo bash ./docker/build.sh
Tá sé thart ar uair an chloig freisin.
Hack saoil. Is féidir leat seicphointí a íoslódáil, docker a shuiteáil agus coimeádán a thógáil ar fhreastalaí saor le cárta físeáin amháin. Beidh sé mar an gcéanna in am, ionas gur féidir leat beagán a shábháil. Tar éis tionóil ar fhreastalaí saor, scriosaimid é, agus cruthaímid freastalaí comhraic ag baint úsáide as diosca ó fhreastalaí saor. Ansin ní bheidh tú ró-íocaíocht an t-am le fanacht leis an tionól agus pumpáil amach seicphointí.
6. Ábhar a ullmhú
6.1 Seicephointí
Nuair a bheidh íoslódáil na seicphointí thart, ní mór duit iad a shleamhnú isteach sna cumraíochtaí. Tá dhá bhealach ann, paraiméadair cheart nó seicphointí aistrithe. I ngach áit táthar ag súil go mbeidh na seicphointí i bpríomh-eolaire an tionscadail, faoi seach, ní mór an méid atá íoslódála a aistriú ón bhfillteán íoslódála thuas. A bheith san fhillteán yalm rith
Déanaimid seiceáil go bhfuil na cártaí físeáin socraithe i gceart. Má tá ocht gcárta físeáin agat, ní gá aon rud a athrú. Má tá an uimhir difriúil, ansin déanaimid na línte seo a athrú Sa dara líne, líon na bhfeistí a úsáidtear (is féidir leat breathnú orthu i nvidia-smi, a sheol tú cheana féin). Sa cheathrú, a n-uimhir.
7. Rith an coimeádán docker
Agus tú san fhillteán yalm, déan an t-ordú
sudo bash ./docker/run.sh
Má tá gach rud ceart go leor, ansin tógfar tú chuig coimeádán ina gcaithfidh tú dul chuig an bhfillteán yalm i do eolaire baile.
cd ~/yalm
8. Rith an sampla ó YaLM 100B
Táimid réidh le ceann de na samplaí a sheoladh. Déantar cur síos orthu anseo .
Bí foighneach, fanfaidh sé 10-15 nóiméad eile go dtí go gcruthófar an tsamhail GPT agus go bhfuil na meáchain ó na seicphointí luchtaithe.
Nuair a bheidh an tógáil críochnaithe, spreagfaidh MegatronML tú chun comhthéacs a chur isteach chun téacs a ghiniúint. Bí cúramach agus tú ag clóscríobh. Faoi imthosca áirithe, tarlaíonn earráid, tuairteanna an clár agus ní mór duit a thosú ar an tionól arís. Mar sin, is fearr samplaí a úsáid a thógann téacs ó chomhad.
9. Torthaí na hoibre
Breathnaíonn suimiúil. Ar ndóigh, níl iontu seo ach samplaí maithe. Rith mé an tástáil ar shamplaí éagsúla. Mar a bheifí ag súil leis, dá fheabhas an comhthéacs, is amhlaidh is mó brí a ghinfear téacs. Is féidir an sraith iomlán de ghlúine turgnamhacha a fheiceáil ag na naisc:
Ar an bpraghas, chosain sé thart ar 9 míle rúbal dom freastalaithe de chumais éagsúla a fháil ar cíos ó oiliúint agus ó ullmhúchán go glúin. Bhí díomá ar leith nach féidir leat a ghiniúint láithreach gach rud. Tógann sé achar an-fhada chun é a thosú agus ní ghineann an téacs chomh tapa agus ba mhaith linn, i bhfianaise chostas an fhreastalaí in aghaidh na huaire.
Conas YaLM a rith gan 200Gb GPU RAM?
Ní mór duit díluchtú náid deepspeed a chur leis an gcumraíocht. Dóibh siúd a bhfuil a fhios acu cad atá á labhairt againn, beidh sé an-éasca é a dhéanamh. I gcás daoine eile, ní tasc fánach é seo ar chor ar bith. Tá sé tábhachtach go mbeadh a fhios gur féidir leis an díluchtú a bheith i LAP RAM nó NVMe. Is féidir leat dearmad a dhéanamh faoi NVMe faoi láthair, mar gheall ar. tá méid an-mhór sonraí á phróiseáil agus ní féidir leis an diosca dul i ngleic leis. Tá CPU díluchtaithe nialais níos réadúla. Fíor, le haghaidh seo ní mór duit 200 + Gb CPU RAM a bheith agat i stoc, rud nach bhfuil saor freisin. Agus ginfear téacs amháin ar feadh thart ar 20-40 nóiméad, ós rud é nárbh fhéidir go fóill é a chomhthreomharú ar dhá chárta físeáin. Mar a fheiceann tú sa screenshot thíos, ní raibh ach cárta físeán amháin páirteach sa ghlúin, agus ansin ach ar feadh ceathrú cuid den chuimhne. Tá sé fós le feiceáil cén fáth nach n-úsáidtear gach 24 GB, Bhuel, mar fhocal scoir, déarfaidh mé gur féidir rith fiú ar RTX 3070 TI amháin. Ach níl aon chiall ar leith leis seo, mar gheall ar. Ní cheadóidh NVMe duit 150 GB de shonraí a phróiseáil go tapa sa bhabhtáil, atá san aguisín de 96 GB RAM.
Achoimre
Ar ndóigh, déanfaidh mé iarracht fós na cosáin seolta is fearr a aimsiú. Ach go dtí seo tá mé tagtha ar an tátal go bhfuil YaLM 100b ró-chostasach / ró-mhall do mo thascanna. Ar an airgead céanna, scríobhfaidh daoine i bhfad níos mó agus i bhfad níos fearr. Ach is dóigh liom go bhfuil sé sealadach, feicfimid. Má tá cabhair uait le seoladh, socrú yalm, nó más mian leat na torthaí a fheiceáil ar do shamplaí comhthéacs, scríobh chuig an ríomhphost nó teileagram.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?