Aig deireadh an Ògmhios, chuir Yandex a-mach lìonra neural le paramadairean 100 billean ris an canar YaLM 100B don phoball . Is e seo an lìonra neural as motha a tha coltach ri GPT san raon phoblach. Tha e ag innse mar a bha iad a ‘teagasg, a’ sealltainn na h-eisimpleirean as fheàrr agus na tha an neuron comasach. Ach a bheil e cho math ann an cleachdadh agus iomchaidh aig an taigh? Tha an artaigil sàmhach mu dheidhinn seo, a bharrachd air an sin, chan eil e cho furasta a ruith agus a sgrùdadh, leis gu bheil feum air timcheall air 200 Gb de RAM GPU. Tha am beachd seo air Habré a’ nochdadh an t-suidheachaidh as cinntiche .
A rèir aithris, ann an Yandex, tha a h-uile duine glic mar sin, agus cha do chuir iad eadhon post àbhaisteach How-to. Chan eil api ann airson modail mòr, chan eil modal deiseil meadhanach no beag ann airson daoine àbhaisteach (ann an Google Colab). Chan eil eisimpleir air a thoirt seachad air mar a shuidhicheas tu am modail, mar a chruthaicheas tu teacsa. Is e dìreach gu bheil an artaigil a’ nochdadh beagan nuances airson nerds agus sin e. Tha e gu leòr airson sùil nas mionaidiche a thoirt air mar a rinn am banca e leis an litir “C” agus dèan an aon rud. Fhuair mi a ’bheachd gur e am modail seo dìreach aon de na deuchainnean a dh’ fhàillig a bha duilich an sgudal a thilgeil a-steach, agus mar sin chaidh a phostadh ann an Open Source gus sealltainn dè na modalan sgoinneil a bhios Yandex a ’cruthachadh, agus a bharrachd air sin, tha e fosgailte!
Tha tòrr cheistean air an eadar-lìn mar a ruitheas tu yalm no eadhon feuchainn air-loidhne, ach chan eil freagairtean ann dha seo. Bha mi am measg an luchd-cleachdaidh a chuir na ceistean sin. Agus feuch ri faighinn a-mach e. Leis gu robh feum mòr agam air dòigh air teacsaichean a ghineadh airson innealan-fuadain ionmhais. Gus an urrainn dhaibh ro-innse chan e a-mhàin na luachan, ach cuideachd beachd a thoirt air ann an teacsa, stèidhichte air aithisgean ionmhais. Gu dearbh, bidh e an aon rud ris na bhios sgrùdairean ionmhais a’ dèanamh, dìreach le bhith a’ cleachdadh inntleachd fuadain. Tha dà dhòigh air yalm a ruith. Màl frithealaiche san sgòthle 200+ Gb GPU RAM no atharraich an còd agus ruith le neoni astar domhainn (nuair a bhios an GPU a’ pròiseasadh pàirt den lìonra neural ann an sreath, agus an còrr air a stòradh ann an CPU RAM no NVMe). Tha a ‘chiad fhear gu math daor, mu 2500 rubles gach uair no 1.7 millean gach mìos. An dàrna neo-aithnichte, air sgàth chan eil an còd san stòr air a thoirt seachad, dìreach sanasan ann an cùis an stòrais, rud nach eil duilich a dhèanamh. Feuch an tòisich sinn sìmplidh.
Feumaidh tu co-dhiù 200 GB de chuimhne bhidio iomlan. 8×40 = 320 GB. Chan eil ach an tè seo freagarrach. Tha nas lugha na 200 do-dhèanta, tha barrachd comasach. Tha an t-saighead a ‘comharrachadh an CPU RAM, chan eil sinn a’ coimhead air. Faodaidh i a bhith na neach sam bith.
Bidh sinn a’ comharrachadh diosc timcheall air 300 GB, gus am bi sin le diosc a bharrachd agus nas fheàrr diosc luath, oir. thèid deichean de gigabytes de dhàta a ghluasad gu agus bhuaithe.
Nuair a chruthaicheas tu ann an stòran, tagh Ubuntu ML (Machine Learning). Tha seo èigneachail gus am bi na cairtean bhidio air an rèiteachadh agus chan fheum dad a chuir a-steach a bharrachd.
Nuair a chruthaicheas tu frithealaiche, tha nuances ann le cuotathan, is dòcha gum faigh thu faireachdainn nach eil an uidheamachd ri fhaighinn, ach gu dearbh chan fheum thu ach na cuotathan àrdachadh anns na roghainnean. Às deidh don fhrithealaiche a bhith air a ghnìomhachadh (faodaidh e 5-10 mionaidean a thoirt), ceangail ris an fhrithealaiche tro ssh no gu dìreach anns a ’chonsól lìn air duilleag an fhrithealaiche agus cuir an gnìomh an àithne.
nvidia-smi
Bu chòir gum biodh an toradh mar bhòrd le cairtean bhidio, dreach draibhear agus cuda. Mu thimcheall mar seo. Anns an tionndadh driver header agus càite. Air an taobh chlì tha àireamhan an uidheim, sa mheadhan tha meud cuimhne an inneil. Mura h-eil am fiosrachadh seo agad, tha thu air am frithealaiche a chruinneachadh bhon stòr cheàrr. Tha feum air Ubuntu ML (Machine Learnong), mar a chaidh a mhìneachadh gu h-àrd.
2. Clon an tasgaidh le YaLM
clone sudo git https://github.com/yandex/YaLM-100B/ yalm cd yalm
Clone ris a’ phasgan dachaigh agad gus nach fheum thu rèiteachadh an docker a dheasachadh às deidh sin. Ma thèid a chlònadh an àiteigin eile, rachaibh an seo agus cuir ris an t-slighe gu far a bheil cloned.
sudo chmod + x ./download/download.sh sudo bash ./download/download.sh
Bheir seo timcheall air uair a thìde. Gus nach bi sinn a ‘caitheamh ùine gu dìomhain, bidh sinn a’ cruthachadh ceangal ssh ùr agus aig an aon àm bidh sinn a ‘tòiseachadh a’ togail soitheach docker.
cd yalm sudo chmod +x ./docker/* sudo bash ./docker/build.sh
Tha e cuideachd mu uair a thìde.
Hack beatha. Faodaidh tu puingean-seic a luchdachadh sìos, docker a chuir a-steach agus soitheach a thogail air frithealaiche saor le aon chairt bhidio. Bidh e an aon rud ann an ùine, gus an urrainn dhut beagan a shàbhaladh. Às deidh co-chruinneachadh air frithealaiche saor, sguabaidh sinn às e, agus cruthaichidh sinn frithealaiche sabaid a’ cleachdadh diosc bho fhrithealaiche saor. An uairsin cha phàigh thu cus ùine airson feitheamh ris a’ cho-chruinneachadh agus puingean-seicidh a phumpadh a-mach.
6. Ullaich susbaint
6.1 Puingean-sgrùdaidh
Às deidh dhut na puingean-seic a luchdachadh sìos, feumaidh tu an sleamhnachadh a-steach do na configs. Tha dà dhòigh ann, paramadairean ceart no puingean-seic gluasaid. Anns gach àite thathar an dùil gum bi na puingean-seic ann am prìomh eòlaire a’ phròiseict, fa leth, feumar na chaidh a luchdachadh sìos a ghluasad bhon phasgan luchdaich sìos gu h-àrd. A bhith sa phasgan yalm cuir an gnìomh
Nì sinn cinnteach gu bheil na cairtean bhidio air an suidheachadh ceart. Ma tha ochd cairtean bhidio agad, chan fheumar dad atharrachadh. Ma tha an àireamh eadar-dhealaichte, bidh sinn ag atharrachadh na loidhnichean sin Anns an dàrna loidhne, tha na h-àireamhan de na h-innealan a chaidh a chleachdadh (faodaidh tu coimhead orra ann an nvidia-smi, a chuir thu air bhog mu thràth). Anns a’ cheathramh cuid, an àireamh.
7. Run an docker container
Le bhith sa phasgan yalm, cuir an gnìomh an àithne
sudo bash ./docker/run.sh
Ma tha a h-uile càil ceart gu leòr, thèid do thoirt gu soitheach anns am feum thu a dhol chun phasgan yalm anns an eòlaire dachaigh agad.
cd ~/alm
8. Ruith an eisimpleir bho YaLM 100B
Tha sinn deiseil airson aon de na h-eisimpleirean a chuir air bhog. Tha iad air am mìneachadh an seo .
Bi foighidneach, tha e fhathast ri feitheamh 10-15 mionaid eile gus an tèid modal GPT a chruthachadh agus na cuideaman bho na puingean-seicidh a luchdachadh.
Nuair a bhios an togail deiseil, brosnaichidh MegatronML thu gus co-theacs a chuir a-steach gus teacsa a ghineadh. Bi faiceallach nuair a tha thu a’ sgrìobhadh. Ann an cuid de shuidheachaidhean, bidh mearachd a ‘tachairt, bidh am prògram a’ tuiteam agus feumaidh tu an co-chruinneachadh a thòiseachadh a-rithist. Mar sin, tha e nas fheàrr eisimpleirean a chleachdadh a bheir teacsa bho fhaidhle.
9. Toraidhean na h-obrach
A’ coimhead inntinneach. Gu dearbh, chan eil annta seo ach eisimpleirean math. Ruith mi an deuchainn air diofar shamhlaichean. Mar a bhiodh dùil, mar as fheàrr an co-theacsa, is ann as ciallaiche a thèid teacsa a chruthachadh. Faodar an làn sheata de ghinealaichean deuchainneach fhaicinn aig na ceanglaichean:
Airson a ’phrìs, chosg e timcheall air 9 mìle rubles dhomh airson frithealaichean de dhiofar chomasan fhaighinn air màl bho thrèanadh agus bho ullachadh gu ginealach. B’ e briseadh-dùil sònraichte a bh’ ann nach urrainn dhut a h-uile càil a ghineadh sa bhad. Bheir e ùine mhòr airson tòiseachadh agus chan eil an teacsa a’ gineadh cho luath ‘s a bu mhath leinn, leis gu bheil cosgais an fhrithealaiche san uair.
Mar a ruitheas tu YaLM às aonais 200Gb GPU RAM?
Feumaidh tu deepspeed zero offload a chur ris an config. Dhaibhsan aig a bheil fios dè a tha sinn a’ bruidhinn, bidh e gu math furasta a dhèanamh. Dha cuid eile, chan e obair bheag a tha seo idir. Tha e cudromach fios a bhith agad gum faod an luchdachadh sìos a bhith ann an CPU RAM no NVMe. Faodaidh tu dìochuimhneachadh mu NVMe an-dràsta, oir. tha tòrr dàta ga ghiullachd agus chan urrainn dhan diosc dèiligeadh ris. Tha CPU neoni dheth nas fìor. Fìor, airson seo feumaidh tu 200 + Gb CPU RAM a bhith agad ann an stoc, rud nach eil saor cuideachd. Agus thèid aon teacsa a chruthachadh airson timcheall air 20-40 mionaid, leis nach robh e comasach fhathast a cho-shìnteadh air dà chairt bhidio. Mar a chì thu anns an ath-sgrìn gu h-ìosal, cha robh ach aon chairt bhidio an sàs sa ghinealach, agus an uairsin dìreach airson cairteal den chuimhne. Tha e fhathast ri fhaicinn carson nach eilear a’ cleachdadh 24 GB gu lèir, Uill, gu crìch, canaidh mi gu bheil e comasach ruith eadhon air aon RTX 3070 TI. Ach chan eil mothachadh sònraichte ann an seo, oir. Cha leig NVMe leat 150 GB de dhàta a phròiseasadh gu sgiobalta anns an iomlaid, a tha ann an eàrr-ràdh 96 GB de RAM.
Geàrr-chunntas
Gu dearbh, feuchaidh mi fhathast ris na slighean cur air bhog as fheàrr a lorg. Ach gu ruige seo tha mi air tighinn chun cho-dhùnadh gu bheil YaLM 100b ro dhaor / ro shlaodach airson mo ghnìomhan. Airson an aon airgead, bidh daoine a ‘sgrìobhadh tòrr a bharrachd agus mòran nas fheàrr. Ach tha mi a’ smaoineachadh gur e sealach a th’ ann, chì sinn. Ma tha feum agad air cuideachadh le cur air bhog, stèidheachadh yalm, no ma tha thu airson na toraidhean fhaicinn air na h-eisimpleirean co-theacsa agad, sgrìobh chun phost no teileagram.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?