Na njedebe nke June, Yandex weputara netwọkụ akwara nke nwere 100 ijeri paramita akpọrọ YaLM 100B nye ọha . Ọ bụ netwọkụ akwara GPT kachasị na mpaghara ọha. Ọ na-akọ banyere otú ha si kụziere ihe, gosi ihe atụ kasị mma na ihe neuron nwere ike. Mana ọ dị mma na omume yana ọdabara n’ụlọ? Akụkọ ahụ gbachiri nkịtị banyere nke a, Ọzọkwa, ọ dịghị mfe ịgba ọsọ wee lelee ya, ebe ọ bụ na achọrọ ihe dịka 200 Gb nke GPU RAM. Okwu a banyere Habré na-ekpughe ọnọdụ ahụ nke ọma .
A na-ekwu na, na Yandex, ndị niile nwere ọgụgụ isi dị otú ahụ, na ha ebipụtaghịkwa otu esi eme ya. Enweghị api maka nnukwu ihe nlere, ọ nweghị ihe eji akwa akwa ma ọ bụ obere ihe nlereanya maka ndị nkịtị (na Google Colab). Ọ dịghị ihe atụ e nyere na-esi tọọ ihe nlereanya, otu esi emepụta ederede. Ọ bụ naanị na isiokwu na-egosi a di na nwunye nke nuances maka nerds na ọ bụ ya. O zuru iji lebakwuo anya ka ụlọ akụ si mee ya na mkpụrụedemede “C” wee mee otu ihe ahụ. Enwetara m echiche na ihe nlereanya a bụ naanị otu n’ime ule ndị na-adaghị adaba nke bụ ihe nwute na-atụba na ahịhịa, n’ihi ya, e bipụtara ya na Open Source iji gosi ihe ụdị Yandex na-emepụta, na ọzọ, ọ bụ isi mmalite!
Enwere ọtụtụ ajụjụ na ịntanetị ka esi agba yalm ma ọ bụ ọbụna gbalịa ịntanetị, mana enweghị azịza nke a. M so na ndị ọrụ jụrụ ajụjụ ndị a. Ma malite ịchọpụta ya. Ebe ọ bụ na achọrọ m ụzọ iji mepụta ederede maka rọbọt ego. Ka ha wee nwee ike ịkọ ọ bụghị naanị ụkpụrụ, kamakwa kwuo okwu na ya na ederede, dabere na akụkọ ego. N’ezie, ọ ga-abụ otu ihe ahụ ndị nyocha ego na-eme, naanị na iji ọgụgụ isi. Enwere ụzọ abụọ iji agba yalm. Rụrụ ihe nkesa n’igwe ojiina 200+ Gb GPU RAM ma ọ bụ gbanwee koodu ahụ wee jiri ọsọ efu efu efu (mgbe GPU na-ahazi akụkụ nke netwọkụ akwara, ma echekwara ndị ọzọ na CPU RAM ma ọ bụ NVMe). Nke mbụ dị oke ọnụ, ihe dị ka 2500 rubles kwa elekere ma ọ bụ nde 1.7 kwa ọnwa. Nke abụọ amaghị, n’ihi na A naghị enye koodu dị na ebe nchekwa ahụ, naanị ihe na- egosi na mbipụta nke ebe nchekwa, nke na-adịghị esiri ike ime. Ka anyị malite mfe.
Ị chọrọ opekata mpe 200 GB nke ebe nchekwa vidiyo mkpokọta. 8×40 = 320 GB. Naanị nke a dabara. Ihe na-erughị 200 agaghị ekwe omume, karịa ga-ekwe omume. Àkụ áká na-egosi CPU RAM, anyị anaghị ele ya anya. O nwere ike ịbụ onye ọ bụla.
Anyị na-egosi diski ihe dị ka 300 GB, nke mere na site na mapụtara na ọkachamma diski ngwa ngwa, n’ihi na. A ga-ebufe ọtụtụ iri gigabytes nke data na ya.
Mgbe ị na-eke na isi mmalite, họrọ Ubuntu ML (Machine Learning). Nke a bụ iwu ka ahaziri kaadị vidiyo na ọ nweghị ihe a ga-etinye mgbakwunye.
Mgbe ị na-emepụta ihe nkesa, e nwere nuances na quotas, ị nwere ike inwe mmetụta na akụrụngwa adịghị, ma n’eziokwu, ọ dị gị mkpa ịbawanye oke na ntọala. Mgbe emechara ihe nkesa ahụ (ọ nwere ike were nkeji 5-10), jikọọ na ihe nkesa site na ssh ma ọ bụ ozugbo na njikwa weebụ na ibe nkesa wee mee iwu ahụ.
nvidia-smi
Nsonaazụ kwesịrị ịbụ tebụl nwere kaadị vidiyo, ụdị ọkwọ ụgbọ ala na cuda. Dị ka nke a. Na nkụnye eji isi mee ụdị ọkwọ ụgbọ ala na ebe. N’akụkụ aka ekpe bụ nọmba ngwaọrụ, na etiti bụ nha nke ebe nchekwa ngwaọrụ. Ọ bụrụ na ịnweghị ozi a, mgbe ahụ ị nakọtara ihe nkesa site na ebe na-ezighi ezi. Ubuntu ML (Machine Learnong) chọrọ, dịka akọwara n’elu.
2. Mechie ebe nchekwa na YaLM
sudo git clone https://github.com/yandex/YaLM-100B/ yalm cd yalm
Kpọchie na nchekwa ụlọ gị ka ị ghara idezi nhazi docker ma emechaa. Ọ bụrụ na cloned ebe ọzọ, gaa ebe a ma tinye ụzọ ebe cloned.
cd yalm sudo chmod +x ./docker/* sudo bash ./docker/build.sh
Ọ dịkwa ihe dị ka otu elekere.
Mbanye anataghị ikike ndụ. Ị nwere ike ibudata ebe nlele, wụnye docker ma wuo akpa na sava dị ọnụ ala na otu kaadị vidiyo. Ọ ga-abụ otu ihe ahụ n’oge, yabụ ị nwere ike ịchekwa ntakịrị. Mgbe mgbakọ na ihe nkesa dị ọnụ ala, anyị na-ehichapụ ya, ma mepụta ihe nkesa ọgụ site na iji diski si na ihe nkesa dị ọnụ ala. Mgbe ahụ, ị gaghị akwụ ụgwọ oge maka ichere mgbakọ na ịgbapụta ebe nlele.
6. Kwadebe ọdịnaya
6.1 Ebe nlele
Mgbe nbudata nke ebe nlele gwụchara, ịkwesịrị ịkwanye ha na nhazi. Enwere ụzọ abụọ, paramita ziri ezi ma ọ bụ ebe nlele mbufe. N’ebe ọ bụla a na-atụ anya na ebe nlele ahụ ga-adị na akwụkwọ ndekọ aha isi nke ọrụ ahụ, n’otu n’otu, ihe ebudatara ga-ebufe na folda nbudata n’elu. Ịnọ na yalm nchekwa mebie
Anyị na-enyocha na edobere kaadị vidiyo nke ọma. Ọ bụrụ na ị nwere kaadị vidiyo asatọ, ọ dịghị ihe ọ bụla kwesịrị ịgbanwe. Ọ bụrụ na ọnụ ọgụgụ ahụ dị iche, mgbe ahụ, anyị na-agbanwe ahịrị ndị a N’ahịrị nke abụọ, ọnụọgụ ngwaọrụ ejiri (ị nwere ike lelee ha na nvidia-smi, nke ị malitelarị). Na nke anọ, ọnụ ọgụgụ ha.
7. Gbaa akpa docker
N’ịbụ na nchekwa yalm, mebie iwu ahụ
sudo bash ./docker/run.sh
Ọ bụrụ na ihe niile dị mma, mgbe ahụ, a ga-ebuga gị n’ime akpa ebe ị ga-aga na folda yalm na ndekọ ụlọ gị.
cd ~/yalm
8. Gbaa ihe atụ site na YaLM 100B
Anyị dị njikere ịmalite otu n’ime ihe atụ. A kọwara ha ebe a .
Nwee ndidi, ọ na-anọgide na-echere 10-15 nkeji ọzọ ruo mgbe emepụtara ụdị GPT ma na-ebu ibu site na ebe nlele.
Mgbe ihe owuwu ahụ mechara, MegatronML ga-akpali gị itinye ọnọdụ iji mepụta ederede. Kpachara anya mgbe ị na-ede ihe. N’okpuru ọnọdụ ụfọdụ, njehie na-eme, mmemme ahụ na-akụda ma ịkwesịrị ịmalite mgbakọ ahụ ọzọ. Ya mere, ọ ka mma iji ihe atụ na-ewere ederede na faịlụ.
9. Nsonaazụ nke ọrụ
Ọ na-adọrọ mmasị. N’ezie, ndị a bụ nnọọ ezi ihe atụ. Ejiri m nlele dị iche iche gbaa ule ahụ. Dị ka a na-atụ anya ya, ka ihe ndị gbara ya gburugburu ka mma, a ga-emepụta ederede bara uru karị. Enwere ike ịhụ usoro ọgbọ nnwale zuru oke na njikọ ndị a:
Maka ọnụahịa ahụ, ọ na-efu m ihe dị ka puku rubles 9 maka ịgbazite sava nke ikike dị iche iche site na ọzụzụ na site na nkwadebe ruo n’ọgbọ. Otu ndakpọ olileanya bụ na ị nweghị ike ịmepụta ihe niile ozugbo. Ọ na-ewe ogologo oge ịmalite ma ederede anaghị ewepụta ngwa ngwa dị ka anyị ga-achọ, n’ihi na ihe nkesa na-efu kwa elekere.
Kedu otu esi agba YaLM na-enweghị 200Gb GPU RAM?
Ịkwesịrị ịgbakwunye nbudata efu efu na nhazi ahụ. Maka ndị maara ihe anyị na-ekwu, ọ ga-adị mfe ime ya. Maka ndị ọzọ, nke a abụghị obere ọrụ ma ọlị. Ọ dị mkpa ịmara na mbupụ nwere ike ịbụ na CPU RAM ma ọ bụ NVMe. Ị nwere ike ichefu banyere NVMe n’oge a, n’ihi na. A na-edozi nnukwu data nke ukwuu na diski enweghị ike ịnagide ya. Zero offload CPU dị adị karịa. N’ezie, maka nke a ịkwesịrị ịnwe 200+ Gb CPU RAM na ngwaahịa, nke na-adịghịkwa ọnụ ala. A ga-ewepụtakwa otu ederede maka ihe dị ka nkeji 20-40, ebe ọ bụ na enwebeghị ike ime ya na kaadị vidiyo abụọ. Dị ka ị na-ahụ na nseta ihuenyo dị n’okpuru ebe a, ọ bụ naanị otu kaadị vidiyo na-etinye aka na ọgbọ ahụ, ma ọ bụ naanị otu ụzọ n’ụzọ anọ nke ebe nchekwa. Ọ ka ga-ahụ ihe kpatara ejighi 24 GB niile, Ọfọn, na mmechi, m ga-ekwu na ọ ga-ekwe omume na-agba ọsọ ọbụna na otu RTX 3070 TI. Ma ọ dịghị kpọmkwem uche na nke a, n’ihi na. NVMe agaghị ekwe ka ị hazie 150 GB nke data ngwa ngwa na swap, nke dị na mgbakwunye nke 96 GB nke RAM.
Na-achịkọta
N’ezie, m ka ga-agbalị ịchọta ụzọ mmalite kachasị mma. Mana ruo ugbu a abịara m nkwubi okwu na YaLM 100b dị oke ọnụ / dịkwa nwayọ maka ọrụ m. Maka otu ego ahụ, ndị mmadụ ga-ede ọtụtụ ihe na nke ka mma. Mana echere m na ọ bụ nwa oge, anyị ga-ahụ. Ọ bụrụ na ịchọrọ enyemaka na mmalite, ịtọlite yalm, ma ọ bụ chọọ ịhụ nsonaazụ na ihe atụ ndị gbara gị gburugburu, degara akwụkwọ ozi ma ọ bụ telegram.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?