Zuwɛnkalo laban na, Yandex ye neural network dɔ bɔ ni paramɛtiri miliyari 100 ye min bɛ wele ko YaLM 100B jama ma . O ye GPT-like neural network ye min ka bon kosɛbɛ forobaciyɛn na. A bɛ kuma u ye mɔgɔw kalan cogo min na, u ye misali ɲumanw jira ani u bɛ se ka min kɛ ni senfagabana ye. Nka yala a ka ɲi kosɛbɛ waleyali la ani a bɛ se ka waleya so kɔnɔ wa? Barokun in bɛ makun nin ko in na, ka fara o kan, a bolicogo n’a lajɛli man nɔgɔn ten, bawo GPU RAM 200 Gb ɲɔgɔn de ka kan. nin kuma in Habré kan , o bɛ ko in jira ka ɲɛ kosɛbɛ .
A fɔra ko Yandex kɔnɔ, o mɔgɔ hakilitigiw bɛɛ, wa u yɛrɛ ma How-to normal dɔ bila. Api tɛ yen modɛli belebele kama, modɛli labɛnnen stripped-down medium walima modɛli fitinin tɛ yen mɔgɔ gansanw ye (Google Colab kɔnɔ). Misali si ma di modɛli sigicogo kan, sɛbɛnniw labɛncogo kan. O ye dɔrɔn ko barokun bɛ nuances fila-fila jira nerds ye wa o de don. A bɛ bɔ ka a lajɛ kosɛbɛ banki y’a kɛ cogo min na ni “C” sɛbɛn ye, ka o ɲɔgɔn kɛ. N ye hakilina sɔrɔ ko nin modɛli in ye sɛgɛsɛgɛli dɛsɛlenw dɔ dɔrɔn de ye min kɛra hinɛ ye ka fili binkɛnɛ na, o de kama a bilala Open Source kɔnɔ walasa k’a jira Yandex bɛ modɛli belebele minnu dilan, wa ka fara o kan, a ye open source ye!
Ɲininkali caman bɛ ɛntɛrinɛti kan yalm bolicogo walima hali k’a lajɛ ɛntɛrinɛti kan, nka jaabi si tɛ o la. N tùn bɛ baarakɛlaw ‘cɛ minnu ye nin ɲininkali ninnu Kɛ. Ani k’a daminɛ k’a jateminɛ. Komin n mago tun bɛ fɛɛrɛ la tiɲɛ na walasa ka sɛbɛnniw lawuli wariko robow kama. Walasa u ka se ka nafaw dɔrɔn fɔ, nka u ka se ka kuma fana a kan sɛbɛnniw kɔnɔ, ka da wariko jatew kan. A kunba ye, a bɛna kɛ kelen ye ni wariko sɛgɛsɛgɛlikɛlaw bɛ min kɛ, ni hakililata kɛlenw dɔrɔn de ye. Yalm bolicogo fila de bɛ yen. A ye sèrwɛri dɔ jate sankaba kɔnɔni 200+ Gb GPU RAM ye walima ka kode caman sɛmɛntiya ani ka boli ni deepspeed zero offload ye (ni GPU bɛ tugu-tugu ɲɔgɔn kɔ ka neural network yɔrɔ dɔ baara, ka tɔ mara CPU RAM walima NVMe kɔnɔ). Fɔlɔ sɔngɔ ka gɛlɛn kosɛbɛ, a bɛ se 2500 ɲɔgɔn ma lɛrɛ kɔnɔ walima miliyɔn 1,7 kalo kɔnɔ. Filanan dɔnbali, bawo kode min bɛ fɛnmarayɔrɔ la, o tɛ di, hakilina dɔrɔn de bɛ fɛnmarayɔrɔ in ko la, o min kɛli man gɛlɛn. An ka daminɛ nɔgɔya la.
I mago bɛ 200 GB la videyo hakilijagabɔ bɛɛ lajɛlen na. 8×40 = 320 GB ye. Nin kelen dɔrɔn de bɛ bɛn. Ni 200 ma se, o tɛ se ka kɛ, ka tɛmɛ o kan. Arrow bɛ CPU RAM jira, an t’a lajɛ. A bɛ se ka kɛ mɔgɔ o mɔgɔ ye.
An bɛ disiki jira min bɛ 300 GB ɲɔgɔn bɔ, walasa ni disiki ye min bɛ se ka kɛ ani a ka fisa ni disiki teliya ye, bawo. kunnafoni gigabayi tan caman bɛna wuli ka taa a la ani ka bɔ a la.
Ni aw bɛ dabɔ sɔrɔyɔrɔw la, aw bɛ Ubuntu ML (Machine Learning) sugandi. O ye wajibi ye walasa videyo kartiw ka labɛn ani foyi man kan ka don ka fara o kan.
Ni i bɛ sèrwɛri dɔ Dabɔ, nuancɛw bɛ yen ni quotaw ye, i bɛ Se ka dusukunnata Sɔrɔ ko minɛnw tɛ Sɔrɔ, nka tiɲɛ yɛrɛ la i ka kan ka dɔ Fàra quotaw kan dɔrɔn settings kɔnɔ. Server baara kɛlen kɔfɛ (a bɛ se ka miniti 5-10 ta), i ka ɲɔgɔn sɔrɔ ni server ye ssh fɛ walima ka ɲɛsin web console ma server ɲɛ kan ani ka cikan in kɛ.
nvidia-smi ye
O kɔlɔlɔ ka kan ka kɛ tabali ye ni videyo kartiw ye, sofɛrɛ version ani cuda. A bɛ Taa a fɛ i n’a fɔ nin. A ka sofɛrɛ version header kɔnɔ ani yɔrɔ min na. Nɛgɛbere fɛ, minɛnw nimɔrɔw bɛ yen, cɛmancɛ la, minɛn hakilijagabɔ hakɛ bɛ yen. Ni nin kunnafoni in t’i bolo, o tuma i ye sèrvèr in lajɛ ka bɔ yɔrɔ jugu la. Ubuntu ML (Machine Learnong) de wajibiyalen don, i n’a fɔ a ɲɛfɔlen bɛ cogo min na sanfɛ.
2. Aw bɛ fɛnmarayɔrɔ in clone ni YaLM ye
sudo git clone https://github.com/yandex/YaLM-100B/ Bamako , Mali
Clone kɛ i ka so foli la walasa i kana docker config sɛgɛsɛgɛ o kɔfɛ. Ni clone kɛra yɔrɔ wɛrɛ la, o tuma na taa yan ka sira fara clone yɔrɔ kan.
3. Aw ye sɛgɛsɛgɛlikɛyɔrɔw telesarse (kunnafoni jɔnjɔnw ka kalan kɛcogo misali) .
cd yalm sudo chmod +x ./docker/* sudo bash ./docker/build.sh
A fana bɛ lɛrɛ kelen ɲɔgɔn Bɔ.
Ɲɛnamaya hack. Aw bɛ se ka sɛgɛsɛgɛlikɛyɔrɔw telesarse, ka docker sigi ani ka minɛn dɔ jɔ sèrwɛri sɔngɔ gɛlɛn dɔ kan ni wideyo karti kelen ye. A bɛna kɛ o cogo kelen na waati kɔnɔ, o la aw bɛ se ka wari dɔ mara. Lajɛlen kɔfɛ sèrwɛri sɔngɔ gɛlɛn dɔ kan, an b’a Bɔ, ka kὲlɛ-sɛrɛkili dɔ Dabɔ ni disiki ye ka Bɔ sèrwɛri sɔngɔ gɛlɛn dɔ la. O kɔfɛ, i tɛna waati sara ka tɛmɛ jamalajɛ makɔnɔni na ani ka sɛgɛsɛgɛlikɛyɔrɔw pɔnpe bɔ.
6. Kɔnɔkow labɛn
6.1 Sɛgɛsɛgɛli kɛyɔrɔw
Checkpoints telesarseli bannen kɔfɛ, i ka kan k’u sɔgɔ configs kɔnɔ. Fɛɛrɛ fila bɛ yen, paramɛtiriw latilenni walima fɛnw jiginni sɛgɛsɛgɛlikɛyɔrɔw. Yɔrɔ o yɔrɔ a jirala ko sɛgɛsɛgɛlikɛyɔrɔw bɛna kɛ porozɛ in ɲɛbilasɛbɛnba kɔnɔ, o cogo kelen na, min telesarsera, o ka kan ka wuli ka bɔ telesarse foli la sanfɛ. Ka kɛ yalm foli kɔnɔ execute
An b’a lajɛ ni videwo kartiw labɛnna ka ɲɛ. Ni videyo karti 8 b’i bolo, o tuma na fɛ, foyi man kan ka Changé. Ni jatebla tɛ kelen ye, o tuma an bɛ nin zana ninnu Changé Layini filanan na, minɛn minnu bɛ baara Kɛ ni olu jatew ye (aw bɛ Se k’u Lajɛ nvidia-smi kɔnɔ, i ye min Dabɔ kaban). Naaninan na, u hakɛ.
7. Aw bɛ docker minɛn boli
Ka kɛ yalm foli kɔnɔ, i ka cikan in kɛ
sudo bash ./docker/boli.sh.. Bamako, Mali
Ni fɛn bɛɛ bɛ ɲɛ, o tuma na fɛ, i bɛ taa ni i ye minɛn dɔ kɔnɔ i ka kan ka taa yalm foli la i ka so kɔnɔ.
cd ~/yalm ye
8. Aw bɛ misali in boli ka bɔ YaLM 100B la
An labɛnnen don ka misali dɔ daminɛ. U ɲɛfɔlen don yan .
Aw ye muɲu, a bɛ to ka miniti 10-15 wɛrɛ makɔnɔ fo GPT modɛli ka dilan ani ka girinya minnu bɛ bɔ sɛgɛsɛgɛlikɛyɔrɔw la, olu ka doni.
Ni jɔli banna, MegatronML bɛna a ɲini i fɛ i ka contexte dɔ don walasa ka sɛbɛnniw lawuli. I janto i yɛrɛ la ni i bɛ sɛbɛnni kɛ. Ko dɔw la, fili dɔ bɛ kɛ, porogaramu bɛ tiɲɛ ani i ka kan ka lajɛ daminɛ kokura. O la, a ka fisa ka baara kɛ ni misaliw ye minnu bɛ sɛbɛnniw ta ka bɔ dosiye dɔ kɔnɔ.
9. Baara in nɔfɛkow
A bɛ i ko a ka di. Tiɲɛ don, o ye misali ɲumanw dɔrɔn de ye. N ye sɛgɛsɛgɛli kɛ sɛgɛsɛgɛli suguya wɛrɛw kan. I n’a fɔ a tun bɛ fɔ cogo min na, ni kumasen kɔnɔna ka ɲi, sɛbɛnni kɔrɔ bɛna bɔ ka caya. Kɔrɔbɔli bɔnsɔnw bɛɛ bɛ se ka lajɛ ɲɔgɔnyew la:
O sɔngɔ la, a kɛra n ye ruble ba 9 ɲɔgɔn bɔ n bolo ka ɲɛsin sèrwɛriw jate ma minnu seko tɛ kelen ye k’a ta kalan na ani k’a ta labɛnni na ka se mɔgɔw ma. Jigitigɛ kɛrɛnkɛrɛnnen dɔ Kɛra ko i tɛ Se ka fɛn bɛɛ Bɔ o yɔrɔnin bɛɛ la. A bɛ waati janba Ta ka daminɛ wa sɛbɛnni tɛ Bɔ teliya la i n’a fɔ an b’a fɛ cogo min na, k’a da sèrwɛri musaka kan lɛrɛ kelen kɔnɔ.
YaLM bɛ se ka baara cogo di ni 200Gb GPU RAM tɛ?
Aw ka kan ka deepspeed zero offload fara config kan. Minnu b’a dɔn an bɛ kuma min kan, a bɛna nɔgɔya kosɛbɛ k’o kɛ. Dɔ wɛrɛw fɛ, o tɛ baara nafama ye fewu. A nafa ka bon k’a dɔn ko offload bɛ se ka kɛ CPU RAM walima NVMe kɔnɔ. Aw bɛ se ka ɲinɛ NVMe kɔ sisan, bawo. kunnafoni camanba dɔ bɛ ka baara kɛ ani disiki tɛ se k’o kunbɛn. Zero offload CPU ye tiɲɛ ye ka tɛmɛ. Tiɲɛ don, o kama i ka kan ka 200+ Gb CPU RAM sɔrɔ stock la, o fana tɛ sɔngɔ gɛlɛn ye. Ani sɛbɛn kelen bɛna Bɔ miniti 20-40 ɲɔgɔn kɔnɔ, bawo a ma Se fɔlɔ k’a Kɛ ɲɔgɔn fɛ wideyo karti fla kan. I n’a fɔ aw b’a Ye ja in na min bɛ duguma, wideyow karti kelen dɔrɔn de tùn bɛ o ‘sèn na, o kɔ fɛ, hakilijagabɔ-yɔrɔ kelen dɔrɔn de Kɛra. A bɛ to ka dɔn mun na 24 GB bɛɛ tɛ baara kɛ, Ayiwa, n b’a Fɔ ko a bɛ Se ka Boli hali RTX 3070 TI kelen kan. Nka kɔrɔ kɛrɛnkɛrɛnnen tɛ nin ko in na, bawo. NVMe tɛna a to i ka teliya ka kunnafoni 150 GB baara swap kɔnɔ, minnu bɛ RAM 96 GB farankan kɔnɔ.
Ka kuma kuncɛ
Tiɲɛ don, n bɛna a ɲini hali bi ka lancement sira ɲumanw sɔrɔ. Nka fɔlɔ n sera a ma ko YaLM 100b sɔngɔ ka gɛlɛn kojugu / a ka surun kosɛbɛ n ka baara la. O wari kelen in na, mɔgɔw bɛna sɛbɛnni kɛ ka caya kosɛbɛ ani ka ɲɛ kosɛbɛ. Nka ne hakili la, a ye waati dɔɔnin dɔrɔn de ye, an bɛna a ye. N’i mago bɛ dɛmɛ na daminɛ na, yalm sigili la, walima n’i b’a fɛ ka jaabiw ye i ka sigida misaliw kan, i ka sɛbɛn ci lɛtɛrɛ walima telefɔni ma.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?