Iýun aýynyň ahyrynda “Yandex ” köpçülige “YaLM 100B” atly 100 milliard parametrli nerw ulgamyny çykardy . Jemgyýetçilikdäki iň uly GPT meňzeş nerw ulgamy. Olarda nädip öwredendikleri, iň gowy mysallary görkezendigi we neýronyň nämäni başarýandygy hakda aýdylýar. Emma iş ýüzünde şeýle gowy we öýde ulanylýarmy? Makala bu barada dymýar, üstesine-de, takmynan 200 Gb GPU RAM gerek bolany üçin, ony işletmek we barlamak aňsat däl. Habre baradaky bu teswir ýagdaýy has takyk görkezýär .
Aýdylyşyna görä, “Yandex” -de beýle akylly adamlar, hatda adaty “How-to” -y goýmadylar. Uly model üçin “api” ýok, ýönekeý adamlar üçin taýýar çyzylan orta ýa-da kiçi model ýok (Google Colab-da). Modeliň nädip guruljakdygy, teksti nädip döretmelidigi barada hiç hili mysal berilmeýär. Diňe makalada nerwler üçin iki nuans görkezilýär we hut şu. Bankyň “C” harpy bilen nädip edenine has içgin göz aýlamak we edil şonuň ýaly etmek ýeterlikdir. Bu modeliň hapa zyňylmagyna gynanýan şowsuz synaglaryň diňe biri bolandygyna düşündim, şonuň üçin “Yandex” -iň haýsy ajaýyp modelleri döredýändigini görkezmek üçin açyk çeşmede ýerleşdirildi we üstesine-de açyk çeşme!
Internetde “yalm” -y nädip işletmeli ýa-da onlaýn synap görmeli diýen köp sorag bar, ýöne muňa jogap ýok. Bu soraglary beren ulanyjylaryň arasynda boldum. Ony anyklamaga başlaň. Maliýe robotlary üçin tekst döretmegiň usuly hakykatdanam gerekdi. Diňe gymmatlyklary çaklamak bilen çäklenmän, maliýe hasabatlaryna esaslanyp, tekstde teswir ýazyp bilerler. Aslynda, diňe emeli intellektiň ulanylmagy bilen, maliýe analitikleriniň edişi ýaly bolar. Yalm işlemegiň iki ýoly bar. Bulutda serwer kärendesine alyň200+ Gb GPU RAM bilen ýa-da kody üýtgediň we çuňňur nol ýükleme bilen işlediň (GPU nerw ulgamynyň bir bölegini yzygiderli işleýärkä, galanlary CPU RAM ýa-da NVMe-de saklanýar). Birinjisi gaty gymmat, sagatda 2500 rubl ýa-da aýda 1,7 million. Ikinjisi näbelli, sebäbi ammardaky kod berilmeýär, diňe ammar meselesinde görkezilýär , muny etmek kyn däl. Simpleönekeýje başlalyň.
Jemi wideo ýady azyndan 200 GB gerek. 8×40 = 320 GB. Diňe şu gabat gelýär. 200-den az mümkin däl, has köp zat mümkin. Ok CPU RAM-y görkezýär, biz oňa seretmeýäris. Ol islendik adam bolup biler.
Takmynan 300 GB disk görkezýäris, şonuň üçin ätiýaçlyk we has gowusy çalt disk bilen. onlarça gigabaýt maglumat ondan geçiriler.
Çeşmelerde döredilende Ubuntu ML (Machine Learning) saýlaň. Wideo kartalaryň düzülmegi we goşmaça hiç zat gurulmagy zerur däl.
Serwer döredilende kwotalar bilen baglanyşykly nuanslar bar, enjamyň ýokdugyny duýup bilersiňiz, ýöne aslynda sazlamalarda kwotalary köpeltmeli. Serwer işjeňleşdirilenden soň (5-10 minut gerek bolup biler), ssh ýa-da göni serwer sahypasyndaky web konsolynda serwere birikdiriň we buýrugy ýerine ýetiriň.
nvidia-smi
Netijede wideo kartoçkalary, sürüjiniň wersiýasy we cuda bolan tablisa bolmaly. Takmynan şuňa meňzeýär. Sürüji wersiýasynyň sözbaşysynda we nirede. Çep tarapda enjam belgileri, merkezinde enjam ýadynyň ululygy ýerleşýär. Bu maglumatyňyz ýok bolsa, serweri nädogry çeşmeden ýygnadyňyz. Ubuntu ML (Machine Learnong) ýokarda görkezilişi ýaly talap edilýär.
2. Ammaryny YaLM bilen klonlaň
sudo git klon https://github.com/yandex/YaLM-100B/ yalm cd yalm
Öý bukjasyna klonlaň, soňundan doker konfigurasiýasyny redaktirlemeli dälsiňiz. Başga bir ýerde klonlanan bolsa, şu ýere gidiň we klonlanan ýere ýol goşuň.
3. Barlag nokatlaryny göçürip alyň (esasy model okuw maglumatlary)
sudo chmod + x ./download/download.sh sudo bash ./download/download.sh
Bu bir sagada golaý wagt alar. Biderek wagt ýitirmezlik üçin täze ssh birikmesini döredýäris we paralel doker konteýnerini gurup başlaýarys.
cd yalm sudo chmod + x ./docker/* sudo bash ./docker/build.sh
Şeýle hem bir sagat töweregi.
Durmuş hakeri. Barlag nokatlaryny göçürip alyp, dokeri gurup we bir wideo kartasy bilen arzan serwerde konteýner gurup bilersiňiz. Wagtyň geçmegi bilen şeýle bolar, biraz tygşytlap bilersiňiz. Arzan serwerde gurlandan soň, ony pozýarys we arzan serwerden disk ulanyp söweş serwerini döredýäris. Soňra ýygnaga garaşmak we barlag nokatlaryny çykarmak üçin wagtyňyzy artykmaç tölemersiňiz.
6. Mazmuny taýýarlaň
6.1 Barlag nokatlary
Barlag nokatlaryny göçürip alanyňyzdan soň, olary sazlamalara geçirmeli. Iki ýol bar, parametrleri düzetmek ýa-da barlag nokatlaryny geçirmek. Barlag nokatlarynyň degişlilikde taslamanyň esasy katalogynda boljakdygyna garaşylýar, göçürilen zatlar ýokardaky göçürip alyş bukjasyndan geçirilmelidir. “Yalm” bukjasynda bolmak ýerine ýetiriň
Wideo kartalaryň dogry gurlandygyny barlaýarys. Sekiz wideo kartyňyz bar bolsa, hiç zady üýtgetmeli däl. Eger san başga bolsa, onda bu setirleri üýtgedýäris Ikinji setirde ulanylýan enjamlaryň sany (siz eýýäm işe girizen nvidia-smi-de seredip bilersiňiz). Dördünjide, olaryň sany.
7. Doker konteýnerini işlediň
“Yalm” bukjasynda bolmak bilen buýrugy ýerine ýetiriň
sudo bash ./docker/run.sh
Everythinghli zat gowy bolsa, öý bukjasyndaky ýalm bukjasyna girmeli konteýneriňize äkidiler.
cd ~ / yalm
8. Mysaly YaLM 100B-den işlediň
Mysallaryň birini başlamaga taýýar. Bu ýerde beýan edilýär .
chmod + x ./examples/generate_interactive.sh ./examples/generate_interactive.sh
Sabyr ediň, GPT modeli döredilýänçä we barlag nokatlaryndan agramlar ýüklenýänçä ýene 10-15 minut garaşmaly.
Gurluşyk gutarandan soň, MegatronML tekst döretmek üçin kontekst girizmegiňizi sorar. Typeazanyňyzda seresap boluň. Käbir ýagdaýlarda ýalňyşlyk ýüze çykýar, programma ýykylýar we ýygnanyşygy täzeden başlamaly. Şonuň üçin faýldan tekst alýan mysallary ulanmak has gowudyr.
9. Işiň netijeleri
Gyzykly görünýär. Elbetde, bular diňe gowy mysallar. Synagy dürli nusgalarda geçirdim. Garaşylyşy ýaly, kontekst näçe gowy bolsa, şonça-da manyly tekst dörediler. Synag nesilleriniň doly toplumyny baglanyşyklardan görüp bilersiňiz:
Bahasy üçin, okuwdan başlap, nesile çenli dürli kuwwatly serwerleri kärendesine almak üçin takmynan 9 müň rubl gerekdi. Aýratyn bir lapykeçlik, hemme zady derrew döredip bilmersiňiz. Başlamak üçin gaty köp wagt gerek we tekst serweriň bir sagadyň bahasyny göz öňünde tutup, isleýşimiz ýaly çalt döredilmeýär.
200Gb GPU RAM bolmasa YaLM-i nädip işletmeli?
Konfigura çuňňur nol ýüklemeli. Näme hakda gürleşýändigimizi bilýänler üçin muny etmek gaty aňsat bolar. Beýlekiler üçin bu asla ownuk mesele däl. Offüklemegiň CPU RAM ýa-da NVMe-de bolup biljekdigini bilmek möhümdir. Häzirki wagtda NVMe hakda ýatdan çykaryp bilersiňiz, sebäbi. gaty köp mukdarda işlenýär we disk oňa çydap bilmeýär. Nol düşüriş CPU has hakyky. Dogry, munuň üçin 200+ Gb CPU RAM bolmaly, bu hem arzan däl. Bir tekst 20-40 minut töweregi dörediler, sebäbi henizem iki wideo kartada deňeşdirip bolmaýar. Aşakdaky skrinshotda görşüňiz ýaly, nesile diňe bir wideo karta gatnaşdy, soň bolsa ýadyň dörtden bir bölegi. 24 GB-nyň näme üçin ulanylmaýandygyny görmek galýar, Netijede, hatda bir RTX 3070 TI-de işlemegiň mümkindigini aýdaryn. Emma munuň manysy ýok, sebäbi. NVMe, 96 GB RAM goşundysynda bolan çalşykda 150 GB maglumatlary çalt işlemäge mümkinçilik bermez.
Jemleme
Elbetde, iň amatly başlangyç ýollaryny tapmaga synanyşaryn. Soöne şu wagta çenli YaLM 100b meniň işim üçin gaty gymmat / gaty haýal diýen netijä geldim. Şol bir pul üçin adamlar has köp we has gowy ýazarlar. Emma wagtlaýyn diýip pikir edýärin, göreris. Işletmek, ýalm gurmak ýa-da netijeleri kontekstdäki mysallarda görmek isleseňiz, poçta ýa-da telegramma ýazyň.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?