Neural network YaLM 100B e sebetsa.

Qetellong ea June, Yandex e ile ea lokolla marang-rang a marang-rang a nang le li-parameter tse limilione tse likete tse 100 tse bitsoang YaLM 100B ho sechaba . Ke netweke e kholo ka ho fetisisa e kang ea neural ea GPT sebakeng sa sechaba. E bua ka hore na ba rutile joang, ba bontšitse mehlala e metle ka ho fetisisa le seo neuron e khonang ho se etsa. Empa na e sebetsa hantle hakaale ebile e sebetsa lapeng? Sengoliloeng ha se bue ka sena, ho feta moo, ha ho bonolo ho se tsamaisa le ho se hlahloba, kaha hoo e ka bang 200 Gb ea RAM ea GPU ea hlokahala. Tlhaloso ena ea Habré
e senola boemo ka nepo ka ho fetisisa .

Ho thoe, ho Yandex, batho bohle ba joalo ba bohlale, ‘me ha baa ka ba beha mokhoa o tloaelehileng oa ho etsa joang. Ha ho na api bakeng sa mohlala o moholo, ha ho na mokhoa o lokiselitsoeng o lokiselitsoeng kapa o monyane bakeng sa batho ba tloaelehileng (ho Google Colab). Ha ho mohlala o fanoeng mabapi le mokhoa oa ho theha mohlala, mokhoa oa ho hlahisa mongolo. Ke feela hore sengoloa se bonts’a li-nuances tse ‘maloa bakeng sa li-nerds’ me ke phetho. Ho lekane ho shebisisa hore na banka e entse joang ka lengolo “C” le ho etsa se tšoanang. Ke ile ka ba le maikutlo a hore mohlala ona ke e ‘ngoe ea liteko tse hlōlehileng tseo e neng e le masoabi ho lahlela lithōle, kahoo e ile ea kenngoa ho Open Source ho bontša hore na ke mefuta efe e kholo ea Yandex e bōpang,’ me ho feta moo, ke mohloli o bulehileng!

Ho na le lipotso tse ngata Marang-rang mabapi le mokhoa oa ho tsamaisa yalm kapa esita le ho leka inthaneteng, empa ha ho na likarabo ho sena. Ke ne ke le har’a basebelisi ba ileng ba botsa lipotso tsena. Ebe u qala ho e utloisisa. Kaha ke ne ke hlile ke hloka mokhoa oa ho hlahisa litemana tsa liroboto tsa lichelete. E le hore ba se ke ba bolela esale pele feela ka litekanyetso, empa hape ba fane ka maikutlo ho eona ka mongolo, ho latela litlaleho tsa lichelete. Ha e le hantle, e tla tšoana le seo bahlahlobisisi ba lichelete ba se etsang, feela ka tšebeliso ea bohlale ba maiketsetso. Ho na le mekhoa e ‘meli ea ho tsamaisa yalm. Renta seva ka har’a leruka 200+ Gb GPU RAM kapa u fetole khoutu ‘me u tsamaee ka ho theola zero e tebileng (ha GPU e sebetsana ka tatellano ea karolo ea netweke ea methapo, ‘me e meng e bolokiloe ho CPU RAM kapa NVMe). Ea pele e theko e boima haholo, hoo e ka bang li-ruble tse 2500 ka hora kapa limilione tse 1,7 ka khoeli. Ea bobeli e sa tsejoeng, hobane khoutu sebakeng sa polokelo ha e fanoe, ke lintlha feela tse mabapi le taba ea polokelo, eo ho seng thata ho e etsa. Ha re qaleng ka mokhoa o bonolo.

Litaelo tsa ho qala YaLM 100B

1. Re hira 200 GB GPU RAM, mohlala mona .

U hloka bonyane 200 GB ea kakaretso ea memori ea video. 8×40 = 320 GB. Ke ena feela e loketseng. Ka tlase ho 200 ha ho khonehe, ho feta ho ka khoneha. Motsu o bontša RAM ea CPU, ha re e shebe. E ka ba mang kapa mang.

Re bonts’a disk ea hoo e ka bang 300 GB, e le hore ka sebaka sa polokelo ‘me ka ho khetheha ho be le disk e potlakileng, hobane. mashome a li-gigabytes tsa data li tla fetisetsoa ho eona le ho tsoa ho eona.

Ha u theha mehloling, khetha Ubuntu ML (Ho Ithuta ka Mochini). Sena se tlamehile e le hore likarete tsa video li hlophisoe ‘me ha ho letho le lokelang ho kenngoa ho phaella moo.

Ha u theha seva, ho na le li-nuances tse nang le li-quotas, u ka ba le maikutlo a hore lisebelisoa ha li fumanehe, empa ha e le hantle u hloka feela ho eketsa quotas ho litlhophiso. Ka mor’a hore seva se sebetse (ho ka nka metsotso e 5-10), hokela ho seva ka ssh kapa ka ho toba ho web console leqepheng la seva ‘me u phethe taelo.

nvidia-smi

Sephetho e lokela ho ba tafole e nang le likarete tsa video, mofuta oa mokhanni le cuda. Hoo e ka bang tjena.
Sehloohong sa mofuta oa mokhanni le moo. Ka lehlakoreng le letšehali ho na le linomoro tsa lisebelisoa, bohareng ke boholo ba memori ea sesebelisoa. Haeba u sena tlhahisoleseling ena, joale u bokelletse seva ho tsoa mohloling o fosahetseng. Ubuntu ML (Mochine Learnong) oa hlokahala, joalo ka ha ho hlalositsoe ka holimo.

2. Koala sebaka sa polokelo ka YaLM

sudo git clone https://github.com/yandex/YaLM-100B/ yalm cd yalm

Tlohela foldareng ea hau ea lapeng hore u se ke oa tlameha ho hlophisa tlhophiso ea docker ka mor’a moo. Haeba e entsoe kae-kae, e -ea mona ‘me u kenye tsela e eang moo e entsoeng teng.

3. Khoasolla libaka tsa tlhahlobo (lintlha tsa motheo tsa koetliso ea mohlala)

sudo chmod +x ./download/download.sh sudo bash ./download/download.sh

Sena se tla nka nako e ka etsang hora. E le hore re se ke ra senya nako ka lefeela, re theha khokahano e ncha ea ssh mme ka ho ts’oana re qala ho haha ​​​​sejana sa docker.

4. Kenya nvidia – docker 2

Docker e tloaelehileng ha e tšoanelehe, nvidia-docker2 ea hlokahala . https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#setting-up-nvidia-container-toolkit

5. Ho aha setshelo bakeng sa YaLM

cd yalm sudo chmod +x ./docker/* sudo bash ./docker/build.sh

Hape ke hoo e ka bang hora.

Hack ea bophelo. U ka khoasolla li-checkpoints, kenya docker ‘me u hahe setshelo ho seva e theko e tlaase ka karete e le’ ngoe ea video. Ho tla tšoana ka nako, kahoo u ka boloka hanyenyane. Ka mor’a kopano ho seva e theko e tlaase, re e hlakola, ‘me re theha seva sa ntoa re sebelisa disk ho tloha ho seva se theko e tlaase. Joale u ke ke ua lefa nako e ngata ea ho emela kopano le ho pompa libaka tsa tlhahlobo.

6. Lokisetsa litaba

6.1 Libaka tsa ho hlahloba

Kamora hore download ea li-checkpoints e felile, o hloka ho li kenya ho li-configs. Ho na le mekhoa e ‘meli, li-parameter tse nepahetseng kapa li-checkpoints tsa ho fetisa. Hohle moo ho lebelletsoeng hore li-checkpoints li tla ba bukeng e kholo ea morero, ka ho latellana, se jarollotsoeng se tlameha ho fetisoa ho tsoa ho foldareng e kaholimo. Ho ba foldareng ea yalm etsa

mv ./download/yalm100b_checkpoint ./

Kapa fetola litsela tsa lifaele ho lifaele tsa mohlala https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 Likarete tsa video

Re hlahloba hore na likarete tsa video li behiloe ka nepo. Haeba u na le likarete tse robeli tsa video, ha ho letho le lokelang ho fetoloa. Haeba palo e fapane, joale re fetola mela ena Moleng oa bobeli, lipalo tsa lisebelisoa tse sebelisitsoeng (o ka li sheba ka nvidia-smi, tseo u seng u li qalile). Ea bone, palo ea bona.

7. Matha setshelo sa docker

Ha u le foldareng ea yalm, phethisa taelo

sudo bash ./docker/run.sh

Haeba ntho e ‘ngoe le e’ ngoe e lokile, joale u tla isoa ka setshelo seo ho sona u lokelang ho ea foldareng ea yalm bukeng ea hau ea lapeng.

cd ~/yalm

8. Matha mohlala ho tloha ho YaLM 100B

Re itokiselitse ho qala e ‘ngoe ea mehlala. Li hlalosoa mona .

chmod +x ./examples/generate_interactive.sh ./examples/generate_interactive.sh

E-ba le mamello, e sala e emetse metsotso e meng ea 10-15 ho fihlela mohlala oa GPT o bōptjoa ‘me litekanyo tse tsoang libakeng tsa ho hlahloba li laeloa.

Ha mohaho o fela, MegatronML e tla u susumelletsa hore u kenye moelelo oa ho hlahisa mongolo. E-ba hlokolosi ha u thaepa. Tlas’a maemo a itseng, phoso e etsahala, lenaneo lea senyeha ‘me u hloka ho qala kopano hape. Ka hona, ho molemo ho sebelisa mehlala e nkang mongolo ho tsoa faeleng.

9. Liphetho tsa mosebetsi

E shebahala e thahasellisa. Ha e le hantle, ena ke mehlala e metle feela. Ke ile ka etsa tlhahlobo ka lisampole tse fapaneng. Joalo ka ha ho lebelletsoe, ha moelelo o betere, ho tla hlahisoa sengoloa se nang le moelelo haholoanyane. Sehlopha se felletseng sa meloko ea liteko se ka shejoa lihokelong:

• generate_conditional_sampling.sh
• generate_conditional_greedy.sh
• generate_unconditional.sh

Bakeng sa theko, ke ile ka reka li-ruble tse ka bang likete tse 9 bakeng sa ho hira li-server tsa bokhoni bo fapaneng ho tloha koetlisong le ho tloha ho itokisa ho isa molokong. Ho soetseha ho itseng ke hore ha o khone ho hlahisa tsohle hang hang. Ho nka nako e telele haholo ho qala mme mongolo ha o hlahise kapele kamoo re ka ratang, ho latela litšenyehelo tsa seva ka hora.
 

U ka tsamaisa YaLM joang ntle le 200Gb GPU RAM?

U hloka ho eketsa download e tebileng ea zero ho config. Bakeng sa ba tsebang seo re buang ka sona, ho tla ba bonolo haholo ho se etsa. Ho ba bang, ona hase mosebetsi o sa reng letho ho hang. Ho bohlokoa ho tseba hore theolelo e ka ba ka CPU RAM kapa NVMe. U ka lebala ka NVMe hajoale, hobane. palo e kholo haholo ea data e ntse e sebetsoa mme disk e sitoa ho sebetsana ka katleho le eona. Zero offload CPU ke ‘nete ho feta. Ke ‘nete, bakeng sa sena o hloka ho ba le 200+ Gb CPU RAM setokong, eo hape e sa theko e tlase. ‘Me mongolo o le mong o tla hlahisoa ka metsotso e ka bang 20-40, kaha ha e e-s’o khone ho e bapisa ka likarete tse peli tsa video. Joalokaha u ka bona skrineng e ka tlase, karete e le ‘ngoe feela ea video e ne e ameha molokong, ebe ke karolo ea kotara feela ea memori. Ho sa ntse ho tla bonahala hore na ke hobane’ng ha 24 GB e sa sebelisoe,
Hantle, qetellong, ke tla re ho ka khoneha ho matha esita le ho RTX 3070 TI e le ‘ngoe. Empa ha ho na moelelo o itseng tabeng ena, hobane. NVMe e ke ke ea u lumella hore u potlakele ho sebetsa 150 GB ea data ka swap, e leng sehlomathisong sa 96 GB ea RAM.

Ho akaretsa

Ehlile, ke ntse ke tla leka ho fumana litsela tse nepahetseng tsa ho qala. Empa ho fihlela joale ke fihletse qeto ea hore YaLM 100b e theko e boima haholo / e lieha haholo bakeng sa mesebetsi ea ka. Bakeng sa chelete e tšoanang, batho ba tla ngola haholo le ho feta. Empa ke nahana hore ke nakwana, re tla bona. Haeba o hloka thuso ka ho qala, ho theha yalm, kapa o batla ho bona liphetho ho mehlala ea maemo a hau, ngolla lengolo-tsoibila kapa thelekramo.

E tsoela pele ka ho qala yalm 100b hae.