Ny tambajotra neural YaLM 100B amin’ny fampiharana.

Tamin’ny faran’ny volana Jona, Yandex
dia namoaka tambajotra neural misy masontsivana 100 lavitrisa antsoina hoe YaLM 100B ho an’ny daholobe . Io no tambajotra neural lehibe indrindra mitovy amin’ny GPT amin’ny sehatra ho an’ny daholobe. Izy io dia miresaka momba ny fomba nampianaran’izy ireo, nampiseho ny ohatra tsara indrindra ary ny zavatra vitan’ny neuron. Saingy tena tsara ve izany amin’ny fampiharana sy azo ampiharina ao an-trano? Mangina ny lahatsoratra momba izany, ankoatra izany, tsy mora ny mihazakazaka sy manamarina izany, satria eo amin’ny 200 Gb GPU RAM no ilaina. Ity fanehoan -kevitra momba an’i Habré
ity dia manambara ny zava-misy marina indrindra
.

Voalaza fa ao amin’ny Yandex, ny olona manan-tsaina rehetra, ary tsy nandefa fomba mahazatra akory izy ireo. Tsy misy api ho an’ny maodely lehibe, tsy misy fitaovana efa vita efa vita na modely kely ho an’ny olon-tsotra (ao amin’ny Google Colab). Tsy misy ohatra omena momba ny fomba fametrahana ny modely, ny fomba famokarana lahatsoratra. Soa ihany fa ny lahatsoratra dia manondro ireo nuance roa ho an’ny nerds ary izay ihany. Ampy ny mijery akaiky ny fomba nanaovan’ny banky azy tamin’ny taratasy “C” ary manao toy izany koa. Nahazo fahatsapana aho fa ity maodely ity dia iray amin’ireo andrana tsy nahomby izay nampalahelo ny nanary tao anaty fako, ka navoaka tao amin’ny Open Source izy io mba hampisehoana hoe inona ireo modely lehibe noforonin’i Yandex, ary ankoatra izany, loharano misokatra!

Betsaka ny fanontaniana ao amin’ny Internet momba ny fomba fampandehanana yalm na manandrana an-tserasera aza, saingy tsy misy valiny amin’izany. Anisan’ireo mpampiasa nametraka ireo fanontaniana ireo aho. Ary miezaha hamantatra izany. Satria tena nila fomba hamoronana lahatsoratra ho an’ny robot ara-bola aho. Mba hahafahan’izy ireo maminavina tsy ny soatoavina ihany, fa koa maneho hevitra momba izany amin’ny lahatsoratra, mifototra amin’ny tatitra ara-bola. Amin’ny ankapobeny, hitovy amin’ny ataon’ny mpandinika ara-bola izany, raha tsy amin’ny fampiasana ny faharanitan-tsaina artifisialy. Misy fomba roa hanaovana yalm.
Manofa mpizara amin’ny rahonamiaraka amin’ny 200+ Gb GPU RAM na ovay ny kaody ary mandehana miaraka amin’ny Deepspeed zero offload (rehefa ny GPU dia manao ny ampahany amin’ny tambajotra neural, ary ny ambiny dia voatahiry ao amin’ny CPU RAM na NVMe). Ny voalohany dia lafo be, manodidina ny 2500 roubles isan’ora na 1,7 tapitrisa isam-bolana. Ny faharoa tsy fantatra, satria ny kaody ao amin’ny repository dia tsy omena, fa
manoro hevitra fotsiny ny olana momba ny repository, izay tsy sarotra ny manao. Andao hanomboka tsotra.

YaLM 100B toromarika fandefasana

1. Manofa 200 GB GPU RAM izahay, ohatra eto .

Mila 200 GB ny totalin’ny fitadidiana horonan-tsary ianao. 8×40 = 320 GB. Ity ihany no mety. Latsaky ny 200 no tsy azo atao, mihoatra ny azo atao. Ny zana-tsipìka dia manondro ny CPU RAM, tsy mijery azy isika. Mety ho na iza na iza izy.

Manondro kapila iray eo amin’ny 300 GB eo ho eo izahay, ka miaraka amin’ny kapila mitsitsy ary tsara kokoa ny kapila haingana, satria. angona am-polony gigabytes no hafindra any sy avy ao.

Rehefa mamorona loharano dia fidio ny Ubuntu ML (Machine Learning). Tsy maintsy atao izany mba hamboarina ny karatra video ary tsy misy mila apetraka fanampiny.

Rehefa mamorona mpizara dia misy ny nuances miaraka amin’ny quotas, mety hahatsapa ianao fa tsy misy ny fitaovana, fa raha ny marina dia mila mampitombo ny quotas amin’ny toe-javatra ianao. Rehefa avy navitrika ny mpizara (mety haharitra 5-10 minitra izany), mifandray amin’ny mpizara amin’ny alàlan’ny ssh na mivantana ao amin’ny console web amin’ny pejin’ny mpizara ary tanteraho ny baiko.

nvidia-smi

Ny vokatra dia tokony ho latabatra misy karatra vidéo, dikan-teny mpamily ary cuda. Manodidina ny tahaka izao.
Ao amin’ny lohatenin’ny dikan-tenin’ny mpamily ary aiza. Eo amin’ny ilany havia ny laharan’ny fitaovana, eo afovoany ny haben’ny fitadidiana fitaovana. Raha tsy manana an’io fampahalalana io ianao dia nanangona ny mpizara avy amin’ny loharano diso. Ubuntu ML (Machine Learnong) dia takiana, araka ny voalaza etsy ambony.

2. Clone ny tahiry amin’ny YaLM

sudo git clone https://github.com/yandex/YaLM-100B/ yalm
cd yalm

Clone amin’ny lahatahiry an-tranonao ka tsy mila manova ny docker config ianao aorian’izay. Raha misy klona any an-kafa dia
mandehana eto ary ampio ny lalana mankany amin’ny toerana misy klona.

3. Misintona toeram-pisavana (fampahalalana fanofanana modely fototra)

sudo chmod +x ./download/download.sh
sudo bash ./download/download.sh

Haharitra adiny iray eo ho eo izany. Mba tsy handany fotoana amin’ny zava-poana dia mamorona fifandraisana ssh vaovao izahay ary mifanitsy amin’izany dia manomboka manangana container docker izahay.

4. Mametraka nvidia – docker 2

Tsy mety ny docker mahazatra, ilaina
ny nvidia-docker2 .
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#setting-up-nvidia-container-toolkit

5. Manangana fitoeran-javatra ho an’ny YaLM

cd yalm
sudo chmod +x ./docker/*
sudo bash ./docker/build.sh

Tokony ho adiny iray koa izany.

Fiainana hack. Azonao atao ny misintona toeram-pisavana, mametraka docker ary manamboatra kaontenera amin’ny mpizara mora misy karatra video iray. Ho toy izany koa ny fotoana, mba hahafahanao mitahiry kely. Aorian’ny fivoriambe amin’ny mpizara mora dia mamafa izany izahay, ary mamorona mpizara ady amin’ny fampiasana kapila avy amin’ny mpizara mora. Amin’izay ianao dia tsy handoa be loatra ny fotoana fiandrasana ny fivoriambe sy ny famotsorana ireo toeram-pisavana.

6. Omano ny votoatiny

6.1 Toerana fisavana

Rehefa tapitra ny fampidinana ny toerana fisavana dia mila miditra ao amin’ny configs ianao. Misy fomba roa, ny mari-pamantarana marina na ny toeram-pisavana. Na aiza na aiza dia antenaina fa ny toerana fisavana dia ho ao amin’ny lahatahiry lehibe amin’ny tetikasa, tsirairay avy, izay nalaina dia tsy maintsy afindra avy amin’ny fampirimana fampidinana etsy ambony. Ao amin’ny lahatahiry yalm execute

mv ./download/yalm100b_checkpoint ./

Na ovay ny lalana mankany amin’ireo rakitra ao amin’ny rakitra ohatra
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 Karatra video

Hamarininay fa voapetraka tsara ny karatra vidéo. Raha manana karatra video valo ianao, dia tsy misy tokony hovana. Raha tsy mitovy ny isa, dia ovainay ireo andalana ireo
Ao amin’ny andalana faharoa, ny isan’ny fitaovana ampiasaina (azonao jerena ao amin’ny nvidia-smi, izay efa natombokao). Ao amin’ny fahefatra, ny isan’izy ireo.

7. Ampandehano ny kaontenera docker

Ao amin’ny lahatahiry yalm, tanteraho ny baiko

sudo bash ./docker/run.sh

Raha OK ny zava-drehetra, dia hoentina any amin’ny kaontenera iray ianao izay mila mandeha any amin’ny lahatahiry yalm ao amin’ny lahatahiry an-tranonao.

cd ~/yalm

8. Manaova ohatra avy amin’ny YaLM 100B

Vonona izahay hanomboka ny iray amin’ireo ohatra. Voalaza
eto izy ireo .

chmod +x ./examples/generate_interactive.sh
./examples/generate_interactive.sh

Mahareta, miandry 10-15 minitra hafa mandra-pahaforona ny modely GPT ary fenoina ny lanja avy amin’ny toeram-pisavana.

Rehefa tapitra ny fananganana dia hanosika anao hiditra ao anatina contexte hamoahana lahatsoratra ny MegatronML. Mitandrema rehefa manoratra. Amin’ny toe-javatra sasany, misy hadisoana mitranga, mianjera ny programa ary mila manomboka ny fivoriambe indray ianao. Noho izany dia tsara kokoa ny mampiasa ohatra izay maka lahatsoratra amin’ny rakitra.

9. Vokatry ny asa

Toa mahaliana. Mazava ho azy fa ohatra tsara fotsiny ireo. Nanao ny fitsapana tamin’ny santionany samihafa aho. Araka ny efa nampoizina, ny tsara kokoa ny teny manodidina, ny lahatsoratra manan-danja kokoa no havoaka. Ny andiana taranaka andrana feno dia azo jerena amin’ny rohy:

• generate_conditional_sampling.sh
• generate_conditional_greedy.sh
• generate_unconditional.sh

Ho an’ny vidiny, dia mitentina 9 arivo roubles eo ho eo aho amin’ny fanofana mpizara amin’ny fahaiza-manao samihafa amin’ny fiofanana sy ny fanomanana hatramin’ny taranaka. Ny fahadisoam-panantenana manokana dia ny tsy ahafahanao mamorona ny zava-drehetra avy hatrany. Mitaky fotoana lava be vao manomboka ary ny lahatsoratra dia tsy miteraka haingana araka izay tiantsika, raha jerena ny vidin’ny mpizara isan’ora.
 

Ahoana ny fampandehanana ny YaLM tsy misy 200Gb GPU RAM?

Mila manampy deepspeed zero offload amin’ny config ianao. Ho an’ireo izay mahafantatra ny zavatra resahina, dia ho mora ny manao izany. Ho an’ny hafa dia tsy asa madinidinika mihitsy izany. Zava-dehibe ny mahafantatra fa ny offload dia mety amin’ny CPU RAM na NVMe. Azonao adino ny momba ny NVMe amin’izao fotoana izao, satria. be dia be ny angon-drakitra voahodina ary ny kapila tsy afaka miatrika izany. Ny CPU zero offload dia tena misy. Marina fa mila manana tahiry 200+ Gb CPU RAM ianao, izay tsy mora ihany koa. Ary ny lahatsoratra iray dia hatsangana mandritra ny 20-40 minitra eo ho eo, satria tsy mbola azo atao ny mampitovy azy amin’ny karatra video roa. Araka ny hitanao amin’ny pikantsary etsy ambany, dia karatra video iray ihany no tafiditra tamin’ny taranaka, ary avy eo dia ho an’ny ampahefatry ny fahatsiarovana. Mbola ho hita ny antony tsy ampiasaina ny 24 GB rehetra,
Eny, ho famaranana, dia holazaiko fa azo atao ny mihazakazaka na dia amin’ny RTX 3070 TI iray aza. Tsy misy dikany manokana anefa izany, satria. Ny NVMe dia tsy hamela anao handamina haingana ny angon-drakitra 150 GB amin’ny swap, izay ao anatin’ny 96 GB an’ny RAM.

Famintinana

Mazava ho azy fa mbola hiezaka hitady ny lalana fandefasana tsara indrindra aho. Saingy hatramin’izao dia tonga amin’ny fanatsoahan-kevitra aho fa lafo loatra / miadana loatra amin’ny asako ny YaLM 100b. Ho an’ny vola mitovy, ny olona dia hanoratra bebe kokoa sy tsara kokoa. Saingy heveriko fa vonjimaika izany, ho hitantsika eo. Raha mila fanampiana amin’ny fandefasana, fametrahana yalm, na te hahita ny valiny amin’ny ohatra momba ny teny manodidina anao ianao dia manorata amin’ny mailaka na telegrama.