Red neuronal YaLM 100B en la práctica.

Junio ​​killa tukukuypi, Yandex
huk neural llika 100 hunu hunu parámetros nisqayuq YaLM 100B sutiyuqta llaqtaman lluqsichirqan . Chayqa aswan hatun GPT-hina neuronal llika kay dominio público kaqpi. Willan imayna yachachisqankumanta, aswan allin ejemplokunata qawachisqankumanta hinaspa imakunatam neurona ruway atisqanmanta. Ichaqa, ¿chayna allinchu ruwaypi hinaspa wasipi ruwanapaq? Kay qillqasqaqa kaymanta ch’inlla kachkan, aswanta, mana chayhina facilchu purichiy chaymanta qhaway, yaqa 200 Gb GPU RAM kaqmanta necesitakun. Habrémanta kay
rimayqa aswan allintam qawachin imayna kasqanmanta
.

Supuestamente, Yandexpi, tukuy chayjina yachaysapa runakuna, manataq nitaq huk normal How-to nisqatapas churarqankuchu. Hatun modelopaq mana api kanchu, mana listo ruwasqa despojado chawpi utaq huch’uy modelo común runakunapaq kanchu (Google Colab kaqpi). Mana huk rikch’anachiy qusqachu imayna modelota churanapaq, imayna qillqa paqarichiymanta. Es solo que el artículo indica un par de matices para nerds y eso. Bastante allinta qhawariy imaynatas banco ruwarqan chayta “C” letrawan hinallataq ruway. Ñuqaqa kay modelo huk mana atisqa experimentokunalla kasqanmanta yuyayta tarirqani, chaymi huk llakikuy karqa basuraman wischuypaq, chaymi Open Source nisqapi churasqa karqa ima hatun modelokunata Yandex ruwasqan qawachinapaq, chaymantapas, kichasqa qullqisapam!

Internetpi achka tapuykuna kan imayna yalm purichiy utaq internetpi kallpachakuypas, ichaqa mana kutichiykuna kanchu kaypaq. Kay tapuykunata ruwaq usuariokuna ukhupi karqani. Hinaspa chayta yuyaymanayta qallaykuy. Yaqachus hina chiqaptapuni huk ñanta necesitarqani qullqimanta robotkunapaq qillqakunata paqarichinaypaq. Chaynapi mana chaninchasqakunallatachu willayta atinankupaq, aswanpas chaymanta qillqasqapi rimarinankupaq, qullqimanta willakuykunapi hapipakuspa. Aswantaqa, qullqimanta t’aqwiqkunap ruwasqankumanjina kanqa, inteligencia artificial nisqawanlla. Iskay ñanmi yalm purinapaq.
Puyupi huk servidorta alquilay200+ Gb GPU RAM kaqwan utaq codigota tikray chaymanta deepspeed cero offload kaqwan purichiy (mayk’aq GPU secuencialmente huk parte neural llikamanta ruwan, chaymanta puchuq CPU RAM utaq NVMe kaqpi waqaychasqa). Ñawpaq kaqmi ancha chaninniyuq, yaqa 2500 rublos sapa hora utaq 1,7 millones sapa killa. Iskay kaq mana riqsisqa, imaraykuchus waqaychasqapi kaq codigoqa manam qusqachu, waqaychasqapa
asuntonpi insinuacionkunallam, chay ruwayqa manam sasachu. Qallarisun simplemente.

YaLM 100B qallariypaq kamachiykuna

1. 200 GB GPU RAM nisqatam alquilayku, kayhinata kaypi .

200 GB llapan video yuyarinatapas necesitanki. 8×40 = 320 GB nisqa. Kayllam tupan. Aswan pisi 200 mana atikunchu, aswanta atikun. Flechaqa CPU RAM nisqatam qawachin, manam qawanchikchu. Payqa pipas kanmanmi.

Indicayku huk disco yaqa 300 GB kaqmanta, chaymanta huk repuesto kaqwan chaymanta aswan allin huk usqhayta disco kaqwan, imaraykuchus. chunka gigabyte willakuykunata chayman chaymanta chaymanta apachisqa kanqa.

Pukyukunapi ruwachkaspa, Ubuntu ML (Maquina Yachay) akllay. Kayqa kamachisqa kachkan chaymanta video tarjetakuna ruwasqa kanankupaq chaymanta mana imapas yapamanta churayta necesitanchu.

Huk servidorta ruwachkaspa, cupos kaqwan matices kanku, equipo mana kasqanmanta sensaciónta tarinkiman, ichaqa chiqamanta cuotakuna ruwanakunapi yapanaykilla tiyanki. Sirwiq llamk’achisqa kaptin (5-10 minutukunata hap’inman), sirwiqman ssh kaqninta utaq chiqalla web consola kaqpi sirwiq p’anqapi tinkiy chaymanta kamachiyta ruway.

nvidia-smi nisqa

Chay ruwayqa kanan huk tabla video tarjetakunawan, versión conductorwan chaymanta cudawan. Yaqa kay hina.
Conductorpa laya umalliqninpi chaymanta maypi. Paña ladopi dispositivo yupaykuna kachkan, chawpipi dispositivo yuyarina sayaynin kachkan. Sichus mana kay willayta kanchu, chaymanta pantasqa pukyuta sirwiqta huñurqanki. Ubuntu ML (Machine Learnong) nisqa llamk’achiyta munan, ñawpaqpi willasqa hina.

2. YaLM nisqawan waqaychasqata clonar

sudo clon de git https://github.com/yandex/YaLM-100B/ yalm
cd yalm

Wasi qillqana mayt’uykiman clonar chaymanta mana qhipaman docker config llamk’achinaykichu tiyan. Sichus hukpi clonasqa, chaymanta
kayman riy chaymanta ñanta yapay maypichus clonasqa.

3. Puntos de control nisqakunata uraykachiy (información básica de capacitación del modelo) .

sudo chmod +x ./urquy/urquy.sh
sudo bash ./urquy/urquy.sh

Chaypaqqa yaqa huk horam kanqa. Mana yanqa pachata usuchinapaq, musuq ssh tinkiyta ruwayku chaymanta paralelo kaqpi huk docker waqaychana ruwayta qallariyku.

4. nvidia – docker 2 nisqapi churay

Normal docker mana allinchu,
nvidia-docker2 necesitakun .
https://docs.nvidia.com/datacenter/cloud-native/contenedor-herramienta/instalar-guía.html#nvidia-contenedor-herramienta-rura-kamachiy

5. YaLMpaq huk waqaychana ruway

cd yalm
sudo chmod +x ./docker/*
sudo bash ./docker/build.sh nisqa

Hinallataqmi yaqa huk hora.

Kawsay hack. Checkpoints uraykachiyta atikunki, docker churayta chaymanta huk contenedor ruwayta atikunki huk barato servidor kaqpi huk video tarjeta kaqwan. Tiempowanqa kaqllan kanqa, chaymi pisillata qolqeta waqaychanki. Huk mana qullqipaq sirwiqpi huñusqamanta qhipaman, qulluyku, chaymanta huk maqanakuy sirwiqta ruwayku huk mana qullqipaq sirwiqmanta diskuta llamk’achispa. Chaymantaqa manan nishutachu paganki chay asamblea suyasqaykimanta, controlkunata bombeasqaykimantawan.

6. Contenido nisqa wakichiy

6.1 Puntos de comprobación nisqakuna

Puntos de comprobación nisqakuna uraykachiy tukusqa kaptin, chaykunata configs nisqaman llimp’inayki tiyan. Iskay ñanmi kan, parámetros correctos utaq puntos de control de transferencia. Maypipas suyakun chay puntos de control nisqakuna proyectopa directorio principalninpi kananta, chayman hina, imakuna uraykachisqa kaqtaqa hawapi uraykachina carpetamanta apachina. Yalm carpetapi kaspa ejecutar

mv ./descargar/yalm100b_checkpoint ./ .

Utaq huk rikch’ana willañiqikunapi willañiqikunaman ñankunata tikray
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 Video tarjetakuna

Video tarjetakuna allin churasqa kasqanmanta qawayku. Sichus pusaq video tarjetakunayoq kanki chayqa, manan imatapas cambianachu. Sichus yupay hukniray kan, chaymanta kay chirukunata tikrayku
Iskay kaq chirupi, yupaykuna dispositivokuna llamk’achisqa (nvidia-smi kaqpi qhawayta atikunki, mayqinkunatachus qallarirqankiña). Tawa kaqpiqa, yupayninku.

7. Docker nisqa waqaychanata purichiy

Yalm qillqana mayt’upi kachkaspa, kamachiyta ruway

sudo bash ./docker/run.sh nisqa

Sichus tukuy imapas allin kachkan, chaymanta huk waqaychanaman apasqa kanki maypichus wasi directorioykipi yalm qillqana mayt’uman rinayki tiyan.

cd ~/yalm nisqa

8. YaLM 100B nisqamanta ejemplota purichiy

Listoñan kashanchis huknin ejemplota qallarichinaykupaq. Chaykunamantaqa
kaypim willakun .

chmod +x ./ejemplos/generar_interactivo.sh
./ejemplos/generar_interactivo.sh

Pacienciayuq kay, qhipan suyay huk 10-15 minutos kaqmanta kay modelo GPT ruwasqa kanankama chanta kay pesas kay puntos de comprobación kaqmanta cargasqa kanankama.

Ruway tukuptin, MegatronML huk contexto qillqata paqarichinaykipaq yaykunaykipaq mañasunki. Qillqanawan qillqaspaykiqa cuidakuy. Wakin circunstanciakunapi, huk pantay ruwakun, programa urmapun chaymanta huñunakuyta wakmanta qallarinayki tiyan. Chayrayku, aswan allin kanman huk willañiqimanta qillqasqata hurquq rikch’anakunata llamk’achiy.

9. Llamkaypa rurunkuna

Interesante rikchakun. Arí, chaykunaqa allin ejemplokunallan. Chay pruebataqa hukniray muestrakunapim purichirqani. Suyasqanchikmanhina, aswan allin contexto kaptinqa, aswan significadoyuq qillqasqam paqarimunqa. Huk hunt’asqa huñu experimental miraykunata kay t’inkikunapi qhawayta atikun:

• generar_muestreo_condicional.sh nisqa
• generar_condicional_codicioso.sh
• generar_incondicional.sh

Preciopaq, yaqa 9 waranqa rublos qullqita quwarqa hukniraq capacidadniyuq servidorkunata alquilanaypaq capacitaciónmanta chaymanta preparaciónmanta generaciónkama. Huk particular decepción karqan mana chay ratochu tukuy imata generayta atisqayki. Ancha unay pacha qallariypaq chaymanta qillqa mana munasqayku hina utqayllachu paqarichimun, servidorpa chanin sapa hora qusqa.
 

¿Imaynatataq YaLM mana 200Gb GPU RAM kaqwan purichiy?

Deepspeed cero offload nisqa config nisqaman yapanayki tiyan. Imamanta rimasqanchikta yachaqkunapaqqa ancha facilmi kanqa chay ruwayqa. Wakinpaqqa manan imapaqpas valeq ruwaychu. Importantemi yachana offload kanman CPU RAM utaq NVMe kaqpi. NVMemanta kunan pacha qunqayta atinki, imaraykuchus. huk ancha hatun willayta ruwasqa kachkan chaymanta disco mana chayta atipayta atinchu. Cero descarga CPU aswan chiqapmi. Chiqa, kaypaq necesitanki 200+ Gb CPU RAM stock kaqpi, chaytaq mana baratochu. Hinaspa huk qillqasqa yaqa 20-40 minutokuna ruwakunqa, manaraq iskay video tarjetakunapi paralelizayta atikusqanrayku. Imaynatachus kay urapi pantalla hap’iypi rikunki, huk video tarjetalla miraypi involucrasqa karqa, chaymanta huk tawa kaq yuyarinallapaq. Qhawarinaraqmi imaraykun llapa 24 GB mana llank’akunchu,
Bueno, conclusión, diré que es posible correr incluso en un RTX 3070 TI. Ichaqa manan kaypiqa kanchu sentido particular, imaraykuchus. NVMe mana saqisunkichu usqhaylla ruwayta 150 GB willayta kay swap kaqpi, mayqinkunachus 96 GB RAM kaqpa apéndice kaqpi kachkanku.

Sumaq rimay

Chiqapmi, hinallam kallpanchakusaq allin lanzamiento ñankunata tarinaypaq. Ichaqa kunankama chayamurqani kay yuyayman YaLM 100b ancha chaninniyuq / ancha llasaq kasqanmanta ruwanaykunapaq. Chay qullqillapaqmi runakunaqa aswan achkata hinaspa aswan allinta qillqanqaku. Ichaqa piensani temporal kasqanmanta, qawasunmi. Sichus yanapakuyta necesitanki qallariypi, yalm churaypi, utaq contexto ejemplokunaykipi ruwasqakunata qhawayta munanki, correo utaq telegrama kaqman qillqay.