Red neuronal YaLM 100B ukax mä lurawiwa.

Junio ​​phaxs tukuyarux Yandex
ukax mä red neuronal ukaw 100 waranqa waranqa parámetros ukan YaLM 100B ukham uñt’ayat jaqinakar uñt’ayawayi . Ukax dominio público ukanx GPT ukar uñtasit jach’a red neuronal ukawa. Ukanx kunjams yatichapxäna, suma uñacht’äwinak uñacht’ayapxäna ukat kunanaks neuronax lurañ yati ukxatw arsu. Ukampis ¿ukax ukham aski lurañanakansa ukat utan apnaqañas wakisispati? Aka qillqatax amukiw uka tuqitxa, juk’ampirus, janiw ukhamakiti t’ijt’añax ukat uñakipañax, kunatix niya 200 Gb GPU RAM ukax wakisiwa. Habré
tuqit aka arsuwix kunatix utjki ukx juk’amp chiqaparuw uñacht’ayi
.

Ukhamatwa, Yandex markanx taqi ukham ch’ikhi jaqinakaw utji, ukatx janiw mä normal How-to ukx uñt’ayapkiti. Mä jach’a modelotakix janiw api ukax utjkiti, janiw wakicht’at medio despojado jan ukax jisk’a modelo común jaqinakatakix utjkiti (Google Colab ukan). Janiw mä uñacht’äwix kunjams modelo ukar utt’ayañax, kunjams qillqat uñstayañax uka tuqitx uñacht’ayatäkiti. Ukax mäkiw uka qillqatax mä qawqha matices nerds ukanakatak uñacht’ayi ukat ukax ukhamawa. Kunjams bancox “C” qillqamp lurawayi uk sum uñakipañax wakisiwa ukat pachpa lurañaw wakisi. Nayax amuyt’awayta aka modelo ukax mä experimento fracasado ukhamakiw ukax mä llakiw basurar jaquntañaxa, ukhamax Open Source ukan uñt’ayatawa kuna jach’a modelos Yandex ukan luraski uk uñacht’ayañataki, ukat juk’ampirus, código abierto ukawa!

Internet uksanx walja jiskt’awinakaw utji kunjamas yalm apnaqañax jan ukax internet tuqin yant’añaxa, ukampis janiw uka tuqitx jaysäwinakax utjkiti. Nayax uka jiskt’äwinak jiskt’ir apnaqirinaka taypinkäyätwa. Ukat uka tuqit amuytʼañwa qalltawaytanxa. Kunjamakitix nayax chiqpachan mä thakhiw munasïna textos generar para robots financieros. Ukhamat jupanakax janiw valores ukak yatiyapxañapataki, jan ukasti qillqatanx uka tuqitw arsusipxañapa, qullqi tuqit yatiyawinakarjama. Chiqansa, kunjamatix qullqi tuqit yatxatirinakax lurapki ukhamarakiw lurasini, ukax inteligencia artificial uka apnaqañampikiw lurasini. Yalm t’ijt’añatakix pä thakhiw utji.
Mä servidor ukax cloud ukan alquilatawa200+ Gb GPU RAM ukampi jan ukax código ukar mayjt’ayaña ukat deepspeed cero offload ukamp apnaqaña (kunawsatix GPU ukax secuencialmente red neural ukan chiqap luraski, ukat qhipharux CPU RAM jan ukax NVMe ukan imatäxi). Nayrïrix wali jila chaniniwa, niya 2500 rublos sapa hora jan ukax 1,7 millones phaxsit. Payïr jan uñt’ata, kunatix uka imañ utanx código ukax janiw churatäkiti, ukax imañ utan jan
walt’äwipanx iwxt’anakakiwa , ukax janiw ch’amäkiti lurañax. Jan chʼamäki uka qalltañäni.

YaLM 100B Uñstayaña Yatichawi

1. Jiwasax 200 GB GPU RAM alquilapxtanwa, sañäni akan .

Ukax 200 GB taqpach video memoria ukaniwa. 8×40 = 320 GB ukhamawa. Aka maynikiw walikïspa. 200 ukhat juk’ampix janiw lurañjamakiti, juk’ampirus lurasispawa. Flecha ukax CPU RAM uñacht’ayi, janiw uñakipt’ktanti. Jupajj khitis ukhamäspawa.

Jiwasax mä disco niya 300 GB uñacht’ayaraktanwa, ukhamat mä repuesto ukampi ukat juk’ampirus mä disco rápido ukampi, kunatix. tunka gigabytes uka yatiyawinakaw ukat ukat kutt’ayatarakini.

Kunawsatix phunchhawinakan lurasktan ukhax Ubuntu ML (Machine Learning) uk ajlliñamawa. Ukax obligatorio ukhamat tarjetas de vídeo ukanakax configurados ukhamarak janiw kunas yaqhax instalañax wakiskiti.

Kunawsatix mä servidor lurasktan ukhax cupos ukanakamp matices ukanakaw utji, inas uka equipos ukanakax jan utjkiti sasin amuyañax utjchispa, ukampis chiqans cuotas ukanakax configuración ukan jilxatayañakiw wakisi. Servidor ukax activatäxi uka qhipatxa (5-10 minutos ukjaw munasispa), ssh tuqiw servidor ukarux conectar jan ukax directamente consola web ukaruw servidor ukan página ukanx conectar ukat kamachir phuqhañamawa.

nvidia-smi ukat juk’ampinaka

Ukax mä mesa tarjetas de vídeo, versión de conductor ukat cuda ukanakampiw utjañapa. Niya ukhama.
Uka conductor versión p’iqinchawi ukat kawkhans. Ch’iqa tuqinxa dispositivo jakhunakawa, chika taypinxa dispositivo memoria jach’a uñtatawa. Uka yatiyawixa janiwa utjkiti, ukhamarusa servidor ukaxa jan wali phuqhata apthapitawa. Ubuntu ML (Machine Learnong) ukax wakisiwa, kunjamatix nayraqat qhanañchawayktan ukhama.

2. YaLM ukampi imañ uta clonar luraña

sudo git clone https://github.com/yandex/YaLM-100B/ ukax mä jach’a uñacht’äwiwa, ukax
mä jach’a uñacht’äwiwa

Uta carpeta ukar clon luraña ukhamat jan docker config uka qhipatx editar lurañax wakiskiti. Yaqha chiqan clonado ukhax
aka chiqar sarañamawa ukat kawkhantix clonado ukar thakhi yapxatañamawa.

3. Puntos de control ukanaka apsuña (información básica de capacitación modelo) .

sudo chmod +x ./apaqaña/apaqaña.sh
sudo bash ./apaqaña/apaqaña.sh

Ukatakejj niya mä horaw munasini. Jan inamay pacha ina ch’usar apt’añatakix mä machaq ssh conexión lurapxta ukatx paralelo ukanx mä docker contenedor lurañ qalltapxta.

4. nvidia – docker ukar uñt’ayaña 2

Normal docker ukax janiw askïkiti,
nvidia-docker2 ukax wakisiwa .
https://docs.nvidia.com/datacenter/cloud-native/contenedor-herramientas/guía-instalar.html#nvidia-contenedor-herramientas-uñacht’ayaña

5. YaLM ukatakix mä contenedor luraña

cd yalm
sudo chmod +x ./docker/* ukat juk’ampinaka./
docker/build.sh

Ukhamaraki niya mä horawa.

Jakawi hacke. Puntos de control ukar apkatañamawa, docker ukar uñstayañamawa ukat mä contenedor ukar mä barato servidor ukan mä tarjeta de vídeo ukamp lurañamawa. Tiempompejj pachpakïskaniwa, ukhamajj mä jukʼa qollqe apthapisma. Mä barato servidor ukan tantacht’asiñ tukuyasax chhaqtayapxtanwa, ukatx mä servidor de combate lurapxta mä disco apnaqasa mä barato servidor ukan. Ukatxa janiw jachʼa tantachäwi suytʼañatakisa ukat punto de control ukanakar bombeañatakisa tiempox jukʼamp pagapkätati.

6. Contenido wakichaña

6.1 Uñakipañataki chiqanaka

Puntos de control ukan descargar tukuyatatxa, ukax configs ukar liwxatañaw wakisi. Pä thakhiw utji, parámetros correctos jan ukax puntos de control de transferencia. Taqi chiqanwa suyt’ata uka puntunakaxa utjañapawa directorio principal del proyecto ukanxa, sapa mayniru, kunatixa apsutäki ukaxa apayañapawa carpeta de descarga ukatxa pata tuqina. Ukax yalm carpeta ejecutar ukankiwa

mv ./download/yalm100b_uñakipañ chiqa ./ .

Jan ukax uñacht’äwi qillqatanakan thakhinak mayjt’ayaña
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 Video tarjetanaka uñacht’ayaña

Jiwasax video tarjetanakax chiqapar uñt’atäpachati janicha uk uñjapxta. Llatunk video tarjetanakanïsta ukhaxa, janiw kunas mayjtʼayañax wakiskiti. Uka jakhüwix mayj mayjawa, ukatx aka chimpunak mayjt’ayapxtan
Payïr chimpunx, apnaqat dispositivonakan jakhüwinakapa (nvidia-smi ukan uñakipt’apxasmawa, ukax nayraqatw uñstayapxtaxa). Pusïrinxa, jupanakan jakhüwipa.

7. Docker ukaxa mä contenedor satawa

Yalm carpeta ukankasaxa, kamachi phuqhaña

sudo bash ./docker/run.sh ukat juk’ampinaka

Taqi kunas walikïskchi ukhaxa, mä contenedor ukar apayatäniwa, ukanx yalm carpeta ukar sarañaw wakisi, ukax directorio de casa ukankiwa.

cd ~/yalm ukat juk’ampinaka

8. YaLM 100B ukan uñacht’äwip apnaqaña

Jiwasax mä uñacht’äw uñstayañatakix wakicht’atätanwa. Ukanakax
aka chiqan qhanañchatawa .

chmod +x ./uñacht’awinaka/generar_interactivo.sh
./uñacht’awinaka/generar_interactivo.sh

Paciencianïñamawa, yaqha 10-15 minutos suyt’añaw qhiparaski, modelo GPT ukax lurasiñapataki ukat puntos de control ukanakat pesos ukanakax cargañapataki.

Kunawsatix lurawix tukuyxani ukhax MegatronML ukax mä contexto ukar qillqt’añatak mantañapatakiw mayi. Kunapachatï qillqtʼaskta ukhaxa, wali amuyumpiw sarnaqañama. Yaqhip pachax mä pantjasiw utji, programax ch’allt’asi ukat wasitat asamblea qalltañax wakisi. Ukatwa, mä qillqatat qillqat apsur uñacht’äwinakamp apnaqañax juk’amp askixa.

9. Irnaqawi phuqhawi

Ukax wali askiwa. Cheqas ukanakajj mä suma uñachtʼäwikiwa. Nayax kunayman muestras ukanakanw yant’äw t’ijtawayta. Kunjamtï suyktanxa, jukʼamp suma contextoxa, jukʼamp amuyuni qillqataw uñstani. Uka phuqhat conjunto de generaciones experimentales ukax enlaces ukanw uñjasispa:

• generar_condicional_muestreo.sh ukax mä jach’a uñacht’äwiwa
• generar_condicional_codicioso.sh ukat juk’ampinaka
• generar_incondicional.sh ukax mä jach’a uñacht’äwiwa

Uka qullqitakix niya 9 waranqa rublos ukjaw servidores de diferentes capacidades ukanakar alquilañatakix qullqix churawayitu, yatichäwit ukhamarak wakicht’äwit generación ukar puriñkama. Mä particular decepción ukax janiw mä ratuk taqi kuns generañjamäkiti. Qalltañatakix wali jaya pachaw munasispa ukatx qillqatax janiw kunjamtix munktan ukhamarjam jank’ak generakiti, servidor ukan qullqip mä horar uñjasa.
 

Kunjamas YaLM ukax jan 200Gb GPU RAM ukampi apnaqasispa?

Ukax deepspeed cero offload ukampiw config ukar yapxatañama. Khitinakatix kuntï parlktan uk yatipki ukanakatakixa, lurañax wali chʼamäxaniwa. Yaqhepatakejj ukajj janiw mä jiskʼa luräwikïkiti. Wali askiw yatiñax offload ukax CPU RAM jan ukax NVMe ukan utjaspawa. Jichha pachanx NVMe ukanx armasismawa, kunatix. mä wali jach’a yatiyawiwa lurasiski ukatxa disco ukaxa janiwa atipjañjamakiti. Cero descarga CPU ukax juk’amp chiqapawa. Chiqpachansa, ukatakix 200+ Gb CPU RAM ukax utjañapawa, ukax ukhamarakiw janiw jila qullqikiti. Ukat mä qillqatax niya 20-40 minutonakaw lurasini, kunattix janiw pä tarjeta de vídeo ukan paralelizañax utjkiti. Kunjamtï aka pantallan uñjktanxa, mä tarjeta de vídeo ukakiw generación ukanx chikañchasïna, ukatx mä cuarto de memoria ukakiw utjäna. Kunatsa taqpach 24 GB ukax jan apnaqatäki ukax uñjañaw wakisi,
Suma, tukuyañatakix nayax sañ muntwa, mä RTX 3070 TI ukampis t’ijt’añax wakisispawa. Ukampis janiw kuna sentido particular ukax utjkiti aka tuqinxa, kunatix. NVMe ukax janiw jank’ak 150 GB datos ukanak swap ukan lurañ jaytkaniti, ukax 96 GB RAM ukan apéndice ukankiwa.

Suma qhanañcht’aña

Chiqansa, nayax wali ch’amampiw lanzamiento thakhinak jikxatañatak ch’amachasiskä. Ukampis jichhakamax mä amtaruw puriwayta YaLM 100b ukax wali jila chaniniwa / wali llamp’u lurawinakajataki. Pachpa qullqitakix jaqinakax juk’amp juk’amp juk’amp suma qillqt’apxani. Ukampis nayax amuyta, mä juk’a pachatakikiwa, uñjañäni. Jumatix lanzamiento, yalm ukar utt’ayañ yanapt’a munsta, jan ukax contexto uñacht’äwinakaman resultadonak uñjañ munsta ukhax correo jan ukax telegrama ukar qillqt’am.