Red neuronal YaLM 100B en práctica rehegua.

Junio ​​pahápe, Yandex
oguenohẽ peteĩ red neural orekóva 100.000 millones de parámetros hérava YaLM 100B público-pe . Ha’e pe red neural tuichavéva ojoguáva GPT-pe dominio público-pe. Omombe’u mba’éichapa ombo’e hikuái, ohechauka techapyrã iporãvéva ha mba’épa ikatu ojapo pe neurona. Péro, ¿iporãitereípa práktikape ha ojeaplikakuaa hógape? Pe artículo okirirĩ ko mba’ére, hi’arive, ndaha’éi upéicha ndahasýiva oñemboguata ha ojesareko hag̃ua, oñeikotevẽgui haimete 200 Gb GPU RAM. Ko comentario Habré rehegua
ohechauka hekopetevéva situación
.

Supuestamente, Yandex-pe, opa ko’ãichagua tapicha iñaranduva, ha ni nomoĩri hikuái peteĩ How-to normal. Ndaipóri api peteĩ modelo tuichávape g̃uarã, ndaipóri modelo despojado-down ojejapóva listo térã modelo michĩva tapicha común-pe g̃uarã (Google Colab-pe). Noñemeꞌei techapyrã mbaꞌeichaitépa oñemboguapyvaꞌerã modelo, mbaꞌeichaitépa ojejapokuaa jehaipyre. Ha’e añónte pe artículo ohechauka peteî par de matices umi nerd-pe guarã ha upéva. Suficiente jajesareko porãve mba’éichapa ojapo banco letra “C” reheve ha jajapo upéicha avei. Ahupyty impresión ko modelo ha’eha peteĩnte umi experimento fallido ha’éva peteĩ ñembyasy ñamombo haĝua basura-pe, upévare oñembohasa Open Source-pe ohechauka haĝua mba’e modelo tuichaitépa Yandex omoheñói, ha hi’arive, ha’e código abierto!

Oĩ heta porandu internet-pe mba’éichapa oñemboguata yalm térã jepe oñeha’ã internet-pe, ha katu ndaipóri mbohovái ko mba’épe. Che aime umi usuario apytépe ojapova’ekue ko’ã porandu. Ha eñepyrũ okalkula upéva. Añetehápe aikotevẽ guive peteĩ tape agenera hag̃ua umi texto umi robot financiero-pe g̃uarã. Ikatu haguã opredici ndaha’éi valor-kuéra añónte, sino avei ocomenta hikuái texto-pe, oñemopyendáva informe financiero-pe. En esencia, ha’éta peteîcha umi analista financiero ojapóva, ojeporúvo inteligencia artificial añoite. Oĩ mokõi tape oñemboguata hag̃ua yalm.
Ealkila peteĩ servidor arai’ípe200+ Gb GPU RAM reheve térã emoambue kódigo ha emonguꞌe deepspeed cero descarga reheve (GPU oprocesa jave secuencialmente peteĩ parte red neural rehegua, ha hembýva oñeñongatu CPU RAM térã NVMe-pe). Peteĩha hepyeterei, amo 2500 rublo por hora térã 1,7 millones por mes. Mokõiha ndojekuaáiva, porque noñeme’ẽi pe código oĩva tendañongatuhápe,
insinuaciones añoite pe mba’e’oka ñeguenohẽme, ndahasýiva ojejapo hag̃ua. Ñañepyrũ simplemente.

YaLM 100B Ñepyrũrã Ñemboguatarã

1. Roalkila 200 GB GPU RAM, techapyrãramo ko’ápe .

Tekotevẽ 200 GB jepe memoria vídeo total rehegua. 8×40 = 320 GB rehegua. Kóva añoite oike. Sa’ive 200-gui ndaikatúi, hetave ikatu. Pe flecha ohechauka CPU RAM, ndajajesarekói hese. Ha’e ikatu ha’e oimeraẽva.

Rohechauka peteĩ disco 300 GB rupi, ikatu hag̃uáicha peteĩ repuesto reheve ha iporãvéva peteĩ disco pyaꞌe, pórke. umi gigabyte dato oñembohasáta chugui ha upégui.

Ojejapo jave fuente-kuérape, eiporavo Ubuntu ML (Aprendizaje de máquinas). Péva obligatorio ikatu haguã umi tarjeta de vídeo oñeconfigura ha mba’eve natekotevêi oñeinstalá adicionalmente.

Ojejapo jave peteĩ servidor, oĩ matices orekóva cupo, ikatu rehupyty temiandu pe tembipuru ndojeguerekóiha, ha katu añetehápe tekotevẽnte rembohetave umi cupo umi ñembohekorãme. Oñemboguata rire servidor (ikatu ohasa 5-10 minuto), embojoaju servidor ndive ssh rupive térã directamente consola web-pe servidor página-pe ha ejapo tembiapoukapy.

nvidia-pe guarã

Ko resultado ha’eva’erã peteî mesa orekóva tarjeta de vídeo, versión conductor ha cuda. Haimete péicha.
Pe conductor versión iñakãme ha moõpa. Ijasu gotyo oĩ tembipuru papapy, mbytépe oĩ tembipuru manduꞌaryru tuichakue. Ndereguerekóiramo ko marandu, upéicharamo rembyatyma pe servidor fuente vaietégui. Oñeikotevẽ Ubuntu ML (Machine Learnong), oje’eháicha yvateve.

2. Jajapo clona pe tendañongatuha YaLM rupive

sudo clon git https://github.com/yandex/YaLM-100B/ yalm
cd yalm rehegua

Emoĩ clona nde kundaha rógape ani hag̃ua remohenda docker config upe rire. Oñeclona ramo ambue hendápe, upéicharõ
tereho ko’ápe ha emoĩ tape oñeclonahápe.

3. Ojegueru umi punto de control (marandu capacitación modelo básico rehegua) .

sudo chmod +x ./emboguejy/emboguejy.sh
sudo bash ./emboguejy/emboguejy.sh

Péicha ojejapóta peteĩ órarupi. Ani hag̃ua ñamombo tiempo rei, jajapo peteĩ joaju ssh pyahu ha paralelo-pe ñañepyrũ ñamopuꞌa peteĩ docker mbaꞌeryru.

4. Emoĩ nvidia – docker 2

Docker normal naiporãi,
oñeikotevẽ nvidia-docker2 .
https://docs.nvidia.com/datacenter/cloud-native/mba’e’oka-mba’e’oka/ñemoĩ-guía.html#mboguapy-nvidia-mba’e’oka-tembipuru’i

5. Oñemopu’ã peteĩ mba’yru YaLM-pe g̃uarã

cd yalm
sudo chmod +x ./docker/*
sudo bash rehegua ./docker/build.sh

Avei ha’e peteĩ aravo’i rupi.

Tekove hack. Ikatu emboguejy umi punto de control, emoĩ docker ha emopu’ã peteĩ mba’yru peteĩ servidor ndahepýivape peteĩ tarjeta vídeo reheve. Haʼetéta avei tiémpo rire, upévare ikatu reñongatu michĩmi. Ñañembyaty rire peteĩ servidor ndahepýivape, ñambogue, ha jajapo peteĩ servidor ñorairõ rehegua jaipurúvo peteĩ disco peteĩ servidor ndahepýivagui. Upéi ndapepagamoʼãi hetaiterei pe tiémpo pehaʼarõ haguére pe asambléa ha pembopu hag̃ua umi punto de control.

6. Ombosako’i contenido

6.1 Umi punto de comprobación rehegua

Opa rire umi punto de control ñemboguejy, tekotevẽ remoinge umi config-pe. Oĩ mokõi tape, parámetro correcto térã punto de control de transferencia. Oparupiete oñeha’arõ umi punto de comprobación oĩtaha directorio principal proyecto-pe, peteĩteĩ, pe oñemboguejyva’ekue oñembohasava’erã carpeta descarga yvateguágui. Oĩvo carpeta yalm-pe ejecutar

mv ./descarga/yalm100b_chequeo ./ Ñe’ẽpoty ha purahéi .

Térã emoambue tape umi vore oĩva vore techapyrãme
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 Tarjeta de vídeo rehegua

Jahecha umi tarjeta de vídeo oñemohenda porãpa. Oiméramo reguereko ocho tarjeta de vídeo, upéicharõ natekotevẽi rekambia mbaʼeve. Pe papapy iñambuéramo, upéicharamo ñamoambue koꞌã línea
Mokõiha línea-pe, umi tembipuru ojeporúva papapy (ikatu ojesareko hesekuéra nvidia-smi-pe, remoñepyrũmava). Irundyhápe, ipapapy.

7. Emongu’e pe mba’yru docker rehegua

Oĩvo yalm ryru’ípe, ejapo pe tembiapoukapy

sudo bash ./docker/run.sh rehegua

Opa mba’e oĩ porãramo, upéicharamo ojegueraháta peteĩ mba’yrúpe tekotevẽhápe reho yalm kundahárape nde róga ryru’ípe.

cd ~/yalm rehegua

8. Emombaꞌapo techapyrã YaLM 100B-gui

Roime listo romoñepyrũ haĝua peteĩva umi techapyrã. Oñemombe’u umíva
ko’ápe .

chmod +x ./techapyrã/omoheñói_interactivo.sh
./techapyrã/omoheñói_interactivo.sh

Eime paciencia, opyta oha’ãrõ ambue 10-15 minutos ojejapo peve modelo GPT ha ojekarga umi peso oúva umi punto de control-gui.

Oñemohuꞌa vove ñemopuꞌa, MegatronML ojeruréta ndéve reike hag̃ua peteĩ ñeꞌeryru emoheñói hag̃ua jehaipyre. Eñatendékena reskrivi jave. Oĩ jave, oiko peteĩ jejavy, pe programa oñembotapykue ha tekotevẽ reñepyrũ jey pe asamblea. Upévare iporãve jaipuru techapyrã oipeꞌava jehaipyre peteĩ voregui.

9. Tembiapo osêva

Ojehecha interesante. Añetehápe, koʼãva ningo ehémplo porãnte. Ajapo pe prueba diferentes muestras rehe. Oñeha’arõháicha, iporãvévo contexto, oñegeneráta texto orekóva sentido. Pe conjunto completo generaciones experimentales rehegua ikatu ojehecha umi enlace-pe:

• omoheñói_muestreo_condicional.sh
• omoheñói_codicioso_condicional.sh
• omoheñói_incondicional.sh

Pe precio-pe ĝuarã, ocostea chéve 9 mil rublo rupi aalkila haĝua umi servidor de diferentes capacidades entrenamiento guive ha preparación guive generación peve. Peteĩ decepción particular ha’eva’ekue ndaikatuiha pegenera instantáneamente opa mba’e. Oñeikotevẽ heta tiempo oñepyrũ hag̃ua ha pe jehaipyre ndogenerái pyaꞌete jaipotaháicha, oñemeꞌevo pe servidor repykue peteĩ aravópe.
 

Mba’éichapa ikatu ojeporu YaLM 200Gb GPU RAM’ỹre?

Tekotevẽ emoĩ deepspeed cero descarga config-pe. Umi oikuaávape g̃uarã mbaʼérehepa ñañeʼẽ, ndahasyiete vaʼerãmoʼã jajapo hag̃ua. Ambuekuérape ĝuarã, kóva ndaha’éi mba’eveichavérõ peteĩ tembiapo trivial. Iñimportánte jaikuaa descarga ikatuha oĩ CPU RAM térã NVMe-pe. Ikatu nderesarái NVMe-gui ko’áĝaite, porque. hetaiterei dato oñemboguata hína ha pe disco ndaikatúi ombohovái. CPU descarga cero ha’e añeteguavéva. Añetehápe, upévarã tekotevẽ reguereko 200+ Gb CPU RAM en stock, ha’éva avei ndaha’éiva barato. Ha peteĩ jehaipyre oñegeneráta 20-40 minuto rupi, ndaikatúigui gueteri oñeparalelisa mokõi tarjeta de vídeo-pe. Jahechaháicha pantalla iguýpe, peteĩ tarjeta de vídeo añoite oikevaꞌekue generación-pe, ha upéi peteĩ cuarto memoria-pe g̃uarãnte. Ojehecháta gueteri mba’érepa ndojeporúi opaite 24 GB,
Bueno, amohu’ãvo, ha’éta ikatuha oñemboguata peteĩ RTX 3070 TI-pe jepe. Pero ndaipóri sentido particular ko’ã mba’épe, porque. NVMe ndohejamoꞌãi ndéve remboguata pyaꞌe hag̃ua 150 GB datokuéra swap-pe, oĩva 96 GB RAM apéndice-pe.

Oñembojoapývo

Añetehápe, añeha’ãta gueteri ajuhu umi tape lanzamiento óptimo. Ha katu ko’áĝa peve aĝuahẽma peteĩ ñe’ẽme YaLM 100b hepyetereiha / mbeguetereiha che rembiaporãme g̃uarã. Peteĩchagua viru rehe, tapichakuéra ohaíta heta hetave ha heta iporãvéta. Ha katu che aimo’ã ha’eha temporal, jahecháta. Reikotevẽramo pytyvõ emoñepyrũ hag̃ua, emohenda hag̃ua yalm térã rehechaséramo umi mba’ekuaarã nde contexto techapyrãme, ehai correo térã telegrama-pe.