ЯЛМ 100Б нейрон челтәре.

Июнь ахырында Яндекс
халыкка YaLM 100B дип аталган 100 миллиард параметрлы нейрон челтәр чыгарды . Бу җәмәгать доменындагы иң зур GPT охшаган нейрон челтәр. Анда ничек укытулары, иң яхшы мисаллар күрсәтүе һәм нейронның нәрсәгә сәләтле булуы турында әйтелә. Ләкин практикада бик яхшы һәм өйдә кулланырлыкмы? Мәкалә бу турыда эндәшми, өстәвенә, аны эшкәртү һәм тикшерү бик җиңел түгел, чөнки якынча 200 Гб GPU RAM кирәк. Габре турындагы
бу аңлатма вәзгыятьне төгәл итеп күрсәтә
.

Гадәттә, Яндекста, шундый акыллы кешеләр, һәм алар хәтта гадәти How-to урнаштырмыйлар. Зур модель өчен апи юк, гади кешеләр өчен әзер урта яки кечкенә модель юк (Google Colab’та). Модельне ничек урнаштырырга, текстны ничек ясарга икәнлегенә бернинди мисал китерелмәгән. Бу мәкалә нервлар өчен берничә нюансны күрсәтә һәм нәкъ шулай. Банкның “С” хәрефе белән ничек эшләгәнен җентекләп карау һәм шул ук эшне башкару җитә. Минем уйлавымча, бу модель уңышсыз экспериментларның берсе, чүпкә ташлау бик кызганыч, шуңа күрә Яндексның нинди зур модельләр тудырганын күрсәтү өчен, ул ачык чыганакта урнаштырылган, өстәвенә, ул ачык чыганак!

Интернетта ялмны ничек эшләргә, хәтта он-лайн сынап карарга бик күп сораулар бар, ләкин моңа җавап юк. Мин бу сораулар биргән кулланучылар арасында идем. Itәм моны аңларга керешегез. Миңа финанс роботлар өчен текстлар ясау ысулы кирәк иде. Алар кыйммәтләрне генә алдан әйтә алмыйлар, шулай ук ​​финанс докладларына нигезләнеп текстта аңлатма бирәләр. Асылда, ул ясалма интеллект ярдәмендә генә финанс аналитиклары эшләгән кебек булачак. Ялмны эшләтеп җибәрүнең ике ысулы бар.
Болытта серверны арендага алыгыз200+ Gb GPU RAM белән яки кодны үзгәртегез һәм тирән тизлектәге нуль йөкләнеше белән эшләгез (GPU нейрон челтәрнең бер өлешен эзлекле эшкәрткәндә, калганнары үзәк эшкәрткеч җайланма RAM яки NVMeда саклана). Беренчесе бик кыйммәт, сәгатенә якынча 2500 сум яки айга 1,7 миллион. Икенчесе билгесез, чөнки резервуардагы код бирелмәгән, бары тик
репозитария проблемаларын күрсәтә , моны эшләү кыен түгел. Гади башлыйк.

YaLM 100B җибәрү инструкцияләре

1. Без 200 ГБ GPU RAM арендага алабыз, мәсәлән монда .

Сезгә ким дигәндә 200 ГБ видео хәтер кирәк. 8х40 = 320 ГБ. Бу гына туры килә. 200-дән дә ким түгел, күбрәк мөмкин. Ук үзәк эшкәрткеч җайланманың RAMын күрсәтә, без аңа карамыйбыз. Ул теләсә кем була ала.

Без якынча 300 ГБ дискны күрсәтәбез, шулай итеп запас һәм яхшырак тиз диск белән, чөнки. дистәләрчә гигабайт мәгълүмат аннан күчереләчәк.

Чыганакларда ясаганда, Ubuntu ML (Machine Learning) сайлагыз. Бу мәҗбүри, шуңа күрә видео карталар конфигурацияләнде һәм өстәмә бернәрсә дә урнаштырырга кирәк түгел.

Сервер ясаганда квоталар белән нюанслар бар, сез җиһазлар юк кебек тоелырга мөмкин, ләкин чынлыкта сезгә квоталарны көйләүдә арттырырга кирәк. Сервер активлашканнан соң (5-10 минут кирәк булырга мөмкин), ssh аша яки сервер битендәге веб-консолга серверга тоташыгыз һәм боерыкны үтәгез.

nvidia-smi

Нәтиҗә видео карталар, драйвер версиясе һәм cuda булган таблица булырга тиеш. Якынча шулай.
Драйвер версиясе башында һәм кайда. Сул ягында җайланма номерлары, үзәктә җайланма хәтере зурлыгы бар. Әгәр дә сездә бу мәгълүмат булмаса, сез серверны дөрес булмаган чыганактан җыйдыгыз. Aboveгарыда әйтелгәнчә, Ubuntu ML (Machine Learnong) кирәк.

2. Резервуарны YaLM белән клонлагыз

sudo git clone https://github.com/yandex/YaLM-100B/ yalm
cd yalm

Өй папкасына клон, шуннан соң докер конфигурациясен үзгәртергә кирәк түгел. Башка урында клонланган булса,
монда барып , клонланган урынга юл өстәгез.

3. Тикшерү пунктларын йөкләү (төп модель укыту турында мәгълүмат)

sudo chmod + x ./download/download.sh
sudo bash ./download/download.sh

Бу бер сәгать чамасы вакыт алачак. Вакытны бушка әрәм итмәс өчен, без яңа ssh тоташуы ясыйбыз һәм параллель рәвештә докер контейнеры төзи башлыйбыз.

4. nvidia урнаштырыгыз – докер 2

Нормаль докер яраксыз,
nvidia-docker2 кирәк .
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#setting-up-nvidia-container-toolkit

5. YaLM өчен контейнер төзү

cd yalm
sudo chmod + x ./docker/*
sudo bash ./docker/build.sh

Бу шулай ук ​​бер сәгать чамасы.

Тормыш. Сез тикшерү пунктларын йөкли аласыз, докер урнаштыра аласыз һәм бер видео карточка белән арзан серверда контейнер төзи аласыз. Вакытында бер үк булыр, шуңа күрә бераз саклап кала аласыз. Арзан серверда җыелганнан соң, без аны бетерәбез, һәм арзан сервердан диск кулланып сугыш серверы ясыйбыз. Аннары сез монтажны көтү һәм тикшерү пунктларын чыгару өчен вакытны артык түләмәячәксез.

6. Эчтәлек әзерләгез

6.1

Тикшерү пунктларын йөкләү беткәч, аларны конфигурацияләргә кертергә кирәк. Ике юл бар, параметрларны дөрес яки күчерү пунктларын. Checkәрбер җирдә тикшерү пунктлары проектның төп каталогында булыр дип көтелә, йөкләнгәннәр өстә йөкләү папкасыннан күчерелергә тиеш. Ялм папкасында булу

mv ./download/yalm100b_checkpoint ./

Яисә үрнәк файллардагы юлларны үзгәртегез
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 Видеокарталар

Видео карталарның дөрес куелганын тикшерәбез. Сездә сигез видео карточка булса, бернәрсә дә үзгәртелергә тиеш түгел. Әгәр дә сан башка булса, без бу юлларны үзгәртәбез
Икенче юлда кулланылган җайланмалар саны (сез аларны эшләтеп җибәргән nvidia-smi’та карый аласыз). Дүртенчедә, аларның саны.

7. Докер контейнерын эшләгез

Ялм папкасында булу, боерыкны үтәү

sudo bash ./docker/run.sh

Барысы да әйбәт булса, сезне контейнерга алып китәләр, анда сез үзегезнең каталогтагы ялм папкасына керергә тиеш.

cd ~ / yalm

8. YaLM 100B мисалын эшләгез

Без мисалларның берсен җибәрергә әзер. Алар
монда тасвирланган .

chmod + x ./examples/generate_interactive.sh
./examples/generate_interactive.sh

Сабыр бул, GPT моделе барлыкка килгәнче һәм тикшерү пунктларыннан авырлыклар йөкләнгәнче тагын 10-15 минут көтәргә кирәк.

Төзелеш беткәч, MegatronML сезгә текст ясау өчен контекст кертергә кушачак. Сез язганда сак булыгыз. Аерым шартларда хата килеп чыга, программа җимерелә һәм сезгә яңадан җыюны башларга кирәк. Шуңа күрә файлдан текст алган мисалларны куллану яхшырак.

9. Эш нәтиҗәләре

Кызык. Әлбәттә, бу яхшы мисаллар гына. Тестны төрле үрнәкләрдә үткәрдем. Көтелгәнчә, контекст яхшырак булса, мәгънәле текст барлыкка киләчәк. Эксперименталь буыннарның тулы җыелмасын сылтамаларда карарга мөмкин:

• generate_conditional_sampling.sh
• generate_conditional_greedy.sh
• generate_unconditional.sh

Бәясе өчен, тренингтан алып буынга кадәр төрле сыйдырышлы серверларны арендага алу миңа 9 мең сумга төште. Аерым өметсезлек, сез барысын да тиз арада булдыра алмыйсыз. Башлау өчен бик озак вакыт кирәк һәм текст без теләгәнчә тиз ясалмый, серверның сәгатенә бәяне исәпкә алып.
 

200Gb GPU RAMсыз YaLMны ничек эшләргә?

Сезгә конфигурациягә тирән тизлек белән нуль йөкләргә кирәк. Безнең нәрсә турында сөйләшкәнебезне белүчеләр өчен моны эшләү бик җиңел булачак. Башкалар өчен бу бөтенләй кечкенә эш түгел. Йөкләү үзәк эшкәрткеч җайланманың RAM яки NVMe булырга мөмкинлеген белү мөһим. Сез хәзерге вакытта NVMe турында онытырга мөмкин, чөнки. бик зур күләмдә мәгълүмат эшкәртелә һәм диск аның белән түзә алмый. CPUзәк эшкәрткеч җайланма реаль. Дөрес, моның өчен 200+ Gb үзәк эшкәрткеч җайланма RAM булырга тиеш, бу да арзан түгел. Oneәм бер текст якынча 20-40 минут дәвамында ясалачак, чөнки аны ике видео карточкада параллельләштерү мөмкин булмаган. Түбәндәге скриншоттан күргәнегезчә, буында бер видео карточка гына катнашкан, аннары хәтернең дүрттән бер өлеше генә. Ни өчен 24 ГБ кулланылмый, моны күрергә кирәк,
Ахырда, мин әйтәм, хәтта бер RTX 3070 TI белән дә эшләп була. Ләкин монда бернинди мәгънә дә юк, чөнки. NVMe сезгә свопта 150 ГБ мәгълүматны тиз эшкәртергә рөхсәт итмәячәк, алар 96 ГБ RAM кушымтасында.

Йомгаклау

Әлбәттә, мин оптималь җибәрү юлларын табарга тырышырмын. Ләкин әлегә мин YaLM 100b бик кыйммәт / биремнәр өчен бик әкрен дигән нәтиҗәгә килдем. Шул ук акча өчен кешеләр күпкә яхшырак язачаклар. Ләкин бу вакытлыча, без күрербез дип уйлыйм. Ялм җибәрү, көйләүдә ярдәм кирәк булса, яки контекст мисалларында нәтиҗәләрне күрәсегез килсә, почтага яки телеграммага языгыз.