نېرۋا تورى YaLM 100B ئەمەلىيەتتە.

6-ئاينىڭ ئاخىرىدا ، Yandex
ئاممىغا YaLM 100B دەپ ئاتىلىدىغان 100 مىليارد پارامېتىرلىق نېرۋا تورىنى ئېلان قىلدى . ئۇ ئاممىۋى ساھەدىكى ئەڭ چوڭ GPT غا ئوخشاش نېرۋا تورى. ئۇلارنىڭ قانداق ئۆگەتكەنلىكى ، ئەڭ ياخشى مىساللارنى كۆرسىتىپ بەرگەنلىكى ۋە نېرۋا ھۈجەيرىسىنىڭ نېمە قىلالايدىغانلىقى سۆزلىنىدۇ. ئەمما ئەمەلىيەتتىمۇ شۇنداق ياخشى ، ئۆيدە قوللىنامدۇ؟ ماقالە بۇ توغرىلىق جىمجىت ، ئۇنىڭدىن باشقا ، ئۇنى ئىجرا قىلىش ۋە تەكشۈرۈش ئۇنچە ئاسان ئەمەس ، چۈنكى تەخمىنەن 200 Gb لىق GPU ئىچكى ساقلىغۇچ تەلەپ قىلىنىدۇ. خابرېغا بېرىلگەن
بۇ باھا ۋەزىيەتنى ئەڭ توغرا ئاشكارىلىدى
.

ئېيتىشلارغا قارىغاندا ، Yandex دە ، بۇنداق ئەقىللىق كىشىلەرنىڭ ھەممىسى ، ھەتتا نورمال How-to نىمۇ يوللىمىغان. چوڭ تىپتىكى مودېلنىڭ ئاپىسى يوق ، ئادەتتىكى كىشىلەر ئۈچۈن تەييارلانغان تارتىلغان ئوتتۇرا ياكى كىچىك مودېل يوق (Google Colab دا). مودېلنى قانداق تەڭشەش ، تېكىستنى قانداق ھاسىل قىلىش توغرىسىدا مىسال يوق. بۇ ماقالىدە ساراڭلار ئۈچۈن بىر قانچە ئىنچىكە نۇقتىلار كۆرسىتىلگەنلىكى خالاس. بانكىنىڭ «C» ھەرىپى بىلەن قانداق قىلغانلىقىنى تەپسىلىي كۆزىتىپ ، ئوخشاش قىلىش يېتەرلىك. مەن بۇ مودېلنىڭ ئەخلەت ساندۇقىغا تاشلاش تولىمۇ ئېچىنىشلىق سىناقلارنىڭ بىرى ئىكەنلىكىدەك تەسىراتقا ئېرىشتىم ، شۇڭا ئۇ ئوچۇق كودتا ئېلان قىلىنىپ ، Yandex نىڭ قانداق ئېسىل مودېللارنى بارلىققا كەلتۈرگەنلىكىنى كۆرسىتىپ بەردى ، بۇنىڭدىن باشقا ، ئۇ ئوچۇق كود!

ئىنتېرنېتتە قانداق قىلىپ يەلنى ئىجرا قىلىش ، ھەتتا توردا سىناپ بېقىش توغرىسىدا نۇرغۇن سوئاللار بار ، ئەمما بۇنىڭغا جاۋاب يوق. مەن بۇ سوئاللارنى سورىغان ئابونتلارنىڭ ئىچىدە ئىدىم. ھەمدە ئۇنى ئېنىقلاپ چىقىڭ. مەن پۇل-مۇئامىلە ماشىنا ئادەملىرى ئۈچۈن تېكىست ھاسىل قىلىش ئۇسۇلىغا ھەقىقەتەن ئېھتىياجلىق ئىدىم. شۇنداق قىلىپ ئۇلار پۇل-مۇئامىلە دوكلاتىغا ئاساسەن قىممەتنىلا ئەمەس ، بەلكى تېكىستتە ئۇنىڭغا باھا بېرىدۇ. ماھىيەت جەھەتتىن ئېيتقاندا ، ئۇ پەقەت سۈنئىي ئىدراك ئىشلىتىش ئارقىلىق پۇل-مۇئامىلە ئانالىزچىلىرىنىڭ قىلغانلىرى بىلەن ئوخشاش بولىدۇ. Yalm نى ئىجرا قىلىشنىڭ ئىككى خىل ئۇسۇلى بار.
بۇلۇتتا مۇلازىمېتىرنى ئىجارىگە بېرىڭ200+ Gb GPU RAM ياكى كودنى ئۆزگەرتىپ ، چوڭقۇر نۆل چۈشۈرۈش بىلەن ئىجرا قىلىڭ (GPU نېرۋا تورىنىڭ بىر قىسمىنى تەرتىپلىك بىر تەرەپ قىلغاندا ، قالغانلىرى CPU RAM ياكى NVMe دا ساقلىنىدۇ). بىرىنچىسى ناھايىتى قىممەت ، سائىتىگە 2500 رۇبلى ياكى ھەر ئايدا 1 مىليون 700 مىڭ رۇبلى. ئىككىنچى نامەلۇم ، چۈنكى ئامباردىكى كود تەمىنلەنمەيدۇ ، پەقەت
ئامبار مەسىلىسىدە بېشارەت بېرىدۇ ، بۇنى قىلىش تەس ئەمەس. ئاددىي ئىشنى باشلايلى.

YaLM 100B قوزغىتىش كۆرسەتمىسى

1. بىز 200 GB GPU RAM ئىجارە ئالىمىز ، مەسىلەن بۇ يەردە .

سىز ئەڭ ئاز بولغاندا 200 GB لىق ئىچكى ساقلىغۇچقا ئېھتىياجلىق بولىسىز. 8×40 = 320 GB. پەقەت مۇشۇ ماس كېلىدۇ. 200 دىن تۆۋەن بولۇش مۇمكىن ئەمەس ، تېخىمۇ كۆپ مۇمكىن. يا ئوق مەركىزى بىر تەرەپ قىلغۇچ RAM نى كۆرسىتىدۇ ، بىز ئۇنىڭغا قارىمايمىز. ئۇ ھەر قانداق ئادەم بولالايدۇ.

بىز تەخمىنەن 300 GB لىق دىسكىنى كۆرسىتىمىز ، بۇنداق بولغاندا زاپاس ۋە ئەڭ ياخشىسى تېز دىسكا بار ، چۈنكى. ئون نەچچە گىگابايتلىق سانلىق مەلۇمات ئۇنىڭغا يۆتكىلىدۇ.

مەنبەلەردە قۇرغاندا ئۇبۇنتۇ ML (ماشىنا ئۆگىنىشى) نى تاللاڭ. بۇ مەجبۇرىي بولۇپ ، سىن كارتىلىرى سەپلىنىدۇ ، قوشۇمچە نەرسە ئورنىتىشنىڭ ھاجىتى يوق.

مۇلازىمېتىر قۇرغاندا ، نورما بىلەن ئىنچىكە نۇقتىلار بار ، سىز ئۈسكۈنىلەرنىڭ يوقلىقىنى ھېس قىلىشىڭىز مۇمكىن ، ئەمما ئەمەلىيەتتە تەڭشەكتىكى نورمىنى كۆپەيتىشىڭىز كېرەك. مۇلازىمېتىر قوزغىتىلغاندىن كېيىن (5-10 مىنۇت كېتىشى مۇمكىن) ، ssh ئارقىلىق ياكى مۇلازىمېتىر بېتىدىكى تور كونترول سۇپىسىدا بىۋاسىتە مۇلازىمېتىرغا ئۇلىنىپ بۇيرۇقنى ئىجرا قىلىڭ.

nvidia-smi

نەتىجىدە سىن كارتىسى ، قوزغاتقۇچ نۇسخىسى ۋە كۇدا بار جەدۋەل بولۇشى كېرەك. تەخمىنەن مۇشۇنىڭغا ئوخشاش.
قوزغاتقۇچ نۇسخىسى ۋە قەيەردە. سول تەرىپىدە ئۈسكۈنە نومۇرى بار ، ئوتتۇرىدا ئۈسكۈنە ئىچكى ساقلىغۇچنىڭ چوڭلۇقى بار. ئەگەر بۇ ئۇچۇرلىرىڭىز بولمىسا ، مۇلازىمېتىرنى خاتا مەنبەدىن توپلىدىڭىز. يۇقىرىدا بايان قىلىنغاندەك Ubuntu ML (Machine Learnong) تەلەپ قىلىنىدۇ.

2. YaLM ئارقىلىق ئامبارنى كلونلاڭ

sudo git clone https://github.com/yandex/YaLM-100B/ yalm
cd yalm

ئائىلە ھۆججەت قىسقۇچىغا كلون قىلىڭ ، كېيىن دوكېر سەپلىمىسىنى تەھرىرلىشىڭىزنىڭ ھاجىتى يوق. ئەگەر باشقا جايدا كلونلانغان بولسا ، ئۇنداقتا
بۇ يەرگە بېرىپ كلونلانغان ئورۇنغا يول قوشۇڭ.

3. تەكشۈرۈش پونكىتلىرىنى چۈشۈرۈڭ (ئاساسىي مودېل تەربىيىلەش ئۇچۇرى)

sudo chmod + x ./download/download.sh
sudo bash ./download/download.sh

بۇنىڭغا بىر سائەت ئەتراپىدا ۋاقىت كېتىدۇ. ۋاقىتنى بىكارغا ئىسراپ قىلماسلىق ئۈچۈن ، يېڭى ssh ئۇلىنىشى ھاسىل قىلىمىز ۋە پاراللېل ھالدا دوككا قاچىسى ياساشنى باشلايمىز.

4. nvidia نى ئورنىتىڭ – docker 2

نورمال دوكتۇر ماس كەلمەيدۇ ،
nvidia-docker2 لازىم .
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#setting-up-nvidia-container-toolkit

5. YaLM ئۈچۈن قاچا ياساش

cd yalm
sudo chmod + x ./docker/*
sudo bash ./docker/build.sh

بۇمۇ بىر سائەت ئەتراپىدا.

Life hack. تەكشۈرۈش پونكىتلىرىنى چۈشۈرۈپ ، ھۆججەت ئورنىتىپ ، بىر سىن كارتىسى ئارقىلىق ئەرزان مۇلازىمېتىرغا قاچا قۇرالايسىز. ئۇ ئوخشاش ۋاقىتتا بولىدۇ ، شۇڭا ئازراق تېجەپ قالالايسىز. ئەرزان مۇلازىمېتىرغا قۇراشتۇرۇلغاندىن كېيىن ئۇنى ئۆچۈرۈۋېتىمىز ھەمدە ئەرزان مۇلازىمېتىردىن دىسكا ئىشلىتىپ جەڭ مۇلازىمېتىرى قۇرىمىز. ئاندىن قۇراشتۇرۇشنى ساقلاش ۋە تەكشۈرۈش پونكىتلىرىنى چىقىرىش ۋاقتىڭىزنى ئارتۇق تاپشۇرمايسىز.

6. مەزمۇن تەييارلاڭ

6.1 تەكشۈرۈش پونكىتى

تەكشۈرۈش پونكىتلىرىنى چۈشۈرۈش ئاخىرلاشقاندىن كېيىن ، ئۇلارنى سەپلىمىگە سىيرىشىڭىز كېرەك. پارامېتىرلارنى توغرىلاش ياكى يۆتكەش تەكشۈرۈش پونكىتىدىن ئىبارەت ئىككى خىل ئۇسۇل بار. ھەممە جايدا تەكشۈرۈش پونكىتلىرىنىڭ ئايرىم-ئايرىم ھالدا تۈرنىڭ ئاساسلىق مۇندەرىجىسىدە بولىدىغانلىقى مۆلچەرلەنگەن بولۇپ ، چۈشۈرۈلگەنلىرى چوقۇم ئۈستىدىكى چۈشۈرۈش قىسقۇچىدىن يۆتكىلىشى كېرەك. Yalm ھۆججەت قىسقۇچىدا بولۇش

mv ./download/yalm100b_checkpoint ./

ياكى مىسال ھۆججىتىدىكى ھۆججەتلەرگە بولغان يولنى ئۆزگەرتىڭ
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 سىن كارتىسى

سىن كارتىلىرىنىڭ توغرا تەڭشەلگەنلىكىنى تەكشۈرۈپ تۇرىمىز. ئەگەر سەككىز سىن كارتىڭىز بولسا ، ھېچنىمىنى ئۆزگەرتىشنىڭ ھاجىتى يوق. ئەگەر سان ئوخشىمىسا ، ئۇنداقتا بىز بۇ قۇرلارنى ئۆزگەرتىمىز
ئىككىنچى قۇردا ، ئىشلىتىلگەن ئۈسكۈنىلەرنىڭ سانى (سىز ئاللىبۇرۇن قوزغىغان nvidia-smi دا كۆرەلەيسىز). تۆتىنچىدە ، ئۇلارنىڭ سانى.

7. يۈك ساندۇقىنى ئىجرا قىلىڭ

Yalm ھۆججەت قىسقۇچىدا بولغاچقا ، بۇيرۇقنى ئىجرا قىلىڭ

sudo bash ./docker/run.sh

ئەگەر ھەممە ئىشلار ئوڭۇشلۇق بولسا ، ئۇنداقتا سىز ئۆيىڭىزنىڭ مۇندەرىجىسىدىكى yalm ھۆججەت قىسقۇچىغا بارىدىغان قاچىغا ئېلىپ كېلىنىسىز.

cd ~ / yalm

8. مىسالنى YaLM 100B دىن ئىجرا قىلىڭ

بىز بىر مىسالنى ئوتتۇرىغا چىقىرىشقا تەييارمىز. ئۇلار
بۇ يەردە بايان قىلىنغان .

chmod + x ./examples/generate_interactive.sh
./examples/generate_interactive.sh

سەۋر قىلىڭ ، GPT مودېلى بارلىققا كېلىپ ، تەكشۈرۈش پونكىتىدىكى ئېغىرلىق يۈكلەنگۈچە يەنە 10-15 مىنۇت ساقلاش كېرەك.

قۇرۇلۇش تاماملانغاندىن كېيىن ، MegatronML تېكىست ھاسىل قىلىدىغان مەزمۇننى كىرگۈزۈشىڭىزنى تەلەپ قىلىدۇ. يازغاندا ئېھتىيات قىلىڭ. بەزى ئەھۋاللاردا خاتالىق كۆرۈلىدۇ ، پروگرامما بۇزۇلۇپ ، يىغىلىشنى قايتا باشلىشىڭىز كېرەك. شۇڭلاشقا ، ھۆججەتتىن تېكىست ئالغان مىساللارنى ئىشلەتكەن ياخشى.

9. خىزمەت نەتىجىسى

قىزىقارلىق كۆرۈنىدۇ. ئەلۋەتتە ، بۇلار پەقەت ياخشى مىساللار. مەن ئوخشىمىغان ئەۋرىشكىلەردە سىناق قىلدىم. ئويلىغىنىدەك ، مەزمۇن قانچە ياخشى بولسا ، شۇنچە ئەھمىيەتلىك تېكىست ھاسىل بولىدۇ. تەجرىبە ئەۋلادلىرىنىڭ تولۇق يۈرۈشلۈكىنى ئۇلىنىشلاردىن كۆرەلەيسىز:

• generate_conditional_sampling.sh
• generate_conditional_greedy.sh
• generate_unconditional.sh

باھاسى ئۈچۈن ، تەربىيىلەشتىن تارتىپ تەييارلىققىچە بولغان ئوخشىمىغان ئىقتىداردىكى مۇلازىمېتىرلارنى ئىجارىگە بېرىش ئۈچۈن ماڭا 9 مىڭ رۇبلى ئەتراپىدا پۇل كەتتى. ئالاھىدە ئۈمىدسىزلىك شۇكى ، سىز ھەممە نەرسىنى دەرھال ھاسىل قىلالمايسىز. باشلاش ئۈچۈن ناھايىتى ئۇزۇن ۋاقىت كېتىدۇ ، مۇلازىمېتىرنىڭ سائەتلىك چىقىمىنى كۆزدە تۇتۇپ ، تېكىست بىز ئويلىغاندەك تېز ھاسىل بولمايدۇ.
 

200Gb GPU RAM بولمىسا YaLM نى قانداق ئىجرا قىلىش كېرەك؟

سەپلىمىگە چوڭقۇر تېزلىكتىكى نۆل يۈكنى قوشۇشىڭىز كېرەك. بىزنىڭ نېمە دەۋاتقانلىقىمىزنى بىلىدىغانلار ئۈچۈن قىلىش ناھايىتى ئاسان بولىدۇ. باشقىلارغا نىسبەتەن بۇ ھەرگىزمۇ ئەرزىمەس ئىش ئەمەس. شۇنى بىلىش كېرەككى ، چۈشۈرۈش مىقدارى CPU RAM ياكى NVMe دا بولۇشى مۇمكىن. سىز ھازىر NVMe نى ئۇنتۇپ قالالايسىز ، چۈنكى. ناھايىتى كۆپ مىقداردىكى سانلىق مەلۇماتلار بىر تەرەپ قىلىنىۋاتىدۇ ، دىسكا ئۇنىڭغا تاقابىل تۇرالمايدۇ. نۆل چۈشۈرۈش مەركىزى بىر تەرەپ قىلغۇچ تېخىمۇ ھەقىقىي. توغرا ، بۇنىڭ ئۈچۈن سىزدە 200+ Gb CPU RAM بولۇشى كېرەك ، بۇمۇ ئەرزان ئەمەس. ھەمدە بىر تېكىست 20-40 مىنۇت ئەتراپىدا ھاسىل بولىدۇ ، چۈنكى ئۇنى ئىككى سىن كارتىسىدا پاراللېل قىلىش تېخى مۇمكىن ئەمەس. تۆۋەندىكى ئېكران رەسىمىدىن كۆرۈۋېلىشقا بولىدۇكى ، ئەۋلادلارغا پەقەت بىرلا سىن كارتىسى قاتناشقان ، ئاندىن پەقەت تۆتتىن بىر قىسىم ئىچكى ساقلىغۇچقا قاتناشقان. 24 GB نىڭ ھەممىسىنىڭ نېمىشقا ئىشلىتىلمەيدىغانلىقىنى يەنىلا كۆزىتىشكە توغرا كېلىدۇ ،
ياخشى ، خۇلاسە شۇكى ، مەن ھەتتا بىر RTX 3070 TI دا ئىجرا قىلغىلى بولىدۇ دەيمەن. ئەمما بۇنىڭدا ئالاھىدە مەنى يوق ، چۈنكى. NVMe سىزنىڭ ئالماشتۇرۇشتا 150 GB لىق سانلىق مەلۇماتنى تېز بىر تەرەپ قىلىشىڭىزغا يول قويمايدۇ ، بۇلار 96 GB لىق ئىچكى ساقلىغۇچنىڭ قوشۇمچە قىسمىدا.

خۇلاسە

ئەلۋەتتە ، مەن يەنىلا ئەڭ ياخشى قويۇپ بېرىش يولىنى تېپىشقا تىرىشىمەن. ئەمما ھازىرغا قەدەر مەن YaLM 100b مېنىڭ ۋەزىپەم ئۈچۈن بەك قىممەت / بەك ئاستا دەپ يەكۈن چىقاردىم. ئوخشاش پۇل ئۈچۈن كىشىلەر تېخىمۇ كۆپ ۋە تېخىمۇ ياخشى يازىدۇ. ئەمما مېنىڭچە بۇ ۋاقىتلىق ، بىز كۆرىمىز. قوزغىتىش ، yalm نى تەڭشەش ياكى ياردەمگە ئېھتىياجلىق بولسىڭىز ياكى مەزمۇن مىساللىرىڭىزدىكى نەتىجىنى كۆرمەكچى بولسىڭىز ، خەت ياكى تېلېگراممىغا يېزىڭ.