נעוראַל נעץ YaLM 100B אין פיר.

אין די סוף פון יוני, יאַנדעקס
באפרייט אַ נעוראַל נעץ מיט 100 ביליאָן פּאַראַמעטערס גערופן YaLM 100B צו דעם ציבור . עס איז דער גרעסטער גפּט-ווי נעוראַל נעץ אין די ציבור פעלד. עס דערציילט וועגן ווי זיי געלערנט, געוויזן די בעסטער ביישפילן און וואָס די נעוראָן איז טויגעוודיק פון. אָבער איז עס אַזוי גוט אין פיר און אָנווענדלעך אין שטוב? דער אַרטיקל איז שטיל וועגן דעם, דערצו, עס איז נישט אַזוי גרינג צו לויפן און קאָנטראָלירן עס, ווייַל בעערעך 200 גיגאבייט פון גפּו באַראַן איז פארלאנגט. די באַמערקונג אויף Habré
ריווילז די סיטואַציע מערסט אַקיעראַטלי
.

אַלעדזשאַדלי, אין יאַנדעקס, אַלע אַזאַ קלוג מענטשן, און זיי האָבן נישט אפילו פּאָסטן אַ נאָרמאַל ווי-צו. עס איז קיין אַפּי פֿאַר אַ גרויס מאָדעל, עס איז קיין פאַרטיק סטריפּט-אַראָפּ מיטל אָדער קליין מאָדעל פֿאַר פּראָסט מענטשן (אין Google קאָלאַב). קיין בייַשפּיל איז געגעבן אויף ווי צו שטעלן די מאָדעל, ווי צו דזשענערייט טעקסט. נאָר דער אַרטיקל ינדיקייץ אַ פּאָר פון נואַנסיז פֿאַר נערדז און אַז ס עס. עס איז גענוג צו נעמען אַ נעענטער קוק ווי די באַנק האט עס מיט די בריוו “C” און טאָן די זעלבע. איך האָב באַקומען דעם רושם אַז דער מאָדעל איז נאָר איינער פון די דורכפאַל יקספּעראַמאַנץ וואָס איז אַ שאָד צו וואַרפן אין די אָפּפאַל, אַזוי עס איז געווען אַרייַנגעשיקט אין עפֿן מקור צו ווייַזן וואָס גרויס מאָדעלס יאַנדעקס קריייץ, און דערצו, עס איז אָפֿן מקור!

עס זענען פילע פֿראגן אויף דער אינטערנעץ ווי צו לויפן יאַם אָדער אפילו פּרובירן אָנליין, אָבער עס זענען קיין ענטפֿערס צו דעם. איך בין געווען צווישן די באנוצער וואס האבן געפרעגט די פראגעס. און אָנהייבן צו געפֿינען עס. זינט איך טאַקע דארף אַ וועג צו דזשענערייט טעקסטן פֿאַר פינאַנציעל ראָובאַץ. אַזוי זיי קענען פאָרויסזאָגן ניט בלויז די וואַלועס, אָבער אויך באַמערקן אויף עס אין טעקסט, באזירט אויף פינאַנציעל ריפּאָרץ. אין עסאַנס, עס וועט זיין די זעלבע ווי וואָס פינאַנציעל אַנאַליס טאָן, נאָר מיט די נוצן פון קינסטלעך סייכל. עס זענען צוויי וועגן צו לויפן יאַם.
דינגען אַ סערווער אין די וואָלקןמיט 200+ גיגאבייט גפּו באַראַן אָדער מאָדיפיצירן די קאָד און לויפן מיט דיפּספּעעד נול אָפלאָוד (ווען די גפּו סאַקווענטשאַלי פּראַסעסאַז טייל פון די נעוראַל נעץ, און די מנוחה איז סטאָרד אין קפּו באַראַן אָדער NVMe). דער ערשטער איז זייער טייַער, וועגן 2500 רובל פּער שעה אָדער 1.7 מיליאָן פּער חודש. די רגע אומבאַקאַנט, ווייַל די קאָד אין די ריפּאַזאַטאָרי איז נישט צוגעשטעלט, נאָר
הינץ אין די אַרויסגעבן פון די ריפּאַזאַטאָרי, וואָס איז נישט שווער צו טאָן. זאל ס אָנהייבן פּשוט.

YaLM 100B קאַטער ינסטרוקטיאָנס

1. מיר דינען 200 גיגאבייט גפּו באַראַן, פֿאַר בייַשפּיל דאָ .

איר דאַרפֿן בייַ מינדסטער 200 גיגאבייט פון גאַנץ ווידעא זכּרון. 8×40 = 320 גיגאבייט. נאָר דאָס איז פּאַסיק. ווייניקער ווי 200 איז אוממעגלעך, מער איז מעגלעך. די פייַל ינדיקייץ די קפּו באַראַן, מיר טאָן ניט קוקן אין עס. זי קען זיין ווער עס יז.

מיר אָנווייַזן אַ דיסק פון וועגן 300 גיגאבייט, אַזוי אַז מיט אַ ספּער און פּרעפעראַבלי אַ שנעל דיסק, ווייַל. טענס פון גיגאבייט פון דאַטן וועט זיין טראַנספערד צו און פון עס.

ווען קריייטינג אין קוואלן, סעלעקטירן Ubuntu ML (מאַשין לערנען). דאָס איז מאַנדאַטאָרי אַזוי אַז די ווידעא קאַרדס זענען קאַנפיגיערד און גאָרנישט דאַרף זיין אינסטאַלירן אַדישנאַלי.

ווען קריייטינג אַ סערווער, עס זענען נואַנסיז מיט קוואָטאַס, איר קען באַקומען די געפיל אַז די ויסריכט איז נישט בנימצא, אָבער אין פאַקט איר נאָר דאַרפֿן צו פאַרגרעסערן די קוואָטאַס אין די סעטטינגס. נאָך די סערווער איז אַקטיווייטיד (עס קען נעמען 5-10 מינוט), פאַרבינדן צו די סערווער דורך ssh אָדער גלייַך אין די וועב קאַנסאָול אויף די סערווער בלאַט און ויספירן די באַפֿעל.

nvidia-smi

דער רעזולטאַט זאָל זיין אַ טיש מיט ווידעא קאַרדס, שאָפער ווערסיע און קודאַ. בערך אזוי.
אין די שאָפער ווערסיע כעדער און ווו. אויף די לינקס זייַט זענען די מיטל נומערן, אין די צענטער איז די גרייס פון די מיטל זכּרון. אויב איר טאָן ניט האָבן די אינפֿאָרמאַציע, איר האָט געזאמלט די סערווער פֿון דעם אומרעכט מקור. Ubuntu ML (Machine Learnong) איז פארלאנגט, ווי דיסקרייבד אויבן.

2. קלאָון די ריפּאַזאַטאָרי מיט YaLM

סודאָ גיט קלאָון https://github.com/yandex/YaLM-100B/ Yalm
CD Yalm

קלאָון צו דיין היים טעקע אַזוי איר טאָן ניט האָבן צו רעדאַגירן די דאָקקער קאַנפיגיעריישאַן דערנאָך. אויב קלאָונד ערגעץ אַנדערש, דאַן
גיין דאָ און לייגן דעם דרך צו ווו קלאָונד.

3. אראפקאפיע טשעקפּוינץ (יקערדיק מאָדעל טריינינג אינפֿאָרמאַציע)

sudo chmod +x ./download/download.sh sudo
bash ./download/download.sh

דאָס וועט נעמען וועגן אַ שעה. כדי נישט אומזיסט צו פארברענען, שאפן מיר א נייע סש פארבינדונג און פאראלעל אנהייבן בויען א דאקער קאנטער.

4. ינסטאַלירן נווידיאַ – דאָקקער 2

נאָרמאַל דאָקקער איז נישט פּאַסיק,
nvidia-docker2 איז דארף .
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#setting-up-nvidia-container-toolkit

5. בויען אַ קאַנטיינער פֿאַר יאַם

קאָמפּאַקטדיסק יאַם
סודאָ טשמאָד + רענטגענ ./דאָקקער/*
סודאָ באַש ./דאָקקער/build.sh

עס איז אויך וועגן אַ שעה.

לעבן כאַק. איר קענען אראפקאפיע טשעקפּוינץ, ינסטאַלירן דאָקקער און בויען אַ קאַנטיינער אויף אַ ביליק סערווער מיט איין ווידעא קאַרטל. עס וועט זיין די זעלבע אין צייט, אַזוי איר קענען ראַטעווען אַ ביסל. נאָך פֿאַרזאַמלונג אויף אַ ביליק סערווער, מיר ויסמעקן עס, און שאַפֿן אַ קאַמבאַט סערווער ניצן אַ דיסק פון אַ ביליק סערווער. דעמאָלט איר וועט נישט אָוווערפּיי די צייט פֿאַר ווארטן פֿאַר די פֿאַרזאַמלונג און פּאַמפּינג טשעקפּוינץ.

6. צוגרייטן אינהאַלט

6.1 טשעקפּוינץ

נאָך די אראפקאפיע פון ​​טשעקפּוינץ איז איבער, איר דאַרפֿן צו רוק זיי אין די קאָנפיגס. עס זענען צוויי וועגן, ריכטיק פּאַראַמעטערס אָדער אַריבערפירן טשעקפּוינץ. אומעטום עס איז דערוואַרט אַז די טשעקפּוינץ וועט זיין אין די הויפּט וועגווייַזער פון די פּרויעקט, ריספּעקטיוולי, וואָס איז דאַונלאָודיד מוזן זיין טראַנספערד פון די אראפקאפיע טעקע אויבן. זייַענדיק אין די יאַם טעקע ויספירן

mv ./download/yalm100b_checkpoint ./

אָדער טוישן די פּאַטס צו די טעקעס אין די ביישפּיל טעקעס
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 ווידעא קאַרדס

מיר קאָנטראָלירן אַז די ווידעא קאַרדס זענען ריכטיק שטעלן. אויב איר האָבן אַכט ווידעא קאַרדס, גאָרנישט דאַרף זיין געביטן. אויב די נומער איז אַנדערש, מיר טוישן די שורות
אין די רגע שורה, די נומערן פון די געוויינט דעוויסעס (איר קענען זען זיי אין nvidia-smi, וואָס איר האָט שוין לאָנטשט). אין דער פערט, זייער נומער.

7. לויפן די דאָקקער קאַנטיינער

זיין אין די יאַם טעקע, ויספירן דעם באַפֿעל

sudo bash ./docker/run.sh

אויב אַלץ איז גוט, איר וועט זיין גענומען צו אַ קאַנטיינער אין וואָס איר דאַרפֿן צו גיין צו די יאַם טעקע אין דיין היים וועגווייַזער.

cd ~/יאַם

8. לויפן די ביישפּיל פֿון YaLM 100B

מיר זענען גרייט צו קאַטער איינער פון די ביישפילן. זיי זענען דיסקרייבד
דאָ .

chmod +x ./examples/generate_interactive.sh
./examples/generate_interactive.sh

זייט געדולדיק, עס בלייבט צו וואַרטן נאָך 10-15 מינוט ביז די GPT מאָדעל איז באשאפן און די ווייץ פון די טשעקפּוינץ זענען לאָודיד.

ווען די בויען ענדיקן, MegatronML וועט בעטן איר אַרייַן אַ קאָנטעקסט צו דזשענערייט טעקסט. זיין אָפּגעהיט ווען איר דרוקן. אונטער זיכער צושטאנדן, אַ טעות אַקערז, די פּראָגראַם קראַשיז און איר דאַרפֿן צו אָנהייבן די פֿאַרזאַמלונג ווידער. דעריבער, עס איז בעסער צו נוצן ביישפילן וואָס נעמען טעקסט פון אַ טעקע.

9. רעזולטאַטן פון דער אַרבעט

קוקט טשיקאַווע. פון קורס, דאָס זענען נאָר גוטע ביישפילן. איך געלאפן די פּראָבע אויף פאַרשידענע סאַמפּאַלז. ווי דערוואַרט, די בעסער די קאָנטעקסט, די מער מינינגפאַל טעקסט וועט זיין דזשענערייטאַד. די פול גאַנג פון יקספּערמענאַל דורות קענען זיין וויוד ביי די לינקס:

• gener_conditional_sampling.sh
• gener_conditional_greedy.sh
• gener_unconditional.sh

פֿאַר די פּרייַז, עס קאָסטן מיר וועגן 9 טויזנט רובל פֿאַר רענטינג סערווערס פון פאַרשידענע קאַפּאַציטעט פון טריינינג און פון צוגרייטונג צו דור. א באַזונדער אַנטוישונג איז געווען אַז איר קענען נישט טייקעף דזשענערייט אַלץ. עס נעמט אַ זייער לאַנג צייַט צו אָנהייבן און דער טעקסט איז נישט דזשענערייטאַד ווי געשווינד ווי מיר וואָלט ווי, געגעבן די פּרייַז פון די סערווער פּער שעה.
 

ווי צו לויפן YaLM אָן 200 גב גפּו באַראַן?

איר דאַרפֿן צו לייגן דעעפּספּעד נול אָפלאָאַד צו די קאָנפיג. פֿאַר די וואס וויסן וואָס מיר זענען גערעדט וועגן, עס וועט זיין זייער גרינג צו טאָן עס. פֿאַר אנדערע, דאָס איז נישט אַ טריוויאַל אַרבעט בייַ אַלע. עס איז וויכטיק צו וויסן אַז אָפלאָאַד קענען זיין אין קפּו באַראַן אָדער NVMe. איר קענען פאַרגעסן וועגן NVMe אין דעם מאָמענט, ווייַל. אַ זייער גרויס סומע פון ​​דאַטן איז פּראַסעסט און דער דיסק קען נישט קאָפּע מיט אים. נול אָפלאָאַד קפּו איז מער פאַקטיש. אמת, פֿאַר דעם איר דאַרפֿן צו האָבן 200+ גיגאבייט קפּו באַראַן אין לאַגער, וואָס איז אויך נישט ביליק. און איין טעקסט וועט זיין דזשענערייטאַד פֿאַר וועגן 20-40 מינוט, ווייַל עס איז נאָך נישט מעגלעך צו פּאַראַלעליזירן עס אויף צוויי ווידעא קאַרדס. ווי איר קענען זען אין די סקרעענשאָט אונטן, בלויז איין ווידעא קאַרטל איז געווען ינוואַלווד אין דער דור, און דעמאָלט בלויז פֿאַר 1/4 פון די זכּרון. עס בלייבט צו זען וואָס אַלע 24 גיגאבייט זענען נישט געוויינט,
נו, אין מסקנא, איך וועל זאָגן אַז עס איז מעגלעך צו לויפן אפילו אויף איין RTX 3070 TI. אבער עס איז קיין באַזונדער זינען אין דעם, ווייַל. NVMe וועט נישט לאָזן איר צו געשווינד פּראָצעס 150 גיגאבייט פון דאַטן אין די ויסבייַטן, וואָס זענען אין די אַפּענדידזש פון 96 גיגאבייט פון באַראַן.

סאַמינג אַרויף

פון קורס, איך וועל נאָך פּרובירן צו געפֿינען די אָפּטימאַל קאַטער פּאַטס. אָבער אַזוי ווייַט איך בין געקומען צו די מסקנא אַז YaLM 100b איז צו טייַער / צו פּאַמעלעך פֿאַר מיין טאַסקס. פאר דעם זעלבן געלט וועט מען שרייבן פיל מער און פיל בעסער. אָבער איך טראַכטן עס איז צייַטווייַליק, מיר וועלן זען. אויב איר דאַרפֿן הילף מיט קאַטער, באַשטעטיקן יאַם, אָדער ווילן צו זען די רעזולטאַטן אויף דיין קאָנטעקסט ביישפילן, שרייַבן צו די פּאָסט אָדער טעלעגראַם.