عصبي شبکه YaLM 100B په عمل کې.

د جون په پای کې، Yandex
خلکو ته د YaLM 100B په نوم د 100 ملیارد پیرامیټونو سره یو عصبي شبکه خپره کړه . دا په عامه ډومین کې د GPT په څیر ترټولو لوی عصبي شبکه ده. دا د دې په اړه وايي چې دوی څنګه درس ورکړی، غوره مثالونه یې ښودلي او نیورون څه توان لري. مګر ایا دا په عمل کې خورا ښه او په کور کې د تطبیق وړ دی؟ مقاله پدې اړه خاموشه ده ، سربیره پردې ، دا چلول او چیک کول دومره اسانه ندي ، ځکه چې نږدې 200 Gb GPU رام ته اړتیا ده. د هابري په اړه
دا تبصره وضعیت خورا دقیق څرګندوي
.

د ادعا له مخې، په Yandex کې، دا ډول ټول هوښیار خلک، او دوی حتی یو عادي څنګه پوسټ نه کوي. د لوی ماډل لپاره هیڅ api شتون نلري ، د عادي خلکو لپاره (په ګوګل کولاب کې) هیڅ چمتو شوي سټریپ ڈاون متوسط ​​​​یا کوچنی ماډل شتون نلري. د ماډل تنظیم کولو څرنګوالي ، متن څنګه رامینځته کولو په اړه هیڅ مثال نه دی ورکړل شوی. دا یوازې دا دی چې مقاله د اعصابو لپاره یو څو لنډیزونه په ګوته کوي او بس. دا کافي ده چې نږدې وګورو چې څنګه بانک دا د “C” لیک سره وکړ او ورته یې وکړئ. ما دا تاثر ترلاسه کړ چې دا ماډل یوازې یو له ناکامو تجربو څخه دی چې په کثافاتو کې یې اچول د افسوس وړ و ، نو دا په خلاصې سرچینې کې پوسټ شوی ترڅو وښیې چې یانډیکس کوم عالي ماډلونه رامینځته کوي ، او سربیره پردې ، دا خلاص سرچینه ده!

په انټرنیټ کې ډیری پوښتنې شتون لري چې څنګه یالم چلولی شئ یا حتی آنلاین هڅه وکړئ ، مګر د دې لپاره هیڅ ځواب شتون نلري. زه د هغو کاروونکو په منځ کې وم چې دا پوښتنې یې وکړې. او د هغې د معلومولو په اړه یې ترتیب کړئ. ځکه چې زه واقعیا د مالي روبوټونو لپاره متنونو رامینځته کولو لپاره یوې لارې ته اړتیا لرم. د دې لپاره چې دوی کولی شي نه یوازې د ارزښتونو وړاندوینه وکړي ، بلکه د مالي راپورونو پراساس په متن کې هم په دې اړه تبصره وکړي. په اصل کې، دا به هغه څه وي چې مالي شنونکي یې کوي، یوازې د مصنوعي استخباراتو په کارولو سره. د یالم چلولو لپاره دوه لارې شتون لري.
په بادل کې سرور کرایه کړئد 200+ Gb GPU رام سره یا کوډ تعدیل کړئ او د ژور سرعت صفر آفلوډ سره چل کړئ (کله چې GPU په ترتیب سره د عصبي شبکې برخه پروسس کوي ، او پاتې یې په CPU RAM یا NVMe کې زیرمه کیږي). لومړی خورا ګران دی، په هر ساعت کې شاوخوا 2500 روبله یا په میاشت کې 1.7 ملیون. دوهم نامعلوم، ځکه په ذخیره کې کوډ ندی چمتو شوی، یوازې
د ذخیره کولو مسله کې اشارې ، کوم چې کول ستونزمن ندي. راځئ چې ساده پیل وکړو.

د YaLM 100B لانچ لارښوونې

1. موږ د 200 GB GPU RAM کرایه کوو، د مثال په توګه دلته .

تاسو لږترلږه 200 GB ټول ویډیو حافظې ته اړتیا لرئ. 8×40 = 320 GB. یوازې دا یو مناسب دی. له 200 څخه کم ناممکن دی، ډیر ممکن دی. تیر د CPU رام ته اشاره کوي، موږ یې نه ګورو. هغه هر څوک کیدی شي.

موږ د شاوخوا 300 GB ډیسک په ګوته کوو ، ترڅو د اضافي او غوره ګړندي ډیسک سره ، ځکه چې. لسګونه ګیګابایټ ډیټا به دې ته او له هغې څخه لیږدول کیږي.

کله چې په سرچینو کې رامینځته کړئ ، اوبنټو ایم ایل (ماشین زده کړه) غوره کړئ. دا لازمي دی نو د ویډیو کارتونه تنظیم شوي او هیڅ شی اضافي نصبولو ته اړتیا نلري.

کله چې سرور رامینځته کړئ ، د کوټو سره باریکي شتون لري ، تاسو ممکن احساس وکړئ چې تجهیزات شتون نلري ، مګر په حقیقت کې تاسو اړتیا لرئ په ترتیباتو کې کوټې زیاتې کړئ. وروسته له دې چې سرور فعال شو (دا ممکن 5-10 دقیقې وخت ونیسي) ، د سرور سره د ssh له لارې یا مستقیم د سرور پا pageې ویب کنسول کې وصل شئ او کمانډ اجرا کړئ.

nvidia-smi

پایله باید د ویډیو کارتونو، ډرایور نسخه او کوډا سره یو میز وي. تقریبا د دې په څیر.
د ډرایور نسخه سرلیک کې او چیرته. په ښي خوا کې د وسیلې شمیرې دي ، په مرکز کې د وسیلې حافظې اندازه ده. که تاسو دا معلومات نلرئ، نو تاسو د غلط سرچینې څخه سرور راټول کړی. اوبنټو ML (ماشین زده کړه) اړین دی ، لکه څنګه چې پورته تشریح شوي.

2. ذخیره د YaLM سره کلون کړئ

sudo git کلون https://github.com/yandex/YaLM-100B/ yalm
cd yalm

خپل کور فولډر ته کلون کړئ نو تاسو اړتیا نلرئ وروسته د ډاکر تشکیل ترمیم کړئ. که چیرې په بل ځای کې کلون شوی وي، نو
دلته لاړ شئ او هغه ځای ته لاره اضافه کړئ چیرې چې کلون شوی وي.

3. د پوستې ډاونلوډ کړئ (د روزنې لومړني ماډل معلومات)

sudo chmod +x ./download/download.sh
sudo bash ./download/download.sh

دا به شاوخوا یو ساعت وخت ونیسي. د دې لپاره چې وخت ضایع نه شي، موږ یو نوی ssh اتصال رامینځته کوو او په موازي توګه موږ د ډاکر کانټینر جوړول پیل کوو.

4. nvidia نصب کړئ – docker 2

نورمال ډاکر مناسب نه دی،
nvidia-docker2 ته اړتیا ده .
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#setting-up-nvidia-container-toolkit

5. د YaLM لپاره د کانتینر جوړول

cd yalm
sudo chmod +x ./docker/*
sudo bash ./docker/build.sh

دا هم تقریبا یو ساعت دی.

د ژوند هیک. تاسو کولی شئ پوستې ډاونلوډ کړئ ، ډاکر نصب کړئ او د یو ویډیو کارت سره په ارزانه سرور کې کانټینر جوړ کړئ. دا به په وخت کې ورته وي، نو تاسو کولی شئ یو څه خوندي کړئ. په ارزانه سرور کې د راټولولو وروسته، موږ دا حذف کوو، او د ارزانه سرور څخه د ډیسک په کارولو سره جنګي سرور جوړوو. بیا به تاسو مجلس ته د انتظار کولو او د پوستو پمپ کولو لپاره ډیر وخت مه ورکوئ.

6. محتوا چمتو کړئ

6.1 پوستې

وروسته له دې چې د پوستې ډاونلوډ پای ته ورسیږي، تاسو اړتیا لرئ چې دوی په تشکیلاتو کې واچوئ. دوه لارې شتون لري، سم پیرامیټونه یا د پوستې لیږد. هرچیرې دا تمه کیږي چې پوستې به په ترتیب سره د پروژې اصلي لارښود کې وي ، هغه څه چې ډاونلوډ شوي باید د پورته ډاونلوډ فولډر څخه لیږدول شي. د یالم فولډر اجرا کول

mv ./download/yalm100b_checkpoint ./

یا د مثال په فایلونو کې فایلونو ته لارې بدل کړئ
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L

6.2 ویډیو کارتونه

موږ ګورو چې ویډیو کارتونه په سمه توګه تنظیم شوي. که تاسو اته ویډیو کارتونه لرئ، نو هیڅ شی باید بدل نشي. که شمیره توپیر ولري، نو بیا موږ دا لینونه بدلوو
په دویمه کرښه کې، د کارول شویو وسیلو شمیرې (تاسو کولی شئ دوی په nvidia-smi کې وګورئ، کوم چې تاسو دمخه پیل کړی دی). په څلورم کې، د دوی شمیر.

7. د ډاکر کانټینر چل کړئ

د یالم فولډر کې پاتې کیدل، کمانډ اجرا کړئ

sudo bash ./docker/run.sh

که هرڅه سم وي ، نو تاسو به یو کانټینر ته بوتلل شئ چیرې چې تاسو اړتیا لرئ د خپل کور لارښود کې یالم فولډر ته لاړشئ.

cd ~/yalm

8. مثال د YaLM 100B څخه پرمخ وړئ

موږ چمتو یو چې یو له مثالونو څخه پیل کړو. دوی
دلته تشریح شوي دي .

chmod +x ./examples/generate_interactive.sh
./examples/generate_interactive.sh

صبر وکړئ، دا پاتې ده چې نور 10-15 دقیقې انتظار وکړئ تر هغه چې د GPT ماډل رامینځته نشي او د پوستې څخه وزن پورته شي.

کله چې جوړونه پای ته ورسیږي، میګاټرون ایم ایل به تاسو ته وهڅوي چې د متن رامینځته کولو لپاره شرایط دننه کړئ. محتاط اوسئ کله چې تاسو ټایپ کوئ. په ځینو حاالتو کې، یوه تېروتنه رامنځته کیږي، برنامه خرابیږي او تاسو اړتیا لرئ چې بیا مجلس پیل کړئ. له همدې امله، دا غوره ده چې د مثالونو څخه کار واخلئ کوم چې د فایل څخه متن اخلي.

9. د کار پایلې

په زړه پورې ښکاري. البته، دا یوازې ښه مثالونه دي. ما په مختلفو نمونو کې ازموینه واخیسته. لکه څنګه چې تمه کیږي، ښه شرایط، ډیر معنی لرونکی متن به تولید شي. د تجربوي نسلونو بشپړ سیټ په لینکونو کې لیدل کیدی شي:

• generate_conditional_sampling.sh
• generate_conditional_greedy.sh
• generate_unconditional.sh

د قیمت لپاره، دا د روزنې او چمتو کولو څخه نسل ته د مختلف ظرفیتونو سرورونو کرایه کولو لپاره شاوخوا 9 زره روبله لګښت لري. یو ځانګړی مایوسي دا وه چې تاسو نشئ کولی سمدستي هرڅه تولید کړئ. دا د پیل کولو لپاره خورا اوږد وخت نیسي او متن په هر ساعت کې د سرور لګښت ته په پام سره څومره ژر چې موږ یې غواړو تولید نه کوي.
 

د 200Gb GPU رام پرته YaLM څنګه چلولی شئ؟

تاسو اړتیا لرئ په ترتیب کې د ژور سرعت صفر آفلوډ اضافه کړئ. د هغو کسانو لپاره چې پوهیږي چې موږ د څه په اړه خبرې کوو، دا به خورا اسانه وي. د نورو لپاره، دا په هیڅ ډول کوچني کار نه دی. دا مهمه ده چې پوه شئ چې آفلوډ یا په CPU رام یا NVMe کې کیدی شي. تاسو کولی شئ دا مهال د NVMe په اړه هیر کړئ، ځکه. د ډیټا خورا لوی مقدار پروسس کیږي او ډیسک نشي کولی ورسره مقابله وکړي. د صفر آفلوډ CPU ډیر ریښتینی دی. ریښتیا ، د دې لپاره تاسو اړتیا لرئ په سټاک کې 200+ Gb CPU RAM ولرئ ، کوم چې ارزانه هم ندي. او یو متن به د شاوخوا 20-40 دقیقو لپاره رامینځته شي ، ځکه چې دا لاهم په دوه ویډیو کارتونو کې موازي کول ممکن ندي. لکه څنګه چې تاسو لاندې سکرین شاټ کې لیدلی شئ، یوازې یو ویډیو کارت په نسل کې ښکیل و، او بیا یوازې د حافظې څلورمه برخه لپاره. دا به لیدل کیږي چې ولې ټول 24 GB نه کارول کیږي،
ښه، په پایله کې، زه به ووایم چې دا ممکنه ده چې حتی په یو RTX 3070 TI کې پرمخ بوځي. مګر پدې کې کوم ځانګړي معنی شتون نلري، ځکه. NVMe به تاسو ته اجازه ورنکړي چې ژر تر ژره په سویپ کې 150 GB ډیټا پروسس کړي ، کوم چې د 96 GB رام ضمیمه کې دي.

لنډیز

البته، زه به لاهم هڅه وکړم چې د غوره لانچ لارې ومومئ. مګر تر دې دمه زه دې پایلې ته رسیدلی یم چې YaLM 100b زما د دندو لپاره خورا ګران / ډیر ورو دی. د همدې پیسو لپاره، خلک به ډیر څه لیکي او ډیر ښه. مګر زه فکر کوم چې دا لنډمهاله ده، موږ به وګورو. که تاسو د پیل کولو ، یالم تنظیم کولو کې مرستې ته اړتیا لرئ ، یا غواړئ د خپلو شرایطو مثالونو کې پایلې وګورئ ، بریښنالیک یا ټیلیګرام ته ولیکئ.