ኒውራል ኔትወርክ YaLM 100B ብተግባር።

ኣብ መወዳእታ ወርሒ ሰነ
፡ ያንዴክስ YaLM 100B ዝበሃል 100 ቢልዮን መለክዒታት ዘለዎ ኒውራል ኔትወርክ ንህዝቢ ኣውጺኡ ። ኣብ ህዝባዊ ዓውዲ እቲ ዝዓበየ GPT ዝመስል ኒውራል ኔትወርክ እዩ። ብዛዕባ ከመይ ከም ዝመሃሩ፡ ዝበለጹ ኣብነታት ከም ዘርኣዩን ኒውሮን እንታይ ዓቕሚ ከም ዘለዎን ይነግር። ግን ብተግባር ክሳብ ክንድዚ ጽቡቕን ኣብ ገዛ ተግባራዊ ዝኸውንን ድዩ? እቲ ጽሑፍ ብዛዕባ እዚ ስቕ ኢሉ ኣሎ፡ ብተወሳኺ፡ ኣስታት 200 Gb GPU RAM ስለ ዘድሊ፡ ምዝዋርን ምፍታሽን ክንድኡ ቀሊል ኣይኮነን። እዚ ኣብ ልዕሊ ሃብረ
ዝቐረበ ርእይቶ ’ ዚ ነቲ ኩነታት ብዝያዳ ብልክዕ ይገልጾ
።

ይንገር፡ ኣብ ያንዴክስ፡ ኩሎም ከምዚኦም ዝኣመሰሉ በላሕቲ ሰባት፡ ንቡር How-to’ውን ኣይለጠፉን’ዮም። ንዓቢ ሞዴል ዝኸውን api የለን፣ ንተራ ሰባት ዝኸውን ድሉው ዝኾነ ዝተቐንጠጠ ማእከላይ ወይ ንእሽቶ ሞዴል የለን (ኣብ Google Colab)። ከመይ ጌርካ ነቲ ሞዴል ትሰርዖ፣ ከመይ ጌርካ ጽሑፍ ትፈጥር ዝብል ኣብነት ኣይተዋህበን። በቃ እቲ ጽሑፍ ንነርድስ ሓደ ክልተ ንኡሳን ነገራት ዘመልክት እዩ ንሱ ድማ ንሱ እዩ። እቲ ባንኪ ብፊደል “ሐ” ከመይ ገይሩ ከም ዝገበሮ ብደቂቕ ርኢኻ ከምኡ ምግባር እኹል እዩ። እዚ ሞዴል ሓደ ካብቶም ኣብ ጓሓፍ ምድርባይ ዘሕዝን ዝነበረ ፍሹል ፈተነታት ጥራይ እዩ ዝብል ጦብላሕታ ረኺበ፣ ስለዚ ያንዴክስ እንታይ ዓይነት ዓበይቲ ሞዴላት ከም ዝፈጥር ንምርኣይ ኣብ Open Source ተለጢፉ፣ ብተወሳኺ ድማ፣ open source እዩ!

ኣብ ኢንተርነት ብዙሕ ሕቶታት ኣሎ ከመይ ጌርካ yalm ትሰርሕ ወይ ውን ብኢንተርነት ትፍትኖ፡ ነዚ ግን መልሲ የለን። ኣነ ካብቶም ነዚ ሕቶታት ዝሓተቱ ተጠቀምቲ እየ ነይረ። ንምፍላጥ ድማ ተበገስ። ናይ ብሓቂ ንፋይናንሳዊ ሮቦታት ጽሑፋት ዘመንጩ መንገዲ ስለ ዘድልየኒ። ምእንቲ ክብርታት ጥራይ ዘይኮነስ፡ ብጽሑፍ ርእይቶ ክህቡሉ፡ ኣብ ፋይናንሳዊ ጸብጻባት ተመርኲሶም። ብመሰረቱ ከምቲ ተንተንቲ ፋይናንስ ዝገብርዎ ክኸውን እዩ፣ ምስ ኣጠቓቕማ ኣርቲፊሻል ኢንተለጀንስ ጥራይ። ያልም ንምጉያይ ክልተ መንገድታት ኣለዉ።
ኣብ ደበና ሰርቨር ተኻረዩ።ብ200+ Gb GPU RAM ወይ ድማ ነቲ ኮድ ምቕያርን ብdeepspeed zero offload ምዝዋርን (GPU ብተኸታታሊ ንገለ ክፋል ናይቲ ኒውራል ኔትወርክ ክሰርሕ ከሎ፣ እቲ ዝተረፈ ድማ ኣብ CPU RAM ወይ NVMe ክኽዘን ከሎ)። እታ ቀዳመይቲ ኣዝያ ክቡር እያ፡ ኣስታት 2500 ሩብል ኣብ ሰዓት ወይ 1.7 ሚልዮን ኣብ ወርሒ። እቲ ካልኣይ ዘይፍለጥ፡ ምኽንያቱ እቲ ኣብቲ መኽዘን ዘሎ ኮድ ኣይወሃብን እዩ፣
ኣብ ጉዳይ ናይቲ መኽዘን ጥራይ እዩ ዝሕብር፣ እዚ ንምግባር ኣጸጋሚ ኣይኮነን። ቀሊል ንጀምር።

YaLM 100B መምርሒታት ምጅማር

1. 200 GB GPU RAM ንካረ ንኣብነት ኣብዚ .

ብውሑዱ 200 ጊባ ጠቕላላ ቪድዮ መዘክር የድልየካ። 8×40 = 320 ጊባ ይኸውን። እዚኣ ጥራይ እያ እትሰማማዕ። ትሕቲ 200 ዘይከኣል እዩ፣ ዝበዝሕ ይከኣል እዩ። እቲ ቀስቲ CPU RAM እዩ ዘመልክት፣ ኣይንርእዮን ኢና። ዝኾነ ሰብ ክትከውን ትኽእል እያ።

ንሕና ኣስታት 300 ጊባ ዝኸውን ዲስክ ኢና ነመልክት፣ ስለዚ ምስ ስፔርን እንተተኻኢሉ ድማ ቅልጡፍ ዲስክን፣ ምኽንያቱ። ዓሰርተታት ጊጋባይት ዳታ ካብን ናብን ክሰጋገር እዩ።

ኣብ ምንጭታት ክንፈጥር ከለና ኡቡንቱ ኤም ኤል (ማሽን ትምህርቲ) ምረጽ። እዚ ድማ እቶም ቪድዮ ካርድታት ንኽውነኑን ብተወሳኺ ዝኾነ ነገር ምትካል ከየድልዮምን ግዴታ እዩ።

ሰርቨር ክትፈጥር ከለኻ፡ ምስ ኮታታት ንኡሳን ነገራት ኣለዉ፡ እቲ መሳርሒ ከምዘይርከብ ዝብል ስምዒት ክህልወካ ይኽእል እዩ፡ ብሓቂ ግን ኣብቲ ቅጥዕታት ኮታታት ምውሳኽ ጥራይ እዩ ዘድልየካ። እቲ ሰርቨር ምስ ተነቓቐሐ (ካብ 5-10 ደቓይቕ ክወስድ ይኽእል እዩ)፡ ብመንገዲ ssh ወይ ብቐጥታ ኣብቲ ኣብ ገጽ ሰርቨር ዘሎ ዌብ ኮንሶል ምስቲ ሰርቨር ተራኸብ እሞ ነቲ ትእዛዝ ፈጽሞ።

nvidia-smi ዝብል ጽሑፍ ኣሎ።

ውጽኢቱ ድማ ቪድዮ ካርድታት፡ ድራይቨር ቨርዥንን ኩዳን ዘለዎ ጠረጴዛ ክኸውን ኣለዎ። ብግምት ከምዚ።
ኣብቲ ናይ ድራይቨር ቨርዥን ርእሲን ኣበይን ። ኣብ ጸጋማይ ሸነኽ ቁጽሪ መሳርሒታት ኣለዉ፣ ኣብ ማእከል ድማ ዓቐን መዘክር መሳርሒ ኣሎ። እዚ ሓበሬታ እንተዘይብልካ፡ ሽዑ ነቲ ሰርቨር ካብ ጌጋ ምንጪ ኣኪብካዮ ኣለኻ ማለት እዩ። ከምቲ ኣብ ላዕሊ ዝተገልጸ ኡቡንቱ ኤም ኤል (ማሽን ሌርኖንግ) የድሊ።

2. ነቲ መኽዘን ብ YaLM ክሎን ምግባር

ሱዶ ጊት ክሎን https://github.com/yandex/YaLM-100B/ ያልም
ሲዲ ያልም

ድሕሪኡ ነቲ docker config ከተዐርዮ ከይትግደድ ናብ home folder ናትካ ክሎን ግበሮ። ኣብ ካልእ ቦታ ክሎን እንተኾይኑ፡ ሽዑ
ኣብዚ ኬድካ ናብቲ ክሎን ዝተገብረሉ ቦታ ወስኸሉ።

3. መፈተሺ ነጥብታት ምውራድ (መሰረታዊ ሞዴል ስልጠና ሓበሬታ)

sudo chmod +x ./ምውራድ/ምውራድ.sh
sudo bash ./ምውራድ/ምውራድ.sh

እዚ ድማ ኣስታት ሓደ ሰዓት ክወስድ እዩ። ብኸንቱ ግዜ ከይነጥፍእ ሓድሽ ssh ምትእስሳር ንፈጥር እሞ ጎኒ ጎኒ ድማ docker container ክንሃንጽ ንጅምር።

4. nvidia – docker 2 ንጽዓኖ

ንቡር ዶከር ምቹእ ኣይኮነን፣
nvidia-docker2 የድሊ ።
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#ምትካል-ናይ-nvidia-መትሓዚ-መሳርሒታት

5. ን YaLM ዝኸውን ኮንተይነር ምህናጽ

cd yalm ሱዶ
chmod +x ./docker/* ሱዶ
ባሽ ./ዶከር/build.sh

ኣስታት ሓደ ሰዓት እውን እዩ።

ህይወት ሃክ። መፈተሺ ነጥብታት ከተውርድ፡ docker ክትተክልን ኣብ ርካሽ ሰርቨር ብሓደ ቪድዮ ካርድ ኮንተይነር ክትሃንጽን ትኽእል ኢኻ። ምስ ግዜ ከምኡ ክኸውን እዩ፣ ስለዚ ቁሩብ ክትቆጥብ ትኽእል ኢኻ። ኣብ ርካሽ ሰርቨር ድሕሪ ምትእኽኻብ ንደምሶ፣ ካብ ርካሽ ሰርቨር ዲስክ ተጠቒምና ድማ ናይ ውግእ ሰርቨር ንፈጥር። ሽዑ ነቲ ምትእኽኻብ ምጽባይን ነቑጣታት ምፍታሽን ንምውጻእን ዝወሃብ ግዜ ካብ መጠን ንላዕሊ ኣይትኸፍሎን ኢኻ።

6. ትሕዝቶ ምድላው

6.1 መፈተሺ ነጥብታት

ድሕሪ ምውራድ ናይ ምፍታሽ ነጥብታት ምስተወድአ ኣብቲ configs ክትሰትዮም ኣለካ። ክልተ መንገድታት ኣለዉ፡ ቅኑዕ መለክዒታት ወይ ናይ ምትሕልላፍ መፈተሺ ነጥብታት። ኣብ ኩሉ ቦታታት እቶም መፈተሺ ነጥብታት ብቕደም ተኸተል ኣብቲ ቀንዲ ማህደር ናይቲ ፕሮጀክት ክህልዉ ትጽቢት ይግበር፡ እቲ ዝተወርደ ካብቲ ኣብ ላዕሊ ዘሎ ናይ ምውራድ ማህደር ክሰጋገር ኣለዎ። ኣብ yalm ፎልደር ምህላው execute

mv ./download/yalm100b_መፈተሺ ነጥቢ ./

ወይ ድማ ኣብ ኣብነት ፋይላት
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9 ንዘለዉ ፋይላት መንገድታት ቀይር

6.2 ቪድዮ ካርድታት

እተን ቪድዮ ካርድታት ብግቡእ ከም ዝተቐመጣ ንመርምር። ሸሞንተ ቪድዮ ካርድታት እንተሃልዮምኻ፡ ሽዑ ዝኾነ ነገር ምቕያር ኣየድልዮን እዩ። እቲ ቁጽሪ ዝተፈላለየ እንተኾይኑ፡ ሽዑ ነዞም መስመራት ንቕይሮም
ኣብ ካልኣይ መስመር፡ ቁጽሪ ናይቶም ዝተጠቕሙ መሳርሒታት (ኣብ nvidia-smi ክትሪእዎም ትኽእሉ ኢኹም፡ ድሮ ኣበጊስኩምዎ ኣለኹም)። ኣብ ራብዓይ ድማ ቁጽሮም…

7. ነቲ ናይ ዶከር ኮንተይነር ኣካይዶ

ኣብቲ yalm ዝብል ፎልደር ብምህላውና ነቲ ትእዛዝ ፈጽሞ

ሱዶ ባሽ ./ዶከር/ሩን.ሽ

ኩሉ ጽቡቕ እንተኾይኑ፡ ሽዑ ናብ ሓደ መትሓዚ ክትውሰድ ኢኻ ኣብኡ ድማ ኣብቲ ናይ ገዛ ማህደርካ ናብቲ yalm ዝብል ፎልደር ክትከይድ ኣለካ።

cd ~/ያልም ዝብል ጽሑፍ ኣሎ።

8. ካብ YaLM 100B ዝመጸ ኣብነት ኣካይድ

ካብቶም ኣብነታት ሓደ ክንጅምር ድሉዋት ኢና። ኣብዚ ተገሊጾም
ኣለዉ ።

chmod +x ./ኣብነታት/መተሓላለፊ_ምፍጣር. sh ./ኣብነታት/መተሓላለፊ_ምፍጣር.
sh

ዓቕሊ ግበሩ፣ ሞዴል GPT ክሳብ ዝፍጠርን ካብ መፈተሺ ነቑጣታት ዝመፁ ሚዛናት ክሳብ ዝፅዓኑን ንተወሳኺ 10-15 ደቓይቕ ምፅባይ ይተርፍ።

እቲ ህንጸት ምስተወድአ፡ MegatronML ጽሑፍ ንምፍጣር ዓውደ-ጽሑፍ ከተእቱ ይሓተካ። ክትጽሕፍ ከለኻ ተጠንቀቕ። ኣብ ዝተወሰኑ ኩነታት ጌጋ የጋጥም፡ እቲ ፕሮግራም ይዓኑ እሞ ነቲ ምትእኽኻብ እንደገና ክትጅምሮ ኣለካ። ስለዚ ካብ ሓደ ፋይል ጽሑፍ ዝወስዱ ኣብነታት ምጥቃም ይሓይሽ።

9. ውፅኢት ስራሕ

መሳጢ ይመስል። ብርግጽ እዚኣቶም ጽቡቕ ኣብነት ጥራይ እዮም። ነቲ መርመራ ኣብ ዝተፈላለዩ ናሙናታት እየ ኣካይደዮ። ከምቲ ትጽቢት ዝግበረሉ፡ ዓውደ-ጽሑፍ ብዝሓሸ መጠን፡ ዝያዳ ትርጉም ዘለዎ ጽሑፍ ክፍጠር እዩ። ምሉእ ስብስብ ናይ ፈተነ ወለዶታት ኣብዚ ሊንክታት ክትዕዘቡ ትኽእሉ ኢኹም፤

• generate_conditional_sampling.sh ዝብል ጽሑፍ ኣሎ።
• generate_conditional_greedy.sh ዝብል ጽሑፍ ኣሎ።
• generate_unconditional.sh ዝብል ጽሑፍ ኣሎ።

ንዋጋኡ ድማ ካብ ስልጠናን ካብ ምድላው ክሳብ ወለዶን ዝተፈላለየ ዓቕሚ ዘለዎም ሰርቨር ንምክራይ ኣስታት 9 ሽሕ ሩብል ወጻኢታት ገይሩለይ። ፍሉይ ተስፋ ዘቑርጽ ነገር ብቕጽበት ንኹሉ ከተመንጩ ዘይምኽኣልካ እዩ ነይሩ። ንኽጅምር ኣዝዩ ነዊሕ ግዜ ይወስድ እሞ እቲ ጽሑፍ ከምቲ ንደልዮ ቅልጡፍ ኣይፈጥርን እዩ፣ ኣብ ግምት ብምእታው ዋጋ ናይቲ ሰርቨር ኣብ ሰዓት።
 

ከመይ ጌርና YaLM ብዘይ 200Gb GPU RAM ንሰርሕ?

ኣብቲ config deepspeed zero offload ክትውስኽ ኣለካ። ነቶም ብዛዕባ እንታይ ንዛረብ ከም ዘለና ዝፈልጡ ድማ ኣዝዩ ቀሊል ክኸውን እዩ። ንኻልኦት እዚ ፈጺሙ ንእሽቶ ዕማም ኣይኮነን። offload ወይ ኣብ CPU RAM ወይ NVMe ክኸውን ከም ዝኽእል ምፍላጥ ኣገዳሲ እዩ። ኣብዚ እዋን እዚ ብዛዕባ NVMe ክትዝንግዑ ትኽእሉ ኢኹም፣ ምኽንያቱ… ኣዝዩ ብዙሕ ዳታ ይስራሕ ስለዘሎ እቲ ዲስክ ክጻወሮ ኣይክእልን እዩ። ዜሮ ኦፍሎድ ሲፒዩ ዝያዳ ሓቀኛ እዩ። ሓቂ እዩ ነዚ 200+ Gb CPU RAM ኣብ ስቶክ ክህልወካ ኣለዎ እዚ ውን ርካሽ ኣይኮነን። ከምኡ’ውን ሓደ ጽሑፍ ንኣስታት 20-40 ደቓይቕ ክፍጠር እዩ፣ ምኽንያቱ ገና ኣብ ክልተ ቪድዮ ካርድታት ምምስሳል ስለዘይተኻእለ። ኣብዚ ታሕቲ ዘሎ ስእሊ ከም እትርእይዎ፡ ኣብቲ ወለዶ ሓንቲ ቪድዮ ካርድ ጥራይ እያ ተሳቲፋ፡ ድሕሪኡ ድማ ንርብዒ ናይቲ መዘክር ጥራይ እያ ተሳቲፋ። ኩለን 24 ጊባ ንምንታይ ኣብ ጥቕሚ ዘይውዕላ ምህላው ገና ክርአ እዩ፣
ጽቡቕ፡ ኣብ መደምደምታ፡ ዋላ ኣብ ሓንቲ RTX 3070 TI ምጉያይ ይከኣል እዩ ክብል እየ። ኣብዚ ግን ፍሉይ ትርጉም የለን፣ ምኽንያቱ… NVMe ኣብቲ ስዋፕ 150 ጊባ ዳታ ብቕልጡፍ ክትሰርሕ ኣይፈቅደልካን እዩ፡ እዚ ድማ ኣብ መመላእታ 96 ጊባ ራም ኣሎ።

ምጽማቕ

ብርግጽ ሕጂ’ውን ምቹእ ዝኾነ ናይ ምብጋስ መንገድታት ንምርካብ ክፍትን እየ። ክሳብ ሕጂ ግን YaLM 100b ንዕማመይ ኣዝዩ ክቡር / ኣዝዩ ስሉጥ እዩ ኣብ ዝብል መደምደምታ በጺሐ ኣለኹ። ብተመሳሳሊ ገንዘብ ሰባት ኣዝዩ ዝያዳን ኣዝዩ ዝሓሸን ክጽሕፉ እዮም። ግን ግዝያዊ እዩ ዝመስለኒ ክንርእዮ ኢና። ኣብ ምጅማር፡ ምድላው yalm ሓገዝ እንተደሊኻ፡ ወይ ኣብ ኣብነታት ዓውደ-ጽሑፍካ ውጽኢት ክትሪኢ እንተደሊኻ፡ ናብ ፖስታ ወይ ቴሌግራም ጽሓፍ።