Na suka ya sanza ya motoba, Yandex ebimisaki réseau neuronal oyo ezali na ba paramètres miliare 100 oyo babengi YaLM 100B mpo na bato nyonso . Ezali réseau neuronal ya monene oyo ezali lokola GPT na domaine public. Ezali kolobela ndenge bateyaki, balakisaki bandakisa ya malamu koleka mpe nini neuron ezali na makoki ya kosala. Kasi ezali malamu mpenza na misala mpe ekoki kosalelama na ndako? Lisolo ezali kimia na likambo oyo, lisusu, ezali pete mingi te mpo na kosala mpe kotala yango, lokola pene na 200 Gb ya RAM ya GPU esengeli. Commentaire oyo sur Habré ezo dévoiler situation na précision koleka .
Soit disant, na Yandex, batu nionso ya mayele ya boye, pe ba poster même pas un normal How-to. Api ezali te mpo na modèle ya monene, ezali na modèle ya moyenne dépouillé prêt te to modèle ya moke te mpo na bato mpamba (na Google Colab). Ndakisa moko te epesami na ndenge ya kosala modèle, ndenge ya kobimisa makomi. Eza kaka que article ezo indiquer un couple de nuances pona ba nerds et c’est ça. Ekoki kotala malamu ndenge nini banque esalaki yango na letre “C” mpe kosala mpe bongo. Nazui impression que modèle oyo ezali kaka moko ya ba expériences oyo elongaki te oyo ezalaki mawa ya kobwaka na poubelle, yango wana e poster yango na Open Source pona kolakisa ba modèles nini ya minene Yandex a créer, et d’ailleurs, ezali source ouverte!
Ezali na mituna mingi na internet ndenge nini kosala yalm to kutu komeka na nzela ya Internet, kasi biyano ezali te na likambo oyo. Nazalaki kati na basaleli oyo batunaki mituna yango. Mpe bóbandaki koluka koyeba yango. Lokola nazalaki mpenza na mposa ya lolenge ya kobimisa makomi mpo na barobo ya mosolo. Po ba prédire kaka ba valeurs te, mais pe ba commenter yango na texte, sur la base ya ba rapports financiers. En essence, ekozala ndenge moko na oyo ba analystes financières basalaka, kaka na usage ya intelligence artificielle. Ezali na ndenge mibale ya ko kima yalm. Futela serveur moko na kati ya lipatana 200+ Gb GPU RAM to ko modifier code pe kosala na décharge zéro ya vitesse profonde (tango GPU ezo traité sequentiellement partie ya réseau neuronal, pe oyo etikali ebombami na CPU RAM to NVMe). Ya liboso ezali ntalo mingi, soki 2500 roubles na ngonga moko to 1,7 millions na sanza. Ya mibale eyebani te, mpo code oyo ezali na ebombelo epesami te, kaka ba conseils na likambo ya ebombelo, oyo ezali mpasi te mpo na kosala. Tobanda na pete.
Osengeli na ata 200 GB ya mémoire vidéo totale. 8×40 = 320 GB ya mbongo. Kaka oyo nde ebongi. Moins de 200 ezali impossible, plus ezali possible. Fléche elakisi RAM ya CPU, totali yango te. Akoki kozala moto nyonso.
Tozali kolakisa disque ya soki 300 GB, de sorte que avec un disque de rechange et de préférence un disque rapide, po. ba dizaines ya ba gigabytes ya ba données eko transferer na yango pe ekozonga na yango.
Ntango ozali kosala na ba sources, pona Ubuntu ML (Machine Learning). Yango ezali obligatoire mpo ba cartes vidéo ezala configuré mpe eloko moko te esengeli ezala installé en plus.
Tango ozali kosala serveur, ezali na ba nuances na ba quotas, okoki kozua sentiment que équipement ezali te, mais en fait il faut kaka omatisaka ba quotas na ba paramètres. Sima ya ko activer serveur (ekoki kozua 5-10 minutes), connecter na serveur via ssh to directement na console web na page ya serveur pe exécuter commande.
nvidia-smi oyo azali
Résultat esengeli ezala table na ba cartes vidéo, version ya pilote na cuda. Pene na lokola oyo. Na motó ya likambo ya version ya pilote mpe wapi. Na ngambo ya gauche ezali na ba numéros ya appareil, na centre ezali na taille ya mémoire ya appareil. Soki ozali na ba informations oyo te, alors osangisi serveur na source ya mabe. Ubuntu ML (Machine Learnong) esengeli, ndenge elobami likolo.
2. Clone ya dépôt na YaLM
sudo clone ya git https://github.com/yandex/YaLM-100B/ yalm cd yalm
Clone na dossier ya ndaku na yo po ozala na besoin te ya ko éditer config ya docker sima. Soki cloné esika mosusu, alors kende awa pe bakisa nzela ya esika cloné.
3. Kozwa ba points de contrôle (ba informations ya formation ya modèle ya base) .
cd yalm sudo chmod +x ./docker/* bash ya sudo ./docker/kotonga.sh
Ezali mpe soki ngonga moko.
Bomoi hack. Okoki ko télécharger ba points de contrôle, ko installer docker pe kotonga conteneur na serveur ya talo moke na carte vidéo moko. Ekozala ndenge moko na ntango, mpo okoka kobomba mwa moke. Après assemblage na serveur ya talo moke, to supprimer yango, pe tosala serveur ya combat en utilisant disque na serveur ya talo moke. Na nsima, okofuta mingi te ntango ya kozela assemblée mpe kopompa ba points de contrôle.
6. Bongisá makambo oyo ezali na kati
6.1 Bisika ya botali
Sima ya téléchargement ya ba points de contrôle esili, esengeli o glisser yango na ba configs. Ezali na ndenge mibale, ba paramètres ya malamu to ba points de contrôle ya transfert. Bisika nionso ezelamaka que ba points de contrôle ekozala na répertoire principal ya projet, respectivement, oyo e téléchargé esengeli e transferer na dossier ya téléchargement oyo ezali likolo. Kozala na dossier yalm exécuter
Totalelaka soki bakarte ya video etyami malamu. Soki ozali na bakarte ya video mwambe, boye esengeli te kobongola eloko moko. Soki nombre eza différent, alors to changer ba lignes oyo Na deuxième ligne, ba nombres ya ba appareils oyo osaleli (okoki kotala yango na nvidia-smi, oyo osi o lancer). Na ya minei, motángo na bango.
7. Tambuisa eloko ya docker
Kozala na dossier yalm, exécuter commande
sudo bash ./docker/kosala.sh
Soki nionso ezali OK, wana bakomema yo na conteneur moko oyo esengeli okende na dossier yalm na répertoire ya ndako na yo.
cd ~/yalm oyo ezali
8. Salá ndakisa oyo euti na YaLM 100B
Tozali prêt ya ko lancer moko ya ba exemples. Bazali kolimbola yango awa .
Zala na patience, etikali kozela lisusu 10-15 minutes tiii tango modèle GPT ekosalema pe ba poids oyo ewutaka na ba points de contrôle ekozala chargé.
Tango kotonga ekosila, MegatronML ekosenga yo okotisa contexte pona kobimisa texte. Kebá ntango ozali kokoma na masini. Na ba circonstances mosusu, erreur esalemi, programme e crasher mpe esengeli o banda lisusu assemblage. Yango wana, ezali malamu kosalela bandakisa oyo ezali kozwa makomi na fisyé moko.
9. Ba résultats ya mosala
Emonani lokola likambo ya kosepelisa. Ya solo, yango ezali kaka bandakisa malamu. Nasalaki momekano yango na ba échantillons ndenge na ndenge. Ndenge tokanisaki, soki contexte ezali malamu, makomi ekozala na ntina mingi. Ensemble mobimba ya ba génération expérimentale ekoki kotalama na ba liens:
Pona prix, efutaki ngai soki 9 mille roubles pona ko louer ba serveurs ya ba capacités différentes depuis formation pe depuis préparation ti génération. Déception particulière ezalaki que okoki ko générer nionso instantanément te. Ezali kozwa ntango molai mpenza mpo na kobanda mpe makomi ebimisaka nokinoki te ndenge tolingaki, soki totali motuya ya serveur na ngonga moko.
Ndenge nini kosala YaLM sans RAM GPU ya 200Gb?
Esengeli obakisa deepspeed zéro offload na config. Mpo na baoyo bayebi makambo oyo tozali kolobela, ekozala mpasi te mpo na kosala yango. Mpo na basusu, yango ezali mpenza mosala ya mpambampamba te. Ezali na ntina koyeba ete décharge ekoki kozala soit na CPU RAM to NVMe. Okoki kobosana NVMe na moment oyo, po. quantité moko très grande ya ba données ezali ko traité mpe disque ekoki ko faire face na yango te. CPU ya déchargement zéro eza plus réel. Vrai, pona yango esengeli ozala na 200+ Gb CPU RAM en stock, oyo pe eza ya talo moke te. Mpe texte moko ekosalema na boumeli ya miniti soki 20-40, mpamba te ekoki naino te kosala parallèle na yango na ba cartes vidéo mibale. Ndenge bokoki komona na capture d’écran oyo ezali awa na se, kaka carte vidéo moko nde ekɔtaki na génération, mpe na nsima kaka mpo na quarter ya mémoire. Etikali komonana mpo na nini ba 24 GB nionso esalelamaka te, Bon, na conclusion, nakoloba que ezali possible ko tambola ata na RTX 3070 TI moko. Kasi ezali na sens moko te ya sikisiki na likambo oyo, mpo. NVMe eko permettre yo te o traité noki 150 GB ya ba données na swap, oyo ezali na appendage ya 96 GB ya RAM.
Koloba na mokuse
Ya solo, nakoluka kaka koluka banzela ya bobandi oyo eleki malamu. Mais jusqu’ici na komi na conclusion que YaLM 100b eza trop cher / trop lent pona ba tâches na ngai. Mpo na mbongo moko, bato bakokoma mingi mingi mpe malamu mingi. Kasi nakanisi ezali ya mwa ntango moke, tokomona. Soki ozali na mposa ya lisalisi na bobandi, kosala yalm, to olingi komona ba résultats na bandakisa na yo ya contexte, koma na mail to na télégramme.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?