ಜೂನ್ ಅಂತ್ಯದಲ್ಲಿ, Yandex ಸಾರ್ವಜನಿಕರಿಗೆ YaLM 100B ಎಂಬ 100 ಶತಕೋಟಿ ನಿಯತಾಂಕಗಳೊಂದಿಗೆ ನರಮಂಡಲವನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿತು . ಇದು ಸಾರ್ವಜನಿಕ ಡೊಮೇನ್‌ನಲ್ಲಿನ ಅತಿ ದೊಡ್ಡ GPT ತರಹದ ನರಮಂಡಲವಾಗಿದೆ. ಅವರು ಹೇಗೆ ಕಲಿಸಿದರು, ಅತ್ಯುತ್ತಮ ಉದಾಹರಣೆಗಳನ್ನು ತೋರಿಸಿದರು ಮತ್ತು ನರಕೋಶದ ಸಾಮರ್ಥ್ಯ ಏನು ಎಂಬುದರ ಕುರಿತು ಇದು ಹೇಳುತ್ತದೆ. ಆದರೆ ಇದು ಆಚರಣೆಯಲ್ಲಿ ತುಂಬಾ ಒಳ್ಳೆಯದು ಮತ್ತು ಮನೆಯಲ್ಲಿ ಅನ್ವಯಿಸುತ್ತದೆಯೇ? ಲೇಖನವು ಇದರ ಬಗ್ಗೆ ಮೌನವಾಗಿದೆ, ಮೇಲಾಗಿ, ಅದನ್ನು ಚಲಾಯಿಸಲು ಮತ್ತು ಪರಿಶೀಲಿಸಲು ಅಷ್ಟು ಸುಲಭವಲ್ಲ, ಏಕೆಂದರೆ ಸರಿಸುಮಾರು 200 Gb GPU RAM ಅಗತ್ಯವಿದೆ. ಹಬ್ರೆ ಮೇಲಿನ ಈ ಕಾಮೆಂಟ್ ಪರಿಸ್ಥಿತಿಯನ್ನು ಅತ್ಯಂತ ನಿಖರವಾಗಿ ಬಹಿರಂಗಪಡಿಸುತ್ತದೆ .
ಆಪಾದಿತವಾಗಿ, ಯಾಂಡೆಕ್ಸ್‌ನಲ್ಲಿ, ಅಂತಹ ಎಲ್ಲಾ ಸ್ಮಾರ್ಟ್ ಜನರು, ಮತ್ತು ಅವರು ಸಾಮಾನ್ಯ ಹೇಗೆ ಮಾಡಬೇಕೆಂದು ಸಹ ಪೋಸ್ಟ್ ಮಾಡಲಿಲ್ಲ. ದೊಡ್ಡ ಮಾದರಿಗೆ ಆಪಿ ಇಲ್ಲ, ಸಾಮಾನ್ಯ ಜನರಿಗೆ (ಗೂಗಲ್ ಕೋಲಾಬ್‌ನಲ್ಲಿ) ಸಿದ್ಧವಾದ ಸ್ಟ್ರಿಪ್ಡ್ ಡೌನ್ ಮಧ್ಯಮ ಅಥವಾ ಸಣ್ಣ ಮಾದರಿ ಇಲ್ಲ. ಮಾದರಿಯನ್ನು ಹೇಗೆ ಹೊಂದಿಸುವುದು, ಪಠ್ಯವನ್ನು ಹೇಗೆ ರಚಿಸುವುದು ಎಂಬುದರ ಕುರಿತು ಯಾವುದೇ ಉದಾಹರಣೆಯನ್ನು ನೀಡಲಾಗಿಲ್ಲ. ದಡ್ಡರಿಗೆ ಲೇಖನವು ಒಂದೆರಡು ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸಗಳನ್ನು ಸೂಚಿಸುತ್ತದೆ ಮತ್ತು ಅಷ್ಟೆ. ಬ್ಯಾಂಕ್ “ಸಿ” ಅಕ್ಷರದೊಂದಿಗೆ ಅದನ್ನು ಹೇಗೆ ಮಾಡಿತು ಎಂಬುದನ್ನು ಹತ್ತಿರದಿಂದ ನೋಡಿ ಮತ್ತು ಅದೇ ರೀತಿ ಮಾಡಿದರೆ ಸಾಕು. ಈ ಮಾದರಿಯು ವಿಫಲವಾದ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ ಎಂಬ ಅನಿಸಿಕೆ ನನಗೆ ಸಿಕ್ಕಿತು, ಅದು ಕಸದ ಬುಟ್ಟಿಗೆ ಎಸೆಯಲು ಕರುಣೆಯಾಗಿದೆ, ಆದ್ದರಿಂದ ಯಾಂಡೆಕ್ಸ್ ಯಾವ ಉತ್ತಮ ಮಾದರಿಗಳನ್ನು ರಚಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ತೋರಿಸಲು ಇದನ್ನು ಓಪನ್ ಸೋರ್ಸ್‌ನಲ್ಲಿ ಪೋಸ್ಟ್ ಮಾಡಲಾಗಿದೆ ಮತ್ತು ಮೇಲಾಗಿ ಇದು ತೆರೆದ ಮೂಲವಾಗಿದೆ!
ಅಂತರ್ಜಾಲದಲ್ಲಿ ಯಾಲ್ಮ್ ಅನ್ನು ಹೇಗೆ ಓಡಿಸುವುದು ಅಥವಾ ಆನ್‌ಲೈನ್‌ನಲ್ಲಿ ಪ್ರಯತ್ನಿಸುವುದು ಹೇಗೆ ಎಂಬ ಪ್ರಶ್ನೆಗಳು ಬಹಳಷ್ಟು ಇವೆ, ಆದರೆ ಇದಕ್ಕೆ ಯಾವುದೇ ಉತ್ತರಗಳಿಲ್ಲ. ಈ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳಿದ ಬಳಕೆದಾರರಲ್ಲಿ ನಾನೂ ಇದ್ದೆ. ಮತ್ತು ಅದನ್ನು ಕಂಡುಹಿಡಿಯಲು ಹೊಂದಿಸಿ. ಹಣಕಾಸಿನ ರೋಬೋಟ್‌ಗಳಿಗಾಗಿ ಪಠ್ಯಗಳನ್ನು ರಚಿಸಲು ನನಗೆ ನಿಜವಾಗಿಯೂ ಒಂದು ಮಾರ್ಗ ಬೇಕಾಗಿರುವುದರಿಂದ. ಆದ್ದರಿಂದ ಅವರು ಆರ್ಥಿಕ ವರದಿಗಳ ಆಧಾರದ ಮೇಲೆ ಮೌಲ್ಯಗಳನ್ನು ಮಾತ್ರವಲ್ಲದೆ ಪಠ್ಯದಲ್ಲಿ ಕಾಮೆಂಟ್ ಮಾಡಬಹುದು. ಮೂಲಭೂತವಾಗಿ, ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ ಬಳಕೆಯಿಂದ ಮಾತ್ರ ಹಣಕಾಸು ವಿಶ್ಲೇಷಕರು ಏನು ಮಾಡುತ್ತಾರೆ ಎಂಬುದರಂತೆಯೇ ಇರುತ್ತದೆ. ಯಾಲ್ಮ್ ಅನ್ನು ಚಲಾಯಿಸಲು ಎರಡು ಮಾರ್ಗಗಳಿವೆ. ಕ್ಲೌಡ್‌ನಲ್ಲಿ ಸರ್ವರ್ ಅನ್ನು ಬಾಡಿಗೆಗೆ ನೀಡಿ200+ Gb GPU RAM ನೊಂದಿಗೆ ಅಥವಾ ಕೋಡ್ ಅನ್ನು ಮಾರ್ಪಡಿಸಿ ಮತ್ತು ಡೀಪ್‌ಸ್ಪೀಡ್ ಶೂನ್ಯ ಆಫ್‌ಲೋಡ್‌ನೊಂದಿಗೆ ರನ್ ಮಾಡಿ (GPU ಅನುಕ್ರಮವಾಗಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ನ ಭಾಗವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಿದಾಗ ಮತ್ತು ಉಳಿದವು CPU RAM ಅಥವಾ NVMe ನಲ್ಲಿ ಸಂಗ್ರಹಿಸಿದಾಗ). ಮೊದಲನೆಯದು ತುಂಬಾ ದುಬಾರಿಯಾಗಿದೆ, ಗಂಟೆಗೆ ಸುಮಾರು 2500 ರೂಬಲ್ಸ್ಗಳು ಅಥವಾ ತಿಂಗಳಿಗೆ 1.7 ಮಿಲಿಯನ್. ಎರಡನೆಯದು ಅಜ್ಞಾತ, ಏಕೆಂದರೆ ರೆಪೊಸಿಟರಿಯಲ್ಲಿನ ಕೋಡ್ ಅನ್ನು ಒದಗಿಸಲಾಗಿಲ್ಲ, ರೆಪೊಸಿಟರಿಯ ಸಂಚಿಕೆಯಲ್ಲಿ ಮಾತ್ರ ಸುಳಿವುಗಳನ್ನು ನೀಡುತ್ತದೆ, ಅದನ್ನು ಮಾಡಲು ಕಷ್ಟವೇನಲ್ಲ. ಸರಳವಾಗಿ ಪ್ರಾರಂಭಿಸೋಣ.
1. ನಾವು 200 GB GPU RAM ಅನ್ನು ಬಾಡಿಗೆಗೆ ನೀಡುತ್ತೇವೆ, ಉದಾಹರಣೆಗೆ ಇಲ್ಲಿ .
ನಿಮಗೆ ಕನಿಷ್ಠ 200 GB ಒಟ್ಟು ವೀಡಿಯೊ ಮೆಮೊರಿಯ ಅಗತ್ಯವಿದೆ. 8×40 = 320 GB. ಇದು ಮಾತ್ರ ಸರಿಹೊಂದುತ್ತದೆ. 200 ಕ್ಕಿಂತ ಕಡಿಮೆ ಅಸಾಧ್ಯ, ಹೆಚ್ಚು ಸಾಧ್ಯ. ಬಾಣವು CPU RAM ಅನ್ನು ಸೂಚಿಸುತ್ತದೆ, ನಾವು ಅದನ್ನು ನೋಡುವುದಿಲ್ಲ. ಅವಳು ಯಾರಾದರೂ ಆಗಿರಬಹುದು.
ನಾವು ಸುಮಾರು 300 GB ಯ ಡಿಸ್ಕ್ ಅನ್ನು ಸೂಚಿಸುತ್ತೇವೆ, ಇದರಿಂದಾಗಿ ಒಂದು ಬಿಡುವಿನ ಮತ್ತು ಮೇಲಾಗಿ ವೇಗದ ಡಿಸ್ಕ್, ಏಕೆಂದರೆ. ಹತ್ತಾರು ಗಿಗಾಬೈಟ್‌ಗಳ ಡೇಟಾವನ್ನು ಅದಕ್ಕೆ ಮತ್ತು ಅದರಿಂದ ವರ್ಗಾಯಿಸಲಾಗುತ್ತದೆ.
ಮೂಲಗಳಲ್ಲಿ ರಚಿಸುವಾಗ, ಉಬುಂಟು ML (ಯಂತ್ರ ಕಲಿಕೆ) ಆಯ್ಕೆಮಾಡಿ. ಇದು ಕಡ್ಡಾಯವಾಗಿದೆ ಆದ್ದರಿಂದ ವೀಡಿಯೊ ಕಾರ್ಡ್ಗಳನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾಗಿದೆ ಮತ್ತು ಹೆಚ್ಚುವರಿಯಾಗಿ ಏನನ್ನೂ ಸ್ಥಾಪಿಸಬೇಕಾಗಿಲ್ಲ.
ಸರ್ವರ್ ಅನ್ನು ರಚಿಸುವಾಗ, ಕೋಟಾಗಳೊಂದಿಗೆ ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸಗಳಿವೆ, ಉಪಕರಣಗಳು ಲಭ್ಯವಿಲ್ಲ ಎಂಬ ಭಾವನೆಯನ್ನು ನೀವು ಪಡೆಯಬಹುದು, ಆದರೆ ವಾಸ್ತವವಾಗಿ ನೀವು ಸೆಟ್ಟಿಂಗ್ಗಳಲ್ಲಿ ಕೋಟಾಗಳನ್ನು ಹೆಚ್ಚಿಸಬೇಕಾಗಿದೆ. ಸರ್ವರ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿದ ನಂತರ (ಇದು 5-10 ನಿಮಿಷಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಬಹುದು), ssh ಮೂಲಕ ಅಥವಾ ನೇರವಾಗಿ ಸರ್ವರ್ ಪುಟದಲ್ಲಿನ ವೆಬ್ ಕನ್ಸೋಲ್‌ನಲ್ಲಿ ಸರ್ವರ್‌ಗೆ ಸಂಪರ್ಕಪಡಿಸಿ ಮತ್ತು ಆಜ್ಞೆಯನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿ.
nvidia-smi
ಫಲಿತಾಂಶವು ವೀಡಿಯೊ ಕಾರ್ಡ್‌ಗಳು, ಚಾಲಕ ಆವೃತ್ತಿ ಮತ್ತು ಕುಡಾದೊಂದಿಗೆ ಟೇಬಲ್ ಆಗಿರಬೇಕು. ಸರಿಸುಮಾರು ಈ ರೀತಿ. ಚಾಲಕ ಆವೃತ್ತಿ ಹೆಡರ್ ಮತ್ತು ಅಲ್ಲಿ. ಎಡಭಾಗದಲ್ಲಿ ಸಾಧನ ಸಂಖ್ಯೆಗಳಿವೆ, ಮಧ್ಯದಲ್ಲಿ ಸಾಧನದ ಮೆಮೊರಿಯ ಗಾತ್ರವಿದೆ. ನೀವು ಈ ಮಾಹಿತಿಯನ್ನು ಹೊಂದಿಲ್ಲದಿದ್ದರೆ, ನೀವು ತಪ್ಪು ಮೂಲದಿಂದ ಸರ್ವರ್ ಅನ್ನು ಸಂಗ್ರಹಿಸಿದ್ದೀರಿ. ಮೇಲೆ ವಿವರಿಸಿದಂತೆ ಉಬುಂಟು ML (ಮೆಷಿನ್ ಲರ್ನಾಂಗ್) ಅಗತ್ಯವಿದೆ.
ನಿಮ್ಮ ಹೋಮ್ ಫೋಲ್ಡರ್‌ಗೆ ಕ್ಲೋನ್ ಮಾಡಿ ಆದ್ದರಿಂದ ನೀವು ಡಾಕರ್ ಕಾನ್ಫಿಗರ್ ಅನ್ನು ಸಂಪಾದಿಸಬೇಕಾಗಿಲ್ಲ. ಬೇರೆಲ್ಲಿಯಾದರೂ ಕ್ಲೋನ್ ಮಾಡಿದ್ದರೆ, ಇಲ್ಲಿಗೆ ಹೋಗಿ ಮತ್ತು ಕ್ಲೋನ್ ಮಾಡಿದ ಸ್ಥಳಕ್ಕೆ ಮಾರ್ಗವನ್ನು ಸೇರಿಸಿ.
3. ಚೆಕ್‌ಪೋಸ್ಟ್‌ಗಳನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ (ಮೂಲ ಮಾದರಿ ತರಬೇತಿ ಮಾಹಿತಿ)
ಇದು ಸುಮಾರು ಒಂದು ಗಂಟೆ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ವ್ಯರ್ಥವಾಗಿ ಸಮಯವನ್ನು ವ್ಯರ್ಥ ಮಾಡದಿರಲು, ನಾವು ಹೊಸ ssh ಸಂಪರ್ಕವನ್ನು ರಚಿಸುತ್ತೇವೆ ಮತ್ತು ಸಮಾನಾಂತರವಾಗಿ ನಾವು ಡಾಕರ್ ಕಂಟೇನರ್ ಅನ್ನು ನಿರ್ಮಿಸಲು ಪ್ರಾರಂಭಿಸುತ್ತೇವೆ.
cd ಯಾಲ್ಮ್ ಸುಡೋ chmod +x ./docker/* sudo bash ./docker/build.sh
ಇದು ಕೂಡ ಸುಮಾರು ಒಂದು ಗಂಟೆ.
ಲೈಫ್ ಹ್ಯಾಕ್. ನೀವು ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಬಹುದು, ಡಾಕರ್ ಅನ್ನು ಸ್ಥಾಪಿಸಬಹುದು ಮತ್ತು ಒಂದು ವೀಡಿಯೊ ಕಾರ್ಡ್‌ನೊಂದಿಗೆ ಅಗ್ಗದ ಸರ್ವರ್ನಲ್ಲಿ ಕಂಟೇನರ್ ಅನ್ನು ನಿರ್ಮಿಸಬಹುದು. ಇದು ಸಮಯಕ್ಕೆ ಒಂದೇ ಆಗಿರುತ್ತದೆ, ಆದ್ದರಿಂದ ನೀವು ಸ್ವಲ್ಪ ಉಳಿಸಬಹುದು. ಅಗ್ಗದ ಸರ್ವರ್ನಲ್ಲಿ ಜೋಡಣೆಯ ನಂತರ, ನಾವು ಅದನ್ನು ಅಳಿಸುತ್ತೇವೆ ಮತ್ತು ಅಗ್ಗದ ಸರ್ವರ್ನಿಂದ ಡಿಸ್ಕ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಯುದ್ಧ ಸರ್ವರ್ ಅನ್ನು ರಚಿಸುತ್ತೇವೆ. ನಂತರ ನೀವು ಅಸೆಂಬ್ಲಿಗಾಗಿ ಕಾಯುವ ಮತ್ತು ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು ಪಂಪ್ ಮಾಡುವ ಸಮಯವನ್ನು ಹೆಚ್ಚು ಪಾವತಿಸುವುದಿಲ್ಲ.
6. ವಿಷಯವನ್ನು ತಯಾರಿಸಿ
6.1 ಚೆಕ್‌ಪೋಸ್ಟ್‌ಗಳು
ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳ ಡೌನ್‌ಲೋಡ್ ಮುಗಿದ ನಂತರ, ನೀವು ಅವುಗಳನ್ನು ಕಾನ್ಫಿಗರ್‌ಗಳಿಗೆ ಸ್ಲಿಪ್ ಮಾಡಬೇಕಾಗುತ್ತದೆ. ಎರಡು ಮಾರ್ಗಗಳಿವೆ, ಸರಿಯಾದ ನಿಯತಾಂಕಗಳು ಅಥವಾ ವರ್ಗಾವಣೆ ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳು. ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳು ಯೋಜನೆಯ ಮುಖ್ಯ ಡೈರೆಕ್ಟರಿಯಲ್ಲಿ ಕ್ರಮವಾಗಿ ಇರುತ್ತವೆ ಎಂದು ಎಲ್ಲೆಡೆ ನಿರೀಕ್ಷಿಸಲಾಗಿದೆ, ಡೌನ್‌ಲೋಡ್ ಮಾಡಿರುವುದನ್ನು ಮೇಲಿನ ಡೌನ್‌ಲೋಡ್ ಫೋಲ್ಡರ್‌ನಿಂದ ವರ್ಗಾಯಿಸಬೇಕು. ಯಾಲ್ಮ್ ಫೋಲ್ಡರ್ ಎಕ್ಸಿಕ್ಯೂಟ್‌ನಲ್ಲಿರುವುದು
ವೀಡಿಯೊ ಕಾರ್ಡ್ಗಳನ್ನು ಸರಿಯಾಗಿ ಹೊಂದಿಸಲಾಗಿದೆಯೇ ಎಂದು ನಾವು ಪರಿಶೀಲಿಸುತ್ತೇವೆ. ನೀವು ಎಂಟು ವೀಡಿಯೊ ಕಾರ್ಡ್ಗಳನ್ನು ಹೊಂದಿದ್ದರೆ, ನಂತರ ಏನನ್ನೂ ಬದಲಾಯಿಸಬೇಕಾಗಿಲ್ಲ. ಸಂಖ್ಯೆ ವಿಭಿನ್ನವಾಗಿದ್ದರೆ, ನಾವು ಈ ಸಾಲುಗಳನ್ನು ಎರಡನೇ ಸಾಲಿನಲ್ಲಿ ಬದಲಾಯಿಸುತ್ತೇವೆ, ಬಳಸಿದ ಸಾಧನಗಳ ಸಂಖ್ಯೆಗಳು (ನೀವು ಅವುಗಳನ್ನು ನೀವು ಈಗಾಗಲೇ ಪ್ರಾರಂಭಿಸಿರುವ nvidia-smi ನಲ್ಲಿ ನೋಡಬಹುದು). ನಾಲ್ಕನೆಯದಾಗಿ, ಅವರ ಸಂಖ್ಯೆ.
ತಾಳ್ಮೆಯಿಂದಿರಿ, ಜಿಪಿಟಿ ಮಾದರಿಯನ್ನು ರಚಿಸುವವರೆಗೆ ಮತ್ತು ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳಿಂದ ತೂಕವನ್ನು ಲೋಡ್ ಮಾಡುವವರೆಗೆ ಇನ್ನೊಂದು 10-15 ನಿಮಿಷ ಕಾಯಲು ಉಳಿದಿದೆ.
ನಿರ್ಮಾಣವು ಪೂರ್ಣಗೊಂಡಾಗ, ಪಠ್ಯವನ್ನು ರಚಿಸಲು ಸಂದರ್ಭವನ್ನು ನಮೂದಿಸಲು MegatronML ನಿಮ್ಮನ್ನು ಕೇಳುತ್ತದೆ. ನೀವು ಟೈಪ್ ಮಾಡುವಾಗ ಜಾಗರೂಕರಾಗಿರಿ. ಕೆಲವು ಸಂದರ್ಭಗಳಲ್ಲಿ, ದೋಷ ಸಂಭವಿಸುತ್ತದೆ, ಪ್ರೋಗ್ರಾಂ ಕ್ರ್ಯಾಶ್ ಆಗುತ್ತದೆ ಮತ್ತು ನೀವು ಮತ್ತೆ ಅಸೆಂಬ್ಲಿಯನ್ನು ಪ್ರಾರಂಭಿಸಬೇಕಾಗುತ್ತದೆ. ಆದ್ದರಿಂದ, ಫೈಲ್‌ನಿಂದ ಪಠ್ಯವನ್ನು ತೆಗೆದುಕೊಳ್ಳುವ ಉದಾಹರಣೆಗಳನ್ನು ಬಳಸುವುದು ಉತ್ತಮ.
9. ಕೆಲಸದ ಫಲಿತಾಂಶಗಳು
ಆಸಕ್ತಿದಾಯಕವಾಗಿ ಕಾಣುತ್ತದೆ. ಸಹಜವಾಗಿ, ಇವು ಕೇವಲ ಉತ್ತಮ ಉದಾಹರಣೆಗಳಾಗಿವೆ. ನಾನು ವಿವಿಧ ಮಾದರಿಗಳಲ್ಲಿ ಪರೀಕ್ಷೆಯನ್ನು ನಡೆಸಿದೆ. ನಿರೀಕ್ಷೆಯಂತೆ, ಸನ್ನಿವೇಶವು ಉತ್ತಮವಾಗಿರುತ್ತದೆ, ಹೆಚ್ಚು ಅರ್ಥಪೂರ್ಣ ಪಠ್ಯವನ್ನು ರಚಿಸಲಾಗುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕ ತಲೆಮಾರುಗಳ ಸಂಪೂರ್ಣ ಸೆಟ್ ಅನ್ನು ಲಿಂಕ್‌ಗಳಲ್ಲಿ ವೀಕ್ಷಿಸಬಹುದು:
ಬೆಲೆಗೆ, ತರಬೇತಿಯಿಂದ ಮತ್ತು ತಯಾರಿಕೆಯಿಂದ ಪೀಳಿಗೆಗೆ ವಿವಿಧ ಸಾಮರ್ಥ್ಯಗಳ ಸರ್ವರ್ಗಳನ್ನು ಬಾಡಿಗೆಗೆ ಪಡೆಯಲು ನನಗೆ ಸುಮಾರು 9 ಸಾವಿರ ರೂಬಲ್ಸ್ಗಳನ್ನು ವೆಚ್ಚ ಮಾಡಿದೆ. ಒಂದು ನಿರ್ದಿಷ್ಟ ನಿರಾಶೆಯೆಂದರೆ ನೀವು ಎಲ್ಲವನ್ನೂ ತಕ್ಷಣವೇ ಉತ್ಪಾದಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಇದು ಪ್ರಾರಂಭಿಸಲು ಬಹಳ ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ಗಂಟೆಗೆ ಸರ್ವರ್‌ನ ವೆಚ್ಚವನ್ನು ನೀಡಿದರೆ ಪಠ್ಯವು ನಾವು ಬಯಸಿದಷ್ಟು ತ್ವರಿತವಾಗಿ ರಚಿಸುವುದಿಲ್ಲ.
200Gb GPU RAM ಇಲ್ಲದೆ YaLM ಅನ್ನು ರನ್ ಮಾಡುವುದು ಹೇಗೆ?
ನೀವು ಸಂರಚನೆಗೆ ಡೀಪ್‌ಸ್ಪೀಡ್ ಶೂನ್ಯ ಆಫ್‌ಲೋಡ್ ಅನ್ನು ಸೇರಿಸುವ ಅಗತ್ಯವಿದೆ. ನಾವು ಏನು ಮಾತನಾಡುತ್ತಿದ್ದೇವೆ ಎಂದು ತಿಳಿದಿರುವವರಿಗೆ, ಅದನ್ನು ಮಾಡುವುದು ತುಂಬಾ ಸುಲಭ. ಇತರರಿಗೆ, ಇದು ಕ್ಷುಲ್ಲಕ ಕೆಲಸವಲ್ಲ. CPU RAM ಅಥವಾ NVMe ನಲ್ಲಿ ಆಫ್‌ಲೋಡ್ ಆಗಿರಬಹುದು ಎಂದು ತಿಳಿಯುವುದು ಮುಖ್ಯ. ಈ ಸಮಯದಲ್ಲಿ ನೀವು NVMe ಅನ್ನು ಮರೆತುಬಿಡಬಹುದು, ಏಕೆಂದರೆ. ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ಡೇಟಾವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲಾಗುತ್ತಿದೆ ಮತ್ತು ಡಿಸ್ಕ್ ಅದನ್ನು ನಿಭಾಯಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಶೂನ್ಯ ಆಫ್‌ಲೋಡ್ CPU ಹೆಚ್ಚು ನೈಜವಾಗಿದೆ. ನಿಜ, ಇದಕ್ಕಾಗಿ ನೀವು ಸ್ಟಾಕ್‌ನಲ್ಲಿ 200+ Gb CPU RAM ಅನ್ನು ಹೊಂದಿರಬೇಕು, ಅದು ಅಗ್ಗವಾಗಿಲ್ಲ. ಮತ್ತು ಒಂದು ಪಠ್ಯವನ್ನು ಸುಮಾರು 20-40 ನಿಮಿಷಗಳವರೆಗೆ ರಚಿಸಲಾಗುತ್ತದೆ, ಏಕೆಂದರೆ ಅದನ್ನು ಎರಡು ವೀಡಿಯೊ ಕಾರ್ಡ್‌ಗಳಲ್ಲಿ ಸಮಾನಾಂತರಗೊಳಿಸಲು ಇನ್ನೂ ಸಾಧ್ಯವಾಗಿಲ್ಲ. ಕೆಳಗಿನ ಸ್ಕ್ರೀನ್‌ಶಾಟ್‌ನಲ್ಲಿ ನೀವು ನೋಡುವಂತೆ, ಕೇವಲ ಒಂದು ವೀಡಿಯೊ ಕಾರ್ಡ್ ಮಾತ್ರ ಪೀಳಿಗೆಯಲ್ಲಿ ತೊಡಗಿಸಿಕೊಂಡಿದೆ, ಮತ್ತು ನಂತರ ಮೆಮೊರಿಯ ಕಾಲು ಭಾಗಕ್ಕೆ ಮಾತ್ರ. ಎಲ್ಲಾ 24 GB ಅನ್ನು ಏಕೆ ಬಳಸಲಾಗುವುದಿಲ್ಲ ಎಂದು ನೋಡಬೇಕಾಗಿದೆ, ಸರಿ, ಕೊನೆಯಲ್ಲಿ, ಒಂದು RTX 3070 TI ನಲ್ಲಿಯೂ ಸಹ ಚಲಾಯಿಸಲು ಸಾಧ್ಯವಿದೆ ಎಂದು ನಾನು ಹೇಳುತ್ತೇನೆ. ಆದರೆ ಇದರಲ್ಲಿ ಯಾವುದೇ ನಿರ್ದಿಷ್ಟ ಅರ್ಥವಿಲ್ಲ, ಏಕೆಂದರೆ. 96 GB RAM ನ ಅನುಬಂಧದಲ್ಲಿರುವ ಸ್ವಾಪ್‌ನಲ್ಲಿ 150 GB ಡೇಟಾವನ್ನು ತ್ವರಿತವಾಗಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು NVMe ನಿಮಗೆ ಅನುಮತಿಸುವುದಿಲ್ಲ.
ಒಟ್ಟುಗೂಡಿಸಲಾಗುತ್ತಿದೆ
ಸಹಜವಾಗಿ, ನಾನು ಇನ್ನೂ ಸೂಕ್ತವಾದ ಉಡಾವಣಾ ಮಾರ್ಗಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ಪ್ರಯತ್ನಿಸುತ್ತೇನೆ. ಆದರೆ ಇಲ್ಲಿಯವರೆಗೆ ನಾನು YaLM 100b ತುಂಬಾ ದುಬಾರಿಯಾಗಿದೆ / ನನ್ನ ಕಾರ್ಯಗಳಿಗೆ ತುಂಬಾ ನಿಧಾನವಾಗಿದೆ ಎಂಬ ತೀರ್ಮಾನಕ್ಕೆ ಬಂದಿದ್ದೇನೆ. ಅದೇ ಹಣಕ್ಕಾಗಿ, ಜನರು ಹೆಚ್ಚು ಮತ್ತು ಹೆಚ್ಚು ಉತ್ತಮವಾಗಿ ಬರೆಯುತ್ತಾರೆ. ಆದರೆ ಇದು ತಾತ್ಕಾಲಿಕ ಎಂದು ನಾನು ಭಾವಿಸುತ್ತೇನೆ, ನಾವು ನೋಡುತ್ತೇವೆ. ಪ್ರಾರಂಭಿಸಲು, ಯಾಲ್ಮ್ ಅನ್ನು ಹೊಂದಿಸಲು ನಿಮಗೆ ಸಹಾಯ ಬೇಕಾದರೆ ಅಥವಾ ನಿಮ್ಮ ಸಂದರ್ಭದ ಉದಾಹರಣೆಗಳಲ್ಲಿ ಫಲಿತಾಂಶಗಳನ್ನು ನೋಡಲು ಬಯಸಿದರೆ, ಮೇಲ್ ಅಥವಾ ಟೆಲಿಗ್ರಾಮ್‌ಗೆ ಬರೆಯಿರಿ.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?