ਅਭਿਆਸ ਵਿੱਚ ਨਿਊਰਲ ਨੈੱਟਵਰਕ YaLM 100B।

ਜੂਨ ਦੇ ਅੰਤ ਵਿੱਚ, Yandex
ਨੇ ਜਨਤਾ ਲਈ YaLM 100B ਨਾਮਕ 100 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਵਾਲਾ ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਜਾਰੀ ਕੀਤਾ । ਇਹ ਪਬਲਿਕ ਡੋਮੇਨ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਡਾ GPT-ਵਰਗੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਹੈ। ਇਹ ਦੱਸਦਾ ਹੈ ਕਿ ਉਹਨਾਂ ਨੇ ਕਿਵੇਂ ਸਿਖਾਇਆ, ਸਭ ਤੋਂ ਵਧੀਆ ਉਦਾਹਰਣਾਂ ਦਿਖਾਈਆਂ ਅਤੇ ਨਿਊਰੋਨ ਕੀ ਸਮਰੱਥ ਹੈ। ਪਰ ਕੀ ਇਹ ਅਭਿਆਸ ਵਿੱਚ ਇੰਨਾ ਵਧੀਆ ਹੈ ਅਤੇ ਘਰ ਵਿੱਚ ਲਾਗੂ ਹੈ? ਲੇਖ ਇਸ ਬਾਰੇ ਚੁੱਪ ਹੈ, ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਸ ਨੂੰ ਚਲਾਉਣਾ ਅਤੇ ਇਸ ਦੀ ਜਾਂਚ ਕਰਨਾ ਇੰਨਾ ਆਸਾਨ ਨਹੀਂ ਹੈ, ਕਿਉਂਕਿ ਲਗਭਗ 200 ਗੈਬਾ ਜੀਪੀਯੂ ਰੈਮ ਦੀ ਲੋੜ ਹੈ. ਹੈਬਰੇ ‘ਤੇ
ਇਹ ਟਿੱਪਣੀ ਸਥਿਤੀ ਨੂੰ ਸਭ ਤੋਂ ਸਹੀ ਢੰਗ ਨਾਲ ਪ੍ਰਗਟ ਕਰਦੀ ਹੈ
।

ਕਥਿਤ ਤੌਰ ‘ਤੇ, ਯਾਂਡੇਕਸ ਵਿੱਚ, ਅਜਿਹੇ ਸਾਰੇ ਸਮਾਰਟ ਲੋਕ, ਅਤੇ ਉਨ੍ਹਾਂ ਨੇ ਇੱਕ ਆਮ ਕਿਵੇਂ-ਕਰਨ ਲਈ ਪੋਸਟ ਵੀ ਨਹੀਂ ਕੀਤਾ. ਵੱਡੇ ਮਾਡਲ ਲਈ ਕੋਈ ਏਪੀਆਈ ਨਹੀਂ ਹੈ, ਆਮ ਲੋਕਾਂ (ਗੂਗਲ ਕੋਲਾਬ ਵਿੱਚ) ਲਈ ਕੋਈ ਰੈਡੀਮੇਡ ਸਟ੍ਰਿਪਡ-ਡਾਊਨ ਮੀਡੀਅਮ ਜਾਂ ਛੋਟਾ ਮਾਡਲ ਨਹੀਂ ਹੈ। ਮਾਡਲ ਕਿਵੇਂ ਸੈਟ ਅਪ ਕਰਨਾ ਹੈ, ਟੈਕਸਟ ਕਿਵੇਂ ਤਿਆਰ ਕਰਨਾ ਹੈ ਇਸ ਬਾਰੇ ਕੋਈ ਉਦਾਹਰਣ ਨਹੀਂ ਦਿੱਤੀ ਗਈ ਹੈ। ਇਹ ਸਿਰਫ ਇਹ ਹੈ ਕਿ ਲੇਖ ਨਰਡਸ ਲਈ ਕੁਝ ਸੂਖਮਤਾਵਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਅਤੇ ਇਹ ਹੀ ਹੈ. ਬੈਂਕ ਨੇ “C” ਅੱਖਰ ਨਾਲ ਇਹ ਕਿਵੇਂ ਕੀਤਾ ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਹੀ ਕੀਤਾ, ਇਸ ‘ਤੇ ਡੂੰਘਾਈ ਨਾਲ ਵਿਚਾਰ ਕਰਨ ਲਈ ਇਹ ਕਾਫ਼ੀ ਹੈ. ਮੈਨੂੰ ਇਹ ਪ੍ਰਭਾਵ ਮਿਲਿਆ ਕਿ ਇਹ ਮਾਡਲ ਸਿਰਫ ਇੱਕ ਅਸਫਲ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ ਜੋ ਰੱਦੀ ਵਿੱਚ ਸੁੱਟਣ ਲਈ ਤਰਸਯੋਗ ਸੀ, ਇਸ ਲਈ ਇਸਨੂੰ ਓਪਨ ਸੋਰਸ ਵਿੱਚ ਪੋਸਟ ਕੀਤਾ ਗਿਆ ਸੀ ਇਹ ਦਿਖਾਉਣ ਲਈ ਕਿ ਯਾਂਡੇਕਸ ਕਿਹੜੇ ਵਧੀਆ ਮਾਡਲ ਬਣਾਉਂਦਾ ਹੈ, ਅਤੇ ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹ ਓਪਨ ਸੋਰਸ ਹੈ!

ਇੰਟਰਨੈੱਟ ‘ਤੇ ਬਹੁਤ ਸਾਰੇ ਸਵਾਲ ਹਨ ਕਿ ਯੈਲਮ ਨੂੰ ਕਿਵੇਂ ਚਲਾਉਣਾ ਹੈ ਜਾਂ ਔਨਲਾਈਨ ਕੋਸ਼ਿਸ਼ ਕਿਵੇਂ ਕਰਨੀ ਹੈ, ਪਰ ਇਸਦਾ ਕੋਈ ਜਵਾਬ ਨਹੀਂ ਹੈ. ਮੈਂ ਉਹਨਾਂ ਉਪਭੋਗਤਾਵਾਂ ਵਿੱਚੋਂ ਸੀ ਜਿਹਨਾਂ ਨੇ ਇਹ ਸਵਾਲ ਪੁੱਛੇ. ਅਤੇ ਇਸਦਾ ਪਤਾ ਲਗਾਉਣ ਬਾਰੇ ਸੈੱਟ ਕਰੋ. ਕਿਉਂਕਿ ਮੈਨੂੰ ਅਸਲ ਵਿੱਚ ਵਿੱਤੀ ਰੋਬੋਟਾਂ ਲਈ ਟੈਕਸਟ ਬਣਾਉਣ ਲਈ ਇੱਕ ਤਰੀਕੇ ਦੀ ਲੋੜ ਸੀ. ਤਾਂ ਜੋ ਉਹ ਵਿੱਤੀ ਰਿਪੋਰਟਾਂ ਦੇ ਆਧਾਰ ‘ਤੇ ਨਾ ਸਿਰਫ਼ ਮੁੱਲਾਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰ ਸਕਣ, ਸਗੋਂ ਟੈਕਸਟ ਵਿੱਚ ਇਸ ‘ਤੇ ਟਿੱਪਣੀ ਵੀ ਕਰ ਸਕਣ। ਸੰਖੇਪ ਰੂਪ ਵਿੱਚ, ਇਹ ਉਹੀ ਹੋਵੇਗਾ ਜੋ ਵਿੱਤੀ ਵਿਸ਼ਲੇਸ਼ਕ ਕਰਦੇ ਹਨ, ਸਿਰਫ ਨਕਲੀ ਬੁੱਧੀ ਦੀ ਵਰਤੋਂ ਨਾਲ. ਯੈਲਮ ਚਲਾਉਣ ਦੇ ਦੋ ਤਰੀਕੇ ਹਨ।
ਕਲਾਉਡ ਵਿੱਚ ਇੱਕ ਸਰਵਰ ਕਿਰਾਏ ‘ਤੇ ਲਓ200+ Gb GPU RAM ਨਾਲ ਜਾਂ ਕੋਡ ਨੂੰ ਸੋਧੋ ਅਤੇ ਡੀਪ ਸਪੀਡ ਜ਼ੀਰੋ ਆਫਲੋਡ ਨਾਲ ਚਲਾਓ (ਜਦੋਂ GPU ਕ੍ਰਮਵਾਰ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਦੇ ਹਿੱਸੇ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦਾ ਹੈ, ਅਤੇ ਬਾਕੀ ਨੂੰ CPU RAM ਜਾਂ NVMe ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ)। ਪਹਿਲਾ ਬਹੁਤ ਮਹਿੰਗਾ ਹੈ, ਲਗਭਗ 2500 ਰੂਬਲ ਪ੍ਰਤੀ ਘੰਟਾ ਜਾਂ 1.7 ਮਿਲੀਅਨ ਪ੍ਰਤੀ ਮਹੀਨਾ। ਦੂਜਾ ਅਣਜਾਣ, ਕਿਉਂਕਿ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਕੋਡ ਪ੍ਰਦਾਨ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਹੈ, ਸਿਰਫ
ਰਿਪੋਜ਼ਟਰੀ ਦੇ ਮੁੱਦੇ ਵਿੱਚ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ , ਜੋ ਕਰਨਾ ਮੁਸ਼ਕਲ ਨਹੀਂ ਹੈ। ਆਉ ਸਧਾਰਨ ਸ਼ੁਰੂ ਕਰੀਏ.

YaLM 100B ਲਾਂਚ ਨਿਰਦੇਸ਼

1. ਅਸੀਂ 200 GB GPU RAM ਕਿਰਾਏ ‘ਤੇ ਲੈਂਦੇ ਹਾਂ, ਉਦਾਹਰਣ ਲਈ ਇੱਥੇ ।

ਤੁਹਾਨੂੰ ਕੁੱਲ ਵੀਡੀਓ ਮੈਮੋਰੀ ਦੇ ਘੱਟੋ-ਘੱਟ 200 GB ਦੀ ਲੋੜ ਹੈ। 8×40 = 320 GB। ਸਿਰਫ਼ ਇਹ ਇੱਕ ਫਿੱਟ ਹੈ. 200 ਤੋਂ ਘੱਟ ਅਸੰਭਵ ਹੈ, ਹੋਰ ਵੀ ਸੰਭਵ ਹੈ। ਤੀਰ CPU RAM ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਅਸੀਂ ਇਸ ਵੱਲ ਨਹੀਂ ਦੇਖਦੇ. ਉਹ ਕੋਈ ਵੀ ਹੋ ਸਕਦਾ ਹੈ।

ਅਸੀਂ ਲਗਭਗ 300 GB ਦੀ ਇੱਕ ਡਿਸਕ ਦਰਸਾਉਂਦੇ ਹਾਂ, ਤਾਂ ਜੋ ਇੱਕ ਵਾਧੂ ਅਤੇ ਤਰਜੀਹੀ ਇੱਕ ਤੇਜ਼ ਡਿਸਕ ਦੇ ਨਾਲ, ਕਿਉਂਕਿ. ਇਸ ਵਿੱਚ ਅਤੇ ਇਸ ਤੋਂ ਦਸਾਂ ਗੀਗਾਬਾਈਟ ਡੇਟਾ ਟ੍ਰਾਂਸਫਰ ਕੀਤਾ ਜਾਵੇਗਾ।

ਸਰੋਤਾਂ ਵਿੱਚ ਬਣਾਉਂਦੇ ਸਮੇਂ, ਉਬੰਟੂ ਐਮਐਲ (ਮਸ਼ੀਨ ਲਰਨਿੰਗ) ਦੀ ਚੋਣ ਕਰੋ। ਇਹ ਲਾਜ਼ਮੀ ਹੈ ਤਾਂ ਜੋ ਵੀਡੀਓ ਕਾਰਡਾਂ ਨੂੰ ਕੌਂਫਿਗਰ ਕੀਤਾ ਜਾ ਸਕੇ ਅਤੇ ਇਸ ਤੋਂ ਇਲਾਵਾ ਕੁਝ ਵੀ ਇੰਸਟਾਲ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।

ਸਰਵਰ ਬਣਾਉਂਦੇ ਸਮੇਂ, ਕੋਟਾ ਦੇ ਨਾਲ ਸੂਖਮਤਾਵਾਂ ਹੁੰਦੀਆਂ ਹਨ, ਤੁਹਾਨੂੰ ਇਹ ਮਹਿਸੂਸ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਉਪਕਰਣ ਉਪਲਬਧ ਨਹੀਂ ਹਨ, ਪਰ ਅਸਲ ਵਿੱਚ ਤੁਹਾਨੂੰ ਸੈਟਿੰਗਾਂ ਵਿੱਚ ਕੋਟਾ ਵਧਾਉਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ. ਸਰਵਰ ਦੇ ਸਰਗਰਮ ਹੋਣ ਤੋਂ ਬਾਅਦ (ਇਸ ਵਿੱਚ 5-10 ਮਿੰਟ ਲੱਗ ਸਕਦੇ ਹਨ), ਸਰਵਰ ਪੰਨੇ ‘ਤੇ ssh ਜਾਂ ਸਿੱਧੇ ਵੈੱਬ ਕੰਸੋਲ ਵਿੱਚ ਸਰਵਰ ਨਾਲ ਜੁੜੋ ਅਤੇ ਕਮਾਂਡ ਨੂੰ ਚਲਾਓ।

nvidia-smi

ਨਤੀਜਾ ਵੀਡੀਓ ਕਾਰਡ, ਡਰਾਈਵਰ ਸੰਸਕਰਣ ਅਤੇ ਕੁਡਾ ਦੇ ਨਾਲ ਇੱਕ ਸਾਰਣੀ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ. ਲਗਭਗ ਇਸ ਤਰ੍ਹਾਂ.
ਡਰਾਈਵਰ ਸੰਸਕਰਣ ਸਿਰਲੇਖ ਵਿੱਚ ਅਤੇ ਕਿੱਥੇ। ਖੱਬੇ ਪਾਸੇ ਡਿਵਾਈਸ ਨੰਬਰ ਹਨ, ਕੇਂਦਰ ਵਿੱਚ ਡਿਵਾਈਸ ਮੈਮੋਰੀ ਦਾ ਆਕਾਰ ਹੈ। ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਇਹ ਜਾਣਕਾਰੀ ਨਹੀਂ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਸਰਵਰ ਨੂੰ ਗਲਤ ਸਰੋਤ ਤੋਂ ਇਕੱਠਾ ਕੀਤਾ ਹੈ। ਉਬੰਟੂ ML (ਮਸ਼ੀਨ ਲਰਨੌਂਗ) ਦੀ ਲੋੜ ਹੈ, ਜਿਵੇਂ ਉੱਪਰ ਦੱਸਿਆ ਗਿਆ ਹੈ।

2. YaLM ਨਾਲ ਰਿਪੋਜ਼ਟਰੀ ਨੂੰ ਕਲੋਨ ਕਰੋ

sudo git ਕਲੋਨ https://github.com/yandex/YaLM-100B/ yalm
cd yalm

ਆਪਣੇ ਹੋਮ ਫੋਲਡਰ ਵਿੱਚ ਕਲੋਨ ਕਰੋ ਤਾਂ ਜੋ ਤੁਹਾਨੂੰ ਬਾਅਦ ਵਿੱਚ ਡੌਕਰ ਸੰਰਚਨਾ ਨੂੰ ਸੰਪਾਦਿਤ ਕਰਨ ਦੀ ਲੋੜ ਨਾ ਪਵੇ। ਜੇਕਰ ਕਿਤੇ ਹੋਰ ਕਲੋਨ ਕੀਤਾ ਗਿਆ ਹੈ, ਤਾਂ
ਇੱਥੇ ਜਾਓ ਅਤੇ ਜਿੱਥੇ ਕਲੋਨ ਕੀਤਾ ਗਿਆ ਹੈ, ਉਸ ਦਾ ਮਾਰਗ ਜੋੜੋ।

3. ਚੈਕਪੁਆਇੰਟ ਡਾਊਨਲੋਡ ਕਰੋ (ਮੁਢਲੀ ਮਾਡਲ ਸਿਖਲਾਈ ਜਾਣਕਾਰੀ)

sudo chmod +x ./download/download.sh
sudo bash ./download/download.sh

ਇਸ ਵਿੱਚ ਲਗਭਗ ਇੱਕ ਘੰਟਾ ਲੱਗੇਗਾ। ਵਿਅਰਥ ਵਿੱਚ ਸਮਾਂ ਬਰਬਾਦ ਨਾ ਕਰਨ ਲਈ, ਅਸੀਂ ਇੱਕ ਨਵਾਂ ssh ਕੁਨੈਕਸ਼ਨ ਬਣਾਉਂਦੇ ਹਾਂ ਅਤੇ ਸਮਾਨਾਂਤਰ ਵਿੱਚ ਅਸੀਂ ਇੱਕ ਡੌਕਰ ਕੰਟੇਨਰ ਬਣਾਉਣਾ ਸ਼ੁਰੂ ਕਰਦੇ ਹਾਂ।

4. ਐਨਵੀਡੀਆ – ਡੌਕਰ 2 ਨੂੰ ਸਥਾਪਿਤ ਕਰੋ

ਸਧਾਰਨ ਡੌਕਰ ਢੁਕਵਾਂ ਨਹੀਂ ਹੈ,
nvidia-docker2 ਦੀ ਲੋੜ ਹੈ ।
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#setting-up-nvidia-container-toolkit

5. YaLM ਲਈ ਇੱਕ ਕੰਟੇਨਰ ਬਣਾਉਣਾ

cd yalm
sudo chmod +x ./docker/*
sudo bash ./docker/build.sh

ਇਹ ਵੀ ਇੱਕ ਘੰਟਾ ਹੈ.

ਜੀਵਨ ਹੈਕ. ਤੁਸੀਂ ਚੈਕਪੁਆਇੰਟਸ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰ ਸਕਦੇ ਹੋ, ਡੌਕਰ ਸਥਾਪਿਤ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਇੱਕ ਵੀਡੀਓ ਕਾਰਡ ਨਾਲ ਇੱਕ ਸਸਤੇ ਸਰਵਰ ‘ਤੇ ਇੱਕ ਕੰਟੇਨਰ ਬਣਾ ਸਕਦੇ ਹੋ। ਇਹ ਸਮੇਂ ਦੇ ਨਾਲ ਹੀ ਹੋਵੇਗਾ, ਇਸ ਲਈ ਤੁਸੀਂ ਥੋੜਾ ਜਿਹਾ ਬਚਾ ਸਕਦੇ ਹੋ. ਇੱਕ ਸਸਤੇ ਸਰਵਰ ਤੇ ਅਸੈਂਬਲੀ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਇਸਨੂੰ ਮਿਟਾ ਦਿੰਦੇ ਹਾਂ, ਅਤੇ ਇੱਕ ਸਸਤੇ ਸਰਵਰ ਤੋਂ ਇੱਕ ਡਿਸਕ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ ਲੜਾਈ ਸਰਵਰ ਬਣਾਉਂਦੇ ਹਾਂ. ਫਿਰ ਤੁਸੀਂ ਅਸੈਂਬਲੀ ਦੀ ਉਡੀਕ ਕਰਨ ਅਤੇ ਚੈਕਪੁਆਇੰਟਾਂ ਨੂੰ ਪੰਪ ਕਰਨ ਲਈ ਜ਼ਿਆਦਾ ਸਮੇਂ ਦਾ ਭੁਗਤਾਨ ਨਹੀਂ ਕਰੋਗੇ.

6. ਸਮੱਗਰੀ ਤਿਆਰ ਕਰੋ

6.1 ਚੈਕਪੁਆਇੰਟ

ਚੈਕਪੁਆਇੰਟਸ ਦੇ ਡਾਉਨਲੋਡ ਖਤਮ ਹੋਣ ਤੋਂ ਬਾਅਦ, ਤੁਹਾਨੂੰ ਉਹਨਾਂ ਨੂੰ ਸੰਰਚਨਾ ਵਿੱਚ ਖਿਸਕਾਉਣ ਦੀ ਲੋੜ ਹੈ। ਦੋ ਤਰੀਕੇ ਹਨ, ਸਹੀ ਮਾਪਦੰਡ ਜਾਂ ਟ੍ਰਾਂਸਫਰ ਚੈਕਪੁਆਇੰਟ। ਹਰ ਜਗ੍ਹਾ ਇਹ ਉਮੀਦ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਕਿ ਚੈਕਪੁਆਇੰਟ ਪ੍ਰੋਜੈਕਟ ਦੀ ਮੁੱਖ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਹੋਣਗੇ, ਕ੍ਰਮਵਾਰ, ਜੋ ਵੀ ਡਾਊਨਲੋਡ ਕੀਤਾ ਗਿਆ ਹੈ ਉਹ ਉੱਪਰ ਦਿੱਤੇ ਡਾਉਨਲੋਡ ਫੋਲਡਰ ਤੋਂ ਟ੍ਰਾਂਸਫਰ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ. yalm ਫੋਲਡਰ ਐਗਜ਼ੀਕਿਊਟ ਵਿੱਚ ਹੋਣਾ

mv ./download/yalm100b_checkpoint ./

ਜਾਂ ਉਦਾਹਰਨ ਫਾਈਲਾਂ ਵਿੱਚ ਫਾਈਲਾਂ ਦੇ ਮਾਰਗ ਬਦਲੋ
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L

6.2 ਵੀਡੀਓ ਕਾਰਡ

ਅਸੀਂ ਜਾਂਚ ਕਰਦੇ ਹਾਂ ਕਿ ਵੀਡੀਓ ਕਾਰਡ ਸਹੀ ਢੰਗ ਨਾਲ ਸੈੱਟ ਕੀਤੇ ਗਏ ਹਨ। ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਅੱਠ ਵੀਡੀਓ ਕਾਰਡ ਹਨ, ਤਾਂ ਕੁਝ ਵੀ ਬਦਲਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਜੇਕਰ ਨੰਬਰ ਵੱਖਰਾ ਹੈ, ਤਾਂ ਅਸੀਂ ਇਹਨਾਂ ਲਾਈਨਾਂ ਨੂੰ ਬਦਲਦੇ ਹਾਂ
ਦੂਜੀ ਲਾਈਨ ਵਿੱਚ, ਵਰਤੇ ਗਏ ਡਿਵਾਈਸਾਂ ਦੇ ਨੰਬਰ (ਤੁਸੀਂ ਉਹਨਾਂ ਨੂੰ nvidia-smi ਵਿੱਚ ਦੇਖ ਸਕਦੇ ਹੋ, ਜੋ ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਲਾਂਚ ਕੀਤਾ ਹੈ). ਚੌਥੇ ਵਿੱਚ, ਉਨ੍ਹਾਂ ਦੀ ਗਿਣਤੀ.

7. ਡੌਕਰ ਕੰਟੇਨਰ ਚਲਾਓ

ਯੈਲਮ ਫੋਲਡਰ ਵਿੱਚ ਹੋਣ ਕਰਕੇ, ਕਮਾਂਡ ਚਲਾਓ

sudo bash ./docker/run.sh

ਜੇ ਸਭ ਕੁਝ ਠੀਕ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ ਇੱਕ ਕੰਟੇਨਰ ਵਿੱਚ ਲਿਜਾਇਆ ਜਾਵੇਗਾ ਜਿਸ ਵਿੱਚ ਤੁਹਾਨੂੰ ਆਪਣੀ ਹੋਮ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਯੈਲਮ ਫੋਲਡਰ ਵਿੱਚ ਜਾਣ ਦੀ ਲੋੜ ਹੈ।

cd ~/yalm

8. YaLM 100B ਤੋਂ ਉਦਾਹਰਨ ਚਲਾਓ

ਅਸੀਂ ਇੱਕ ਉਦਾਹਰਣ ਨੂੰ ਲਾਂਚ ਕਰਨ ਲਈ ਤਿਆਰ ਹਾਂ। ਉਹ ਇੱਥੇ ਵਰਣਿਤ
ਹਨ .

chmod +x ./examples/generate_interactive.sh
./examples/generate_interactive.sh

ਸਬਰ ਰੱਖੋ, ਜਦੋਂ ਤੱਕ GPT ਮਾਡਲ ਨਹੀਂ ਬਣ ਜਾਂਦਾ ਅਤੇ ਚੈਕਪੁਆਇੰਟ ਤੋਂ ਵਜ਼ਨ ਲੋਡ ਨਹੀਂ ਹੋ ਜਾਂਦਾ, ਉਦੋਂ ਤੱਕ ਹੋਰ 10-15 ਮਿੰਟ ਉਡੀਕ ਕਰਨੀ ਬਾਕੀ ਹੈ।

ਜਦੋਂ ਬਿਲਡ ਪੂਰਾ ਹੋ ਜਾਂਦਾ ਹੈ, MegatronML ਤੁਹਾਨੂੰ ਟੈਕਸਟ ਬਣਾਉਣ ਲਈ ਇੱਕ ਸੰਦਰਭ ਦਰਜ ਕਰਨ ਲਈ ਪੁੱਛੇਗਾ। ਟਾਈਪ ਕਰਦੇ ਸਮੇਂ ਸਾਵਧਾਨ ਰਹੋ। ਕੁਝ ਸਥਿਤੀਆਂ ਵਿੱਚ, ਇੱਕ ਗਲਤੀ ਹੁੰਦੀ ਹੈ, ਪ੍ਰੋਗਰਾਮ ਕਰੈਸ਼ ਹੋ ਜਾਂਦਾ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਅਸੈਂਬਲੀ ਦੁਬਾਰਾ ਸ਼ੁਰੂ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸ ਲਈ, ਉਹਨਾਂ ਉਦਾਹਰਣਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਬਿਹਤਰ ਹੈ ਜੋ ਇੱਕ ਫਾਈਲ ਤੋਂ ਟੈਕਸਟ ਲੈਂਦੇ ਹਨ.

9. ਕੰਮ ਦੇ ਨਤੀਜੇ

ਦਿਲਚਸਪ ਲੱਗਦਾ ਹੈ। ਬੇਸ਼ੱਕ, ਇਹ ਸਿਰਫ਼ ਚੰਗੀਆਂ ਉਦਾਹਰਣਾਂ ਹਨ। ਮੈਂ ਵੱਖ-ਵੱਖ ਨਮੂਨਿਆਂ ‘ਤੇ ਟੈਸਟ ਕੀਤਾ। ਜਿਵੇਂ ਕਿ ਉਮੀਦ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਸੰਦਰਭ ਜਿੰਨਾ ਬਿਹਤਰ ਹੋਵੇਗਾ, ਓਨਾ ਹੀ ਜ਼ਿਆਦਾ ਅਰਥਪੂਰਨ ਟੈਕਸਟ ਤਿਆਰ ਹੋਵੇਗਾ। ਪ੍ਰਯੋਗਾਤਮਕ ਪੀੜ੍ਹੀਆਂ ਦਾ ਪੂਰਾ ਸੈੱਟ ਲਿੰਕਾਂ ‘ਤੇ ਦੇਖਿਆ ਜਾ ਸਕਦਾ ਹੈ:

• generate_conditional_sampling.sh
• generate_conditional_greedy.sh
• generate_unconditional.sh

ਕੀਮਤ ਲਈ, ਸਿਖਲਾਈ ਤੋਂ ਲੈ ਕੇ ਤਿਆਰੀ ਤੋਂ ਲੈ ਕੇ ਪੀੜ੍ਹੀ ਤੱਕ ਵੱਖ-ਵੱਖ ਸਮਰੱਥਾ ਵਾਲੇ ਸਰਵਰਾਂ ਨੂੰ ਕਿਰਾਏ ‘ਤੇ ਲੈਣ ਲਈ ਮੈਨੂੰ ਲਗਭਗ 9 ਹਜ਼ਾਰ ਰੂਬਲ ਦਾ ਖਰਚਾ ਆਇਆ। ਇੱਕ ਖਾਸ ਨਿਰਾਸ਼ਾ ਇਹ ਸੀ ਕਿ ਤੁਸੀਂ ਤੁਰੰਤ ਸਭ ਕੁਝ ਪੈਦਾ ਨਹੀਂ ਕਰ ਸਕਦੇ. ਇਸ ਨੂੰ ਸ਼ੁਰੂ ਕਰਨ ਵਿੱਚ ਬਹੁਤ ਲੰਬਾ ਸਮਾਂ ਲੱਗਦਾ ਹੈ ਅਤੇ ਪ੍ਰਤੀ ਘੰਟਾ ਸਰਵਰ ਦੀ ਲਾਗਤ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਟੈਕਸਟ ਜਿੰਨੀ ਜਲਦੀ ਅਸੀਂ ਚਾਹੁੰਦੇ ਹਾਂ ਤਿਆਰ ਨਹੀਂ ਹੁੰਦਾ।
 

200Gb GPU RAM ਤੋਂ ਬਿਨਾਂ YaLM ਨੂੰ ਕਿਵੇਂ ਚਲਾਉਣਾ ਹੈ?

ਤੁਹਾਨੂੰ ਸੰਰਚਨਾ ਵਿੱਚ ਡੀਪ ਸਪੀਡ ਜ਼ੀਰੋ ਆਫਲੋਡ ਜੋੜਨ ਦੀ ਲੋੜ ਹੈ। ਉਹਨਾਂ ਲਈ ਜੋ ਜਾਣਦੇ ਹਨ ਕਿ ਅਸੀਂ ਕਿਸ ਬਾਰੇ ਗੱਲ ਕਰ ਰਹੇ ਹਾਂ, ਇਹ ਕਰਨਾ ਬਹੁਤ ਆਸਾਨ ਹੋਵੇਗਾ। ਦੂਜਿਆਂ ਲਈ, ਇਹ ਕੋਈ ਮਾਮੂਲੀ ਕੰਮ ਨਹੀਂ ਹੈ. ਇਹ ਜਾਣਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਆਫਲੋਡ ਜਾਂ ਤਾਂ CPU RAM ਜਾਂ NVMe ਵਿੱਚ ਹੋ ਸਕਦਾ ਹੈ। ਤੁਸੀਂ ਇਸ ਸਮੇਂ NVMe ਬਾਰੇ ਭੁੱਲ ਸਕਦੇ ਹੋ, ਕਿਉਂਕਿ. ਬਹੁਤ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਜਾ ਰਹੀ ਹੈ ਅਤੇ ਡਿਸਕ ਇਸਦਾ ਮੁਕਾਬਲਾ ਨਹੀਂ ਕਰ ਸਕਦੀ. ਜ਼ੀਰੋ ਆਫਲੋਡ CPU ਵਧੇਰੇ ਅਸਲੀ ਹੈ। ਇਹ ਸੱਚ ਹੈ ਕਿ ਇਸਦੇ ਲਈ ਤੁਹਾਡੇ ਕੋਲ ਸਟਾਕ ਵਿੱਚ 200+ Gb CPU RAM ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ, ਜੋ ਕਿ ਸਸਤੀ ਵੀ ਨਹੀਂ ਹੈ। ਅਤੇ ਇੱਕ ਟੈਕਸਟ ਲਗਭਗ 20-40 ਮਿੰਟਾਂ ਲਈ ਤਿਆਰ ਕੀਤਾ ਜਾਵੇਗਾ, ਕਿਉਂਕਿ ਅਜੇ ਤੱਕ ਇਸਨੂੰ ਦੋ ਵੀਡੀਓ ਕਾਰਡਾਂ ‘ਤੇ ਸਮਾਨਾਂਤਰ ਕਰਨਾ ਸੰਭਵ ਨਹੀਂ ਹੋਇਆ ਹੈ। ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ ਸਕ੍ਰੀਨਸ਼ੌਟ ਵਿੱਚ ਦੇਖ ਸਕਦੇ ਹੋ, ਸਿਰਫ ਇੱਕ ਵੀਡੀਓ ਕਾਰਡ ਪੀੜ੍ਹੀ ਵਿੱਚ ਸ਼ਾਮਲ ਸੀ, ਅਤੇ ਫਿਰ ਸਿਰਫ ਇੱਕ ਚੌਥਾਈ ਮੈਮੋਰੀ ਲਈ. ਇਹ ਵੇਖਣਾ ਬਾਕੀ ਹੈ ਕਿ ਸਾਰੇ 24 ਜੀਬੀ ਕਿਉਂ ਨਹੀਂ ਵਰਤੇ ਜਾਂਦੇ ਹਨ,
ਖੈਰ, ਸਿੱਟੇ ਵਜੋਂ, ਮੈਂ ਕਹਾਂਗਾ ਕਿ ਇੱਕ RTX 3070 TI ‘ਤੇ ਵੀ ਚਲਾਉਣਾ ਸੰਭਵ ਹੈ. ਪਰ ਇਸ ਵਿੱਚ ਕੋਈ ਖਾਸ ਅਰਥ ਨਹੀਂ ਹੈ, ਕਿਉਂਕਿ. NVMe ਤੁਹਾਨੂੰ ਸਵੈਪ ਵਿੱਚ 150 GB ਡੇਟਾ ਦੀ ਤੇਜ਼ੀ ਨਾਲ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਨਹੀਂ ਦੇਵੇਗਾ, ਜੋ ਕਿ 96 GB RAM ਦੇ ਜੋੜ ਵਿੱਚ ਹਨ।

ਸੰਖੇਪ

ਬੇਸ਼ੱਕ, ਮੈਂ ਅਜੇ ਵੀ ਅਨੁਕੂਲ ਲਾਂਚ ਮਾਰਗ ਲੱਭਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਾਂਗਾ. ਪਰ ਹੁਣ ਤੱਕ ਮੈਂ ਇਸ ਸਿੱਟੇ ‘ਤੇ ਪਹੁੰਚਿਆ ਹਾਂ ਕਿ YaLM 100b ਮੇਰੇ ਕੰਮਾਂ ਲਈ ਬਹੁਤ ਮਹਿੰਗਾ / ਬਹੁਤ ਹੌਲੀ ਹੈ। ਉਸੇ ਪੈਸੇ ਲਈ, ਲੋਕ ਹੋਰ ਬਹੁਤ ਕੁਝ ਲਿਖਣਗੇ. ਪਰ ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਕਿ ਇਹ ਅਸਥਾਈ ਹੈ, ਅਸੀਂ ਦੇਖਾਂਗੇ। ਜੇ ਤੁਹਾਨੂੰ ਲਾਂਚ ਕਰਨ, ਯੈਲਮ ਸਥਾਪਤ ਕਰਨ ਲਈ ਮਦਦ ਦੀ ਲੋੜ ਹੈ, ਜਾਂ ਆਪਣੇ ਸੰਦਰਭ ਉਦਾਹਰਨਾਂ ‘ਤੇ ਨਤੀਜੇ ਦੇਖਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਮੇਲ ਜਾਂ ਟੈਲੀਗ੍ਰਾਮ ‘ਤੇ ਲਿਖੋ।