ເຄືອຂ່າຍ neural YaLM 100B ໃນການປະຕິບັດ.

ໃນທ້າຍເດືອນມິຖຸນາ, Yandex
ໄດ້ປ່ອຍ ເຄືອຂ່າຍ neural ທີ່ມີ 100 ຕື້ພາລາມິເຕີທີ່ເອີ້ນວ່າ YaLM 100B ກັບສາທາລະນະ . ມັນເປັນເຄືອຂ່າຍ neural ຄ້າຍຄື GPT ທີ່ໃຫຍ່ທີ່ສຸດໃນສາທາລະນະ. ມັນບອກກ່ຽວກັບວິທີການທີ່ເຂົາເຈົ້າສອນ, ສະແດງໃຫ້ເຫັນຕົວຢ່າງທີ່ດີທີ່ສຸດແລະສິ່ງທີ່ neuron ມີຄວາມສາມາດ. ແຕ່ມັນດີຫຼາຍໃນການປະຕິບັດແລະໃຊ້ໄດ້ຢູ່ເຮືອນບໍ? ບົດຄວາມແມ່ນງຽບໆກ່ຽວກັບເລື່ອງນີ້, ນອກຈາກນັ້ນ, ມັນບໍ່ແມ່ນເລື່ອງງ່າຍທີ່ຈະດໍາເນີນການແລະກວດເບິ່ງມັນ, ເນື່ອງຈາກວ່າປະມານ 200 Gb ຂອງ GPU RAM ແມ່ນຕ້ອງການ. ຄໍາເຫັນນີ້ ກ່ຽວກັບ Habre
ເປີດເຜີຍສະຖານະການຢ່າງຖືກຕ້ອງທີ່ສຸດ
.

ຖືກກ່າວຫາວ່າ, ໃນ Yandex, ຄົນສະຫຼາດທັງ ໝົດ ດັ່ງກ່າວ, ແລະພວກເຂົາບໍ່ໄດ້ສະແດງວິທີການ ທຳ ມະດາ. ບໍ່ມີ api ສໍາລັບຕົວແບບຂະຫນາດໃຫຍ່, ບໍ່ມີຮູບແບບຂະຫນາດກາງຫຼືຂະຫນາດນ້ອຍທີ່ກຽມພ້ອມສໍາລັບຄົນທໍາມະດາ (ໃນ Google Colab). ບໍ່ມີການຍົກຕົວຢ່າງກ່ຽວກັບວິທີການຕັ້ງຄ່າຕົວແບບ, ວິທີການສ້າງຂໍ້ຄວາມ. ມັນເປັນພຽງແຕ່ວ່າບົດຄວາມຊີ້ໃຫ້ເຫັນສອງສາມ nuances ສໍາລັບ nerds ແລະນັ້ນແມ່ນມັນ. ມັນພຽງພໍທີ່ຈະພິຈາລະນາຢ່າງລະອຽດວ່າທະນາຄານເຮັດແນວໃດມັນດ້ວຍຕົວອັກສອນ “C” ແລະເຮັດເຊັ່ນດຽວກັນ. ຂ້າພະເຈົ້າໄດ້ຮັບຄວາມປະທັບໃຈວ່າຕົວແບບນີ້ແມ່ນພຽງແຕ່ຫນຶ່ງໃນການທົດລອງທີ່ລົ້ມເຫລວທີ່ເປັນສິ່ງທີ່ຫນ້າເສຍໃຈທີ່ຈະຖິ້ມຂີ້ເຫຍື້ອ, ດັ່ງນັ້ນມັນຖືກຈັດໃສ່ໃນ Open Source ເພື່ອສະແດງໃຫ້ເຫັນສິ່ງທີ່ Yandex ສ້າງແບບຈໍາລອງທີ່ຍິ່ງໃຫຍ່, ແລະນອກຈາກນັ້ນ, ມັນແມ່ນແຫຼ່ງເປີດ!

ມີຄໍາຖາມຈໍານວນຫລາຍໃນອິນເຕີເນັດວິທີການແລ່ນ yalm ຫຼືແມ້ກະທັ້ງພະຍາຍາມອອນໄລນ໌, ແຕ່ບໍ່ມີຄໍາຕອບຕໍ່ເລື່ອງນີ້. ຂ້ອຍຢູ່ໃນບັນດາຜູ້ໃຊ້ທີ່ຖາມຄໍາຖາມເຫຼົ່ານີ້. ແລະກໍານົດກ່ຽວກັບການຄິດໄລ່ມັນອອກ. ເນື່ອງຈາກວ່າຂ້າພະເຈົ້າຕ້ອງການວິທີການສ້າງບົດເລື່ອງສໍາລັບຫຸ່ນຍົນທາງດ້ານການເງິນ. ເພື່ອໃຫ້ພວກເຂົາສາມາດຄາດຄະເນບໍ່ພຽງແຕ່ມູນຄ່າ, ແຕ່ຍັງສະແດງຄວາມຄິດເຫັນກ່ຽວກັບມັນຢູ່ໃນຂໍ້ຄວາມ, ໂດຍອີງໃສ່ບົດລາຍງານທາງດ້ານການເງິນ. ໂດຍເນື້ອແທ້ແລ້ວ, ມັນຈະຄືກັນກັບສິ່ງທີ່ນັກວິເຄາະດ້ານການເງິນເຮັດ, ພຽງແຕ່ມີການນໍາໃຊ້ປັນຍາປະດິດເທົ່ານັ້ນ. ມີສອງວິທີທີ່ຈະແລ່ນ yal.
ເຊົ່າເຊີບເວີໃນຄລາວກັບ 200+ Gb GPU RAM ຫຼືດັດແປງລະຫັດແລະດໍາເນີນການກັບສູນ offload ຄວາມໄວເລິກ (ເມື່ອ GPU ດໍາເນີນການຕາມລໍາດັບຂອງເຄືອຂ່າຍ neural, ແລະສ່ວນທີ່ເຫຼືອຈະຖືກເກັບໄວ້ໃນ CPU RAM ຫຼື NVMe). ອັນທໍາອິດແມ່ນລາຄາແພງຫຼາຍ, ປະມານ 2500 rubles ຕໍ່ຊົ່ວໂມງຫຼື 1.7 ລ້ານຕໍ່ເດືອນ. ທີສອງບໍ່ຮູ້, ເພາະວ່າ ລະຫັດໃນ repository ບໍ່ໄດ້ຖືກສະຫນອງໃຫ້, ພຽງແຕ່
ຄໍາແນະນໍາໃນບັນຫາຂອງ repository, ເຊິ່ງບໍ່ຍາກທີ່ຈະເຮັດ. ໃຫ້ເລີ່ມຕົ້ນງ່າຍດາຍ.

ຄໍາແນະນໍາການເປີດຕົວ YaLM 100B

1. ພວກເຮົາເຊົ່າ 200 GB GPU RAM, ຕົວຢ່າງທີ່ນີ້ .

ທ່ານຈໍາເປັນຕ້ອງມີຢ່າງຫນ້ອຍ 200 GB ຂອງຫນ່ວຍຄວາມຈໍາວິດີໂອທັງຫມົດ. 8×40 = 320 GB. ພຽງແຕ່ອັນນີ້ເຫມາະ. ຫນ້ອຍກວ່າ 200 ແມ່ນເປັນໄປບໍ່ໄດ້, ຫຼາຍເປັນໄປໄດ້. ລູກສອນຊີ້ບອກ CPU RAM, ພວກເຮົາບໍ່ໄດ້ເບິ່ງມັນ. ນາງສາມາດເປັນໃຜໄດ້.

ພວກເຮົາຊີ້ໃຫ້ເຫັນແຜ່ນປະມານ 300 GB, ດັ່ງນັ້ນດ້ວຍ spare ແລະມັກເປັນແຜ່ນໄວ, ເພາະວ່າ. ຂໍ້ມູນຫຼາຍສິບ gigabytes ຈະຖືກໂອນໄປຫາແລະຈາກມັນ.

ເມື່ອສ້າງໃນແຫຼ່ງຂໍ້ມູນ, ເລືອກ Ubuntu ML (Machine Learning). ນີ້ແມ່ນການບັງຄັບເພື່ອໃຫ້ບັດວີດີໂອຖືກຕັ້ງຄ່າແລະບໍ່ມີຫຍັງຈໍາເປັນຕ້ອງໄດ້ຕິດຕັ້ງເພີ່ມເຕີມ.

ໃນເວລາທີ່ການສ້າງເຄື່ອງແມ່ຂ່າຍ, ມີ nuances ກັບ quotas, ທ່ານອາດຈະໄດ້ຮັບຄວາມຮູ້ສຶກວ່າອຸປະກອນບໍ່ສາມາດໃຊ້ໄດ້, ແຕ່ຄວາມຈິງແລ້ວທ່ານພຽງແຕ່ຕ້ອງການທີ່ຈະເພີ່ມໂຄຕາໃນການຕັ້ງຄ່າ. ຫຼັງຈາກເຄື່ອງແມ່ຂ່າຍຖືກເປີດໃຊ້ງານ (ມັນອາດຈະໃຊ້ເວລາ 5-10 ນາທີ), ເຊື່ອມຕໍ່ກັບເຄື່ອງແມ່ຂ່າຍຜ່ານ ssh ຫຼືໂດຍກົງໃນ web console ໃນຫນ້າເຊີຟເວີແລະປະຕິບັດຄໍາສັ່ງ.

nvidia-smi

ຜົນໄດ້ຮັບຄວນຈະເປັນຕາຕະລາງທີ່ມີບັດວີດີໂອ, ຮຸ່ນໄດເວີແລະ cuda. ປະມານນີ້.
ໃນ header ສະບັບໄດເວີແລະບ່ອນໃດ. ຢູ່ເບື້ອງຊ້າຍແມ່ນຕົວເລກອຸປະກອນ, ຢູ່ໃຈກາງແມ່ນຂະຫນາດຂອງຫນ່ວຍຄວາມຈໍາຂອງອຸປະກອນ. ຖ້າທ່ານບໍ່ມີຂໍ້ມູນນີ້, ຫຼັງຈາກນັ້ນທ່ານໄດ້ລວບລວມເຄື່ອງແມ່ຂ່າຍຈາກແຫຼ່ງທີ່ບໍ່ຖືກຕ້ອງ. Ubuntu ML (Machine Learnong) ແມ່ນຕ້ອງການ, ດັ່ງທີ່ອະທິບາຍໄວ້ຂ້າງເທິງ.

2. Clone the repository ກັບ YaLM

sudo git clone https://github.com/yandex/YaLM-100B/ yalm
cd yalm

Clone ໄປຫາໂຟເດີເຮືອນຂອງທ່ານເພື່ອວ່າທ່ານບໍ່ຈໍາເປັນຕ້ອງແກ້ໄຂ docker config ຫຼັງຈາກນັ້ນ. ຖ້າ cloned ຢູ່ບ່ອນອື່ນ, ຫຼັງຈາກນັ້ນ
ໄປທີ່ນີ້ ແລະເພີ່ມເສັ້ນທາງໄປຫາບ່ອນທີ່ cloned.

3. ດາວ​ໂຫຼດ​ດ່ານ (ຂໍ້​ມູນ​ການ​ຝຶກ​ອົບ​ຮົມ​ຮູບ​ແບບ​ພື້ນ​ຖານ​)

sudo chmod +x ./download/download.sh
sudo bash ./download/download.sh

ນີ້ຈະໃຊ້ເວລາປະມານຫນຶ່ງຊົ່ວໂມງ. ໃນຄໍາສັ່ງທີ່ຈະບໍ່ເສຍເວລາໃນ vain, ພວກເຮົາສ້າງການເຊື່ອມຕໍ່ ssh ໃຫມ່ແລະໃນຂະຫນານພວກເຮົາເລີ່ມຕົ້ນສ້າງ docker container.

4. ຕິດຕັ້ງ nvidia – docker 2

docker ປົກກະຕິແມ່ນບໍ່ເຫມາະສົມ,
nvidia-docker2 ແມ່ນຈໍາເປັນ .
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#setting-up-nvidia-container-toolkit

5. ການກໍ່ສ້າງຕູ້ຄອນເທນເນີສໍາລັບ YaLM

cd yalm
sudo chmod +x ./docker/*
sudo bash ./docker/build.sh

ມັນຍັງປະມານຫນຶ່ງຊົ່ວໂມງ.

hack ຊີວິດ. ທ່ານສາມາດດາວໂຫລດຈຸດກວດກາ, ຕິດຕັ້ງ docker ແລະສ້າງຕູ້ຄອນເທນເນີໃນເຄື່ອງແມ່ຂ່າຍລາຄາຖືກດ້ວຍບັດວີດີໂອຫນຶ່ງ. ມັນຈະຄືກັນໃນເວລາ, ດັ່ງນັ້ນທ່ານສາມາດປະຫຍັດພຽງເລັກນ້ອຍ. ຫຼັງຈາກການປະກອບຢູ່ໃນເຄື່ອງແມ່ຂ່າຍລາຄາຖືກ, ພວກເຮົາລຶບມັນ, ແລະສ້າງເຄື່ອງແມ່ຂ່າຍການຕໍ່ສູ້ໂດຍໃຊ້ແຜ່ນຈາກເຄື່ອງແມ່ຂ່າຍລາຄາຖືກ. ຫຼັງ​ຈາກ​ນັ້ນ​, ທ່ານ​ຈະ​ບໍ່​ຈ່າຍ​ເກີນ​ທີ່​ໃຊ້​ເວ​ລາ​ສໍາ​ລັບ​ການ​ລໍ​ຖ້າ​ສໍາ​ລັບ​ການ​ປະ​ຊຸມ​ແລະ pumping ອອກ​ດ່ານ​.

6. ກະກຽມເນື້ອໃນ

6.1 ດ່ານ

ຫຼັງຈາກການດາວໂຫຼດຈຸດກວດກາແມ່ນສິ້ນສຸດລົງ, ທ່ານຈໍາເປັນຕ້ອງເລື່ອນພວກມັນເຂົ້າໄປໃນການຕັ້ງຄ່າ. ມີສອງວິທີ, ຕົວກໍານົດການທີ່ຖືກຕ້ອງຫຼືການກວດກາການໂອນ. ຢູ່ທົ່ວທຸກແຫ່ງຄາດວ່າຈຸດກວດກາຈະຢູ່ໃນບັນຊີລາຍການຕົ້ນຕໍຂອງໂຄງການ, ຕາມລໍາດັບ, ສິ່ງທີ່ໄດ້ຮັບການດາວໂຫຼດຕ້ອງຖືກໂອນຈາກໂຟນເດີດາວໂຫລດຂ້າງເທິງ. ຢູ່ໃນໂຟນເດີ yalm ປະຕິບັດ

mv ./download/yalm100b_checkpoint ./

ຫຼືປ່ຽນເສັ້ນທາງໄປຫາໄຟລ໌ໃນໄຟລ໌ຕົວຢ່າງ
https://github.com/yandex/YaLM-100B/blob/c91b7d7fe8dbf39c9e307d6d324446d0df136a23/examples/generate_interactive.sh#L8-L9

6.2 ບັດວີດີໂອ

ພວກເຮົາກວດເບິ່ງວ່າບັດວີດີໂອຖືກຕັ້ງຢ່າງຖືກຕ້ອງ. ຖ້າ​ຫາກ​ທ່ານ​ມີ​ແປດ​ບັດ​ວິ​ດີ​ໂອ​, ຫຼັງ​ຈາກ​ນັ້ນ​ບໍ່​ມີ​ຫຍັງ​ຈໍາ​ເປັນ​ຕ້ອງ​ໄດ້​ຮັບ​ການ​ປ່ຽນ​ແປງ​. ຖ້າຕົວເລກແຕກຕ່າງກັນ, ຫຼັງຈາກນັ້ນພວກເຮົາປ່ຽນສາຍເຫຼົ່ານີ້
ຢູ່ໃນແຖວທີສອງ, ຕົວເລກຂອງອຸປະກອນທີ່ໃຊ້ (ທ່ານສາມາດເບິ່ງພວກມັນໄດ້ໃນ nvidia-smi, ທີ່ທ່ານໄດ້ເປີດຕົວແລ້ວ). ໃນສີ່, ຈໍານວນຂອງພວກເຂົາ.

7. ດໍາເນີນການ docker container

ຢູ່ໃນໂຟນເດີ yalm, ປະຕິບັດຄໍາສັ່ງ

sudo bash ./docker/run.sh

ຖ້າທຸກສິ່ງທຸກຢ່າງແມ່ນ OK, ຫຼັງຈາກນັ້ນທ່ານຈະຖືກນໍາໄປຫາຖັງທີ່ທ່ານຈໍາເປັນຕ້ອງໄປຫາໂຟນເດີ yalm ໃນບັນຊີບ້ານຂອງທ່ານ.

cd ~/yalm

8. ດໍາເນີນການຕົວຢ່າງຈາກ YaLM 100B

ພວກເຮົາພ້ອມທີ່ຈະເປີດຕົວຫນຶ່ງໃນຕົວຢ່າງ. ເຂົາເຈົ້າໄດ້ຖືກອະທິບາຍ
ຢູ່ທີ່ນີ້ .

chmod +x ./examples/generate_interactive.sh
./examples/generate_interactive.sh

ມີຄວາມອົດທົນ, ມັນຍັງຄົງລໍຖ້າອີກ 10-15 ນາທີຈົນກ່ວາຮູບແບບ GPT ຖືກສ້າງຂຶ້ນແລະນ້ໍາຫນັກຈາກດ່ານຖືກໂຫລດ.

ເມື່ອການກໍ່ສ້າງສໍາເລັດ, MegatronML ຈະກະຕຸ້ນໃຫ້ທ່ານໃສ່ສະພາບການເພື່ອສ້າງຂໍ້ຄວາມ. ຈົ່ງລະມັດລະວັງເມື່ອທ່ານພິມ. ພາຍໃຕ້ສະຖານະການສະເພາະໃດຫນຶ່ງ, ຄວາມຜິດພາດເກີດຂຶ້ນ, ໂປຣແກຣມຂັດຂ້ອງແລະທ່ານຈໍາເປັນຕ້ອງເລີ່ມຕົ້ນການປະກອບອີກເທື່ອຫນຶ່ງ. ດັ່ງນັ້ນ, ມັນດີກວ່າທີ່ຈະໃຊ້ຕົວຢ່າງທີ່ເອົາຂໍ້ຄວາມຈາກໄຟລ໌.

9. ຜົນຂອງການເຮັດວຽກ

ເບິ່ງຫນ້າສົນໃຈ. ແນ່ນອນ, ເຫຼົ່ານີ້ແມ່ນພຽງແຕ່ຕົວຢ່າງທີ່ດີ. ຂ້າພະເຈົ້າໄດ້ແລ່ນການທົດສອບໃນຕົວຢ່າງທີ່ແຕກຕ່າງກັນ. ດັ່ງທີ່ຄາດໄວ້, ສະພາບການທີ່ດີກວ່າ, ຂໍ້ຄວາມທີ່ມີຄວາມຫມາຍຫຼາຍຈະຖືກສ້າງຂື້ນ. ຊຸດເຕັມຂອງລຸ້ນທົດລອງສາມາດເບິ່ງໄດ້ທີ່ລິ້ງ:

• generate_conditional_sampling.sh
• generate_conditional_greedy.sh
• generate_unconditional.sh

ສໍາລັບລາຄາ, ມັນມີມູນຄ່າຂ້ອຍປະມານ 9 ພັນຮູເບີນສໍາລັບການເຊົ່າເຄື່ອງແມ່ຂ່າຍທີ່ມີຄວາມສາມາດທີ່ແຕກຕ່າງກັນຈາກການຝຶກອົບຮົມແລະຈາກການກະກຽມໄປສູ່ການຜະລິດ. ຄວາມຜິດຫວັງໂດຍສະເພາະທີ່ທ່ານບໍ່ສາມາດສ້າງທຸກສິ່ງທຸກຢ່າງໄດ້ທັນທີ. ມັນໃຊ້ເວລາຫຼາຍທີ່ຈະເລີ່ມຕົ້ນແລະຂໍ້ຄວາມບໍ່ໄດ້ສ້າງໄວເທົ່າທີ່ພວກເຮົາຕ້ອງການ, ເນື່ອງຈາກຄ່າໃຊ້ຈ່າຍຂອງເຄື່ອງແມ່ຂ່າຍຕໍ່ຊົ່ວໂມງ.
 

ວິທີການແລ່ນ YaLM ໂດຍບໍ່ມີການ 200Gb GPU RAM?

ທ່ານຈໍາເປັນຕ້ອງເພີ່ມ deepspeed zero offload ໃຫ້ກັບ config. ສໍາລັບຜູ້ທີ່ຮູ້ວ່າສິ່ງທີ່ພວກເຮົາເວົ້າກ່ຽວກັບ, ມັນຈະງ່າຍຫຼາຍທີ່ຈະເຮັດມັນ. ສໍາລັບຄົນອື່ນ, ນີ້ບໍ່ແມ່ນວຽກເລັກນ້ອຍ. ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະຮູ້ວ່າ offload ສາມາດຢູ່ໃນ CPU RAM ຫຼື NVMe. ທ່ານສາມາດລືມກ່ຽວກັບ NVMe ໃນເວລານີ້, ເພາະວ່າ. ຈໍານວນຂໍ້ມູນຈໍານວນຫລາຍກໍາລັງຖືກປຸງແຕ່ງແລະແຜ່ນບໍ່ສາມາດຮັບມືກັບມັນໄດ້. Zero offload CPU ແມ່ນຈິງຫຼາຍ. ແທ້ຈິງແລ້ວ, ສໍາລັບການນີ້, ທ່ານຈໍາເປັນຕ້ອງມີ 200+ Gb CPU RAM ໃນຫຼັກຊັບ, ເຊິ່ງບໍ່ແມ່ນລາຄາຖືກ. ແລະຂໍ້ຄວາມຫນຶ່ງຈະຖືກສ້າງຂຶ້ນປະມານ 20-40 ນາທີ, ເນື່ອງຈາກວ່າມັນຍັງບໍ່ທັນສາມາດຂະຫນານມັນຢູ່ໃນສອງບັດວີດີໂອ. ດັ່ງທີ່ທ່ານສາມາດເບິ່ງໃນ screenshot ຂ້າງລຸ່ມນີ້, ມີພຽງແຕ່ຫນຶ່ງບັດວີດີໂອມີສ່ວນຮ່ວມໃນການຜະລິດ, ແລະຫຼັງຈາກນັ້ນພຽງແຕ່ສໍາລັບສ່ວນສີ່ຂອງຫນ່ວຍຄວາມຈໍາ. ມັນຍັງຈະເຫັນໄດ້ວ່າເປັນຫຍັງ 24 GB ທັງຫມົດບໍ່ໄດ້ຖືກນໍາໃຊ້,
ດີ, ສະຫຼຸບ, ຂ້າພະເຈົ້າຈະເວົ້າວ່າມັນເປັນໄປໄດ້ທີ່ຈະດໍາເນີນການເຖິງແມ່ນວ່າໃນຫນຶ່ງ RTX 3070 TI. ແຕ່ບໍ່ມີຄວາມຮູ້ສຶກໂດຍສະເພາະໃນເລື່ອງນີ້, ເພາະວ່າ. NVMe ຈະບໍ່ອະນຸຍາດໃຫ້ທ່ານສາມາດປະມວນຜົນຂໍ້ມູນ 150 GB ຢ່າງໄວວາໃນ swap, ເຊິ່ງຢູ່ໃນ appendage ຂອງ 96 GB ຂອງ RAM.

ສະຫຼຸບ

ແນ່ນອນ, ຂ້ອຍຍັງຈະພະຍາຍາມຊອກຫາເສັ້ນທາງການເປີດຕົວທີ່ດີທີ່ສຸດ. ແຕ່ມາຮອດຕອນນີ້ຂ້ອຍໄດ້ສະຫຼຸບວ່າ YaLM 100b ແມ່ນລາຄາແພງເກີນໄປ / ຊ້າເກີນໄປສໍາລັບວຽກງານຂອງຂ້ອຍ. ສໍາລັບເງິນດຽວກັນ, ປະຊາຊົນຈະຂຽນຫຼາຍແລະດີກວ່າຫຼາຍ. ແຕ່ຂ້ອຍຄິດວ່າມັນເປັນການຊົ່ວຄາວ, ພວກເຮົາຈະເຫັນ. ຖ້າທ່ານຕ້ອງການຄວາມຊ່ວຍເຫຼືອໃນການເປີດຕົວ, ການຕັ້ງຄ່າ yalm, ຫຼືຕ້ອງການເບິ່ງຜົນໄດ້ຮັບໃນຕົວຢ່າງຂອງສະພາບການຂອງທ່ານ, ຂຽນໄປທີ່ເມລຫຼືໂທລະເລກ.