Крајем јуна, Иандек је јавности објавио неуронску мрежу са 100 милијарди параметара под називом ИаЛМ 100Б . То је највећа неуронска мрежа слична ГПТ-у у јавном домену. Говори о томе како су учили, показали најбоље примере и за шта је неурон способан. Али да ли је то тако добро у пракси и применљиво код куће? У чланку се не говори о томе, штавише, није тако лако покренути и проверити, јер је потребно око 200 Гб ГПУ РАМ-а. Овај коментар на Хабреу најтачније открива ситуацију .
Наводно, у Иандек-у, сви такви паметни људи, а нису ни објавили нормалан Хов-то. Не постоји АПИ за велики модел, нема готовог огољеног средњег или малог модела за обичне људе (у Гоогле Цолаб-у). Није дат пример како да се постави модел, како да се генерише текст. Само што чланак указује на пар нијанси за штребере и то је то. Довољно је мало боље погледати како је то банка урадила са словом „Ц“ и учинити исто. Стекао сам утисак да је овај модел само један од неуспешних експеримената који је било штета бацити у смеће, па је постављен у Опен Соурце да покаже какве сјајне моделе прави Јандекс, а штавише, отворен је код!
Постоји много питања на Интернету како покренути иалм или чак покушати на мрежи, али нема одговора на ово. Био сам међу корисницима који су постављали ова питања. И почните да то схватите. Пошто ми је заиста био потребан начин да генеришем текстове за финансијске роботе. Тако да могу да предвиде не само вредности, већ и коментаришу то у тексту, на основу финансијских извештаја. У суштини, то ће бити исто што и финансијски аналитичари, само уз коришћење вештачке интелигенције. Постоје два начина за покретање иалма. Изнајмите сервер у облакуса 200+ Гб ГПУ РАМ-а или модификујте код и покрените са нултим оптерећењем дубоке брзине (када ГПУ секвенцијално обрађује део неуронске мреже, а остатак се чува у ЦПУ РАМ-у или НВМе). Први је веома скуп, око 2500 рубаља по сату или 1,7 милиона месечно. Друга непозната, јер код у спремишту није обезбеђен, само наговештаји у издању спремишта, што није тешко урадити. Почнимо једноставно.
Потребно вам је најмање 200 ГБ укупне видео меморије. 8к40 = 320 ГБ. Само овај одговара. Мање од 200 је немогуће, више је могуће. Стрелица означава ЦПУ РАМ, ми је не гледамо. Она може бити било ко.
Назначавамо диск од око 300 ГБ, тако да са резервним и по могућности брзим диском, јер. десетине гигабајта података ће се пренети на њега и са њега.
Када креирате у изворима, изаберите Убунту МЛ (машинско учење). Ово је обавезно да би се видео картице конфигурисале и да се ништа не мора додатно инсталирати.
Приликом креирања сервера постоје нијансе са квотама, можда ћете имати осећај да опрема није доступна, али у ствари морате само повећати квоте у подешавањима. Након што се сервер активира (може потрајати 5-10 минута), повежите се са сервером преко ссх-а или директно у веб конзоли на страници сервера и извршите команду.
нвидиа-сми
Резултат би требало да буде табела са видео картицама, верзијом драјвера и цудом. Отприлике овако. У заглављу верзије драјвера и где. На левој страни су бројеви уређаја, у средини је величина меморије уређаја. Ако немате ове информације, онда сте сакупили сервер из погрешног извора. Потребан је Убунту МЛ (Мацхине Леарнонг), као што је горе описано.
Клонирајте у своју почетну фасциклу тако да не морате накнадно да уређујете доцкер конфигурацију. Ако је клонирано негде другде, идите овде и додајте путању до места клонирања.
3. Преузмите контролне тачке (основне информације о обуци модела)
Животна мудрост. Можете преузети контролне тачке, инсталирати Доцкер и изградити контејнер на јефтином серверу са једном видео картицом. Тако ће бити и временом, па можете мало да уштедите. Након склапања на јефтином серверу, бришемо га и креирамо борбени сервер користећи диск са јефтиног сервера. Тада нећете преплатити време за чекање на монтажу и испумпавање контролних пунктова.
6. Припремите садржај
6.1 Контролне тачке
Након што се преузимање контролних тачака заврши, потребно је да их убаците у конфигурације. Постоје два начина, исправни параметри или пренос контролних тачака. Свугде се очекује да ће контролне тачке бити у главном директоријуму пројекта, односно, оно што је преузето мора бити пребачено из горње фасцикле за преузимање. Бити у иалм фасцикли изврши
Проверавамо да ли су видео картице исправно подешене. Ако имате осам видео картица, онда ништа не треба мењати. Ако је број другачији, онда мењамо ове редове . У другом реду, бројеви уређаја који се користе (можете их погледати у нвидиа-сми, који сте већ покренули). У четвртом њихов број.
7. Покрените доцкер контејнер
Када сте у фасцикли иалм, извршите команду
судо басх ./доцкер/рун.сх
Ако је све у реду, бићете одведени у контејнер у коме треба да одете у иалм фасциклу у вашем кућном директоријуму.
цд ~/иалм
8. Покрените пример са ИаЛМ 100Б
Спремни смо да покренемо један од примера. Овде су описани .
Будите стрпљиви, остаје да сачекате још 10-15 минута док се не креира ГПТ модел и учитају тежине са контролних тачака.
Када се градња заврши, МегатронМЛ ће од вас затражити да унесете контекст за генерисање текста. Будите опрезни када куцате. Под одређеним околностима долази до грешке, програм се руши и потребно је да поново покренете монтажу. Због тога је боље користити примере који преузимају текст из датотеке.
9. Резултати рада
Изгледа занимљиво. Наравно, ово су само добри примери. Урадио сам тест на различитим узорцима. Као што се и очекивало, што је бољи контекст, то ће се више смислити текст. Комплетан сет експерименталних генерација можете погледати на линковима:
По цени, коштало ме је око 9 хиљада рубаља за изнајмљивање сервера различитих капацитета од обуке и од припреме до генерације. Посебно разочарање је било то што не можете одмах да генеришете све. Потребно је много времена да се покрене и текст се не генерише тако брзо колико бисмо желели, с обзиром на цену сервера по сату.
Како покренути ИаЛМ без 200Гб ГПУ РАМ-а?
Морате да додате деепспеед нул оффлоад у конфигурацију. За оне који знају о чему говоримо, биће врло лако то учинити. За друге ово уопште није тривијалан задатак. Важно је знати да растерећење може бити у ЦПУ РАМ-у или НВМе. Можете заборавити на НВМе у овом тренутку, јер. обрађује се веома велика количина података и диск не може да се носи са тим. ЦПУ са нултим оптерећењем је стварнији. Истина, за ово морате имати 200+ Гб ЦПУ РАМ-а на лагеру, што такође није јефтино. И један текст ће се генерисати око 20-40 минута, пошто га још увек није било могуће паралелизирати на две видео картице. Као што можете видети на слици испод, само једна видео картица је била укључена у генерацију, и то само за четвртину меморије. Остаје да се види зашто се свих 24 ГБ не користи, Па, у закључку, рећи ћу да је могуће радити чак и на једном РТКС 3070 ТИ. Али у овоме нема посебног смисла, јер. НВМе вам неће дозволити да брзо обрадите 150 ГБ података у свап-у, који се налазе у додатку од 96 ГБ РАМ-а.
Сумирајући
Наравно, и даље ћу покушати да пронађем оптималне путање лансирања. Али до сада сам дошао до закључка да је ИаЛМ 100б прескуп/преспор за моје задатке. За исте паре људи ће писати много више и много боље. Али мислим да је то привремено, видећемо. Ако вам је потребна помоћ око покретања, подешавања иалм-а или желите да видите резултате на својим примерима контекста, пишите на пошту или телеграм.
Статья на Мега актуальную тему! Спасибо.
Крутая статья! Спасибо автору!
СПАСИБО !!!
три дня эту информацию искал
нет подобного о RuGPT3 и Порфириче?