Löydät tensorflow-js:stä sen, mitä tarvitset ML:n ja kaupankäynnin ensimmäisiin vaiheisiin.
Tämä on dqn-koulutus, jossa agentille annetaan palkkioita ja rangaistuksia toimista.
https://github.com/tensorflow/tfjs-examples/tree/master/snake-dqn
https://storage.googleapis.com/tfjs-examples/snake-dqn/index.html
Osoittautuu, että meillä on käärme, joka oppii omasta kokemuksestaan liikkumaan. Hänellä on tietty määrä liikkeitä (käänny tai jatka) ja hänen tehtävänsä on päästä hedelmälle. Aluksi käärme ei osaa tehdä mitään, mutta koulutuksen aikana se saa kyvyn löytää hedelmiä ja väistää. Hyvin samanlainen kuin kaupankäynti, eikö?
No, ainakin meidän tehtäväämme varten, kun data on käynnissä ja robotin on tehtävä päätös ostaa tai myydä.
Käärmeen haittapuoli on, että se on kirjoitettu node.js:lle, ja meidän on voitava harjoitella selaimessa (jotta kuka tahansa käyttäjä voi tehdä sen). Siksi oli tarpeen aloittaa sama asiakkaalla.
Otin käärmeen sellaisenaan sivulleni kaavion kanssa ja yritin käynnistää sen. Se ei ollut niin!
Käärme vastusti kaikin mahdollisin tavoin,
paketit ensin,
sitten argumentit. (muuten, tein myös vetopyynnön korjauksen viereen https://github.com/tensorflow/tfjs-examples/pull/353),
sitten %% Käsittelemätön hylkäys (TypeError): Luokkaa ei voi kutsua funktiona %%. Joka on korjattu täällä https://github.com/tensorflow/tfjs/pull/3906/files, mutta koska ei ole vielä julkaistu, sitten minun piti vaihtaa käteni. Täällä muuten monilla ihmisillä on ongelma https://github.com/tensorflow/tfjs/issues/3384.
Sitten oli alaikäisiä, kuten fs:n korvaaminen indexeddb:llä. Työ, jolla olen muuten vakoillut täällä. No, yleensä kärrytanko inspiroi alun perin tekemään kaiken asiakkaan puolesta.
https://github.com/tensorflow/tfjs-examples/tree/master/cart-pole
https://storage.googleapis.com/tfjs-examples/cart-pole/dist/index.html
loppujen lopuksi kävi näin:
https://github.com/pskucherov/opexflow/pull/16/files
No, siinä kaikki, seuraava vaihe on:
- Sovita kaavioihin
- Visualisointi
- Kouluta robotti tunnetuilla tiedoilla parhaan tuloksen näyttämiseksi
Alla olevalla videolla on demo robottien työkoulutuksesta asiakkaalla. Jonakin päivänä he myös käyvät kauppaa Sberbankin futuureilla minun sijaanni.
