Wedi’i ddarganfod yn tensorflow-js yr hyn sydd ei angen arnoch chi ar gyfer y camau cyntaf mewn ML a masnachu.
Mae hwn yn hyfforddiant dqn, lle rhoddir gwobrau a chosbau i’r asiant am gamau.
https://github.com/tensorflow/tfjs-examples/tree/master/snake-dqn
https://storage.googleapis.com/tfjs-examples/snake-dqn/index.html
Mae’n ymddangos bod gennym neidr sy’n dysgu o’i phrofiad ei hun i symud. Mae ganddi nifer penodol o symudiadau (troi neu barhau) a’i thasg yw cyrraedd y ffrwyth. I ddechrau, nid yw’r neidr yn gwybod sut i wneud unrhyw beth, ond yn ystod yr hyfforddiant mae’n ennill y gallu i ddod o hyd i ffrwythau a osgoi. Yn debyg iawn i fasnachu, ynte?
Wel, o leiaf ar gyfer ein tasg, pan fydd gennym ddata’n rhedeg, ac mae angen i’r robot wneud penderfyniad i brynu neu werthu.
Anfantais y neidr yw iddi gael ei hysgrifennu ar gyfer node.js, ac mae angen i ni allu hyfforddi mewn porwr (fel y gall unrhyw ddefnyddiwr ei wneud). Felly, roedd angen cychwyn yr un peth ar y cleient.
Cymerais y neidr fel y mae i’m tudalen gyda’r graff a cheisio ei gychwyn. Nid oedd felly!
Gwrthwynebodd y neidr ym mhob ffordd bosibl,
pecynnau yn gyntaf,
yna dadleuon. (gyda llaw, gwnes i gais tynnu wrth ymyl yr atgyweiriad https://github.com/tensorflow/tfjs-examples/pull/353),
yna %% Gwrthod Heb ei drin (TypeError): Methu galw dosbarth fel swyddogaeth %%. Sy’n cael ei atgyweirio yma https://github.com/tensorflow/tfjs/pull/3906/files, ond ers hynny does dim rhyddhau eto, yna roedd yn rhaid i mi amnewid fy nwylo. Yma, gyda llaw, mae gan lawer o bobl broblem https://github.com/tensorflow/tfjs/issues/3384.
Yna roedd y plant dan oed, fel amnewid fs yn lle indexeddb. Y gwaith y bûm yn edrych arno yma, gyda llaw. Wel, yn gyffredinol, ysbrydolodd cart-polyn i wneud popeth ar y cleient i ddechrau.
https://github.com/tensorflow/tfjs-examples/tree/master/cart-pole
https://storage.googleapis.com/tfjs-examples/cart-pole/dist/index.html
yn y diwedd, dyma ddigwyddodd:
https://github.com/pskucherov/opexflow/pull/16/files
Wel, dyna i gyd, y cam nesaf fydd:
- Yn ffitio i siartiau
- Delweddu
- Hyfforddwch robot ar ddata hysbys i ddangos y canlyniad mwyaf
Isod yn y fideo mae arddangosiad o hyfforddiant gwaith robotiaid ar y cleient. Someday byddant hefyd yn masnachu dyfodol Sberbank yn lle fi.
