serpento-dqn kiel la vojo al ML

Программирование

Trovita en tensorflow-js tion, kion vi bezonas por la unuaj paŝoj en ML kaj komerco.

Ĉi tio estas dqn-trejnado, kie rekompencoj kaj punoj ricevas al la agento por agoj.

https://github.com/tensorflow/tfjs-examples/tree/master/snake-dqn

https://storage.googleapis.com/tfjs-examples/snake-dqn/index.html

Rezultas, ke ni havas serpenton, kiu lernas de sia propra sperto movi. Ŝi havas certan nombron da movoj (turni aŭ daŭrigi) kaj ŝia tasko estas atingi la frukton. Komence, la serpento ne scias kiel, sed en la kurso de trejnado, ĝi akiras la kapablon trovi fruktojn kaj eviti. Ĝi estas tre simila al komerco, ĉu ne?

Nu, almenaŭ por nia tasko, kiam ni havas datumojn kurantajn, kaj la roboto bezonas preni decidon aĉeti aŭ vendi.

La minuso de la serpento estas, ke ĝi estas skribita por node.js, kaj ni devas povi trejni en la retumilo (por ke ĉiu uzanto povu fari ĝin). Tial, la sama devis esti farita ĉe la kliento.

Mi trenis la serpenton kiel ĝi estas al mia paĝo kun diagramo kaj provis lanĉi ĝin. Ĝi ne estis tie!

La serpento kontraŭbatalis

unue pakaĵoj,

poste argumentoj. (cetere, mi ankaŭ faris tiran peton apud la riparo https://github.com/tensorflow/tfjs-examples/pull/353),

tiam %%Netraktita Malakcepto (TypeError): Ne povas voki klason kiel funkcio%%. Kiu estas riparita ĉi tie https://github.com/tensorflow/tfjs/pull/3906/files, sed ekde Ankoraŭ ne ekzistas liberigo, do mi devis anstataŭigi ĝin per miaj manoj. Ĉi tie, cetere, multaj homoj havas problemon https://github.com/tensorflow/tfjs/issues/3384.

Neplenaĝuloj jam iris plu, kiel anstataŭigi laboron de fs per indexeddb. Verko, per kiu mi spionis ĉi tie, cetere. Nu, ĝenerale, ĉar-polo komence inspiris min fari ĉion sur la kliento.

https://github.com/tensorflow/tfjs-examples/tree/master/cart-pole

https://storage.googleapis.com/tfjs-examples/cart-pole/dist/index.html

finfine, jen kio okazis:

https://github.com/pskucherov/opexflow/pull/16/files

Nu, fakte, la sekva paŝo estos:

  1. Kongrui al leteroj
  2. Bildigo
  3. Trejnu la roboton sur konataj datumoj por montri la maksimuman rezulton

Malsupre estas videodemo pri la labortrejnado de robotoj ĉe la kliento. Iam ili ankaŭ komercos Sberbank-futuraĵojn anstataŭ mi.

pskucherov
Rate author
Add a comment