Gevonden in tensorflow-js wat je nodig hebt voor de eerste stappen in ML en handel.
Dit is dqn-training, waarbij de agent beloningen en straffen krijgt voor acties.
https://github.com/tensorflow/tfjs-examples/tree/master/snake-dqn
https://storage.googleapis.com/tfjs-examples/snake-dqn/index.html
Het blijkt dat we een slang hebben die uit eigen ervaring leert om te bewegen. Ze heeft een bepaald aantal zetten (draaien of doorgaan) en haar taak is om bij de vrucht te komen. Aanvankelijk weet de slang niet hoe hij iets moet doen, maar tijdens de training krijgt hij het vermogen om fruit te vinden en te ontwijken. Zeer vergelijkbaar met handelen, nietwaar?
Nou ja, in ieder geval voor onze taak, wanneer we gegevens hebben en de robot een beslissing moet nemen om te kopen of verkopen.
Het nadeel van de snake is dat deze is geschreven voor node.js en dat we in een browser moeten kunnen trainen (zodat elke gebruiker het kan doen). Daarom was het noodzakelijk om hetzelfde op de client te starten.
Ik nam de slang zoals hij is naar mijn pagina met de grafiek en probeerde hem te starten. Het was niet zo!
De slang verzette zich op alle mogelijke manieren,
pakketten eerst,
dan argumenten. (trouwens, ik heb ook een pull-verzoek gedaan naast de fix https://github.com/tensorflow/tfjs-examples/pull/353),
dan %% Onverwerkte afwijzing (TypeError): Kan een klasse niet aanroepen als een functie %%. Die hier wordt gerepareerd https://github.com/tensorflow/tfjs/pull/3906/files, maar sinds er is nog geen release, toen moest ik mijn handen vervangen. Hier hebben trouwens veel mensen een probleem https://github.com/tensorflow/tfjs/issues/3384.
Dan waren er de minderjarigen, zoals het vervangen van fs door indexeddb. Het werk waarmee ik hier heb bespioneerd trouwens. Over het algemeen was cart-pole aanvankelijk geïnspireerd om alles op de klant te doen.
https://github.com/tensorflow/tfjs-examples/tree/master/cart-pole
https://storage.googleapis.com/tfjs-examples/cart-pole/dist/index.html
uiteindelijk gebeurde dit:
https://github.com/pskucherov/opexflow/pull/16/files
Dat is alles, de volgende fase zal zijn:
- Aanpassen aan grafieken
- visualisatie
- Train een robot op bekende gegevens om het maximale resultaat te tonen
Hieronder in de video een demo van de werktraining van robots op de klant. Op een dag zullen ze ook Sberbank-futures verhandelen in plaats van mij.
