snake-dqn jako ścieżka do ML

Программирование

Znajdź w tensorflow-js to, czego potrzebujesz do pierwszych kroków w ML i handlu.

To szkolenie dqn, podczas którego agent otrzymuje nagrody i kary za działania.

https://github.com/tensorflow/tfjs-examples/tree/master/snake-dqn

https://storage.googleapis.com/tfjs-examples/snake-dqn/index.html

Okazuje się, że mamy węża, który uczy się poruszać z własnego doświadczenia. Ma określoną liczbę ruchów (obrót lub kontynuacja), a jej zadaniem jest dotarcie do owocu. Początkowo wąż nie wie, jak nic zrobić, ale w trakcie treningu zyskuje umiejętność znajdowania owoców i robienia uników. Bardzo podobny do tradingu, prawda?

Cóż, przynajmniej dla naszego zadania, kiedy mamy uruchomione dane, a robot musi podjąć decyzję o kupnie lub sprzedaży.

Wadą węża jest to, że został napisany dla node.js i musimy być w stanie trenować w przeglądarce (aby każdy użytkownik mógł to zrobić). Dlatego konieczne było uruchomienie tego samego u klienta.

Wziąłem węża tak, jak jest na moją stronę z wykresem i próbowałem go uruchomić. Tak nie było!

Wąż stawiał opór w każdy możliwy sposób,

najpierw paczki,

potem argumenty. (swoją drogą zrobiłem też pull request obok poprawki https://github.com/tensorflow/tfjs-examples/pull/353),

then %% Nieobsłużone odrzucenie (TypeError): Nie można wywołać klasy jako funkcji %%. Który jest naprawiany tutaj https://github.com/tensorflow/tfjs/pull/3906/files, ale od nie ma jeszcze zwolnienia, wtedy musiałem podstawić ręce. Tutaj, przy okazji, wiele osób ma problem https://github.com/tensorflow/tfjs/issues/3384.

Potem były drugorzędne, jak zastąpienie fs indexeddb. Nawiasem mówiąc, praca, którą tu szpiegowałem. Cóż, ogólnie rzecz biorąc, cart-pole początkowo inspirowało do robienia wszystkiego na kliencie.

https://github.com/tensorflow/tfjs-examples/tree/master/cart-pole

https://storage.googleapis.com/tfjs-examples/cart-pole/dist/index.html

w końcu tak się stało:

https://github.com/pskucherov/opexflow/pull/16/files

Cóż, to wszystko, kolejnym etapem będzie:

  1. Dopasuj do wykresów
  2. Wyobrażanie sobie
  3. Wytrenuj robota na znanych danych, aby pokazać maksymalny wynik

Poniżej w filmie demo z pracy-treningu robotów na kliencie. Pewnego dnia będą również handlować kontraktami terminowymi na Sbierbank zamiast mnie.

pskucherov
Rate author