Βρέθηκε στο tensorflow-js αυτό που χρειάζεστε για τα πρώτα βήματα στο ML και στο trading.
Αυτή είναι η εκπαίδευση dqn όπου δίνονται ανταμοιβές και ποινές στον πράκτορα για ενέργειες.
https://github.com/tensorflow/tfjs-examples/tree/master/snake-dqn
https://storage.googleapis.com/tfjs-examples/snake-dqn/index.html
Αποδεικνύεται ότι έχουμε ένα φίδι που μαθαίνει από τη δική του εμπειρία να κινείται. Έχει έναν ορισμένο αριθμό κινήσεων (στροφή ή συνέχεια) και το καθήκον της είναι να φτάσει στο φρούτο. Αρχικά, το φίδι δεν ξέρει πώς, αλλά στην πορεία της εκπαίδευσης αποκτά την ικανότητα να βρίσκει φρούτα και να αποφεύγει. Είναι πολύ παρόμοιο με το trading, έτσι δεν είναι;
Λοιπόν, τουλάχιστον για την εργασία μας, όταν έχουμε δεδομένα σε λειτουργία και το ρομπότ πρέπει να αποφασίσει να αγοράσει ή να πουλήσει.
Το μείον του snake είναι ότι είναι γραμμένο για το node.js και πρέπει να μπορούμε να εκπαιδεύσουμε στο πρόγραμμα περιήγησης (ώστε να το κάνει οποιοσδήποτε χρήστης). Επομένως, το ίδιο έπρεπε να γίνει και στον πελάτη.
Έσυρα το φίδι ως έχει στη σελίδα μου με ένα γράφημα και προσπάθησα να το εκτοξεύσω. Δεν ήταν εκεί!
Το φίδι αντέδρασε
πακέτα πρώτα,
μετά επιχειρήματα. (παρεμπιπτόντως, έκανα επίσης ένα αίτημα έλξης δίπλα στην επιδιόρθωση https://github.com/tensorflow/tfjs-examples/pull/353),
τότε %%Unhandled Rejection (TypeError): Δεν είναι δυνατή η κλήση μιας κλάσης ως συνάρτησης%%. Το οποίο επισκευάζεται εδώ https://github.com/tensorflow/tfjs/pull/3906/files, αλλά αφού Δεν υπάρχει ακόμα κυκλοφορία, οπότε έπρεπε να το αντικαταστήσω με τα χέρια μου. Εδώ, παρεμπιπτόντως, πολλοί άνθρωποι έχουν ένα πρόβλημα https://github.com/tensorflow/tfjs/issues/3384.
Οι ανήλικοι έχουν ήδη προχωρήσει περισσότερο, όπως η αντικατάσταση της εργασίας από το fs με το indexeddb. Έργο με το οποίο κατασκόπευα εδώ, παρεμπιπτόντως. Λοιπόν, γενικά, το cart-pole με ενέπνευσε αρχικά να κάνω τα πάντα στον πελάτη.
https://github.com/tensorflow/tfjs-examples/tree/master/cart-pole
https://storage.googleapis.com/tfjs-examples/cart-pole/dist/index.html
στο τέλος έγινε αυτό:
https://github.com/pskucherov/opexflow/pull/16/files
Λοιπόν, στην πραγματικότητα, το επόμενο βήμα θα είναι:
- Ταιριάζει σε γραφήματα
- Οραματισμός
- Εκπαιδεύστε το ρομπότ σε γνωστά δεδομένα για να δείξει το μέγιστο αποτέλεσμα
Παρακάτω είναι ένα βίντεο επίδειξης της εργασίας-εκπαίδευσης των ρομπότ στον πελάτη. Κάποια μέρα θα ανταλλάξουν και συμβόλαια μελλοντικής εκπλήρωσης της Sberbank αντί για εμένα.
