tensorflow-js-ში ნაპოვნია ის, რაც გჭირდებათ ML-ში და ვაჭრობაში პირველი ნაბიჯებისთვის.
ეს არის dqn ტრენინგი, სადაც აგენტს ეძლევა ჯილდოები და ჯარიმები ქმედებებისთვის.
https://github.com/tensorflow/tfjs-examples/tree/master/snake-dqn
https://storage.googleapis.com/tfjs-examples/snake-dqn/index.html
თურმე გვყავს გველი, რომელიც საკუთარი გამოცდილებიდან სწავლობს მოძრაობას. მას აქვს გარკვეული რაოდენობის სვლა (მობრუნება ან გაგრძელება) და მისი ამოცანაა ნაყოფის მიღწევა. თავიდან გველმა არაფრის კეთება არ იცის, მაგრამ ვარჯიშის დროს იძენს ხილის პოვნისა და ავუარე უნარს. ძალიან ჰგავს ვაჭრობას, არა?
ისე, ყოველ შემთხვევაში, ჩვენი ამოცანისთვის, როდესაც ჩვენ გვაქვს მონაცემები გაშვებული და რობოტმა უნდა მიიღოს გადაწყვეტილება ყიდვის ან გაყიდვის შესახებ.
გველის მინუსი არის ის, რომ დაიწერა node.js-ისთვის და უნდა შეგვეძლოს ბრაუზერში ვარჯიში (ასე რომ ნებისმიერმა მომხმარებელმა შეძლოს ამის გაკეთება). ამიტომ საჭირო იყო იგივე დაეწყო კლიენტზე.
გველი ისეთივე ავიყვანე ჩემს გვერდზე გრაფიკით და ვცადე მისი დაწყება. ასე არ იყო!
გველი ყოველმხრივ წინააღმდეგობას უწევდა,
პაკეტები ჯერ,
შემდეგ არგუმენტები. (სხვათა შორის, მე ასევე გავაკეთე თხოვნა გამოსწორების გვერდით https://github.com/tensorflow/tfjs-examples/pull/353),
შემდეგ %% Unhandled Rejection (TypeError): არ შეიძლება კლასის გამოძახება, როგორც ფუნქცია %%. რომელიც შეკეთებულია აქ https://github.com/tensorflow/tfjs/pull/3906/files, მაგრამ მას შემდეგ ჯერ არ არის გამოშვებული, მერე ხელების გამოცვლა მომიწია. აქ, სხვათა შორის, ბევრს აქვს პრობლემა https://github.com/tensorflow/tfjs/issues/3384.
შემდეგ იყო არასრულწლოვანები, როგორიცაა fs-ის ჩანაცვლება indexeddb-ით. სხვათა შორის, ნამუშევარი, რომლითაც მე აქ ვიზრუნებდი. ზოგადად, კალათა-პოლუსი თავდაპირველად შთაგონებული იყო, რომ ყველაფერი გაეკეთებინა კლიენტზე.
https://github.com/tensorflow/tfjs-examples/tree/master/cart-pole
https://storage.googleapis.com/tfjs-examples/cart-pole/dist/index.html
საბოლოოდ ასე მოხდა:
https://github.com/pskucherov/opexflow/pull/16/files
კარგი, სულ ეს არის, შემდეგი ეტაპი იქნება:
- მოერგება სქემებს
- ვიზუალიზაცია
- ავარჯიშეთ რობოტი ცნობილ მონაცემებზე, რათა აჩვენოს მაქსიმალური შედეგი
ვიდეოში ქვემოთ მოცემულია კლიენტზე რობოტების მუშაობის ტრენინგის დემო ვერსია. ოდესღაც ისინი ჩემს ნაცვლად სბერბანკის ფიუჩერსებითაც ივაჭრებენ.
