وجدت في tensorflow-js ما تحتاجه للخطوات الأولى في ML والتداول.
هذا هو تدريب dqn ، حيث يتم منح الوكيل مكافآت وعقوبات على الإجراءات.
https://github.com/tensorflow/tfjs-examples/tree/master/snake-dqn
https://storage.googleapis.com/tfjs-examples/snake-dqn/index.html
اتضح أن لدينا ثعبانًا يتعلم من تجربته الخاصة للتحرك. لديها عدد معين من الحركات (الدوران أو المتابعة) ومهمتها هي الوصول إلى الفاكهة. في البداية ، لا يعرف الثعبان كيف يفعل أي شيء ، لكنه يكتسب أثناء التدريب القدرة على العثور على الفاكهة والمراوغة. يشبه إلى حد كبير التداول ، أليس كذلك؟
حسنًا ، على الأقل لمهمتنا ، عندما يكون لدينا تشغيل البيانات ، ويحتاج الروبوت إلى اتخاذ قرار الشراء أو البيع.
الجانب السلبي للثعبان هو أنه تمت كتابته لـ node.js ، ونحن بحاجة إلى أن نكون قادرين على التدريب في متصفح (حتى يتمكن أي مستخدم من القيام بذلك). لذلك ، كان من الضروري أن نبدأ نفس الشيء على العميل.
أخذت الأفعى كما هي لصفحتي مع الرسم البياني وحاولت أن أبدأها. لم يكن الأمر كذلك!
قاوم الثعبان بكل طريقة ممكنة ،
الحزم أولا ،
ثم الحجج. (بالمناسبة ، لقد قدمت أيضًا طلب سحب بجوار الإصلاح https://github.com/tensorflow/tfjs-examples/pull/353) ،
ثم ٪٪ Unhandled Rejection (TypeError): لا يمكن استدعاء فئة كدالة ٪٪. والتي تم إصلاحها هنا https://github.com/tensorflow/tfjs/pull/3906/files ، ولكن منذ ذلك الحين لا يوجد إطلاق سراح بعد ، ثم اضطررت إلى استبدال يدي. هنا ، بالمناسبة ، يعاني الكثير من الأشخاص من مشكلة https://github.com/tensorflow/tfjs/issues/3384.
ثم هناك القاصرون ، مثل استبدال fs بمؤشر indexeddb. بالمناسبة ، العمل الذي تجسست عليه هنا. حسنًا ، بشكل عام ، كانت عربة التسوق مصدر إلهام في البداية للقيام بكل شيء على العميل.
https://github.com/tensorflow/tfjs-examples/tree/master/cart-pole
https://storage.googleapis.com/tfjs-examples/cart-pole/dist/index.html
في النهاية هذا ما حدث:
https://github.com/pskucherov/opexflow/pull/16/files
حسنًا ، هذا كل شيء ، ستكون المرحلة التالية:
- تناسب الرسوم البيانية
- التصور
- تدريب الروبوت على البيانات المعروفة لإظهار أقصى نتيجة
يوجد أدناه في الفيديو عرض توضيحي لتدريب الروبوتات على العمل على العميل. يومًا ما سوف يتداولون أيضًا في عقود سبيربنك الآجلة بدلاً مني.
