מצא ב-tensorflow-js את מה שאתה צריך לשלבים הראשונים ב-ML ובמסחר.
זהו אימון dqn, שבו הסוכן מקבל תגמולים ועונשים על פעולות.
https://github.com/tensorflow/tfjs-examples/tree/master/snake-dqn
https://storage.googleapis.com/tfjs-examples/snake-dqn/index.html
מסתבר שיש לנו נחש שלומד מניסיונו לזוז. יש לה מספר מסוים של מהלכים (להפוך או להמשיך) והמשימה שלה היא להגיע לפרי. בתחילה, הנחש אינו יודע לעשות דבר, אך במהלך האימון הוא צובר את היכולת למצוא פירות ולהתחמק. מאוד דומה למסחר, לא?
ובכן, לפחות עבור המשימה שלנו, כאשר יש לנו נתונים רצים, והרובוט צריך לקבל החלטה לקנות או למכור.
החיסרון של הנחש הוא שהוא נכתב עבור node.js, ואנחנו צריכים להיות מסוגלים להתאמן בדפדפן (כדי שכל משתמש יוכל לעשות זאת). לכן, היה צורך להתחיל אותו דבר על הלקוח.
לקחתי את הנחש כמו שהוא לדף שלי עם הגרף וניסיתי להפעיל אותו. זה לא היה כך!
הנחש התנגד בכל דרך אפשרית,
חבילות קודם,
ואז ויכוחים. (אגב, גם עשיתי בקשת משיכה ליד התיקון https://github.com/tensorflow/tfjs-examples/pull/353),
ואז %% דחייה ללא טיפול (TypeError): לא ניתן לקרוא למחלקה כפונקציה %%. מה שתוקן כאן https://github.com/tensorflow/tfjs/pull/3906/files, אבל מאז עדיין אין שחרור, אז הייתי צריך להחליף את הידיים שלי. כאן, אגב, לאנשים רבים יש בעיה https://github.com/tensorflow/tfjs/issues/3384.
ואז היו הקטינים, כמו החלפת fs ב-indexeddb. העבודה שאיתה ריגלתי כאן, אגב. ובכן, באופן כללי, מוט עגלה קיבל בהתחלה השראה לעשות הכל על הלקוח.
https://github.com/tensorflow/tfjs-examples/tree/master/cart-pole
https://storage.googleapis.com/tfjs-examples/cart-pole/dist/index.html
בסופו של דבר, זה מה שקרה:
https://github.com/pskucherov/opexflow/pull/16/files
ובכן, זה הכל, השלב הבא יהיה:
- התאמה לתרשימים
- רְאִיָה
- אמן רובוט על נתונים ידועים כדי להראות את התוצאה המקסימלית
למטה בסרטון הדגמה של אימון העבודה של רובוטים על הלקוח. מתישהו הם גם יסחרו בחוזים עתידיים של סברבנק במקום אותי.
