yalm 100b
を試した後、このビジネスのために予算サーバーを組み立てる必要があるという強迫観念が現れました。理由はわかりませんが、始めたことを終わらせるためです。以前の経験からわかるように、256 GB + RAM を搭載したサーバー マザーボードが必要です。私は市場の調査を開始しました。彼らが Habré で提案したように、DDR4 バイトの価格ですが、サーバー DDR3 の価格はどのような量でも高くなります。しかし、私は非常に予算が必要でした。これらすべての中で、このパッケージが最も収益性が高いように思えました。注文したときは約40kかかりました。後で判明したように、それはかなり高価でした。しかし、キットに 256 GB の RAM が搭載されているのを見たとき、あまり考えませんでした。ローカル RAM 価格の後。しかし、配送を待っている間に、高すぎて拡張性がないことに気付きました。そのため、待っている間に、ASUS ESC4000 G2 グラフィックス ステーションに搭載されている、Asus Z9PG-D16/FDR である 9 つの PCIe スロットを備えたサーバー マザーボードも注文しました。 さて、RTX 3090 24gb をヒープに追加して、3070ti 8gb が苦しまないようにします。最初に来たのは中国の奇跡のジンシャでした。フルセット、突然RAMなし。私が注文したもの。私は売り手に否定的なレビューを残すために仲介業者に手紙を書きました. しかし、彼はRAMを別のパッケージで送ったことが判明しました。そして、わずか数週間でメモリも来ました。全部集め始めました。そして、それが機能しなかったことに驚いたのは…すべてがオンになりますが、モニターに画像がありません。利用可能なすべての PSU とビデオ カードを試しました。うまくいきませんでした。音もエラーも何もありません。すべての作業の兆候、クーラーが回転し、すべてが加熱され、ダイオードがオンになっています。しかし、絵はありません。インターネットを調べたところ、連絡先が酸化していて、私のものとまったく同じ問題の兆候があることがわかりました。アルコールを買いだめして、数種類の消しゴムを買いました。メモリとプロセッサの両方ですべての連絡先を消去しました。何もない。追加のメモリ バーを新しく購入し、予備の E5 2070-v2 を 2 つ購入しました。役に立ちませんでした。次に待望のサーバーボード。このジンシャではなく本物です。しかし、彼女にもニュアンスがありました。彼女は独自のコネクタを持っていました。幸いなことに、売り手は事前にそれについて警告しました。そうでなければ、このマザーボードはカピーツになっていたでしょう。阿蘇食品。上がグラウンド、下が 4 本の 12v ライン。さて、制御信号。彼はそれを棚に立て、死んだジンシャの周りを再び踊り、もう一度アスースを歩き回りました… 行動することにしました。12v回線について調べてみたところ、これだけのために高価なPSUを購入したいと思っていました。しかし、念のため、PSU を危険にさらすことにしました。利用可能なすべての民間バージョンには異なる12vラインがなく、一般的にすべてが1つから来ていると多くの人が言っているからです。だから…あなたは何をリピンしようとする必要があります。ブロックを台無しにしないために、アダプターを探し始めました。そして、ビットコインとマイナーに感謝します。今ではそのようなものがたくさんあります。このようなものを見つけました
黒いワイヤーをピン留めするのは非常に不便です。しかし、何年にもわたる罠の後ノミバグの目は注意力に訓練されています。マザーボードが入っている箱の中には、電源コネクタが見えます。彼を取った。その結果、家庭用PSUから再ピンされた電源は次のようになります。PCI / CPUコネクタから欠落している偽の「ライン」12vまたはアースを取り、それらをビデオカードアダプタに通しました。その結果、850W PSU の 1 つのピンも破損していませんでした。このように見えました.始めるのはとてもばかげていました. しかし、驚くべきことに…それはうまくいきました!次に、技術の問題がありました。最初にモニターをいじりました。より正確には、イメージはドライバーなしでビデオカードから開始されなかったため、vga-hdmi アダプターです。さらに、OSがssd m2で起動しなかったという事実。OSはUSB SSDを使用。次に、m2 が起動し、すべてが既にプリインストールされ、そこで構成されていたため、すべてがすぐに機能しました。この構成では、2 時間程度で小さなフラグメントが生成されます。したがって、記事は約1日かかります。PCIe 4.0 および DDR4 に切り替えることで最適化できます。生成時間が約半分に短縮されます。まあ、またはマザーボードを 9 rtx 3090 に拡張します。ちょうどそのような拡張計画がありました。しかし、すべての実験をさまざまな設定で行った後でのみです。そして…実験はがっかりしました。ボルシチと簡単なトピックについては、強烈なテキストを生成します。しかし、投資、株式市場、取引などについては、完全に混乱していることが判明しました。または、何も起こらず、コンテキストのあるフレーズが連続して表示されるだけです。私は約1日で生成しました:))いくつかの例を次に示します。
購入した機器は、データベースとダンプのスレーブ サーバーとして使用されます。そして最も重要なことは、3090 が交換データの調査と処理に役立つことです。おそらくまた yalm 100b に会うことになるでしょうが、それは AI の成功とビデオ カードのフリートが拡大した場合に限られます。psメモリからの3090の予算の代替品は、tesla m40 24gbです。しかし、同じメモリバスサイズと消費電力で、3 倍弱くなっています。そしたらもっと売れにくい。したがって、このオプションもそうではありません。ご清聴ありがとうございました!
Отличная статья, не у всех вообще такая возможность сейчас найдется затестить. Спасибо за труды!
На хабре в комментах к оф статье от яндекса, разбирали ребята всякие особенности работы, запуска.
На самом деле возможность держать такого зверя в оффлайне и быть не зависимым от предоставления подобных услуг генерации ИИ, это настоящая свобода от цензуры и корпоративных ограничений накладываемых на системы подобные, которые могут не пропускать самые интересные и ценные результаты гипотетически.
Конечно для тестирования полноценного и отладки работы нужна скорость для мгновенной генерации..
В любом случае впечатляющая статья!
Отличная статья, не у всех вообще такая возможность сейчас найдется затестить. Спасибо за труды!
На хабре в комментах к оф статье от яндекса, разбирали ребята всякие особенности работы, запуска.
На самом деле возможность держать такого зверя в оффлайне и быть не зависимым от предоставления подобных услуг генерации ИИ, это настоящая свобода от цензуры и корпоративных ограничений накладываемых на системы подобные, которые могут не пропускать самые интересные и ценные результаты гипотетически.
Конечно для тестирования полноценного и отладки работы нужна скорость для мгновенной генерации..
В любом случае впечатляющая работа!