yalm 100b 로
실험한 후 , 이 사업을 위해 예산 서버를 조립해야 한다는 강박관념이 나타났습니다. 이유는 모르겠지만 시작한 일을 끝내기 위해. 이전 경험에서 알 수 있듯이 256GB + RAM이 있는 서버 마더보드가 필요합니다. 나는 시장을 조사하기 시작했고 그들이 Habré에서 제안한 대로 DDR4의 가격은 물었지만 서버 DDR3의 경우 모든 볼륨에서 힙합니다. 그러나 나는 매우 예산이 필요했습니다. 이 중에서 이 패키지가 가장 수익성이 높은 것 같았습니다.주문하면 40만원정도 합니다. 나중에 밝혀진 바와 같이 꽤 비쌌습니다. 하지만 키트에서 256GB의 RAM을 보았을 때별로 생각하지 않았습니다. 현지 RAM 가격 후. 하지만 배송을 기다리는 동안 너무 비싸고 확장이 불가능하다는 것을 깨달았습니다. 그래서 기다리는 동안 ASUS ESC4000 G2 그래픽 스테이션에 설치된 Asus Z9PG-D16/FDR인 9개의 PCIe 슬롯이 있는 서버 마더보드도 주문했습니다. 음, RTX 3090 24GB가 힙에 있으므로 3070ti 8GB가 고통스럽지 않습니다. 가장 먼저 온 것은 중국의 기적 징샤였습니다. 갑자기 RAM이 없는 풀셋. 내가 주문한 것. 나는 판매자에게 부정적인 리뷰를 남기기 위해 중개자에게 편지를 썼습니다. 그러나 그가 RAM을 다른 패키지로 보낸 것으로 밝혀졌습니다. 그리고 불과 몇 주 만 에기억도 왔다. 나는 모든 것을 수집하기 시작했습니다. 그리고 그것이 작동하지 않는다는 사실에 놀랐습니다 … 모든 것이 켜지지만 모니터에 사진이 없습니다. 사용 가능한 모든 PSU와 비디오 카드를 사용해 보았습니다. 작동하지 않았습니다. 소리도, 오류도, 아무것도 없습니다. 모든 작업 징후, 냉각기가 회전하고 모든 것이 가열되고 다이오드가 켜져 있습니다. 그러나 사진이 없습니다. 인터넷을 공부한 후 연락처가 산화되고 나와 똑같은 문제 징후가 있다는 것을 알게 되었습니다. 나는 여러 종류의 지우개를 사서 술을 비축했습니다. 메모리와 프로세서의 모든 연락처를 지웠습니다. 아무것도 아님. 추가 메모리 바를 새로 구입하고 여분의 E5 2070-v2 2개도 구입했습니다. 도움이되지 않았습니다. 다음으로 대망의 서버 보드가 나왔습니다. 이 징샤가 아닌 진품. 그러나 그녀에게도 뉘앙스가있었습니다. 그녀는 전용 커넥터를 가지고 있었습니다. 다행히 판매자가 사전에 경고했습니다. 그렇지 않았다면 이 마더보드는 Kapeets였을 것입니다. 아수스 식품. 위의 접지, 아래에 4개의 12v 라인. 음, 제어 신호. 그는 그것을 선반에 놓고 죽은 징샤 주위에서 다시 춤을 추고 한 번 더 asus 주위를 걸었습니다 … 행동하기로 결정했습니다. 나는 약 12v 라인을 연구했고 이러한 목적을 위해 값 비싼 PSU를 사고 싶었습니다. 그러나 만약을 대비하여 PSU를 위험에 빠뜨리기로 결정했습니다. 많은 사람들이 사용 가능한 모든 민간 버전에는 다른 12v 라인이 없으며 일반적으로 모든 것이 하나에서 나온다고 말했습니다. 그래서 … 당신은 무엇을 되풀이하려고 노력해야합니다. 내 블록을 망치지 않기 위해 어댑터를 찾기 시작했습니다. 그리고 비트코인과 광부들에게 감사합니다. 이제 그런 것들이 많이 있습니다. 이와 같은 것을 찾았습니다.
검정색 전선을 다시 고정하는 것은 매우 불편합니다. 그러나 수년간의 포획 끝에
벼룩벌레의 눈은 주의력에 대해 훈련을 받았습니다. 마더보드가 있는 상자에서 전원 커넥터를 볼 수 있습니다. 그를 데려 갔어. 결과적으로 가정용 PSU에서 다시 고정된 전원 공급 장치는 다음과 같이 보입니다. 누락 된 가짜 “라인”12v 또는 PCI / CPU 커넥터에서 접지를 가져와 비디오 카드 어댑터를 통해 던졌습니다. 그 결과 850W PSU의 핀 하나도 손상되지 않았다. 이렇게 생겼 어요 시작하기가 매우 멍청했습니다. 하지만 놀랍게도… 효과가 있었습니다! 그런 다음 기술 문제가있었습니다. 먼저 모니터를 만지작 거 렸습니다. 보다 정확하게는 vga-hdmi 어댑터입니다. 이미지가 드라이버 없이는 비디오 카드에서 시작되지 않았기 때문입니다. 또한 OS가 ssd m2로 시작하지 않았다는 사실과 함께. os용 usb ssd를 사용했습니다. 그런 다음 m2가 자체적으로 작동하고 모든 것이 이미 사전 설치되고 구성되었으므로 모든 것이 즉시 작동했습니다. 이 구성에서는 2시간 동안 작은 조각이 생성됩니다. 따라서 기사는 하루 정도 걸립니다. PCIe 4.0 및 DDR4로 전환하여 최적화할 수 있습니다. 생성 시간이 약 절반으로 줄어듭니다. 글쎄, 아니면 마더 보드를 9 rtx 3090으로 확장하십시오. 방금 그런 확장 계획이있었습니다. 그러나 다른 설정으로 모든 실험을 보낸 후에야. 그리고 … 실험은 실망 스러웠습니다. Borscht 및 간단한 주제에 대해 강타로 텍스트를 생성합니다. 그러나 투자, 주식 시장, 거래 등에 관해서는 완전히 엉망인 것으로 밝혀졌습니다. 또는 아무 일도 일어나지 않고 컨텍스트가 있는 문구만 연속으로 나타납니다. 약 하루 동안 생성했습니다 :)) 다음은 몇 가지 예입니다.
구매한 장비는 데이터베이스 및 덤프용 슬레이브 서버로 사용됩니다. 그리고 가장 중요한 것은 3090이 교환 데이터의 연구 및 처리에 사용된다는 것입니다. 아마도 우리는 yalm 100b를 다시 만날 것이지만 AI의 성공과 비디오 카드의 함대가 확장될 때만 가능합니다. 추신 메모리에서 3090에 대한 예산 교체는 tesla m40 24gb가 될 수 있습니다. 그러나 동일한 메모리 버스 크기와 전력 소비로 3배 더 약합니다. 그리고 판매하기가 더 어렵습니다. 따라서 이 옵션도 아닙니다. 관심을 가져 주셔서 감사합니다!
Отличная статья, не у всех вообще такая возможность сейчас найдется затестить. Спасибо за труды!
На хабре в комментах к оф статье от яндекса, разбирали ребята всякие особенности работы, запуска.
На самом деле возможность держать такого зверя в оффлайне и быть не зависимым от предоставления подобных услуг генерации ИИ, это настоящая свобода от цензуры и корпоративных ограничений накладываемых на системы подобные, которые могут не пропускать самые интересные и ценные результаты гипотетически.
Конечно для тестирования полноценного и отладки работы нужна скорость для мгновенной генерации..
В любом случае впечатляющая статья!
Отличная статья, не у всех вообще такая возможность сейчас найдется затестить. Спасибо за труды!
На хабре в комментах к оф статье от яндекса, разбирали ребята всякие особенности работы, запуска.
На самом деле возможность держать такого зверя в оффлайне и быть не зависимым от предоставления подобных услуг генерации ИИ, это настоящая свобода от цензуры и корпоративных ограничений накладываемых на системы подобные, которые могут не пропускать самые интересные и ценные результаты гипотетически.
Конечно для тестирования полноценного и отладки работы нужна скорость для мгновенной генерации..
В любом случае впечатляющая работа!