rtx6kpro
複数の NVIDIA RTX PRO 6000 GPU で NVLink なしに Qwen3.5-397B 等の大規模モデルを実行するためのコミュニティ Wiki 兼ツールセット。最適化、量子化、ベンチマーク情報を提供します。
ツール概要
主な機能：rtx6kpro は、NVLink を使用せずに NVIDIA RTX PRO 6000 マルチ GPU 環境で Qwen3.5-397B、Kimi-K2.5、GLM-5、DeepSeek v4 Flash といった超大規模モデルを稼働させる方法をまとめたコミュニティ主導の Wiki 兼ツールセットです。すぐに使えるモデル設定、sm_120 カーネルパッチ、NVFP4 量子化レシピ、SGLang や vLLM 向けの推論エンジン調整手順などを収録しています。
利点：高価な NVLink ブリッジを必要とせず、PCIe のみのトポロジーで超大規模モデルの推論を可能にします。コミュニティが提供する高スループットカーネルと最適化スタックにより、8 枚の RTX PRO 6000 でデコード 150+ tokens/s、プリフィル 10,000+ tokens/s を達成した報告もあります。また、1,300 名以上のメンバーが参加する Discord コミュニティでリアルタイムのトラブルシューティングが行われています。
弱点／リスク：最大の障壁はハードウェアコストで、8 枚構成の RTX PRO 6000 システムは非常に高額です。多くのガイドはすでにこのハードウェアを所有しているか、Verda のようなクラウドレンタルを前提としています。コミュニティプロジェクトのため公式サポートはなく、一部の最適化（例：NVFP4 MLA の回避策）は不安定で手動調整が必要になる場合があります。
適したユーザー：すでに RTX PRO 6000 GPU を所有またはリースしている場合、rtx6kpro はスタックのベンチマークと最適化に実用的な出発点となります。低レベルの GPU チューニングに慣れた AI 研究者やエンスージアスト開発者に最適です。特定のハードウェアにアクセスできないチームや、本番環境レベルのエンタープライズサポートを必要とするユーザーには推奨できません。