rtx6kpro

实际作用：rtx6kpro 是一个社区驱动的维基和工具集，记录如何在无 NVLink 的情况下，在 NVIDIA RTX PRO 6000 多卡系统上运行 Qwen3.5-397B、Kimi-K2.5、GLM-5 和 DeepSeek v4 Flash 等庞大模型。提供即用型模型配置、sm_120 内核补丁、NVFP4 量化方法以及 SGLang/vLLM 推理引擎的调优设置。

优点：该项目让纯 PCIe 拓扑也能支撑超大模型推理，免去昂贵的 NVLink 桥接器。社区贡献的高吞吐内核和模型优化方案使 8 张 RTX PRO 6000 在某些场景下达 150+ tokens/s 解码和 10000+ tokens/s 预填充。项目关联的 Discord 社区（超过 1300 名成员）可实时答疑。

缺点/风险：主要门槛是硬件成本——一套 8 路 RTX PRO 6000 系统价格不菲，多数教程假定已拥有或通过云租用（如 Verda）。项目由社区维护，无官方保障，部分优化（如 NVFP4 MLA 变通方案）可能不稳定且需手动调整。

适合人群：若已拥有或租用 RTX PRO 6000 显卡，rtx6kpro 是评估、优化推理性能的实用起点。适合熟悉底层 GPU 调优的 AI 研究员和极客开发者，不适合没有该特定硬件或需要企业级生产支持的用户。