返回工具列表

whichllm

一个面向本地 LLM 玩家与开发者的开源 CLI,用硬件检测和多来源跑分排序,产出“你的机器更适合跑哪些本地模型”的可执行推荐清单。

工具分类
开发者工具模型
工具链接

工具简介

判断:如果你经常纠结“显存能塞下哪个模型”和“哪个模型实际又快又聪明”,whichllm 值得试;但它更像本地模型选型助手,不是模型运行框架、聊天应用,也不是保证结果绝对准确的自动调优器。更准确的类比,是把硬件探测、公开榜单和经验规则合成一条命令版“本机 LLM 选型顾问”。

它的实际作用,是检测 GPU、CPU、内存后,按兼容性、估计速度和多来源 benchmark 给出候选排序,而不是只告诉你“最大能跑到几 B”。现有中文文章和 X 贴文都反复强调这一点,并展示了按用途区分推荐、还能模拟指定 GPU 的说法。这里“热度证明”主要来自 X 转发和媒体转述,说明大家对“少踩本地模型选择坑”这件事很有兴趣;“好用证明”则更多来自知乎/Qiita 风格的上手讲解与示例输出,能支持它确实能产出可读建议,但仍以演示样本为主。

门槛和成本方面,证据只足以支持它是开源 CLI,需要你本来就在折腾本地 LLM、看得懂显卡/量化规格/Hugging Face 模型名。未见可靠证据说明有官方商业定价或 API 收费,因此应视为开源工具本体为主;真正成本仍是你的本地硬件、下载模型与试跑时间。社媒里出现的显卡配置、tok/s、4.2k+ Star 等,更适合视为社区演示或当时观察,不应当作稳定承诺。

适合谁:本地部署、Ollama/GGUF、准备买卡或升级硬件、想先缩小候选范围的人。不太适合谁:只想直接在线调用闭源 API、希望它替你完成部署推理的人。社媒共识整体偏正面,认为它把“选模型”这件事产品化了;但讨论质量也要区分:当前证据里转发和资讯型介绍不少,教程/上手文有一些,真正长期实测、失败案例、系统对比还有限,所以对推荐精度和泛化能力应保持保守预期。

社媒关联内容