whichllm

判断としては、「VRAMに入るか」より「自分のPCで実用上いちばん賢くて速い候補はどれか」を早く知りたい人には試す価値があります。ただし、これは推論実行基盤でもチャットアプリでもなく、結果を保証する自動最適化ツールでもありません。たとえるなら、ハードウェア検出と公開ベンチをまとめて使うCLI版の“ローカルLLM選定アドバイザー”です。

実際の役割は、GPU・CPU・メモリを見て、互換性、推定速度、複数ベンチ由来の評価から候補を並べることです。単に「一番大きい何Bが入るか」を返す道具ではない、という点は日本語・中国語圏の紹介でも繰り返し強調されています。用途別推薦やGPUを仮定したシミュレーションに触れる投稿もあります。なお、「注目度の証拠」はXでの拡散やメディア紹介が中心で、「使いやすさ・有用性の証拠」はサンプル出力付きの解説記事の方が相対的に強いですが、件数はまだ多くありません。

導入ハードルとコストについて、確認できる範囲ではオープンソースのCLIであり、VRAM、量子化形式、Hugging Face上のモデル名をある程度理解している人向けです。公式の商用料金やAPI課金を示す証拠は見当たらないため、基本はOSSユーティリティとして見るのが安全です。実コストはむしろ自前ハードウェア、モデルのダウンロード、試行時間にあります。SNSで語られるtok/sやGPU構成、Star数はコミュニティ実演や当時の観測であり、恒常的な性能保証ではありません。

向いているのは、Ollama/GGUF利用者、ローカルAIを触る人、GPU増設や買い替え前に候補を絞りたい人です。向いていないのは、API型サービスをそのまま使いたい人や、これだけで推論環境の構築まで完了してほしい人です。SNS上の総論は好意的で、「面倒なモデル選びを製品化した」という評価が目立ちます。一方で議論の質は、拡散投稿やまとめ紹介が多めで、チュートリアルはあるが長期実測・失敗例・厳密比較はまだ少ない、という見立てが妥当です。したがって推薦精度や汎用性は保守的に見るべきです。