dokimos
这是一个给 Java/Kotlin AI 应用团队使用的开源评测框架，帮助他们在 JUnit 和 CI 中产出可重复的 LLM、Agent 与 RAG 评测结果。
工具简介
可以采用，但更适合已经在 Java 或 Kotlin 技术栈里做 LLM/Agent 应用、且希望把评测纳入测试流程的团队。现有证据能较明确支持它的定位：它不是通用聊天模型，也不是独立托管评测平台，而更像“把 AI 评测嵌进 JUnit/CI 的测试库”，类比传统软件测试框架在 AI 场景下的扩展。
它的实际作用，主要是让团队在现有 JVM 工程里为 LLM、Agent、RAG 流程写评测并自动运行。GitHub 仓库文案与官方主页都强调 Java/Kotlin、JUnit、CI 以及对 Spring AI、LangChain4j、Koog、Embabel 的集成；X 上来自 JetBrains 与 Kotlin 官方账号的帖子，则说明 Koog 集成得到一定传播。这里要区分：X 转发和浏览量更能证明“被看见了”，不能单独证明评测质量或接入体验；而官方仓库说明更能支持其能力边界判断。
门槛与成本方面，目前证据只足以支持“开源可自托管集成”，不足以确认企业版、托管服务或稳定 API 计费。使用成本大概率来自团队自己的模型调用费、CI 运行时长和测试维护工作量，这属于基于产品形态的保守推断，不是官方定价承诺。接入门槛对纯 JVM 团队可能较低，但对 Python 为主、没有测试工程规范的团队并不低；如果你只是想临时比几个 prompt，它也不是轻量无代码评测台。
适合对象是：已经在 Java/Kotlin 里构建 AI 功能，想做回归评测、实验对比、把 AI 质量门禁接入 CI 的工程团队。不太适合对象是：只想找现成 benchmark 排名、需要 SaaS 仪表盘即开即用、或主要在 Python/LangSmith 类工作流中的团队。社媒共识目前偏“集成发布带来的关注”，讨论质量以官方账号转发和功能宣告为主；样本很少，缺少独立长文实测、教程和失败案例，因此热度证明强于好用证明，能力判断可做，效果判断仍需自测。