Orvion

Orvion は複数の LLM プロバイダーを単一インターフェースで管理する課題を解決します。各プロバイダーごとに個別の統合コードや監視を書く代わりに、すべてのリクエストを1つのゲートウェイでルーティングできます。

主な役割は /v1/chat/completions、/v1/embeddings、/v1/rerank などの標準エンドポイントを提供し、同一論理モデルに複数の上流プロバイダーを重み付きロードバランシングでバインドすることです。組み込み WebUI はプロバイダー設定、API キー管理、リクエストログ、ヘルス監視をカバーし、サーキットブレーカー自動回復やキーごとのレート制限（RPM）も備えています。

強みは幅広いプロトコル互換性（OpenAI/Anthropic 形式）、Go シングルバイナリによる軽量デプロイ、管理ダッシュボードの内蔵、Telegram アラート通知です。注意点として、初期段階のプロジェクト（GitHub 15 スター）でありコミュニティが小さく、レート制限がインメモリ実装のため分散マルチインスタンス構成には制限があります。

複数の LLM プロバイダーを管理する小規模チームや個人開発者に適しており、永続的レート制限と高可用性クラスタリングを必要とする大規模本番環境にはあまり向きません。