Подключайте модели разных провайдеров через единый ключ и единый формат запросов. Маршрутизация, отказоустойчивость и учёт расходов уже внутри.
POST /v1/chat/completions
Authorization: Bearer <api-key>
{ "model": "auto", "messages": [ { "role": "user", "content": "..." } ] }
Один и тот же запрос для всех моделей, ничего не надо переписывать при смене провайдера.
Если апстрим недоступен, запрос уходит на резервный маршрут.
Лимиты и статистика по каждому ключу и проекту.
Сейчас доступ открыт только по приглашениям.