LiteLLM - единая точка работы со всеми LLM-моделями

Задача: В одном проекте используется 3-5 разных моделей (Yandex, ChatGPT, Gigachat, Эмбедеры и модели с HuggingFace). И в проекте 3-5 разных команд подключается с аутсорса

Проблемы:

• контроль затрат. LLM без лимитов или при утере ключа может отъесть все лимиты за сутки
• безопасность ключей. Не стоит выдавать сотрудникам напрямую ключи/доступы от OpenAI, Yandex Cloud и тп. Лучше использовать внутренние ключи, которые можно легко отозвать и сменить для экспериментов внутри самой команды без лишних обращений

Можно просто использовать OpenRouter и платить доп. комиссию поверх основной цены. А также периодически сталкиваться с недоступностью отдельных моделей или лимитами на запросы.

Все поставленные проблемы решаются с помощью LiteLLM. Набор функций из коробки:

• Единый API для всех LLM
• Поддержка эмбеддингов
• Поддержка фото/видео генераций
• обеспечение отказоустойчивости
• Контроль затрат
• Логирование и мониторинг
• Балансировка нагрузки
• Локальное развертывание
• Прокси-сервер и SDK

В своих проектах планирую использовать для быстрого переключения между разными LLM внутри одного агента (YandexGPT, SberGiga, DeepseekMistral, QWEN3). И еще поднять платный прокси и перепродавать токены, тк далеко не все компании умеют настраивать и оплачивать корп. доступы до разных AI-провайдеров