# Мегабыстрый LLM-шлюз

> Наверняка слышали про LiteLLM, Helicone и OpenRouter. Из суть одна - через один API выдать доступ к множеству различных LLM моделей.

Разбор · Алексей Ишманов · 8 августа 2025 · https://aleksishmanov.ru/reviews/megabystryy-llm-shlyuz/

Наверняка слышали про LiteLLM, Helicone и OpenRouter. Из суть одна - через один API выдать доступ к множеству различных LLM моделей.

Дополнительным бонусом - можно внутри проекта можно скрывать оригинальные ключи от корпоративных LLM, мониторить трафик, ставить лимиты по токенам и тп

На Product Hunt вышел новый LLMGateway на Go. По метрикам в x40 раз быстрее LiteLLM.

Bifrost против LiteLLM:
-  в 40 раз быстрее LiteLLM по среднему overhead (~11–17 мкс при 5,000 RPS).
- Пропускная способность (throughput) — 9.5 раз выше.
- Задержка (latency) — в 54 раза ниже (1.68 с против 90.72 с у LiteLLM).
- Пиковое потребление памяти — на 68% меньше (120 МБ против 372 МБ у LiteLLM).
-При нагрузке на 500 RPS: Bifrost — 100% успешных запросов, LiteLLM — 88.78%.
- Дополнительно: LiteLLM начинает “фейлить” при нагрузке свыше 500 RPS

https://github.com/maximhq/bifrost