Мегабыстрый LLM-шлюз

Наверняка слышали про LiteLLM, Helicone и OpenRouter. Из суть одна - через один API выдать доступ к множеству различных LLM моделей.

Дополнительным бонусом - можно внутри проекта можно скрывать оригинальные ключи от корпоративных LLM, мониторить трафик, ставить лимиты по токенам и тп

На Product Hunt вышел новый LLMGateway на Go. По метрикам в x40 раз быстрее LiteLLM.

Bifrost против LiteLLM:

• в 40 раз быстрее LiteLLM по среднему overhead (~11–17 мкс при 5,000 RPS).
• Пропускная способность (throughput) — 9.5 раз выше.
• Задержка (latency) — в 54 раза ниже (1.68 с против 90.72 с у LiteLLM).
• Пиковое потребление памяти — на 68% меньше (120 МБ против 372 МБ у LiteLLM). -При нагрузке на 500 RPS: Bifrost — 100% успешных запросов, LiteLLM — 88.78%.
• Дополнительно: LiteLLM начинает “фейлить” при нагрузке свыше 500 RPS

https://github.com/maximhq/bifrost