Мегабыстрый LLM-шлюз
Наверняка слышали про LiteLLM, Helicone и OpenRouter. Из суть одна - через один API выдать доступ к множеству различных LLM моделей.
Дополнительным бонусом - можно внутри проекта можно скрывать оригинальные ключи от корпоративных LLM, мониторить трафик, ставить лимиты по токенам и тп
На Product Hunt вышел новый LLMGateway на Go. По метрикам в x40 раз быстрее LiteLLM.
Bifrost против LiteLLM:
- в 40 раз быстрее LiteLLM по среднему overhead (~11–17 мкс при 5,000 RPS).
- Пропускная способность (throughput) — 9.5 раз выше.
- Задержка (latency) — в 54 раза ниже (1.68 с против 90.72 с у LiteLLM).
- Пиковое потребление памяти — на 68% меньше (120 МБ против 372 МБ у LiteLLM). -При нагрузке на 500 RPS: Bifrost — 100% успешных запросов, LiteLLM — 88.78%.
- Дополнительно: LiteLLM начинает “фейлить” при нагрузке свыше 500 RPS
Впервые опубликовано: @corporate_ai.
Методология
Методология одной книгой
Как Product Owner ведёт запрос бизнеса от первого письма до результата, который можно показать: пять стадий, у каждой понятный выход. Оставьте почту, и я пришлю книгу.
Эта статья — часть методологии: Поставка: быстро и качественно → Инженерные практики скорости
Читать дальше
- Дизайн-дрифт в Claude Code
Ситуация Дорабатываю интерфейс от Claude Design в уже рабочем проекте Claude Code — много мелких правок на действующем коде Проблема: Через 10 итераций Claude Code сильно уходит…
- Отдельно про Backend
Для меня это отдельная боль, тк 90% всех проектов для теста гипотез - это примитивные REST сервера которые подключаются между разными сервисами.
- AI App Sec и безопасность AI-кода
Semgrep - анализирует код на уязвимости, помогает не пропустить плохие решения от AI-агента в прод и подсвечивает что и где может пойти не так. Приоретизирует ошибки и риски.