KServe – платформа для развертывания моделей

KServe позволяет легко развернуть модели машинного обучения, автоматически управлять их нагрузкой и обновлять без простоев.
⚡ Когда использовать? ✅ Обслуживание ML-моделей – Легкий деплой и управление в Kubernetes. ✅ Гибкое масштабирование – Адаптация к нагрузке без лишних ресурсов. ✅ A/B тестирование – Плавное развертывание новых версий. ✅ Интеграция с ML-стеком – Поддержка TensorFlow, PyTorch, XGBoost и др. ✅ Мониторинг и логирование – Анализ метрик для улучшения моделей.
👨💻 Из практики В ML команде использовалось для автоматизации работы, лучшего отслеживания метрик, подготовки к быстрому скейлингу и бесшовному тестированию моделей. Долго и сложно внедрять, но сильно улучшает качество инфраструктуры
Впервые опубликовано: @ai_ossresearch.
Методология
Методология одной книгой
Как Product Owner ведёт запрос бизнеса от первого письма до результата, который можно показать: пять стадий, у каждой понятный выход. Оставьте почту, и я пришлю книгу.
Читать дальше
- CodeAbra/iai-personal-memory-engine
Тоже пусть тут лежит, это знакомый из Threads разрабатывает. Больше про разграничение персональных контекстов агента
- OpenObserve - открытая observability-платформа для логов, метрик, трейсов и RUM
Условный Elasticsearch/Datadog, только в разы дешевле по хранению и разворачивается одним бинарником.
- Headlong - OpenSource автономный AI-агент с постоянной рефлексией
Очень прожорливая штука по токенам, в авторах там мегакрутые чуваки (Konwinski - Perplexity & Co) - работает в фоне, а не только по запросу - сам выбирает, о чём думать и что…