Langfuse – платформа для мониторинга LLM-приложений из коробки
Открытая платформа для инженерии больших языковых моделей (LLM), предоставляющая инструменты для трассировки, оценки, управления подсказками и метрик, чтобы отлаживать и улучшать ваши LLM-приложения.
⚡ Когда использовать?
- Мониторинг LLM-приложений
- Управление и версиями подсказок
- Оценка качества и производительности моделей
👨💻 Пример из практики: Использую в проекте, где у меня нет ресурсов настраивать нормальный observability. Тут в целом архитектура типовая с ответами, токенами, сессиями, сообщениями и прочим из коробки
Впервые опубликовано: @ai_ossresearch.
Методология
Методология одной книгой
Как Product Owner ведёт запрос бизнеса от первого письма до результата, который можно показать: пять стадий, у каждой понятный выход. Оставьте почту, и я пришлю книгу.
Читать дальше
- CodeAbra/iai-personal-memory-engine
Тоже пусть тут лежит, это знакомый из Threads разрабатывает. Больше про разграничение персональных контекстов агента
- OpenObserve - открытая observability-платформа для логов, метрик, трейсов и RUM
Условный Elasticsearch/Datadog, только в разы дешевле по хранению и разворачивается одним бинарником.
- Headlong - OpenSource автономный AI-агент с постоянной рефлексией
Очень прожорливая штука по токенам, в авторах там мегакрутые чуваки (Konwinski - Perplexity & Co) - работает в фоне, а не только по запросу - сам выбирает, о чём думать и что…