Locust – нагрузочное тестирование API и LLM
Инструмент для имитации нагрузки на веб-сервисы и API, написанный на Python.
⚡ Когда использовать? ✅ Тестирование API больших языковых моделей (LLM) ✅ Измерение задержек и throughput под высокой нагрузкой ✅ Проверка отказоустойчивости и масштабируемости
👨💻 Пример из практики: Перед выходом в прод проверить выдержит ли сервис 1000 запросов в секунду. Locust сгенерирует тест и покажет изменение метрик задержки и ответов.
📝 5 шагов внедрения: 1️⃣ Установка Locust (pip install locust) 2️⃣ Написать сценарий (Python-скрипт с моделируемыми запросами) 3️⃣ Запуск тестов (locust -f test_script.py) 4️⃣ Анализ метрик (задержка, throughput, процент ошибок)
🛠 Сравнение с аналогами: 🔹 JMeter → GUI-инструмент, сложнее в настройке 🔹 K6 → Высокая производительность, но нет Python 🔹 Vegeta → Простота, но нет интерактивного UI 🔹 Perflint → Подходит для ML, но сложнее в освоении
Впервые опубликовано: @ai_ossresearch.
Методология
Методология одной книгой
Как Product Owner ведёт запрос бизнеса от первого письма до результата, который можно показать: пять стадий, у каждой понятный выход. Оставьте почту, и я пришлю книгу.
Читать дальше
- CodeAbra/iai-personal-memory-engine
Тоже пусть тут лежит, это знакомый из Threads разрабатывает. Больше про разграничение персональных контекстов агента
- OpenObserve - открытая observability-платформа для логов, метрик, трейсов и RUM
Условный Elasticsearch/Datadog, только в разы дешевле по хранению и разворачивается одним бинарником.
- Headlong - OpenSource автономный AI-агент с постоянной рефлексией
Очень прожорливая штука по токенам, в авторах там мегакрутые чуваки (Konwinski - Perplexity & Co) - работает в фоне, а не только по запросу - сам выбирает, о чём думать и что…