Evidently AI – контроль качества ML-моделей

Удобный инструмент, чтобы быстро проанализовать AI, есть готовые пресеты для аналитики и удобные отчеты.

⚡ Когда использовать? ✅ Запускаете ML-модель в прод и боитесь “сломанных” предсказаний ✅ Новые модели стали хуже предсказывать чем прошлые ✅ Дополнительные данные для A/B тестов (почему метрика выросла/упала) ✅ Построить борды метрик ML

👨‍💻 Задача Отладка ML модели и анализ деградации качества (например, прирост на beta, но просадка на проде)

• Без инструмента

1. Скачиваем Reference/Current выборки
2. Пишем скрипты для расчёта метрик
3. Сравниваем фичи, дистрибуции, ошибки вручную
4. Собираем отчёт в Python тетрадки для объяснения
5. Выводим отчет в презентацию/HTML/скриншоты

• С инструментом

1. Скачиваем Reference/Current выборки
2. Запускаем анализ DataDriftPreset(), ClassificationPreset() - генерируется отчет .html

Useful links:

• Documentation
• [Исходный код] (https://github.com/evidentlyai/evidently)