# Исследование об оценке RAG-систем

> Пока был в отпуске, долго размышлял чем AI-системы будут отличаться друг от друга. На уровне компонентов и архитектуры, все стандартизируется.

Статья · Алексей Ишманов · 27 июля 2025 · https://aleksishmanov.ru/blog/issledovanie-ob-otsenke-rag-sistem/

Пока был в отпуске, долго размышлял чем AI-системы будут отличаться друг от друга. На уровне компонентов и архитектуры, все стандартизируется. Отличия остаются в LLM, промтах и MCP-тулах.

Чем одна AI-система будет отличаться от другой? Чем один AI-продавец отличается от другого AI-продавца?

Глобально нашел 3 метрики:
- Набор интеграций (из коробки)
- Стоимость инференса
- Качество ответов

Собственно, исследование посвящено последнему пункту. Как организовать честное сравнение всех AI-систем и выбрать победителя. При проведении тендеров, или для доработки качества имеющегося проекта.