Исследование об оценке RAG-систем

Пока был в отпуске, долго размышлял чем AI-системы будут отличаться друг от друга. На уровне компонентов и архитектуры, все стандартизируется. Отличия остаются в LLM, промтах и MCP-тулах.

Чем одна AI-система будет отличаться от другой? Чем один AI-продавец отличается от другого AI-продавца?

Глобально нашел 3 метрики:

• Набор интеграций (из коробки)
• Стоимость инференса
• Качество ответов

Собственно, исследование посвящено последнему пункту. Как организовать честное сравнение всех AI-систем и выбрать победителя. При проведении тендеров, или для доработки качества имеющегося проекта.