Мой небольшой забег в раздел AutoLLM привет меня к неплохим результатам

Под капотом ZenBase не изменяет первоначальный Prompt полностью, а заполняет диалог примерами для повышения качества (статья по теме)

И это действительно работает. Перебрав огромное количество примеров из валидационного датасета, выбирается цепочка примеров с наилучшими показателями качества классификации. И затем эта цепочка оптимизируется до получения максимальной пользы.

Прицепил ZenBase в LangFuse, Dataset и эксперименты. Дальше хочу превратить в отдельный MCP-tool для AI-портала

Сейчас ухожу в отпуск и хочу за время отдыха глубинно разобраться с темой автоматизации повышения качества LLM. Нашел вот этот фреймворк, с готовыми стратегиями автопромтинга

Почему это важно? Да просто работа над LLM, это какой-то прикол где 5% ты программируешь и 95% работаешь над качеством системы