Мой небольшой забег в раздел AutoLLM привет меня к неплохим результатам
Под капотом ZenBase не изменяет первоначальный Prompt полностью, а заполняет диалог примерами для повышения качества (статья по теме)
И это действительно работает. Перебрав огромное количество примеров из валидационного датасета, выбирается цепочка примеров с наилучшими показателями качества классификации. И затем эта цепочка оптимизируется до получения максимальной пользы.
Прицепил ZenBase в LangFuse, Dataset и эксперименты. Дальше хочу превратить в отдельный MCP-tool для AI-портала
Сейчас ухожу в отпуск и хочу за время отдыха глубинно разобраться с темой автоматизации повышения качества LLM. Нашел вот этот фреймворк, с готовыми стратегиями автопромтинга
Почему это важно? Да просто работа над LLM, это какой-то прикол где 5% ты программируешь и 95% работаешь над качеством системы
Впервые опубликовано: @corporate_ai.
Методология
Методология одной книгой
Как Product Owner ведёт запрос бизнеса от первого письма до результата, который можно показать: пять стадий, у каждой понятный выход. Оставьте почту, и я пришлю книгу.
Читать дальше
- Дизайн-дрифт в Claude Code
Ситуация Дорабатываю интерфейс от Claude Design в уже рабочем проекте Claude Code — много мелких правок на действующем коде Проблема: Через 10 итераций Claude Code сильно уходит…
- Отдельно про Backend
Для меня это отдельная боль, тк 90% всех проектов для теста гипотез - это примитивные REST сервера которые подключаются между разными сервисами.
- AI App Sec и безопасность AI-кода
Semgrep - анализирует код на уязвимости, помогает не пропустить плохие решения от AI-агента в прод и подсвечивает что и где может пойти не так. Приоретизирует ошибки и риски.