Поигрался на выходных с автопромтингом

Хорошо и сразу из коробки - это перебор Few-Shots примеров. Все остальное придется также отрабатывать ручками и подбирать оптимальные варианты.

Как работает APE-фреймворк и его стратегии 1. Генерация Берется голый prompt без детализации, датасет, LLM-ученик классифицирует заявки, LLM-учитель подороже. 2. Оценка Ученик собирает разные вариации демо-выборки для обучения и показывает мысли и выводы. Учитель критикует и предлагает мутации. 3. Отбор&итерация Лучшая формулировка Prompt+FewShots идет в следующий раунд, отбор повторяется 3-5 раз 4. Финал Побеждает тот у кого лучше метрика - выводится лучший Prompt. Он отправляется в Production . Что у меня вышло? Базовый Prompt сгенерированный своей логикой + подсказами от openai-o3 занимают 10-15 минут времени и уже выдадут неплохие результаты. Разница с APE будет на 1-2 пункта. Бюджет несопоставимый, за подписку в 20$ и 15 минут времени можно сгенерировать гораздо больше полезных Prompt-ов под личным наблюдением. Тренировка на OpenRouter потратит 10-15$ без особо заметных приростов.

Где уместно применять? В задачах, где есть готовый датасет и LLM простыми манипуляциями соберет классификатор. Но повышать качество дальше нужно ручками, анализировать данные и обосновывать почему и как был выбран каждый из вариантов

Есть ли все же польза? Впринципе неплохо помогает для простых Prompt-классификаторов. Где не нужна сложная логика и достаточно сказать “выбери варианты”, “вот примеры”. Оптимизатор неплохо подбирает примеры и инструкции. Где-то в больших проектах или на готовых Prompt-ах не будет особо полезным