Самообучение модели без данных

Одна из ключевых проблем - это дифицит качественных данных для обучения LLM.

• актуальные методы обучения зависят от разметки данных
• коллапс качества (деградация модели), если обучаться на синтетических данных
• reasoning-датасеты покрывают очень малую область знаний
• нужно вручную строить функции расчета награды для RL

Суть решения: Role playing из нескольких агентов. Каждый выполняет роль и в бесконечном цикле улучшается метрика.

1. (Proposer): генерирует вопрос по тематике.
2. (Solver): решает собственный вопрос.
3. (Validator): проверяет решение — через majority voting или unit-тесты (для кода).
4. (Learner): обновляет свои параметры на основе успешных примеров и ошибок.

Результат: постепенное улучшение reasoning-навыков и усложнение генерируемых задач.

Исследование:

• Absolute Zero: Reinforced Self-play Reasoning with Zero Data
• Self-Questioning Language Models

Пример обучения: GitHub