Если кто не смотрел

https://youtu.be/7xTGNNLPyMI Если кто не смотрел - очень крутая лекция от Андрея Карпатова по подробному разбору GPT моделей. Буквально от идеи “давайте создадим GPT-модель” и затем шаг за шагом что нужно сделать для создания своей модели.

ЭТАП 1: Датасет Данные - основа для обучения моделей. Чем больше датасет обучения, тем больше последовательность токенов и LLM модель будет больше способов скорректировать веса на этапе обучения

• как парсятся данные из из веба
• очистка и нормализация данных
• готовый датасет текста на 44 ТБ

ЭТАП 2: Токенизация Чтобы сэкономить ресурсы - нужно сжать огромные слова до простого набора чисел. Токенизаторы - это программы которые разделяют текст на набор токенов

• теория сжатия информации
• как токенизаторы делят текст
• пример токенизации

ЭТАП 3: Базовая модель предсказания токенов (архитектура) Базовая GPT - это прокаченный T9, который вместо слова предсказывает предложения на основе воспоминаний

• входные данных в модель (контекст)
• как модель предсказывает токен
• что такое веса и параметры моделей
• математика внутри GPT модели
• про слои трансформеров
• подбрасывание монетки для токена
• создаем и обучаем свою GPT-2 модель
• метрики эффективности LLM модели
• мощности для обучения LLM моделей
• opensource базовые модели

ЭТАП 4: Проблема галюцинации модели (увеличение датасета) Модель умеет цитировать документы, но выдает бред если данных не было в предобучении

• проблема общения с человеком
• обучение на диалогах
• токенизация диалогов
• спецтокены в диалогах
• как openai размечал диалоги
• открытые датасеты данных
• галлюцинации старых LLM

ЭТАП 5: Дообучение модели (FineTuning) Как решить галюцинации без наращивания огромных затрат модели на обучение

• сложность ответа “я не знаю”
• как описать границы знаний LLM модели
• спец.токены инструкций
• активное контекстное окно
• ложное самоосознание LLM
• предсказание абстрактного токеном
• ментальная арифметика LLM
• недостатки работы с токенами
• инструмент ‘код’ вместо рассуждений

ЭТАП 6: Обучение с подкреплением (Reasoning модели) Как обучать модель стабильно выбирать цепочки рассуждений для выдачи решения?

• важен ответ и стабильность его генерации
• обучение на математике
• революция deepseek-r1
• мышление - результат оптимизации
• связь длины ответа и качества предсказания
• раздельное мышления и презентации
• reasoning как способ превзойти экспертов
• llm переосмысляет свои данные
• набор экспертных задач решения
• как оценить юмор и философию LLM
• RLHF - обучение на свободных задачах

Полезные ссылки из видео:

• Fineweb датасет текста
• визуализация токенайзер
• визуализация LLM модели
• воссоздания GPT-2 модели
• хостинг GPU для обучения моделей
• hyperbolic для дообучения базовых моделей
• openassistant датасет размеченных диалогов
• nomic atlas - огромный датасет диалогов
• как мета оценивала границу знаний LLM
• together.ai для конфиденциальности
• как LLM-reasoning нашла уникальный 37-ход
• простое объяснение RLHF подхода