# Если кто не смотрел

> Если кто не смотрел - очень крутая лекция от Андрея Карпатова по подробному разбору GPT моделей.

Разбор · Алексей Ишманов · 9 августа 2025 · https://aleksishmanov.ru/reviews/esli-kto-ne-smotrel/

https://youtu.be/7xTGNNLPyMI
Если кто не смотрел - очень крутая лекция от Андрея Карпатова по подробному разбору GPT моделей. Буквально от идеи "давайте создадим GPT-модель" и затем шаг за шагом что нужно сделать для создания своей модели.

**ЭТАП 1: Датасет**
Данные - основа для обучения моделей. Чем больше датасет обучения, тем больше последовательность токенов и LLM модель будет больше способов скорректировать веса на этапе обучения
- как парсятся данные из из веба
- очистка и нормализация данных
- готовый датасет текста на 44 ТБ

**ЭТАП 2: Токенизация**
Чтобы сэкономить ресурсы - нужно сжать огромные слова до простого набора чисел. Токенизаторы - это программы которые разделяют текст на набор токенов
- теория сжатия информации
- как токенизаторы делят текст
- пример токенизации

**ЭТАП 3: Базовая модель предсказания токенов** (архитектура)
Базовая GPT - это прокаченный T9, который вместо слова предсказывает предложения на основе воспоминаний
- входные данных в модель (контекст)
- как модель предсказывает токен
- что такое веса и параметры моделей
- математика внутри GPT модели
- про слои трансформеров
- подбрасывание монетки для токена
- создаем и обучаем свою GPT-2 модель
- метрики эффективности LLM модели
- мощности для обучения LLM моделей
- opensource базовые модели

**ЭТАП 4: Проблема галюцинации модели** (увеличение датасета)
Модель умеет цитировать документы, но выдает бред если данных не было в предобучении
- проблема общения с человеком
- обучение на диалогах
- токенизация диалогов
- спецтокены в диалогах
- как openai размечал диалоги
- открытые датасеты данных
- галлюцинации старых LLM

**ЭТАП 5: Дообучение модели (FineTuning)**
Как решить галюцинации без наращивания огромных затрат модели на обучение
- сложность ответа "я не знаю"
- как описать границы знаний LLM модели
- спец.токены инструкций
- активное контекстное окно
- ложное самоосознание LLM
- предсказание абстрактного токеном
- ментальная арифметика LLM
- недостатки работы с токенами
- инструмент 'код' вместо рассуждений

**ЭТАП 6: Обучение с подкреплением** (Reasoning модели)
Как обучать модель стабильно выбирать цепочки рассуждений для выдачи решения?
- важен ответ и стабильность его генерации
- обучение на математике
- революция deepseek-r1
- мышление - результат оптимизации
- связь длины ответа и качества предсказания
- раздельное мышления и презентации
- reasoning как способ превзойти экспертов
- llm переосмысляет свои данные
- набор экспертных задач решения
- как оценить юмор и философию LLM
- RLHF - обучение на свободных задачах

Полезные ссылки из видео:
- [Fineweb датасет текста](https://huggingface.co/datasets/HuggingFaceFW/fineweb)
- [визуализация токенайзер](https://tiktokenizer.vercel.app/)
- [визуализация LLM модели](https://bbycroft.net/llm)
- [воссоздания GPT-2 модели](https://github.com/karpathy/llm.c)
- [хостинг GPU для обучения моделей](https://lambda.ai/)
- [hyperbolic для дообучения базовых моделей](https://www.hyperbolic.ai/)
- [openassistant датасет размеченных диалогов](https://huggingface.co/datasets/OpenAssistant/oasst2)
- [nomic atlas - огромный датасет диалогов](https://github.com/thunlp/UltraChat)
- [как мета оценивала границу знаний LLM](https://arxiv.org/abs/2407.21783)
- [together.ai для конфиденциальности](https://www.together.ai/)
- [как LLM-reasoning нашла уникальный 37-ход](https://youtu.be/HT-UZkiOLv8)
- [простое объяснение RLHF подхода](https://huggingface.co/blog/rlhf)