AirLLM: прорыв в запуске больших моделей
Проект нацелен на оптимизацию ресурсов. Позволяет запустить модель на 70B параметров с GPU 4ГБ оперативки. Раньше требовалось от 35 до 168ГБ
Можно запустить 405B Llama 3.1 на 8ГБ оперативки. Но скорость генерации будет 1 токен/секунду
Как они это делают? AirLLM загружает модель слой за слоем, оптимизируя использование памяти. Они предсказывают следующий слой. Загружают его в память и выгружают прошлый. Так проходят всю итерацию.
Где применять? Я подумал над background задачами. Где не нужно давать быстрые ответы, а можно дать большой модельке подумать 10-20ч для отчета на собственных ресурсах.
PS но ещё надо перепроверить, действительно ли окупается такая генерация? 5ч GPU крутить на своем железе или заплатить 10$ крупным ребятам за токены
Впервые опубликовано: @ai_ossresearch.
Методология
Методология одной книгой
Как Product Owner ведёт запрос бизнеса от первого письма до результата, который можно показать: пять стадий, у каждой понятный выход. Оставьте почту, и я пришлю книгу.
Читать дальше
- Telethon
Позволяет спарсить Telegram чаты, каналы от твоего личного имени. Закрытые группы, переписки, подписки от твоего аккаунта
- emilkowalski/skills
Набор скиллов для хорошего дизайна и визуала на промо-проектах. Просто качественные принципы для клода
- YDB (Yandex Database)
DynamoDB/Aurora Serverless в мире Yandex Cloud Когда применять Нужна БД для стартапа, где не нужно платить за простой серверов.