Что поднимать сейчас: модели и движки

Видеоверсия без кода1:57

Свой инференс: open-source модели на арендованных GPUчасть 3 из 7

Для одной видеокарты сейчас лучшие кандидаты: Qwen3.8-27B и Gemma 4 31B как плотные универсальные модели, Qwen3.6-35B-A3B и Gemma 4 26B-A4B как быстрые MoE для массовой обработки, gpt-oss-120b, если нужно больше знаний на одной карте на 80 ГБ. Самые сильные открытые модели (Kimi K3, DeepSeek V4 Pro, GLM-5.3) требуют сервера из восьми карт, и их выгоднее брать у провайдера. Модель выбирайте на своих примерах через провайдера с оплатой за токены ещё до аренды видеокарты. Обслуживать почти всегда стоит через vLLM, для агентов с длинным общим контекстом посмотрите на SGLang.

Как устроен рынок открытых моделей

Открытых моделей выходит так много, что любой список устаревает за месяц. Поэтому сначала о том, как ориентироваться, а потом о конкретных моделях на начало ноября 2026 года.

Основные семейства выпускают несколько компаний, и у каждой есть линейка от маленьких моделей до огромных:

Qwen (Alibaba): самая широкая линейка, от 0,8B до сотен миллиардов, почти всё под Apache 2.0. Хорошо работает с русским языком.
DeepSeek: огромные MoE-модели под лицензией MIT, сильные в рассуждениях и коде.
GLM (Z.ai): сильные модели для кода и агентов; у флагмана своя лицензия, у облегчённых версий MIT.
Kimi (Moonshot AI): самые большие открытые модели, триллионы параметров.
Gemma (Google): небольшие и средние модели под Apache 2.0, хорошие для одной видеокарты.
gpt-oss (OpenAI): две MoE-модели под Apache 2.0, сразу в сжатом формате MXFP4.
Mistral, Llama (Meta), Nemotron (NVIDIA), MiniMax, Hunyuan (Tencent) и другие.

Свежие релизы удобно смотреть в ленте новостей ниже: она подбирает новости про открытые веса и инференс.

Сначала лицензия

Слово «открытая» означает разное. Перед тем как строить на модели продукт, откройте её лицензию.

Лицензия	Модели	Что важно
Apache 2.0, MIT	Qwen, Gemma 4, gpt-oss, DeepSeek, GLM-5.3-Flash	можно использовать коммерчески без особых условий
Своя лицензия с ограничениями	Llama 4, GLM-5.3, Kimi K3, Mistral Large 4, Muse Spark Open	ограничения по размеру компании, выручке или обязательное указание модели в интерфейсе
Некоммерческая	часть моделей для картинок и видео	для продукта не подходит без отдельного договора

Для собственного продукта проще всего держаться Apache 2.0 и MIT, благо среди них есть модели на любой размер.

Что поднимать под разный бюджет

Ниже модели, разложенные по тому, сколько памяти им нужно. Размеры весов приведены в формате, в котором их удобнее всего запускать. Как считать память и выбирать видеокарту, разобрано во второй части.

Одна потребительская видеокарта, 24 – 32 ГБ

Модель	Параметры	Чем хороша
Qwen3.6-35B-A3B	35B, из них 3B активных	очень быстрая, хороша для разметки, извлечения данных и простых агентов; на 24 ГБ в 4 битах
Gemma 4 26B-A4B	25B, из них около 4B активных	то же назначение, хорошо понимает картинки; в FP8 помещается на RTX 5090
gpt-oss-20b	21B, из них 3,6B активных	работает в 16 ГБ, умеет рассуждать и вызывать инструменты
Qwen3.8-27B в 4 битах	27B	лучшее качество для такой памяти, но контекст придётся ограничить

Одна серверная видеокарта, 80 – 141 ГБ

Модель	Параметры	Чем хороша
Qwen3.8-27B	27B, плотная	сильная универсальная модель; в FP8 занимает 27 ГБ и оставляет много памяти под кэш и параллельные запросы
Gemma 4 31B	31B, плотная	универсальная, понимает картинки, контекст до 256 тысяч токенов
gpt-oss-120b	117B, из них 5,1B активных	больше знаний при высокой скорости; в MXFP4 помещается в 80 ГБ
Qwen3.6-35B-A3B в FP8	35B, из них 3B активных	максимальная пропускная способность на массовых задачах

Это главный сегмент для своего инференса. Одна H100, H200 или RTX PRO 6000 с такой моделью закрывает большинство рабочих задач, а цена часа ещё позволяет держать её загруженной.

Сервер из нескольких видеокарт, 300 – 600 ГБ

Модель	Параметры	Сколько нужно
GLM-5.3-Flash	320B, из них 18B активных	около 330 ГБ в FP8: 4 × H200 или 8 × H100
Qwen3.5-397B-A17B	397B, из них 17B активных	около 400 ГБ в FP8: 4 × H200
DeepSeek V4.1 Flash	552B, из них до 16B активных	около 510 ГБ: 8 × H200

Это уже 20 – 45 долларов в час. Имеет смысл только при большой постоянной нагрузке или на время пакетной обработки.

Флагманы, от терабайта

Kimi K3, DeepSeek V4 Pro, GLM-5.3, Mistral Large 4 и подобные модели весят от терабайта и требуют больших кластеров. Для них используйте провайдеров с оплатой за токены: они держат такие кластеры загруженными, а вы платите только за свои запросы.

Под какую задачу что брать

Массовая разметка и извлечение данных. Классифицировать обращения, вытащить поля из документов, проставить теги. Нужны скорость и строгий формат ответа, а глубина рассуждений вторична. Берите маленькие MoE: Qwen3.6-35B-A3B или Gemma 4 26B-A4B. Движок заставит модель отвечать по JSON-схеме, об этом ниже.

Ответы по базе знаний и чат. Нужны хорошее понимание текста, русский язык и длинный контекст. Берите Qwen3.8-27B или Gemma 4 31B.

Агенты с инструментами. Модель должна стабильно вызывать функции и не теряться в длинных цепочках. На одной видеокарте пробуйте Qwen3.8-27B и gpt-oss-120b, на сервере из нескольких карт GLM-5.3-Flash.

Поиск: эмбеддинги и реранкеры. Самый недооценённый сценарий для своего инференса. Модели эмбеддингов маленькие (от 0,6B до 8B), а прогонять через них нужно все документы компании и все запросы. Семейства Qwen3-Embedding и BGE запускаются на самой дешёвой видеокарте, а vLLM отдаёт эмбеддинги через тот же OpenAI-совместимый API. Если вы строили поиск по документам из цикла про агента, это первое, что стоит перенести на свою видеокарту.

Картинки, видео и 3D. Это отдельный мир со своими моделями и инструментами, ему посвящена шестая часть.

Проверить модель до аренды видеокарты

Самая частая ошибка: арендовать видеокарту, полдня поднимать модель и только потом выяснить, что она плохо справляется с вашей задачей. Делайте наоборот.

Соберите 50 – 100 реальных примеров вашей задачи с правильными ответами. Обращения в поддержку с верной категорией, документы с правильно извлечёнными полями.
Прогоните их через несколько моделей-кандидатов у провайдера с оплатой за токены. На OpenRouter почти все открытые модели доступны через один ключ и один API, и такой прогон стоит копейки.
Посчитайте долю правильных ответов и посмотрите на ошибки глазами.
Возьмите самую маленькую модель, которая справляется. Каждый шаг вниз по размеру это более дешёвая видеокарта или больше запросов на той же.

Только после этого арендуйте видеокарту под выбранную модель. Сравните заодно её ответы у провайдера и у себя: если у себя вы запускаете более сжатую версию, качество может немного отличаться.

Движки

Модель сама по себе это файлы с весами. Чтобы она отвечала на запросы, нужен движок инференса: он загружает веса на видеокарту, собирает запросы в батчи, управляет кэшем и отдаёт API.

Движок	Когда брать
vLLM	выбор по умолчанию: поддерживает почти все модели и видеокарты, OpenAI-совместимый API, хорошая скорость из коробки
SGLang	агенты и многошаговые диалоги с длинным общим началом запросов: лучше переиспользует кэш
llama.cpp, Ollama	локальный запуск, Mac, CPU, GGUF, один пользователь; не для серверной нагрузки
TensorRT-LLM	максимум скорости на NVIDIA ценой сложной настройки; имеет смысл на большом масштабе

vLLM и SGLang за последний год сильно сблизились: оба умеют непрерывный батчинг, кэш префиксов, спекулятивное декодирование, структурированный вывод и работу на нескольких видеокартах, у обоих OpenAI-совместимый API. На начало ноября 2026 года актуальные версии vLLM 0.33 и SGLang 0.5.23. Разница в скорости на типичных задачах обычно в пределах десятков процентов и зависит от модели, поэтому если важна каждая копейка, замерьте оба на своей нагрузке. Если нет, берите vLLM: у него больше документации, готовых образов и поддержки новых моделей в день релиза.

Text Generation Inference от Hugging Face, который раньше часто советовали, переведён в режим поддержки. Для новых проектов его не берут.

Несколько возможностей движка, которые стоит знать заранее:

Структурированный вывод. Движок может ограничить генерацию JSON-схемой, и модель физически не сможет ответить невалидным JSON. Для разметки и извлечения данных это важнее размера модели.
Кэш префиксов. Если запросы начинаются одинаково (общий системный промпт, одна и та же база знаний), движок не пересчитывает это начало заново. Это ускоряет ответ и экономит видеокарту, как кэширование промптов у коммерческих API.
Спекулятивное декодирование. Маленькая модель-черновик угадывает несколько токенов вперёд, большая проверяет их разом. Ускоряет генерацию для одного пользователя в полтора-два раза, особенно на коде и шаблонном тексте.
LoRA-адаптеры. Один запущенный экземпляр модели может обслуживать несколько дообученных адаптеров, выбирая нужный по имени модели в запросе.

Что дальше

Модель выбрана, движок тоже. В следующей части идём за видеокартой: сравниваем RunPod и Vast.ai, разбираемся с типами аренды, постоянными дисками и тем, как не платить за простой.