balkhaev.com Блог · AI-агенты и автоматизации

БлогСерия

Свой инференс: open-source модели на арендованных GPU

Как поднять открытую модель на арендованной видеокарте и не переплатить. Когда это выгоднее API, как выбрать GPU, что запускать сейчас, где арендовать и сколько это стоит.

вышло 7 из 7 частей

Все части07 / 07

  1. 01Концепция: когда своя модель выгоднее API
  2. 02Как выбрать видеокарту: память, скорость и форматы весов
  3. 03Что поднимать сейчас: модели и движки
  4. 04RunPod и Vast.ai: где арендовать и как не переплатить
  5. 05Свой эндпоинт: vLLM, замер скорости и доступ по ключу
  6. 06Картинки и видео: ComfyUI на арендованной видеокарте
  7. 07Деньги: цена миллиона токенов, простой и serverless

Открытые модели догнали коммерческие во многих задачах, а видеокарту уровня H100 можно арендовать на час за пару долларов. Отсюда соблазн: поднять свою модель и перестать платить за токены. Иногда это действительно дешевле и удобнее. Иногда это способ заплатить втрое больше за то же самое и получить в нагрузку сервер, который нужно обслуживать.

Этот цикл про то, как отличить одно от другого и сделать всё по-человечески. Сначала разбираемся, когда своя модель вообще имеет смысл. Потом учимся считать, какая видеокарта нужна под модель, смотрим, какие модели и движки стоит запускать прямо сейчас, сравниваем RunPod и Vast.ai, поднимаем свой эндпоинт с OpenAI-совместимым API, отдельно запускаем генерацию картинок и видео и в конце считаем деньги.

Кода в цикле мало, только команды, которые действительно нужно запустить. Основное здесь в решениях: что выбрать, почему и сколько это будет стоить. Цены и версии указаны на начало ноября 2026 года, а свежие открытые модели выходят каждую неделю, поэтому рядом со статьями есть лента новостей с релизами по теме.