Как коробка NVIDIA за $2 999 принесла мне $22 000 за год

Изначально опубликовано winkle. (@w1nklerr) в X.

Мне никто не рассказывал об этом месяцами. Рассказываю сейчас — чтобы вы не потеряли тот год, который потерял я.

Начну с цифры, которая меня разозлила. В прошлом квартале мои расходы на облачные GPU держались около $1 900 в месяц. Я делаю платную AI-работу для клиентов: дообучаю open-source модели, хостю 70B-ассистента, прогоняю большие пачки документов — то есть задачи, где обычная видеокарта за $2 000 просто сдаётся, потому что модель не помещается в память. Поэтому я арендовал вычисления по часам: на одной неделе A100, на другой H100. И однажды ночью, глядя на счёт, я понял: я выставляю клиентам инвойсы за эту работу, а потом почти две тысячи долларов в месяц отдаю компании, сдающей GPU в аренду. Это был не расход. Это была прибыль, которая уходила за дверь.

Через несколько дней кто-то скинул в Discord фотографию: штука размером с толстую книгу стоит рядом с монитором. Подпись: «убил мой облачный счёт, запускает 120B-модель на столе, окупилась за два месяца».

Это был DGX Spark от NVIDIA. Тот самый бейдж DGX, который раньше означал серверную стойку за четверть миллиона долларов, каким-то образом сложили до настольного формата.

Мой приехал на той же неделе. Вот что я понял.

1. Что это вообще такое

Когда люди слышат «AI-суперкомпьютер», они представляют шумный ряд серверов. В 2025 году NVIDIA начала разбирать эту картинку по частям. В январе на CES устройство показали как Project DIGITS, в марте на GTC переименовали в DGX Spark, а в октябре отдали покупателям. На сцене Дженсен сформулировал весь тезис одной фразой:

NVIDIA · @nvidia · Jan 6, 2025
Grace Blackwell, on every desk. Project DIGITS is billed as the smallest AI supercomputer on earth, running models up to 200B parameters off a normal wall socket. The line that stuck with me: "AI will be mainstream in every application for every industry."
nvidianews.nvidia.com/news

Если убрать маркетинг, железо выглядит так:

DGX Spark — что внутри:
Чип:              NVIDIA GB10 Grace Blackwell Superchip
AI-производительность: 1 PFLOP (квадриллион FP4-операций/сек)
CPU:              20-ядерный ARM (Grace)
GPU:              Blackwell, примерно ядра уровня RTX 5070
Память:           128GB LPDDR5x, ЕДИНАЯ для CPU + GPU
Накопитель:       4TB Gen5 NVMe, с само-шифрованием
Сеть:             ConnectX-7 — можно объединить две коробки
Потребление:      ~150–240W под нагрузкой
Размер:           150 × 150 × 50 мм, 1,2 кг — толстая книга
Цена:             $2 999 на старте

На секунду забудьте про петафлоп. Характеристика, которая реально меняет жизнь, — 128 GB единой памяти. RTX 4090 даёт 24 GB VRAM. RTX 5090 — 32 GB. Как только модель больше вашей VRAM, она просто не загрузится: CUDA выдаст out-of-memory, и вы снова вернётесь к аренде. Spark даёт 128 GB, поэтому открывает модели, которые карта за $2 000 даже не может загрузить. Один блок тянет до 200B параметров. Соедините два через встроенный ConnectX-7 — и на столе уже 405B.

Это не самая быстрая коробка, которую можно купить. Это коробка, которая действительно вмещает модели, ради которых всё затевалось.

2. Часть, которая меня особенно раздражала

Вот сколько реальная работа с local AI выкачивает из вас через облако, месяц за месяцем:

┌─────────────────────────────────────┬──────────────────┐
│ Что вы арендуете                    │ Расход в месяц   │
├─────────────────────────────────────┼──────────────────┤
│ A100 80GB для разработки            │ $600–1 200       │
│ H100 для fine-tuning                │ $1 000–2 500     │
│ Hosted 70B inference                │ $300–900         │
│ Инстанс, который забыли выключить   │ неприятный сюрприз│
├─────────────────────────────────────┼──────────────────┤
│ Рабочий AI-фрилансер/билдер         │ $1 500–3 000     │
└─────────────────────────────────────┴──────────────────┘

А вот Spark на той же нагрузке:

┌─────────────────────────────────────┬──────────────────┐
│ Статья расходов                     │ Стоимость        │
├─────────────────────────────────────┼──────────────────┤
│ Коробка, которой вы владеете        │ $2 999 один раз  │
│ Электричество, ~200W в рабочие часы │ ~$8–15/месяц     │
│ Облачная аренда                     │ $0               │
├─────────────────────────────────────┼──────────────────┤
│ Постоянный месячный расход          │ ~$10             │
└─────────────────────────────────────┴──────────────────┘

При привычке тратить $1 900 в месяц на облако устройство окупает себя примерно за 1,6 месяца.

После этого ~$1 890 в месяц, которые раньше уходили арендодателю GPU, становятся маржой, остающейся у меня — на той же клиентской работе, за которую я уже выставлял счета. За первый год это примерно $22 000, которые коробка вернула в мой бизнес вместо чужого дата-центра. И она не спит, не душит лимитами и не отправляет с моего стола ни одного байта.

3. Что на нём запускается и почему код почти ничего не замечает

Spark загружается в DGX OS — Ubuntu-варианте NVIDIA — с уже встроенным AI-стеком: CUDA и теми же библиотеками, что работают на дата-центровых DGX. А поскольку внизу обычная CUDA, open-source экосистема в основном работает с первого дня: Ollama, vLLM, PyTorch, Hugging Face, llama.cpp.

Если вы уже ходили в облачный endpoint, миграция — это одна строка:

# До — платим арендодателю по часам:
client = OpenAI(base_url="https://some-gpu-host/v1", api_key="sk-...")

# После — коробка на столе, счётчик выключен:
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="local"  # всё равно игнорируется
)

Тот же путь кода, тот же JSON, то же поведение. Единственная разница — ничего не тарифицируется и ничего не покидает здание.

Территория одного устройства с 128 GB:

┌────────────────┬────────────┬───────────────┬──────────────────────────┐
│ Модель         │ Размер     │ Помещается?   │ Где сильна               │
├────────────────┼────────────┼───────────────┼──────────────────────────┤
│ Llama 3.3 70B  │ 70B        │ Full BF16     │ Тяжёлая работа ассистента│
│ Qwen 3 large   │ 30–110B    │ Да            │ Мультиязычность, кодинг  │
│ DeepSeek-class │ до 200B    │ Quantized     │ Reasoning, agent loops   │
│ FLUX.1         │ —          │ Да            │ Локальная генерация фото │
│ 405B (2 блока) │ 405B       │ Связка        │ Frontier-class on-prem   │
└────────────────┴────────────┴───────────────┴──────────────────────────┘

Потребительская GPU упирается примерно в ужатую 30B-модель. Spark запускает 70B в полной точности и тянется к 200B. Вся причина владеть такой коробкой — именно в этом разрыве.

4. Поднять всё почти смешно просто

# 1. Ставим Ollama на Spark
curl -fsSL https://ollama.com/install.sh | sh

# 2. Тянем модель, которую потребительская карта не удержит
ollama pull llama3.3:70b

# 3. Запускаем сервер
ollama serve
# Ваш приватный 70B доступен на http://localhost:11434

Хотите окно в браузере в стиле ChatGPT, полностью на своём железе? Один контейнер:

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  ghcr.io/open-webui/open-webui:main

Открываете localhost:3000 — и у вас приватный чат поверх frontier-class модели: без ключа, без тарифа, без данных, уходящих из комнаты.

5. Где на самом деле появляются деньги

Фокус не только в экономии на бумаге. Главное — что перестаёт быть отдельным решением, когда вызов 70B-модели стоит вам практически ноль. NVIDIA выдала ранние устройства Ollama, OpenAI, SpaceX, университетским лабораториям робототехники и AI-art студиям. Но для человека, который ведёт бизнес, реальные сценарии проще.

Если вы продаёте AI-работу: приватный coding agent по всему проприетарному репозиторию клиента. Постоянно включённый внутренний ассистент для команды. Продукт, где unit economics — это электричество, а не API-токены, поэтому каждый клиент добавляет маржу. Ночные fine-tuning прогоны, которые раньше каждый раз давали чек на $400 в облаке, теперь бесплатны.

Если вы работаете с чувствительными данными — это тихая киллер-фича: договоры и юридический анализ, медицинские записи, финансовые книги, всё под NDA, что вы никогда не вставили бы в публичную модель. На Spark это не пересекает вашу сеть — и нет чужих terms of service, которые управляют машиной, принадлежащей вам.

Сдвиг мышления такой: облачные цены учат вас экономить. Вы дважды думаете, прежде чем дать агенту крутиться в цикле, прогнать весь архив заново или потюнить модель «на ощущении». Когда коробка ваша, эта нерешительность исчезает — и часто именно там прятались настоящие деньги.

6. Где стоит быть честным

Это не чудо, и любой, кто говорит, что оно «победит дата-центры», пытается вам что-то продать.

Плюсы:

• Загружает 70B–200B модели, которые не помещаются на потребительских GPU.
• Fine-tuning и прототипирование без аренды H100.
• Всегда включённый приватный inference почти без предельной стоимости.
• Хорошо встраивается вместо облачных endpoints, потому что под капотом CUDA.

Минусы:

• Сырая скорость: RTX 5090 быстрее на всём, что помещается в её VRAM.
• Один блок уже напрягается выше ~405B — это задача для двух устройств.
• Обслуживание тысяч live-пользователей всё ещё территория дата-центров.
• Первоначальные $2 999 — реальный платёж, даже если он быстро окупается.

Честный вывод: если вы уже сжигаете $1 000+ в месяц на аренду GPU для больших open-source моделей, это одна из самых быстро окупаемых покупок в AI прямо сейчас. Если вы просто иногда общаетесь с 7B-моделью, дешёвое edge-устройство или ваша текущая GPU разумнее. Подбирайте коробку под работу, а не под хайп.

7. Весь комплект в одном месте

HARDWARE:    NVIDIA DGX Spark — $2 999 один раз
             nvidia.com/en-us/products/workstations/dgx-spark
             OEM builds: ASUS, Dell, HP, Lenovo, Acer, MSI, GIGABYTE

OS:          NVIDIA DGX OS на базе Ubuntu, предустановлена
             Полный NVIDIA AI stack, CUDA, NIM, NeMo

RUNTIME:     Ollama / vLLM / llama.cpp — бесплатно, open-source
             ollama.com

UI:          Open WebUI — локальный ChatGPT-style фронтенд
             github.com/open-webui/open-webui

MODELS:      Llama 3.3 70B, Qwen 3, DeepSeek, FLUX.1
             бесплатно через Hugging Face / Ollama

SCALE-UP:    Два устройства через ConnectX-7 -> 405B параметров

POWER:       примерно $8–15/месяц электричества
PRIVACY:     ничего не покидает вашу сеть. Точка.

После покупки регулярная стоимость — несколько долларов за электричество. Вот и весь счёт.

Почему сейчас, а не позже?

NVIDIA не уменьшила DGX за $250 000 до настольного устройства из щедрости. Она хочет, чтобы следующая волна AI строилась на её чипах, локально и как можно большим числом людей. Поэтому вход поставили на уровне $2 999, а Дженсен лично носил устройства Маску и Альтману, чтобы усилить сообщение. Теперь Dell, HP, ASUS и Lenovo тоже выпускают свои GB10-коробки, а программный слой — Ollama, vLLM, CUDA stack — почти еженедельно оптимизируется именно под этот чип.

Тем временем облачные GPU не дешевеют, лимиты ужесточаются, а вопрос «куда физически уходят наши данные?» клиенты теперь задают ещё до подписания договора.

Люди, которые в 2026 году перенесли свои AI-нагрузки на коробку на собственном столе, к 2028-му будут выглядеть сильно впереди кривой.

Машина размером с книгу. Полный петафлоп. 70B-модель, которая принадлежит вам и никому больше. Около десяти долларов в месяц на работу — и примерно $1 900 в месяц, которые перестают вытекать из бизнеса.

Вот и весь обмен. Жаль только, что я не сделал это годом раньше.