Как работает SGLang?
Полный перевод статьи Amit Shekhar о SGLang: RadixAttention, KV cache, continuous batching, structured output и сравнение с vLLM.
Topic
LLM
A collection of 8 issues
Как работает vLLM?
В этом блоге мы разберём, как работает vLLM. Также посмотрим, зачем он нужен, как он так умно управляет памятью и где применяется в реальном мире, чтобы обслуживать большие языковые модели для множества пользователей одновременно.
Мы рассмотрим следующее:
- Что значит обслуживать LLM
- Краткое повто
Визуальное руководство по LLM, часть 2: внутри архитектуры Transformer
Полный перевод второй части визуального руководства по LLM: self-attention, causal masking, multi-head attention, FFN, residual connections, layer normalization, transformer block и output layer.
Визуальное руководство по LLM, часть 1: входной pipeline
Первая часть визуального руководства по архитектуре LLM: tokenization, token IDs, token embeddings, positional embeddings и полный путь от текста к входным векторам модели.
Математика, стоящая за большими языковыми моделями
Большие языковые модели могут казаться магией. Но внутри каждая LLM построена на небольшом наборе математических идей: attention, scaling, gradients, loss, position encoding и normalization. Когда мы понимаем математику каждой из них, магия превращается в понятные простые шаги.
Как автоматизировать свою жизнь (пошаговое руководство)
Большинство людей понимают, что им нужно автоматизировать задачи с помощью ИИ, но совершенно не знают, с чего начать.
LLM 101: практическое руководство (редакция 2026)
Начните с цикла. Текст превращается в токены. Токены проходят через трансформер. Attention решает, какие предыдущие токены важны. Среда выполнения хранит KV-кэш, чтобы модель не пересчитывала весь разговор каждый раз заново. Затем модель выбирает следующий токен и повторяет всё снова.
Как ведущие AI-лаборатории строят RL-агентов в 2026 году (используя идею Карпати об обучении через system prompt)
Как Anthropic, OpenAI и DeepSeek сходятся к единой идее: использовать system prompt как функцию вознаграждения. Полный разбор эволюции RL — от RLHF до RULER — с кодом.