Математика, стоящая за большими языковыми моделями

Изначально опубликовано Amit Shekhar в X.

Большие языковые модели могут казаться магией. Но внутри каждая LLM построена на небольшом наборе математических идей: attention, scaling, gradients, loss, position encoding и normalization. Когда мы понимаем математику каждой из них, магия превращается в понятные простые шаги.

В этой серии мы разберём следующие материалы:

1. Математика attention: Q, K и V
2. Математика масштабирования на √dₖ в attention
3. Математика backpropagation
4. Математика gradient descent
5. Математика cross-entropy loss
6. Математика RoPE (rotary position embedding)
7. RMSNorm (root mean square layer normalization)

Давайте начнём.

1. Математика attention: Q, K и V

В этом материале мы разберём математику attention: query (Q), key (K) и value (V) — на пошаговом числовом примере.

Идея проста: мы сравниваем то, что каждое слово ищет (query), с тем, что каждое другое слово предлагает (key), а затем используем эти сравнения, чтобы собрать саму информацию (value) из наиболее релевантных слов.

В основе каждой большой языковой модели лежит именно это вычисление.

Полный материал: Math behind Attention - Q, K, and V

2. Математика масштабирования на √dₖ в attention

В этом материале мы разберём, зачем в архитектуре Transformer масштабировать dot-product attention на √dₖ, тоже на пошаговом числовом примере.

Часть, на которой мы фокусируемся, — это деление на sqrt(d_k). Это коэффициент масштабирования. Мы делим оценки скалярного произведения на квадратный корень из размерности key перед тем, как передать их в softmax.

Эта единственная строка — деление на sqrt(d_k) — выглядит простой. Но без неё Transformer-архитектуре было бы трудно эффективно обучаться, особенно при больших размерностях.

Полный материал: Math behind √dₖ Scaling Factor in Attention

3. Математика backpropagation

В этом материале мы разберём математику обратного распространения ошибки в нейронных сетях.

Backpropagation — ключевой алгоритм, который позволяет нейросетям учиться на своих ошибках. Без него эффективное обучение нейронных сетей было бы невозможным.

Backpropagation — это метод расчёта того, насколько каждый вес в нейронной сети повлиял на ошибку, чтобы затем скорректировать эти веса и уменьшить ошибку.

Полный материал: Math Behind Backpropagation

4. Математика gradient descent

В этом материале мы разберём математику градиентного спуска на пошаговом числовом примере.

Gradient descent — самый фундаментальный оптимизационный алгоритм, используемый для обучения моделей машинного и глубокого обучения.

Проще говоря:

Gradient descent = простой способ шаг за шагом спускаться по кривой ошибки, пока мы не достигнем самой низкой точки.

Полный материал: Math Behind Gradient Descent

5. Математика cross-entropy loss

В этом материале мы разберём математику cross-entropy loss на пошаговом числовом примере.

Это самая широко используемая функция потерь в задачах классификации, и именно она участвует в обучении почти каждой современной AI-модели, включая GPT, BERT и классификаторы изображений.

Проще говоря:

Cross-entropy loss = число, которое показывает, насколько ошибочны наши предсказанные вероятности.

Полный материал: Math Behind Cross-Entropy Loss

6. Математика RoPE (rotary position embedding)

В этом материале мы разберём математику rotary position embedding (RoPE) и то, почему этот подход используется в современных больших языковых моделях.

Вместо того чтобы добавлять позиционный вектор, RoPE поворачивает векторы query и key в зависимости от их позиции. После такого поворота скалярное произведение между любыми двумя токенами автоматически отражает относительное расстояние между ними.

Именно так RoPE даёт современным большим языковым моделям чистый, масштабируемый и элегантный способ понимать позицию.

Полный материал: Math Behind RoPE (Rotary Position Embedding)

7. RMSNorm (root mean square layer normalization)

В этом материале мы разберём RMSNorm — более быструю и простую альтернативу layer normalization, которая используется в большинстве современных больших языковых моделей, таких как Llama, Mistral, Gemma, Qwen, PaLM и DeepSeek.

Вместо центрирования и масштабирования чисел, как это делает LayerNorm, RMSNorm просто масштабирует их с помощью среднеквадратичного значения. Стабилизирующий эффект тот же, работы меньше.

Проще говоря:

RMSNorm = более простой и быстрый способ нормализовать числа внутри нейронной сети.

Полный материал: RMSNorm (Root Mean Square Layer Normalization)

На этом пока всё.

Спасибо.