大模型用到的
数学基础

大学里的符号忘得差不多了也没关系。按这条线走：认识符号，理解向量，掌握概率，学会求导。

从符号速查认字，到A1 向量建立坐标直觉，再看P1 概率——模型说的每一句话都是分布——最后用C1 梯度理解「猜错了就改一点」。

每个大类只留一个可动手的演示，其余是静图。先感受，再看公式。公式下面都标了对应模型页的哪一章。

数学符号就像外语，认识了就不吓人。这里列出大模型里最常用的符号，包括怎么读、什么意思、在哪儿用。

希腊字母（最常用）

运算符号

集合与逻辑

矩阵运算

神经网络里的一切都是向量和矩阵。一句话是向量，一层参数是矩阵，一批数据是三维张量。先把符号和基本运算理清楚。

A1.1　向量

向量是一列数。写成列向量 $\mathbf{v} = \begin{bmatrix}v_1\\v_2\\\vdots\\v_n\end{bmatrix}$，也可以写成行向量 $\mathbf{v}^{\top} = [v_1, v_2, \dots, v_n]$。转置 $(\cdot)^{\top}$ 把行变列、列变行。

A1.2　矩阵

矩阵是一张二维数表。$A\in\mathbb{R}^{m\times n}$ 表示 $m$ 行 $n$ 列的实矩阵。神经网络的权重 $W$ 就是矩阵。

前向传播就是一连串矩阵乘法。反向传播就是把这些乘法倒过来求导。

A2.1　矩阵乘法

$C = AB$，要求 $A$ 的列数等于 $B$ 的行数。$A\in\mathbb{R}^{m\times p}$，$B\in\mathbb{R}^{p\times n}$，则 $C\in\mathbb{R}^{m\times n}$。

A2.2　Hadamard 积（逐元素乘法）

记作 $A \odot B$，要求两个矩阵形状完全相同，对应位置相乘。激活函数就是逐元素操作。

A2.3　Kronecker 积（张量积）

$A\otimes B$ 把 $A$ 的每个元素都替换成 $B$ 的一个拷贝再乘上那个元素。LoRA 用到。

方阵 $A$ 可以理解成一个线性变换。有些方向被 $A$ 拉伸或压缩，但方向不变，那就是特征向量。

求解：$A\mathbf{v}=\lambda\mathbf{v}$ 等价于 $(A-\lambda I)\mathbf{v}=\mathbf{0}$，要有非零解就要求 $\det(A-\lambda I)=0$。这是特征多项式，解出所有 $\lambda$，再反代求 $\mathbf{v}$。

特征值分解只能用于方阵。SVD 能分解任意矩阵，而且比特征值分解稳定。LoRA、PCA、推荐系统都用它。

奇异值 $\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0$ 放在 $\Sigma$ 的对角线上，$r=\text{rank}(A)$。

A4.1　截断 SVD 与低秩近似

只保留前 $k$ 个最大的奇异值，丢掉后面的小奇异值，得到低秩近似 $A_k = U_k \Sigma_k V_k^{\top}$。这是所有秩为 $k$ 的矩阵里最接近 $A$ 的那个（Frobenius 范数意义下）。

语言模型不是输出一个确定的词，而是输出一个概率分布。理解概率是理解生成的前提。

P1.1　基本定义

P1.2　全概率公式

如果事件 $B_1, B_2, \dots, B_n$ 互不相交且覆盖整个样本空间，那么：

P1.3　独立性

如果 $A$ 和 $B$ 独立，那么 $P(A,B)=P(A)P(B)$，且 $P(A\mid B)=P(A)$。知道 $B$ 发生与否不影响 $A$ 的概率。

期望是分布的「重心」，方差是「散开的程度」。训练神经网络时要控制激活值的期望和方差，否则梯度爆炸或消失。

P2.1　期望的性质

P2.2　协方差与相关系数

伯努利、高斯、Softmax、Categorical，这几个分布串起来就是一个分类模型。

P3.1　伯努利分布（Bernoulli）

抛硬币。$X\in\{0,1\}$，$P(X=1)=p$。

P3.2　类别分布（Categorical）

多分类。$X\in\{1,2,\dots,K\}$，每个类的概率是 $p_k$，$\sum_k p_k=1$。语言模型输出的就是类别分布。

P3.3　高斯分布（正态分布）

最重要的连续分布。中心极限定理说大量独立随机变量的和趋向高斯分布。

P3.4　Softmax 与交叉熵

把任意实数向量 $\mathbf{z}\in\mathbb{R}^K$ 变成概率分布（和为 1，每项非负）。

有一堆数据，假设它们服从某个分布，怎么估计分布的参数？最大似然估计说：让这些数据在你的分布下出现的概率最大。

最大似然估计（MLE）就是求 $\hat{\theta}=\arg\max_{\theta}\ell(\theta)$。对 $\theta$ 求导，令导数为零，解方程。

信息论给了「不确定性」一个数学定义。熵越高，分布越平坦，越难预测。KL 散度衡量两个分布有多不一样。

PPO 和 DPO 都用 KL 散度约束：优化后的策略 $\pi_\theta$ 不能离参考策略 $\pi_{\text{ref}}$ 太远，否则模型会忘记原本学到的语言能力。

神经网络训练就是求导。误差对每个参数求偏导，得到梯度，然后朝梯度反方向更新参数。

C1.1　导数

函数 $f(x)$ 在 $x_0$ 处的导数定义为：

C1.2　偏导数

多元函数 $f(x_1,x_2,\dots,x_n)$ 对某一个变量求导，其他变量当常数。

C1.3　梯度

标量函数 $f:\mathbb{R}^n\to\mathbb{R}$ 的梯度是所有偏导数组成的向量。

神经网络是一层套一层的复合函数。链式法则说：复合函数的导数是每一层导数的连乘。反向传播就是链式法则的递归应用。

C2.1　反向传播

神经网络：$\mathbf{x}\xrightarrow{W_1}\mathbf{h}_1\xrightarrow{\sigma}\mathbf{a}_1\xrightarrow{W_2}\mathbf{h}_2\xrightarrow{\sigma}\cdots\xrightarrow{}\mathcal{L}$。

前向：从输入算到损失。反向：从损失往回传梯度。

计算复杂度：前向一次 $O(n)$，反向一次 $O(n)$，总共 $O(n)$。如果朴素地对每个参数单独求导，是 $O(n^2)$。反向传播快在复用中间结果。

这些公式在推导注意力、LayerNorm、损失函数时反复出现。

C3.1　标量函数

C3.2　向量函数

$\mathbf{x}\in\mathbb{R}^n$，$A\in\mathbb{R}^{m\times n}$，$\mathbf{b}\in\mathbb{R}^m$。

C3.3　矩阵对矩阵求导

$X\in\mathbb{R}^{m\times n}$，$f(X)$ 是标量。梯度 $\nabla_X f$ 是一个和 $X$ 同形状的矩阵，每个位置是 $\frac{\partial f}{\partial X_{ij}}$。

C3.4　激活函数导数

雅可比是向量对向量求导，海森是标量对向量求二阶导。二阶优化器（牛顿法、L-BFGS）会用到海森矩阵，但深度学习里通常用不起（太大了）。

C4.1　雅可比矩阵

$\mathbf{f}:\mathbb{R}^n\to\mathbb{R}^m$ 是向量函数，$\mathbf{f}(\mathbf{x})=[f_1(\mathbf{x}),\dots,f_m(\mathbf{x})]^{\top}$。雅可比矩阵是所有偏导数组成的 $m\times n$ 矩阵。

链式法则的矩阵形式：$\mathbf{z}=\mathbf{g}(\mathbf{f}(\mathbf{x}))$，则 $\frac{\partial\mathbf{z}}{\partial\mathbf{x}}=\frac{\partial\mathbf{z}}{\partial\mathbf{f}}\cdot\frac{\partial\mathbf{f}}{\partial\mathbf{x}}$。两个雅可比矩阵相乘。

C4.2　海森矩阵

$f:\mathbb{R}^n\to\mathbb{R}$ 是标量函数。海森矩阵是二阶偏导数组成的 $n\times n$ 对称矩阵。

海森矩阵刻画曲率。正定 → 局部极小点，负定 → 局部极大点，不定 → 鞍点。