数学 (20 篇)
上一篇我们搞清楚了高维空间的直觉——token 嵌入向量为什么需要 7168 维，以及高维空间的四个反直觉现象。最后我们提到了一个关键观察：7168 维的向量，其实际信息量远小于 7168 维，真正的语义结构分布在一个低维子空间里。
admin
前八篇我们把基础数学工具打好了——符号系统、对数、函数、导数、链式法则，以及线性代数的向量、矩阵运算、点积与注意力机制。
前两篇我们把向量和矩阵的基础打好了。这一篇聚焦在一个操作上：点积。它看起来简单，就是对应元素相乘再相加，但它是整个注意力机制的心脏。这篇文章会把点积的几何意义、数学性质、工程考量和在 DeepSeek V3 里的具体形态全部讲透，字数会比前几篇多一些，因为注意力机制值得用足够的篇幅来讲清楚。
上一篇我们把向量讲透了——它是深度学习里特征的基本表示单位，点积是衡量相似度的核心工具。这一篇我们来讲矩阵。矩阵是神经网络的"变换引擎"，全连接层、注意力机制、MoE 路由，骨子里全是矩阵乘法。
前五篇我们把基础数学工具（符号、对数、函数、导数、链式法则）打好了底。从这篇开始进入第二阶段：线性代数。很多人觉得线性代数枯燥，但在深度学习里，它就是神经网络运转的"物理引擎"——每一层的计算、注意力机制、词向量、特征表示，本质上全是线性代数。这一篇从最基础的向量讲起。
上一篇我们把导数的直觉和梯度下降的基本思路讲清楚了。这一篇是第一阶段的收官之作，我们要完整推导反向传播算法——用一个真实的两层神经网络，从损失函数出发，一步一步把每个参数的梯度算出来。这是深度学习里最重要的数学推导之一，搞懂它，你对神经网络训练的理解会从"知道"变成"真正明白"。
前三篇我们搞定了符号系统、指数对数、以及函数的本质。这一篇我们来讲导数——它是整个深度学习优化过程的数学基础。没有导数，就没有梯度下降，就没有神经网络的训练，就没有 DeepSeek。
前两篇我们搞定了符号语言和指数对数。这一篇我们来讲函数——这个概念你从初中就开始学，但神经网络对"函数"的理解方式，和教科书里的完全不是一回事。把这一层想清楚，你对神经网络结构的理解会有一次质的飞跃。
上一篇我们把论文里的符号语言扫了一遍，认识了 Σ、argmax、∝ 这些"字母"。这一篇我们来讲指数和对数，这是贯穿整个深度学习的数学工具——从损失函数到注意力机制，从概率模型到信息熵，几乎到处都有它们的身影。
我第一次打开一篇深度学习论文的时候，不是被里面的思想吓到的，而是被那些符号吓跑的。 满屏的 Σ、∈、argmax、∝，还有各种上下标叠在一起，看起来像是某种外星语言。但其实，这些符号背后的逻辑并不难，它们本质上只是一种"简写系统"——就像我们平时用"etc."代替"等等"，用"vs."代...