人工智能与数学原理

USTC 课程期末复习笔记，侧重数学推导与原理阐述

Mav

从概率论、随机变量、贝叶斯定理到最大似然估计——一切模型学习的数学地基

从线性模型到分类器——梯度下降法、Sigmoid、交叉熵损失、Softmax 多分类、过拟合与正则化

从单个神经元到深层网络——全连接层的参数量计算、激活函数、CNN 的数学原理与运算量分析

链式法则、反向传播算法的完整推导与手算、梯度消失与爆炸、残差连接、归一化、参数初始化

图的数学表示、拉普拉斯矩阵、随机游走、消息传递与邻域聚合、GCN/GAT/GraphSAGE

从 RNN 的局限到注意力机制，自注意力 QKV 的完整数学推导，多头注意力参数量计算，Transformer 编解码器架构

Word2Vec 与负采样、BERT 的 MLM 与 NSP、GPT 自回归语言模型、N-gram 与困惑度、大语言模型、强化学习 MDP 与 Q-Learning