深度学习理论 Deep Learning Theory

研究进展与活跃问题

截至 2026 年 10 月

主要进展

关于深度的作用，Telgarsky构造了特定函数族，证明较深网络可以用较小规模表示它们，而较浅网络若要达到相应的逼近精度，可能需要指数级增加的节点数量。这说明深度在某些问题上具有表达效率优势，但不意味着任意任务都应增加层数。另一方面，Du等人对充分过参数化的深层残差网络给出了梯度下降达到零训练损失的收敛保证；这些结果依赖相应的网络、数据和初始化条件。深度分离结果与深层网络的收敛分析。

训练算法自身也会偏向某些解，这种选择倾向称为隐式偏置（implicit bias）。例如，Soudry等人证明，在其研究的线性可分、无显式正则化的逻辑回归条件下，梯度下降得到的参数方向趋向最大间隔解。这为连接训练过程与泛化提供了一个可分析的例子。Belkin等人研究的双下降（double descent）现象则表明，在一些模型与数据中，测试误差会在模型刚能完全拟合训练数据附近升高，随后随容量进一步增加而再次下降；这一现象有具体条件，并不保证更大的模型总是更好。隐式偏置论文与双下降论文。

宽网络极限提供了另一类分析工具。神经正切核（neural tangent kernel，NTK）描述参数更新怎样影响网络在不同输入上的输出；在适当的参数缩放和无限宽极限下，这个核在训练中保持不变，使训练过程能够用核方法分析。不过，这种极限难以刻画内部特征随任务发生显著改变的过程。Yang与Hu随后构造了能够在无限宽极限中保留特征学习的参数化方式，说明“无限宽网络”等同于“固定特征模型”并非普遍结论，关键还在于怎样让网络宽度、参数和训练更新共同缩放。神经正切核论文与无限宽网络的特征学习研究。

活跃研究问题

• 特征学习与实际网络之间的联系。如何描述多层网络在训练中形成任务相关表示，并估计无限宽近似在有限宽度下的误差，仍是重要问题。网络的连接方式和参数共享也会改变学习结果。Bauer等人于 2026 年在一个将训练表述为贝叶斯推断的理论框架中，比较了循环网络与前馈深层网络，分析参数共享如何影响表示之间的关联和泛化。这类结果需要继续与实际训练算法和不同任务相互检验。特征学习极限与2026 年网络结构与特征学习研究。
• 反映数据结构的泛化保证。有用的理论需要区分可学习的规律与随机噪声，并解释样本量、数据几何和训练方法如何共同影响新数据上的误差。Liang等人于 2026 年针对特定两层网络及训练条件，研究了不同数据分布下的泛化界，其中一些界能够随数据的内在维数而变化。怎样把这类依赖具体结构的保证推广到更深网络、复杂数据和分布变化的场景，仍有许多问题。数据几何与泛化研究。
• 实际学习率下的训练动力学。真实训练往往使用较大的学习率，损失未必每一步都下降。稳定性边缘（edge of stability）描述训练轨迹接近局部稳定性阈值并出现振荡的一类现象，使小步长近似不足以解释某些训练行为。Islamov等人于 2026 年将相关分析扩展到不同几何下的梯度方法，并用神经网络实验检验相应指标。学习率、优化器、曲率和随机性如何共同影响收敛及最终选择的解，仍是活跃方向。非欧几里得梯度方法与稳定性边缘。
• 缩放规律的机制与边界。缩放定律（scaling laws）研究误差如何随数据量、模型规模和计算投入变化。经验上观察到的幂律关系，需要进一步解释其产生条件、指数变化和失效范围。Defilippis等人于 2026 年在具有特征学习的二次网络与对角网络中分析了这类规律，联系样本量、权重衰减和训练后权重的谱性质。这为可分析模型提供了机制解释，但不能直接作为所有大型模型的通用预测公式。特征学习状态下的缩放定律研究。
• 上下文学习的机制与适用范围。上下文学习（in-context learning）指模型在参数不更新时，利用输入中的示例完成当前任务。von Oswald等人的研究在特定回归问题中，将Transformer的前向计算与梯度下降联系起来，为这一现象提供了可检验的机制解释。哪些预训练任务会诱导这种能力，模型学到的计算过程能否推广到新的任务与更长输入，以及不同机制怎样共存，仍需要理论与实验共同回答；回归模型中的结果不能直接推广到所有语言模型。上下文学习与梯度下降研究。