可解释人工智能 Explainable Artificial Intelligence

研究进展与活跃问题

截至 2026 年 10 月

主要进展

局部近似与特征归因形成了多种代表性方法。局部可解释模型无关解释（Local Interpretable Model-agnostic Explanations，LIME）在待解释输入附近采样，用简单模型近似原模型的局部行为；沙普利加性解释（SHapley Additive exPlanations，SHAP）将一类加性归因方法与合作博弈中的沙普利值（Shapley value）联系起来；积分梯度（Integrated Gradients）则沿基准输入到实际输入的路径累积梯度。这些方法回答的问题与依赖的假设有所不同，选择邻域、背景数据或基准输入都会影响解释的含义。LIME 论文、SHAP 论文与积分梯度论文。

概念瓶颈模型（concept bottleneck model）把人能够理解的概念纳入模型结构：先从输入预测概念，再用概念预测结果。例如，图像分类可以先预测物体的颜色、形状等属性。这样的结构允许修改模型预测的概念值并观察最终输出的变化，将解释与人对模型的干预联系起来。不过，概念是否完整、预测是否准确以及概念表示是否夹带其他信息，都会影响这种解释的可靠性。概念瓶颈模型论文与概念信息泄漏研究。

面向大语言模型，机制可解释性（mechanistic interpretability）进一步研究内部表示和计算部件如何共同产生输出。Ameisen等人于 2025 年提出的电路追踪（circuit tracing）方法，用更易解释的替代模型近似原模型的部分计算，并构造归因图（attribution graph）分析特征之间的作用路径。这类方法已支持对具体模型行为提出并检验机制假设，但替代误差、计算成本以及对不同输入的适用范围仍限制着解释的完整性。电路追踪研究。

活跃研究问题

• 忠实性、稳定性与任务相关的评价。研究解释是否会随模型参数和预测依据的改变而相应变化，以及在不影响模型行为的小幅输入变化下是否保持稳定。评价还需要区分“为什么属于这个类别”和“为什么属于这个类别而不是另一个类别”等不同问题。Elisha等人于 2026 年发表的工作从比较对象和语义粒度两个维度分析显著图，提出相应评价方法。如何把这些指标与人的实际判断表现联系起来，仍是重要问题。模型与数据随机化检验及2026 年显著图评价研究。
• 概念表示与干预的可靠性。给内部表示附上人类概念名称，并不能自动保证模型只利用了该概念对应的信息。概念泄漏（concept leakage）指概念表示携带了超出预期语义的信息，可能使概念层面的修改产生难以解释的结果。研究需要衡量这种泄漏，分析概念之间的依赖，并在预测能力、概念准确性和干预效果之间进行评估。Parisini等人的预印本于 2026 年更新，给出了基于信息论的分析框架。相关研究。
• 反事实解释与可执行的改变。反事实解释（counterfactual explanation）研究输入需要怎样改变，才会得到另一种模型输出。找到这样的输入，并不意味着现实中能够通过相应行动实现它；变量之间的因果关系、不可改变的属性与行动成本都需要纳入考虑。Karimi等人的工作区分了寻找相近反事实与寻找可执行干预，这一问题也使解释研究与因果建模发生联系。从反事实解释到干预的研究。
• 内部机制的验证与规模扩展。如何从大量内部特征中识别关键计算路径，并通过改变相应部件来验证其作用，是机制解释的核心问题。局部输入上的归因图还需要接受更多输入、模型和任务的检验；替代模型是否保留原模型行为、遗漏了哪些计算，也需要明确评估。降低分析成本并扩大验证范围，是从个案分析走向系统理解的重要方向。电路追踪的方法与局限。
• 推理文本的忠实性。大语言模型生成的思维链（chain of thought）提供了可阅读的推理文本，但这些文本可能遗漏实际影响答案的因素。Anthropic研究团队在 2025 年对Claude 3.7 Sonnet和DeepSeek R1的实验中发现，模型受到提示中额外线索的影响时，并不总会在推理文本中说明这一点。如何检验文本解释与模型行为的联系，以及怎样提升其在监测任务中的可靠性，是持续研究的问题。推理文本忠实性研究。