什么是可解释 AI？

什么是可解释人工智能

欢迎加入零起点AI创富营！

可解释人工智能（Explainable Artificial Intelligence, XAI）是指智能体以一种可解释、可理解、人机互动的方式，与人工智能系统的使用者、受影响者、决策者、开发者等，达成清晰有效的沟通，以取得人类信任，同时满足监管要求。

【图】AI VS. XAI

简单而言，可解释性可用于两个阶段：模型之前(pre)和模型之后(post)。

如下图所示，对于人工智能模型而言，讨论其可解释性需要关注以下几个层面：

算法的透明性和简单性（Algorithmic Transparency and Simplicity）
表达的可解构性（Decomposability）
模型的可担责性（Accountability）
算法的适用边界
因果分析和推理
对黑盒模型的事后解释（Post-hoc Explanation）
对模型表达能力的建模与解释

所以，可解释人工智能 (XAI) 是一组流程和方法，让人类用户可以理解并信任机器学习算法创建的输出和结果。

可解释 AI 用于说明 AI 模型、其预期影响和潜在偏见。它可帮助描述模型的准确性、公平性、透明度以及人工智能驱动型决策的结果。可解释 AI 至关重要，可在组织将 AI 模型投入生产时帮助组织建立信任和信心。AI 可解释性还有助于组织采用负责任的 AI 开发方法。

AI 的先进程度越来越高，人类已经很难去理解和追溯算法是如何得出结果的。整个计算过程变成了通常所说的无法解释的“黑匣”。这些黑匣模型是直接从数据创建的。而且，即使是创建算法的工程师或数据科学家也无法理解或解释这些算法内部到底发生了什么，或者 AI 算法是如何得出特定结果的。

了解启用 AI 的系统如何产生特定输出会带来诸多好处。可解释性可帮助开发人员确保系统按预期运行，满足监管标准可能也需要可解释性，或者如果要允许受决策影响的人质疑或更改结果，那么可解释性也十分重要。¹

2. 为什么需要可解释人工智能

欢迎加入AI学社

了解人工智能模型的正确决策机制，是提升人类对人工智能模型信任度的重要方法。而现有人工智能可解释性的研究成果揭示，基于数据驱动的人工智能系统决策机制，离取得人类信任这一终极目标，至少还存在以下3个方面的差距：

（1）机器学习决策机制的理论缺陷

现在的机器学习方法，通常就是在输入数据和预期结果之间建立关联（Association）, 而由于数据样本普遍存在局限和偏差，这种关联学习不可避免地学到一种虚假关系（Spurious Relationship）。为了发现出真正的因果关系，需要通过主动干预（intervention）实验来拓展观测现象，并运用反事实推理（Counterfactual Reasoning）去伪存真。

因果推理的三个认知层次

（2）机器学习的应用缺陷

数据样本的局限和偏见，会导致数据驱动的人工智能系统存在偏见；
“黑盒“的深度学习网络存在安全性上的潜在风险；
从决策机制来看，当前对深度学习的分析还处于不透明的摸索阶段。

（3）人工智能系统未能满足监管要求

可解释人工智能的全路径

（4）为什么可解释 AI 很重要

对于一家组织来说，充分了解 AI 决策过程并实现 AI 的模型监控和问责制，而不是盲目信任 AI，这一点至关重要。可解释 AI 可以帮助人类理解和解释机器学习 (ML) 算法、深度学习和神经网络。

ML 模型通常被认为是无法解释的黑匣。²深度学习中使用的神经网络是人类最难理解的神经网络之一。偏见（通常是基于种族的偏见）、性别、年龄或地点，这些一直是训练 AI 模型的过程中长期面临的风险。此外，因为生产数据与训练数据不同，AI 模型性能可能会出现漂移或降级。因此，企业需要持续监控和管理模型以提升 AI 可解释性，同时衡量使用此类算法所造成的业务影响，这一点至关重要。可解释 AI 还有助于提高最终用户的信任度和模型的可审计性，并促进 AI 的有效使用。它还缓解了生产 AI 带来的合规性、法律、安全和声誉风险。

可解释 AI 是实施负责任 AI 的关键要求之一，借助可解释 AI，现实中的各个组织可以大规模实施 AI 方法，并实现公平性、模型可解释性和问责制。³为了以负责任的方式采用 AI，组织需要基于信任和透明度构建 AI 系统，以将伦理原则嵌入到 AI 应用程序和流程中。

3. 如何研究可解释性

欢迎加入AI学社

可解释性可主要分为以下几个类别：

特定模型的可解释性(Model-Specific explainability)：严格限定于特定模型算法的可解释性，如决策树模型、贝叶斯网络等。

不限模型的可解释性(Model-Agnostic explainability)：这种类型的解释适用于任何类型的机器学习模型。通常，后分析方法将在机器学习模型训练之后使用，它不依赖于任何特定算法，并且不了解内部模型结构和权重。

模型中心的可解释性(Model-Centric explainability)：大多数解释方法都是以模型为中心的，因为这些方法用于解释如何调整特征和目标值，应用各种算法并提取特定的结果集。

数据中心的可解释性(Data-Centric explainability)：因为数据在模型训练和预测中有重要作用，这类方法主要用于理解数据的意义，常见的方法有：数据剖析(Data Profiling)、监控数据漂移(Monitoring Data-Drifts)和数据对抗(Data-Adversarial)。

【图】可解释性技术的分类

模型可解释性的研究方法：

知识抽取 (Knowledge extraction)：探索性数据分析 (Exploratory Data Analysis, EDA)

结果可视化 (Result visualization)：比较分析 (Comparison analysis)

基于影响的方法 (Influence-based)：敏感性分析与特征重要性选择 (Sensitivity Analysis and Feature selection importance)

4. 可解释 AI 的运作方式

欢迎加入AI学社

通过可解释 AI 以及可解释的机器学习，组织可以访问 AI 技术的底层决策，并有权做出调整。可解释 AI 可以让最终用户相信 AI 正在制定明智的决策，从而改善产品或服务的用户体验。AI 系统何时会对决策有十足的把握，让您可以信任决策，以及 AI 系统如何纠正出现的错误？⁴

AI 的先进程度越来越高，但仍然需要理解并管控 ML 流程，以确保 AI 模型结果的准确性。我们来看看 AI 和 XAI 之间的区别，用于将 AI 转换为 XAI 的方法和技术，以及阐释和解释 AI 过程之间的区别。

比较 AI 和 XAI
“常规”AI 和可解释 AI 之间究竟有什么区别？XAI 采用了特定的技术和方法，以确保可以跟踪和解释在 ML 过程中所做出的每个决策。另一方面，AI 通常利用 ML 算法得出结果，但 AI 系统的架构师并不完全了解算法是如何得出该结果的。这样就很难检查结果的准确性，同时也会丧失可控性、问责制和可审计性。

可解释 AI 技术：XAI 技术的设置要用到三种主要方法。预测准确性和可跟踪性可满足技术方面的需求，而决策理解可满足人类需求。如果未来的作战人员要理解、适度信任并有效管理新一代人工智能机器合作伙伴，那么可解释 AI，尤其是可解释的机器学习，将至关重要。

预测准确性：准确性是在日常运营中成功使用 AI 的关键因素。通过运行模拟并将 XAI 输出与训练数据集中的结果进行比较，可以确定预测准确性。在这方面，最主流的技术是模型无关的局部解释 (LIME)，它解释了 ML 算法对分类器的预测。

可跟踪性：可跟踪性是实现 XAI 的另一关键技术。可通过多种方法实现可跟踪性，比如通过限制决策的制定方式，以及为 ML 规则和功能设置更小的范围。可跟踪性 XAI 技术的一个例子是 DeepLIFT（深度学习重要特征），该算法将每个神经元的激活与其参考神经元进行比较，并显示每个已激活神经元之间的可跟踪链路，甚至显示它们之间的依赖关系。

决策理解：这是人为因素。许多人对 AI 并不信任，然而，要高效利用 AI，就需要学会信任 AI。通过教导团队使用 AI，可以建立对 AI 的信任，这样他们就能理解 AI 如何决策以及为何做出此等决策。

AI 中的可解释性与可阐释性：可阐释性是观察者对于决策原因的理解程度。这是人类对 AI 输出结果进行预测的成功率，而可解释性则更进一步，着眼于 AI 如何得出结果。可解释 AI 与负责任 AI 有何关联？可解释 AI 和负责任 AI 目标相似，但采用的方法不同。以下是可解释 AI 和负责任 AI 之间的主要区别：

- 可解释 AI 是在计算出结果后审视 AI 结果。

- 负责任 AI 则是在规划阶段审视 AI，使 AI 算法在计算出结果之前始终以负责任的方式运行。

- 可解释 AI 和负责任 AI 可以协同工作，从而打造出更出色的 AI。

持续模型评估：借助可解释 AI，企业可以排除故障，提高模型性能，同时帮助利益相关者了解 AI 模型的行为。通过跟踪模型，对模型行为展开调查，深入了解模型部署状态、公平性、质量和漂移，这对于扩展 AI 至关重要。通过持续模型评估，企业能够比较模型预测结果、量化模型风险并优化模型性能。显示模型行为中的正值和负值以及用于生成解释的数据可加速模型评估。数据和 AI 平台可以生成模型预测的特征归因，并支持团队通过交互式图表和可导出文档直观调查模型行为。

5. 可解释 AI 的优势和注意事项

欢迎加入AI学社

充满信任、从容自信地有效运行 AI：建立对生产 AI 的信任。快速将 AI 模型投入生产。确保 AI 模型的可阐释性和可解释性。简化模型评估流程，同时提高模型透明度和可跟踪性。

加快获得 AI 结果：系统化地监控和管理模型以优化业务成果。持续评估和改进模型性能。通过持续评估对模型开发工作进行调整。

降低模型治理的风险和成本：保持 AI 模型的可解释性和透明度。管理监管、合规、风险和其他要求。最大程度减少人工检查的开销和代价高昂的错误。降低意外偏见造成的风险。

可解释 AI 的五个注意事项

- 要通过可解释 AI 达成理想结果，请考虑以下事项。

- 公平性和去偏：管理并监督公平性。扫描部署以查找潜在偏见。

- 减少模型漂移：分析您的模型并根据最合乎逻辑的结果提出建议。当模型偏离预期结果时发出警报。

- 模型风险管理：量化并降低模型风险。当模型表现不佳时收到警报。了解偏差持续存在时会发生什么。

- 生命周期自动化：将模型作为集成数据和 AI 服务的一部分进行构建、运行和管理。统一平台上的工具和流程，以监控模型并共享结果。解释机器学习模型的依赖关系。

- 多云就绪：跨混合云（包括公有云、私有云和本地部署）部署 AI 项目。利用可解释 AI，增强信任感和自信心。

6. 可解释人工智能有什么用

欢迎加入AI学社

【图】XAI 的相关要素

医疗：加速诊断、影像分析、资源优化和医疗诊断。提高患者护理决策的透明度和可跟踪性。通过可解释 AI 简化药品审批流程。

金融服务：通过透明的贷款和信贷审批流程改善客户体验。加快信贷风险、财富管理和金融犯罪风险评估。加快解决潜在投诉和问题。增强对定价、产品推荐和投资服务的信心。

刑事司法：优化预测和风险评估流程。使用可解释 AI 进行 DNA 分析、监狱人口分析和犯罪预测，加速解决问题。检测训练数据和算法中的潜在偏见。

可解释AI 在各行各业都有广泛的应用前景，在AI决策能够产生重大影响的金融、医疗健康和司法等风险极高的领域，需求尤为强烈。下表显示了部分可解释性AI行业应用中的不同类型解释：

行业	面向开发者	面向监管者	面向使用者	面向应用用户
生物医疗	人工智能归纳的信息和数据规律	符合伦理和法规要求模型的高可信度模型的高透明度	模型表征与医学知识的联系可视化、语义化、关系代理	模型输出的合理性，可理解的诊断结果
金融	模型假设是否满足，模型逻辑是否自洽，模型代码是否正常符合预设	人工智能风险的可解释性与人工智能建模的可解释性	模型算法的决策可解释性、算法的可追溯性、算法对于数据使用的偏见预警、算法的风险可控制性	应用服务对象：算法决策依据、算法公平性程序样本来源：隐私权保护、知情权保护
电商推荐	推荐算法内在的运作机制专业的数字化解释	视觉上可解释的推荐模型、可解释产品搜索	可解释的序列推荐、跨类别的可解释性推荐	隐私权保护、知情权保护基于特征的解释及用户评论
城市管理	推荐算法内在的运作机制专业的数学化解释	模型的合理性和稳定性数据的安全性	可解释的位置推荐最有价值的特征的推荐和解释	不同地点之间的关系的解释、推荐位置的特征词云
安防	安防算法内部的运行机制、行为逻辑和决策依据	模型的公平性、偏见性和稳定性	模型的安全性和可靠性	隐私权保护、知情权保护
法律咨询	咨询算法内部的运行机制模型代码是否正常符合预设	可视化的知识图谱检索、推理和决策逻辑	基于知识引入的模型可靠性	内容的即时性、针对性和准确性

欢迎加入AI学社

参考文献：

[1] “Explainable AI”，英国皇家学会，2019 年 11 月 28 日。

[2] Explainable Artificial Intelligence”，Jaime Zornoza，2020 年 4 月 15 日。

[3] “Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI”，ScienceDirect，2020 年 6 月。

[4] “Understanding Explainable AI”，福布斯撰稿人 Ron Schmelzer，2019 年 7 月 23 日。

[5] "Explainable Artificial Intelligence (XAI)”，Matt Turek 博士，美国国防高级研究计划局 (DARPA)。

[6] 可解释人工智能导论[M]. 杨强，范力欣，朱军，陈一昕，张拳石，朱松纯等著.

[7] Masís S. Interpretable machine learning with Python: Learn to build interpretable high-performance models with hands-on real-world examples[M]. Packt Publishing Ltd, 2021.

[8] Molnar C. Interpretable machine learning[M]. Lulu. com, 2020.

[9] 可解释机器学习--黑盒模型可解释性理解指南[M]. Molnar C 著, 朱明超译, 2021.

[10] Principles and Practice of Explainable Machine Learning