(作者：闫玲玲 中银金科)全球分析软件公司FICO在研究报告《负责任的AI状态》中指出，有近三分之二(65%)的受访者无法解释AI模型是如何进行决策的。为了让机器学习模型运行在安全可控的环境下，更快地推动复杂机器学习模型在金融领域的落地和应用，中银金科对XAI(可解释人工智能)技术进行了系统的总结和积极的探索，研发了一套包含全局可解释、局部可解释、特征交互解释和敏感性分析的可解释机器学习平台，并且在反洗钱可疑交易监测场景进行了试点应用，取得了良好的运行效果。
1. 借助XAI技术增强模型的可信性和透明度
当模型的决策和预测结果对用户的生活会产生重要影响时，模型的可解释性与用户对模型的信任程度息息相关。例如，对于金融、理财等与用户财产安全相关的任务，用户往往需要模型具有很强的可解释性才会谨慎地采用该模型。如果可以把模型的可解释性展示出来，并匹配上人们对问题的理解，那么即使是没有数据科学基础的人群也能够对模型建立充分的信任。
中银金科借助XAI技术从全局可解释、局部可解释、特征交互解释和敏感性分析四个维度揭开”黑盒“模型的神秘面纱，将模型结果解读为用户可以理解的决策逻辑，让模型的使用者即便没有AI专业背景也能够理解模型在其决策过程中所做出的选择(怎么决策，为什么决策以及决策了什么)。
2. 借助XAI技术不断完善模型
机器学习模型通常是由数据驱动的，而模型能够提取到怎样的知识，与模型自身的组织架构以及对数据的表征方式等因素密切相关。中银金科借助XAI技术显性地捕获到这些知识，
使得数据科学家和业务专家可以系统的监控和管理模型，从而不断优化业务成果，不断评估和改进模型的性能。
例如利用解释结果指导特征工程。通常建模人员会根据一些专业知识和经验构建特征，进而放入模型进行训练，在这个过程中通常会选择一个指标(如准确率)进行模型优化。这种方式可能会导致模型的准确率很高，但使用的原因(即重要特征)是错误的。中银金科借助XAI技术给出哪些特征在最终决策中起关键作用，使得模型研发者可以根据建模经验来判断模型是否捕捉到了有意义的特征，以此提高模型的泛化性。
3. 借助XAI技术提升模型的合规性
人工智能具有技术属性和社会属性高度融合的特点。随着智能算法逐渐赋能社会，需要算法对执行结果具有解释能力，并且符合法律法规要求。
模型的“黑盒”属性可能会让模型存在不可预知的风险或做出带有偏见的决策，且模型遭到攻击时并不是很容易被察觉。针对这些潜在风险，我国央行印发的《金融科技 (FinTech) 发展规划 (2019-2021 年)》提出，金融科技技术必须符合“安全可控原则”。而这些要求都转化为对人工智能算法的透明度日益增长的需求。
为了更好的满足监管要求，中银金科研发了可解释机器学习平台，该平台可面向多种业务场景，解决人工智能的可解释性问题，降低使用人工智能所面临的合规性风险，促进模型的可审计性，使模型运行在安全可控的环境下;此外，该平台集成了可解释报告导出功能，使得人工智能模型给出的每一条模型结果都可以追溯其判断依据。目前该平台已在反洗钱可疑交易监测场景进行试点工作。
中银金科对于XAI的探索已取得初步进展，同时也预见到了其中的一些挑战，例如算力成本较高、算法的成熟度有待进一步探索、缺乏科学的评估体系等等。
XAI是人工智能技术获得用户信任以及满足合规要求基石，Gartner将XAI技术列为数据和分析技术领域的TOP10重要趋势之一。中银金科将会在前期成果的基础上不断深耕，积极开展XAI相关技术研发，让人工智能技术真正做到赋能业务，为国内使用人工智能技术的未来监管政策打好理论和实践基础。
