500)this.width=500">

　　随着以机器进修为代表的新一代人工智能技术不断朝着更加先进、复杂、自主的路线进步，大家的经济和社会进步都纷纷迎来了变革性的机遇。

　　但和此同时，AI算法的透明度、可解释性难题也为公众信赖、公共安全等诸多领域带来了前所未有的挑战。

　　1月11日-14日，由企鹅研究院和企鹅可持续社会价格事业部(SSV)联合主办的“企鹅科技给善创造周”在线上举办。“透明可解释AI——打开黑箱的理念和操作”作为本届创造周的第壹个专题论坛，聚焦讨论人工智能的可解释性和透明度难题。

　　本场论坛由企鹅集团副总裁、企鹅研究院总顾问杨健主持。会上，企鹅研究院秘书长张钦坤、优图实验室人脸识别技术负责人丁守鸿首先共同公开了《可解释AI进步报告2024》，随后由加拿大皇家科学院&加拿大工程院两院院士杨强老师、南方科技大学计算机科学和工程系系主任姚新老师、厦门大学人文学院朱菁院长、企鹅AI Lab顾问吴保元老师、京东寻觅研究院算法科学家何凤翔老师、天衍实验室负责人郑冶枫老师，共同参和了关于可解释AI的圆桌讨论。

　　下面内容为圆桌研讨环节的整理文章：

　　可解释AI的概念共识

　　姚新：

　　大家在讨论AI算法的透明性和可解释性的时候，首先应该思考三个W的难题——Who，What和Why的难题。

　　首先，到底是对谁讲透明和可解释?由于从科学研究来说，任何壹个研究都必须透明，都必须可解释，否则这个论文是发不出来的。因此我猜过去讲透明性和可解释性，也许不是对科学家来说的可解释性或者透明性，由于对科学家的透明性和可解释性，不一定对大众透明和可解释。第二是解释啥子?解释模型做出来的结局还是解释这个模型的职业原理。第三，解释总是有壹个目的，目的是要追责还是领会这个模型的科学原理。

　　根据对这三个W不同的答案，会得出特别不一样的透明性和可解释性，相应的化解办法也许也完全不一样。不管如何，思考透明性和可解释性的时候，首先大家要有壹个概念上的共识，使得大家了解大家是讲同样一件事务，而不是用了同样壹个名词，大家在不同的抽象层次讲不同的难题。

　　吴保元：

　　可解释是可信AI的重要组成部分，是可信的前提条件其中一个，然而相比于鲁棒性、公正性等可信特性，我觉得可解释不是独立存在的概念。就是姚老师刚才提到的，大家到底在解释啥子?其他的特性都是有自己明确的数学定义，比如鲁棒性、公正性等，然而可解释性是没有的，由于大家单独提到它的时候，背后默认的更也许是对模型准确度的可解释性。或许这也可以解释何故当前的可解释研究思路这么多，然而好像没有壹个明确的框架，我觉得最主要的缘故是它的解释对象不一样，没有办法统一到一起。

　　基于这种领会，我个人有一点小的想法，不应该把它称为可解释性，把它称为可解释力或许更准确。可解释性，大家也许误认为它是一种独立存在的性质;可解释力是一种可解释的能力，就像大家说的领会力、领导力等等，它是一种手段，一种行为，一种操作存在，需要跟别的绑在一起。我觉得以后提到它的时候，应该准确地描述它是针对啥子特性的可解释力，而不是笼统地说可解释性怎样。

　　可解释AI的价格何在?

　　朱菁：

　　大众对于人工智能体系可解释性、透明性的标准，大致有四个层次：

　　第壹个针对的是直接用户，用户需要了解人工智能产品、服务背后的原理是啥子，这是建立可信赖AI的重要基础。可解释AI，实际上支撑了可信赖AI。

　　第二个层次，对于政策和监管部门，他们希望通过解释原理来了解人工智能产品的公正性、可问责性，归因的经过是大家进一步问责、追究职责的基础。因此，可解释AI也和负职责的AI、可问责的AI是联系在一起的。

　　第三个层次就是技术工程和科学层次，大家希望了解何故某些算法能够成功，它成功背后的奥秘是啥子，它的应用范围是啥子，它能不能在更大的范围内运用这样一些算法或者是一些技术。

　　第四个是公众领会AI，如果社会大众大多数关心的话，他也能够在这方面了解相应的技术、体系大体的职业原理方法是啥子。

　　何凤翔：

　　在现在的AI体系中，其实很多算法背后运作机制是未知的，是不清楚的，这种未知带来了未知的、难以管理的风险，包括安全性、鲁棒性、隐私保护、公正性等等。

　　这些点关系到了社会运转中特别决定因素、人命关天的领域，比如医疗、自动驾驶。这会带来很大的应用方面的困难，以及社会对AI的不信赖。由于当AI算法运作机制是未知的时候，它的风险机制、风险大致、风险尺度就是未知的，大家就难以去管理风险，进而去控制风险。

　　可解释AI的挑战何在?

　　姚新：

　　原来我壹个学生跟我做了一点关于公正性的职业，跟其他的文献发现的点特别一致，就是说模型的准确性和公正性之间是相互矛盾的。性能最好的模型从公正性的角度来说，按指标来测量不见得最好，你要把模型做得都是最公正，用指标来衡量的话，它的性能就会受到损失。实际上可解释性特别类似现在有各版的可解释性指标，然而要真正思考这些指标的话，模型的性能总是会掉下来，要思考在实际经过中如何来找壹个折中的方法。

　　吴保元：

　　针对可解释性本身的不可行、不可取，这也是值得大家思索的难题。比如说大家在研究犯罪率或者说疾病的传播率、发病率等，如果大家就拿现成的统计数据，比如在不同种族、不同地域采集的数据，很有也许会得出来某些种族或者某些地域犯罪率很高，这是由于数据采集的时候就是这样的。这样一来，如果可解释给出的类似结论被公开，也许会造成种族或者地域歧视。但实际上数据背后是大家在采集的时候没有采集其他特性，比如说何故这个地域的传播率很高呢?很有也许是政府投入不足，或者说其他的影响。

　　因此这也启发大家可解释性本身它的可信性是啥子，它的准确性，它的公正性，它是否忽略了某些特征，或者夸大了某些特征，它的鲁棒性，是不是把样本变化一点，它的可解释性截然相反，这些需要大家进一步思索。

　　另外，我跟很多研究可解释的专家聊过，他们的困惑在于现在的可解释性方式是不可印证的，甚至是矛盾的，这就引出了可解释性方式本身的可信度的难题。

　　何凤翔：

　　在我看来，领会深度进修算法的运作机制，大致有学说和操作两条途径。在学说方面，当前的研究无法完全解释学说上泛化性较差的深度模型为何能在多领域取得如此的成功。这种学说和操作的矛盾，就像曾经物理学中的乌云一样，反映出来了大众对于机器进修领会的缺失，而这是现在在学说上提高算法可解释性的壹个难点。

　　而在实验角度上，很多实验学科中的行为可以作为对于机器进修研究的启发，比如说物理学、化学，以及刚才提到的医疗。比如说药物研发流程中的合格检验，要做双盲实验;在物理学、化学的研究中，对控制变量实验有严格标准。类似的机制是否能在AI研究中严格执行呢?我觉得这也许是另外一条途径。在我看来，现有的很多对于AI算法的解释是启发式的，而在决定因素领域中大家需要的是证据，这需要在学说和实验两方面做很多职业。

　　可解释AI怎样实现?

　　朱菁：

　　前面很多专家都指出对于解释有不同的目标，不同的对象，不同的标准，因此实际上关于人工智能的可解释性难题也许是属于多元性的，就是要允许有多种不同层次不同方法的解释在这里面起影响，针对不同的领域、不同的对象，运用不同解释的方法。

　　当可解释性有它的局限或者和其他的目标、标准，需要做出权衡取舍的时候，大家想也可以从多个层面来进行替代性的，或者说是补偿性、补充性的策略。比方说针对监管部门，它对于可解释性的标准，和面给公众或者专家层面的，会有所不同，因此这个可以通过若干个层次，比如说监管部门的，行业的，市场的，以及传播普及层面的，对于安全性、鲁棒性标准更高一些，或者在专家层面上有更好的沟通领会，而对于社会公众而言，这里面就需要有一些转换，同时有需要一些权威部门，有公信力的部门，给社会做一些说明和认定。

　　姚新：

　　深度神经网络可以化解特别复杂的难题，我觉得现在大家用深度网络有壹个缘故，即所针对的难题本身也许就相对复杂。这一个假设。假如这个假设是对的话，那么相应的可解释性不会特别好领会。由于需要对付这些复杂性，相应的模型就必然是要复杂。

　　因此我总觉得透明性、可解释性和性能之间是有壹个固有的矛盾，如果现在把从技术上讨论的路线，是如何找壹个折中方法，根据不同的场景、可解释的目的，找不同折中方法，这样导致有也许会出来一些相对具体的技术，或者可以促进这些技术往落地的路线走。

　　吴保元：

　　大家尝试过一些从技术上可行的方法去量化各种可信特性，然而，要实现统一量化很困难，比如说公正性和鲁棒性都有不同的量化准则和指标。当把不同的特性简单组合到一起的时候很难优化，由于它们的准则是高度不对齐的，差异特别大，这就涉及如何去对齐这些特性坐标。我认为想要找到壹个全局坐标系是特别困难的。大家可以从局部出发，针对某种场景，比如医疗场景，首先把隐私性当做前提，在金融或者自动驾驶，大家把鲁棒性当做前提，接着再去研究其他特性，或许一步一步能够找到这种坐标系。

　　可解释AI的技术现状?

　　郑冶枫：

　　总体来说，由于大家现在还缺乏特别好的学说框架，因此也许针对难题，大家创新性地想一些算法，试图进步本身这个体系的可解释性，给大家举两个例子来说明一下大家天衍实验室在这方面的寻觅。

　　深度进修也许有千亿、万亿的参数，这对于医生来说太复杂了，他很难领会这个算法的底层原理，算法本身也许缺乏壹个全局的可解释性。然而深度进修框架准确率特别高，因此大家不也许不用。而可解释性特别好的模型就是回归模型，这类模型主要的难题就是准确率太低。因此大家做了壹个寻觅，大家希望把这两个模型结合起来，它具有特别高的准确率，还有一定的可解释性，不是完全可解释性。

　　大家把这个混合模型用于疾病风险预测，就是根据病人历次的就诊记录，大家预测病人在未来6个月之内得某个重大疾病的概率，比如他得卒中的概率。病人每一次的就诊记录包含大量信息，这里面大家需要提取一些跟预测目标相关的重要信息，大家了解深度进修网络最擅长的就是自动特征进修。因此大家利用深度进修网络把一次就诊记录压缩成壹个特征的给量，接着大家利用回归模型，把病人多次就诊记录综合起来预测未来6个月之内这个病人得脑卒中的风险。

　　这里大家用的是稀疏线性回归模型，从病人几十次、上百次过去历年就诊记录里面，选取几次和预测目标最相关的就诊，选择这几例就诊，大家会给它相应的权重。因此这种稀疏线性回归模型的可解释性特别好，由于它只关注很少的变量，普通人都能很好领会它，用哪几次就诊记录，做信息加权，得出最后的风险估计。这一个全局性的可解释性，比深度进修好很多。

　　杨强：

　　大家在审视各个算法和它对应的可解释性的关联难题上，发现壹个有趣的现象，比方说在机器进修里面，深度进修就是属于效率特别高的，然而它却对应的可解释性很差。同样，线性模型没有那么高，然而它的可解释性相对强一些，树状模型也是，因果模型更是这样。因此往往大家确实得做壹个取舍，就是大家在可解释这个维度和高效率这个维度，在这个空间里面选择哪壹个点，现在并没有在两个维度都高的这样壹个算法。

　　可解释AI的行业操作

　　郑冶枫：

　　各行业对可解释性和透明性的标准不同，我结合医疗AI这个场景给大家同享一下我的体会和领会。大家了解医疗在全全球范围内都是被强监管的领域，一款医疗产品要上市必须拿到医疗器械注册证，辅助诊断算法AI产品属于三类医疗医疗，也就是监管最严格的级别，因此大家要披露的信息很多，大致包括数据集和临床算法验证两方面。前者主要强调数据集的公正多样性和广泛覆盖性，后者则重视披露大家的算法真正在临床试验中、真正临床应用的时候它的性能。

　　除了这些之后，大家的测试样本也需要有很好的多样性，覆盖不同医院，不同区域，不同病人群体、厂商、扫描参数等等。临床实验更加严格，首先大家要固化算法的代码，在临床试验期间是不能改代码的，由于你不能一边做实验一边改代码，这就失去了临床试验的意义。

　　因此医疗AI的监管是特别强的，药监局需要大家披露很多信息，进步医疗AI产品的透明性，它有特别严格甚至苛刻的书面标准。由于大家了解深度进修网络天然不具有很好的解释性，虽然你可以做一些中间增强，可以一定程度上改善这些事务，监管也可以领会这个解释性差一点，正由于解释性差，标准的透明性就越高。

　　何凤翔：

　　我觉得提供AI体系的说明书有两个途径.第壹个途径从生成AI体系的经过出发。这一点现在有一些操作，比如开源代码，说明运用了啥子数据，数据是怎样运用的、怎样预处理的。这会提高大众对AI的信赖和领会，这也像刚才郑老师提到，申请医疗相关的资质的时候，大家需要把生产细节汇报给相关机构。

　　第二种方法就是从生成的AI体系所做出的预测以及决策的指标来入手做算法的说明书。比方对AI体系做一些测评。对于刚才大家提到的指标，包括可解释性、鲁棒性、准确性、隐私保护、公正性，找到一些相对好的量化指标、找到一些评价算法，把这些指标作为AI体系的运用说明书。

　　可解释AI的未来进步

　　杨强：我期待在未来人工智能的治理，在人工智能，人和机器这种和谐共存，共同化解大家要化解难题的前提下，会越来越成熟。我是特别看好这个领域的。

　　朱菁：我期待这个领域进一步的探讨，不同领域的学者都能够参和进来。比如说像我自己做的主要是哲学，科技哲学。在科技哲学，实际上对于解释有将近一百年的积累和寻觅，这里面应该有很多可以发掘借鉴的资源，参和到目前这样壹个很有意思很有挑战性的话题里面。

　　何凤翔：

　　AI本身一个跨学科领域，它也许会用到很多数学、统计、物理、计算机等各个姿势的领域，今天提到的很多点，包括隐私保护、公正性，很多也是来源于人文学科、法律、社会学这些方面。因此这就意味着研究可信AI以及可解释性等等方面会需要各个学科领域的人合作起来一起去做的一件事务，会特别需要大家的通力合作，共同推进这个领域的进步。

　　姚新：

　　对于做研究来说，我希望将来可以有一点聚焦的讨论。我刚才讲的3W，到底大家要化解透明性、可解释性的哪一部分，对谁而言。假如对医疗而言，是对法规的制定者来说还是对医生来说，还是对病人来说，还是对这个体系的开发者来说?我觉得在这里面有特别多可以发挥自己的想象力和能力的地方。

　　吴保元：

　　希望今后的AI研究者具备综合的思索能力，不仅仅关注于某壹个特性，比如说关注准确度。希望把可信当做壹个前提条件，多种特性之间的关联，大家是值得思索的。希望AI的研究者和人文学者多多探讨，开拓视野。对于公众和政府来讲，希望通过讨论也可以了解到当前进步的现状，希望有一种包容的心态了解这个领域。

　　郑冶枫：

　　对算法人员来说，当然大家希望将来科学家们找到特别好的，具有良好可解释性，同时准确性特别高的算法，真正做到鱼和熊掌兼得。

（转载）