AI解释起来不难：读文献小感

前些天，罗振宇在跨年演讲上说：“有一种创新，叫往回走。”“简单地说，所谓的创新，就是要回到一个古老的事物，但是用全新的手段把它再做一遍。所谓的非共识，就是你初看不认识，但是后来你知道，原来是老相识。”

今天，认真看这两篇文献，感触良多。AI被认为是个“黑箱”，广受诟病，特别是医学界的人士，无法接受这个说不清道不明的工具。下面介绍的两篇文章算是“解释AI”的典范了，非常有启发性。但是，仔细琢磨，每一步操作是如此引经据典，”没有创新性“。

两篇文章的共同套路是“解构”网络，类似把房子拆分为一块块砖、一片片瓦。神经网络可以拆解为一层层，然后是一个个节点。接下来，所谓的解析，就以这些分解出的单元进行分析。

第一篇文章：Task representations in neural networks trained to perform many cognitive tasks （Guangyu Robert Yang et al. Nature neuroscience 2019, IF>19).简单来说，这个文章要说明2个问题：

1. 相似任务可以相聚。文章用数字给了依据。(clustering)

2. 一个任务的执行过程可以分解为几个基本步骤：例如感知（sense），认知（cognitive process)，动作（motor processes）。不过论文中并没有严格地将神经网络节点分为这些个步骤模块，主要在节点水平进行分析。任务之间共享部分网络节点，共享程度与任务间相似度成正比。（compositionality)

仔细回味，恍然大悟，文章的套路好熟悉。在这里，一条记录指某一个task对应的网络所有层的所有节点值（这个值是简单计算出来的task variance，需要的童鞋欢迎看原文)，放到医学统计，一条记录是excel表里某一个病人所有健康相关变量的值。那么，接下来都好理解。

1. 怎么说明任务抱团了呢？做个K-means聚类。看Fig.1a：

   

2. 怎么说明任务是可分解的呢？做个PCA（主成分分析）。

第二篇文章：Pathological Evidence Exploration in Deep Retinal Image Diagnosis（Yuhao Niu et al. AAAI-2019).

对我来说，这篇文章最好记，只要记住”科赫法则“四个字，其他的靠联想就好了。因为，文章就是按科赫法则的四步来说明一个AI工具为什么”行“。

这里解析的AI工具是将眼底图像分类为是否有糖尿病视网膜病变（DR）的一个神经网络模型。

1. 科赫法则一：患病动物有传染原，健康动物没有。类比过来，太简单，医生可以从患病的眼底图像找到病灶。

2. 科赫法则二：从患病动物可以分离出传染原。类比过来，从患病的眼底图像分离出病灶。
   

   （1）首先，将神经网络的倒数第二层节点作为输入，训练一个性能跟整个神经网络模型媲美的随机森林，留下最有用的几个节点（文章发现是6个）。那么，将一例病人的眼底图像输入模型，得到的6个值就是该病人的DR病灶最抽象的表示。这就像一个长方体，就长、宽、高3个值表示就好了，不用真的拿出一个长方体实体。

   （2）然后，像照镜子一样，将神经网络模型的头尾对调，得到一个反向的网络模型。把前面6个节点的值输入这个网络，网络的每层出现相应的响应，组合起来就是这个病人的DR病灶的病理描述符（好比DR病灶的抽象画）。有人会问，为什么不是把肉眼可识别的病灶直接分离出来呢？我觉得是因为不容易，但是作者第三步巧妙地另辟蹊径了。

   
   

   

   以下第二行第四行就是病理描述符的样子：

   

3. 科赫法则三：分离的传染原植入健康动物，导致健康动物患病。类比过来，分离出来的病理描述符可以移植给健康的眼底图像。

   这步用了最热门的GAN网络，简单来说，就是训练了一个网络，输入正常的血管图和病理描述符，会生成一张逼真的DR眼底图，其中的病灶跟这个病理描述符对应的病灶一样。这样一来，就相当于把特定病灶迁移到健康眼底图了。

   
   

   

4. 科赫法则四：第3点中患病的动物也能分离出传染原。类比过来，第3点中生成的DR图像也能分离出传染原。

   人家找了5个眼科专家，一致说，这些图像的确有病灶。故事到这就结束了。

抽象后看两个文章都好简单，但是人家能聚焦这样的问题、做出巧妙的研究设计，真的太有才了。

作为医学生，看完这两篇文章，百感交集，除了惊叹技术牛人跨医学也这么牛，还想到医学研究向来注重机制研究（解释发现的现象），积累丰富的方法经验，可以借鉴过来做出又好又透明的AI工具。

（想要原文的亲，点个赞，添加关注，私戳，收到~~）