旷视科学家详解AlphaGo Zero的伟大与局限

　　10 月19 日凌晨，DeepMind 在《Nature》发布最新论文，AlphaGo 最强最新的版本AlphaGo Zero 使用纯强化学习，3 天训练后就以100 比0 击败了上一版本的AlphaGo，21 天达到AlphaGo Master 水平。AlphaGo Zero 的胜利引起了业内和网友们的广泛关注，但是机器已经真的进化到可以自我学习了吗?日前，专注报道AI的量子位对旷视科技Face++首席科学家孙剑博士做了专访，详尽解读了AlphaGo Zero的技术创新和应用局限。

　　“人类太多余了。”——面对无师自通碾压一切前辈的AlphaGo Zero，柯洁说出了这样一句话。

　　如果你无法理解柯洁的绝望，请先跟着量子位回顾上一集：

　　今年5月，20岁生日还未到的世界围棋第一人柯洁，在乌镇0:3败给了DeepMind的人工智能程序AlphaGo，当时的版本叫做Master，就是今年年初在网上60:0挑落中日韩高手的那个神秘AI。

　　AlphaGo Zero骤然出现，可以说是在柯洁快要被人类对手和迷妹们治愈的伤口上，撒了一大把胡椒粉。

　　被震动的不止柯洁，在DeepMind的Nature论文公布之后，悲观、甚至恐慌的情绪，在大众之间蔓延着，甚至有媒体一本正经地探讨“未来是终结者还是黑客帝国”。

　　于是，不少认真读了论文的人工智能“圈内人”纷纷站出来，为这次技术进展“去魅”。

　　AlphaGo Zero无师自通？

　　首当其冲的问题就是：在AlphaGo Zero下棋的过程中，人类知识和经验真的一点用都没有吗?

　　在这一版本的AlphaGo中，虽说人类的知识和经验没多大作用，但也不至于“多余”。

　　在Zero下棋的过程中，并没有从人类的对局经验和数据中进行学习，但这个算法依然需要人类向它灌输围棋的规则：哪些地方可以落子、怎样才算获胜等等。

　　剩下的，就由AI自己来搞定了。

　　对于这个话题，鲜有人比旷视科技首席科学家孙剑更有发言权了，因为AlphaGo Zero里面最核心使用的技术ResNet，正是孙剑在微软亚洲研究院时期的发明。

　　△ 旷视科技Face++首席科学家孙剑博士

　　孙剑也在接受量子位等媒体采访的过程中，对AlphaGo Zero的“无师自通”作出了评价，他认为这个说法“对，也不对”，并且表示“伟大与局限并存”。

　　究竟对不对，还是取决于怎样定义无师自通，从哪个角度来看。

　　和之前三版AlphaGo相比，这一版去掉了人类教授棋谱的过程，在训练过程最开始的时候，AI落子完全是随机的，AlphaGo团队的负责人David Silver透露，它一开始甚至会把开局第一手下在1-1。在和自己对弈的过程中，算法才逐渐掌握了胜利的秘诀。

　　从这个角度来看，Zero的确可以说是第一次做到了无师自通，也正是出于这个原因，DeepMind这篇Nature论文才能引起这么多圈内人关注。

　　但要说它是“无监督学习”，就有点“不对”。孙剑说：“如果仔细看这个系统，它还是有监督的。”它的监督不是来自棋谱，而是围棋规则所决定的最后谁输谁赢这个信号。

　　“从这个意义上说，它不是百分之百绝对的无师自通，而是通过这个规则所带来的监督信号，它是一种非常弱监督的增强学习，它不是完全的无师自通。”

　　孙剑还进一步强调：“但是同时这种无师自通在很多AI落地上也存在一些局限，因为严格意义上讲，围棋规则和判定棋局输赢也是一种监督信号，所以有人说人类无用、或者说机器可以自己产生认知，都是对AlphaGo Zero错误理解。”

　　离全面碾压人类有多远？

　　Zero发布之后，媒体关切地询问“这个算法以后会用在哪些其他领域”，网友认真地担心“这个AI会不会在各个领域全面碾压人类”。

　　对于Zero算法的未来发展，DeepMind联合创始人哈萨比斯介绍说，AlphaGo团队的成员都已经转移到其他团队中，正在尝试将这项技术用到其他领域，“最终，我们想用这样的算法突破，来解决真实世界中各种各样紧迫的问题。”

　　DeepMind期待Zero解决的，是“其他结构性问题”，他们在博客中特别列举出几项：蛋白质折叠、降低能耗、寻找革命性的新材料。

　　哈萨比斯说AlphaGo可以看做一个在复杂数据中进行搜索的机器，除了博客中提到几项，新药发现、量子化学、粒子物理学也是AlphaGo可能大展拳脚的领域。

　　不过，究竟哪些领域可以扩展、哪些领域不行呢?

　　孙剑说要解释AlphaGo算法能扩展到哪些领域，需要先了解它现在所解决的问题——围棋——具有哪些特性。

　　首先，它没有噪声，是能够完美重现的算法;

　　其次，围棋中的信息是完全可观测的，不像在麻将、扑克里，对手的信息观测不到;

　　最后也是最重要的一点，是围棋对局可以用计算机迅速模拟，很快地输出输赢信号。

　　基于对围棋这个领域特性的理解，提到用AlphaGo算法来发现新药，孙剑是持怀疑态度的。

　　他说，发现新药和下围棋之间有一个非常显著的区别，就是“输赢信号”能不能很快输出：“新药品很多内部的结构需要通过搜索，搜索完以后制成药，再到真正怎么去检验这个药有效，这个闭环非常代价昂贵，非常慢，你很难像下围棋这么简单做出来。”

　　不过，如果找到快速验证新药是否有效的方法，这项技术就能很好地用在新药开发上了。而用AlphaGo算法用来帮数据中心节能，孙剑就认为非常说得通，因为它和围棋的特性很一致，能快速输出结果反馈，也就是AlphaGo算法依赖的弱监督信号。

　　当然，从AlphaGo算法的这些限制，我们也不难推想，它在某些小领域内可以做得非常好，但其实并没有“全面碾压人类”的潜力。

　　去魅归去魅，对于AlphaGo Zero的算法，科研人员纷纷赞不绝口。

　　大道至简的算法

　　在评价Zero的算法时，创新工场AI工程院副院长王咏刚用了“大道至简”四个字。

　　简单，是不少人工智能“圈内人”读完论文后对Zero的评价。刚刚宣布将要跳槽伯克利的前微软亚洲研究院首席研究员马毅教授就发微博评论说，这篇论文“没有提出任何新的方法和模型”，但是彻底地实现了一个简单有效的想法。

　　为什么“简单”这件事如此被学术圈津津乐道?孙剑的解释是“我们做研究追求极简，去除复杂”，而Zero的算法基本就是在前代基础上从各方面去简化。

　　他说，这种简化，一方面体现在把原来的策略网络和价值网络合并成一个网络，简化了搜索过程;另一方面体现在用深度残差网络(ResNet)来对输入进行简化，以前需要人工设计棋盘的输入，体现“这个子下过几次、周围有几个黑子几个白子”这样的信息，而现在是“把黑白子二值的图直接送进来，相当于可以理解成对着棋盘拍照片，把照片送给神经网络，让神经网络看着棋盘照片做决策”。孙剑认为，拟合搜索和ResNet，正是Zero算法中的两个核心技术。

　　其中拟合搜索所解决的问题，主要是定制化，它可以对棋盘上的每一次落子都进行量化，比如会对最终获胜几率做多大贡献，但是这其实并不是近期才产生的一种理论，而是在很早之前就存在的一种基础算法理论。

　　而另一核心技术是最深可达80层的ResNet。总的来说，神经网络越深，函数映射能力就越强、越有效率，越有可能有效预测一个复杂的映射。

　　下围棋时要用到的，就是一个非常复杂的映射，神经网络需要输出每个可能位置落子时赢的概率，也就是最高要输出一个361维的向量。这是一个非常复杂的输出，需要很深的网络来解决。

　　人类棋手下棋，落子很多时候靠直觉，而这背后实际上有一个非常复杂的函数，Zero就用深层ResNet，拟合出了这样的函数。

　　ResNet特点就是利用残差学习，让非常深的网络可以很好地学习，2015年，孙剑带领的团队就用ResNet把深度神经网络的层数从十几二十层，推到了152层。

　　也正是凭借这样的创新，孙剑团队拿下了ImageNet和MSCOCO图像识别大赛各项目的冠军。到2016年，他们又推出了第一个上千层的网络，获得了CVPR最佳论文奖。

　　而令孙剑更加意料之外的是，ResNet还被AlphaGo团队看中，成为AlphaGo Zero算法中的核心组件之一。

　　这位旷视科技Face++首席科学家表示很开心为推动整个AI进步“做了一点微小的贡献”，同时也很钦佩DeepMind团队追求极致的精神。孙剑还说，在旷视研究院的工作中，还会不断分享、开放研究成果，更注重技术在产业中的实用性，进一步推动整个AI产业的进步。