百度 NLP：先解决语义理解，再谈机器翻译取代人类

　　9 月 28 日，Google 在 Research Blog 中介绍其神经网络机器翻译系统(GNMT)进展，译文质量的大幅提升引发业内极大关注。据称，在双语评估者的帮助下，通过对维基百科和新闻网站的例句测定，在多个样本的翻译中谷歌神经网络机器翻译系统将错误降低了 55-85%甚至更多。

　　即便如此，网友发现其翻译效果虽有显著提升，但仍未避免将「我想下班」翻译为「I want to work」等低级错误(第二天已被修复)。

　　事实上百度的在线翻译系统，一年前就应用了基于神经网络的翻译方法(NMT)。去年百度曾在 ACL 会议上发表论文《Multi-Task Learning for Multiple Language Translation》，探讨用 NMT 技术解决多语言翻译及语料稀疏的问题。该论文得到业内研究人员的极大关注，并被 ACL2016 的 NMT Tutorial 列为研究方向。Google 和 Bengio 的研究团队都在此论文的基础上进一步扩展了研究。

　　为此，机器之心专访百度自然语言处理部技术负责人吴华、高级总监吴甜，就神经网络机器翻译系统的优缺点、如何获得高质量训练数据及百度翻译目前进展展开话题。同时也借此机会了解百度自然语言处理部及其开展的 NLP 技术研发工作。以下为采访内容整理，以飨读者。

　　NMT、SMT 的优与缺

　　机器之心：能请您先介绍一下百度 NLP 部门吗?

　　答：百度 NLP 部门在公司内部是具有较长历史的部门，从最初搜索诞生时，就已经有 NLP 方面的工作。2010年初，百度正式成立自然语言处理部。现在，这个团队人员构成非常多元，有自然语言处理、机器学习、信息检索、数据挖掘、机器翻译等多领域的专业性人才，擅长工程实践和擅长科学研究的人才都能够在团队中发挥重要作用。同时，架构开发、前端开发、客户端等软件开发和硬件开发工程师，产品设计及语言学专业人才也是团队的重要组成部分。

　　整个部门的大方向有几个。第一是为百度的众多产品提供最基础的、NLP 模型算法，包括百度所有产品都在用的分词算法、专名识别、词性分析、语义理解、篇章理解等等一些基础的一些工具。目前 NLP 部门为整个公司提供一个大型平台 NLP 云，未来这个平台也会对公司外有所开放，目前(这个平台)每天都有千亿量级的调动量。还有贴近应用的一些大型的应用系统，比如说深度问答系统。NLP 开发的深度问答系统在百度的搜索产品上，会有一些直接展示。比如在搜索引擎中提出一个问题，用户可以不需要打开网页，直观的得到答案。

　　第二大方向是语义理解，实际上从最初期开始，NLP 就一直在致力于这样的一个方向。在原来的搜索时代，会分析用户的搜索 Query 含义是什么。到今天新的产品形态产生之后，已经不仅仅是分析搜索的意图。越来越多的用户会开始尝试有上下文的、更积极的交互方式，这就需要有上下文的理解。

　　第三个方向是对话系统。对话系统就是让机器能像人一样，和用户有对话性质的交互。NLP 过去几年一直在积累相应的技术，通过对话引导让用户和机器人能一句一句的交流下去。这部分实际上已经应用在百度的度秘产品中。

　　第四个就是机器翻译。百度在机器翻译上已有 6 年的积累，每天有大量用户使用线上机器翻译产品，翻译 API 也有很多外部的企业开发者在使用。从 2014 年开始，百度尝试做基于神经网络的翻译系统，正式上线发布时间要早于 Google 一年。并且我们在发布的同时，还开发了离线版本，可以在手机上使用。

　　还有一些是更前瞻的探索。比如小度机器人。机器人能看、能写、能听，和人相比它还需要一个特别重要的能力就是思考。思考的前提，是先能听得懂语言。所以从 NLP 角度来说，更多的是希望机器人能懂语言、理解语言，然后能够跟人交流。那这款小度机器人，过去的几年也有频繁的亮相。

　　机器之心：谷歌最近发布了神经网络翻译系统，我们怎么看这个系统?

　　答：Google 发布的系统综合了 NMT(Neural Machine Translation，神经机器翻译)领域近年来的研究成果。其所使用的 Seq2Seq 翻译模型、Attention 机制、以及深层 LSTM，在此前已有 Bengio 团队等多篇论文提及，从 Google 发布的论文的参考文献中可以看到。

　　此外，Google 针对大数据和深层模型的训练，进行了诸多工程方面的优化。例如，其使用了自身研发的针对深度学习的计算机器—TPU，加速了训练和解码。

　　机器之心：那么百度是否有相关的研究?

　　答：百度在这方面的研究起步很早，成果也非常多。而且，我们的神经网络翻译系统早在 2015 年 5 月就正式上线发布了。

　　我们从 2014 年开始便尝试做基于神经网络的翻译系统，2015 年发布在线翻译系统的时，BLEU(Bilingual Evaluation Understudy)指标已经比传统的 SMT(统计机器翻译)系统高六、七个点。我们同时还开发了离线版本，可以在手机上使用，

　　当时学术界对于深度学习的翻译方法到底是否实用还有一番争论，我们很早就发现基于 Attention 机制的 Seq2Seq 深度学习模型是有用的，经过多次实验验证，在很多集合上超过了传统方法。同时，针对 NMT 本身存在的一些问题，进行了技术攻关，短短 3 个月的时间便完成了开发和上线。当大家还在讨论 Attention 机制时，我们已经结合了原有的统计方法上线。可以说，百度翻译是全球首个互联网神经网络翻译系统。