加入收藏 | 设为首页 | 关于我们尊敬的先生/女士,您好,欢迎光临优优99uu娱乐大厅 !
 其它论文
用神经网络“训练”谷歌翻译机器翻译实现性突破(附论文-─其它
发布时间:2016-12-22 点击: 发布:优优云注册

来自对比评估的数据,其中人类评估者对给定源句子的翻译质量进行比较评分。得分范围是0到6,其中0表示「完全没有意义的翻译」,6表示「完美的翻译」。

钛注:昨日,谷歌在上发表论文《Google`sNeuralMachineTranslationSystem:BridgingtheGapbetweenHumanandMachineTranslation》介绍谷歌的神经机器翻译系统(GNMT),当日钛作者机器就对该论文进行了摘要翻译并推荐到网站()上。今日,谷歌ResearchBlog发布文章对该研究进行了介绍,还宣布将GNMT投入到了非常困难的汉语-英语语言对的翻译生产中,引起了业内的极大的关注。

今天,我们宣布发布谷歌神经机器翻译(GNMT:GoogleNeuralMachineTranslation)系统,该系统使用了当前最先进的训练技术,能够实现到目前为止机器翻译质量的最大提升。我们的全部研究结果详情请我们的论文《Google`sNeuralMachineTranslationSystem:BridgingtheGapbetweenHumanandMachineTranslation》(见文末)[1]。

机器翻译还远未得到完全解决。GNMT仍然会做出一些人类翻永远不出做出的重大错误,例如漏词和错误翻译专有名词或罕见术语,以及将句子单独进行翻译而不考虑其段落或页面的上下文。为了给我们的用户带来更好的服务,我们还有更多的工作要做。但是,GNMT代表着一个重大的里程碑。我们希望与过去几年在这个研究方向上有所贡献的许多研究者和工程师一起庆祝它不管是来自谷歌还是更广泛的社区。

神经机器翻译(NMT:NeuralMachineTranslation)是一种用于自动翻译的端到端的学习方法,该方法有望克服传统的基于短语的翻译系统的缺点。不幸的是,众所周知NMT系统的训练和翻译推理的计算成本非常高。另外,大多数NMT系统都难以应对罕见词。这些问题阻碍了NMT在实际部署和服务中的应用,因为在实际应用中,准确度和速度都很关键。我们在本中提出了GNMT谷歌的神经机器翻译(GooglesNeuralMachineTranslation)系统来试图解决许多这些问题。我们的模型由带有8个编码器和8个解码器的深度LSTM网络组成,其使用了注意(attention)和残差连接(residualconnections)。为了提升并行性从而降低训练时间,我们的注意机制将解码器的底层连接到了编码器的顶层。为了加速最终的翻译速度,我们在推理计算过程中使用了低精度运算。为了改善对罕见词的处理,我们将词分成常见子词(sub-word)单元(词的组件)的一个有限集合,该集合既是输入也是输出。这种方法能提供「字符(character)」-delimitedmodels的灵活性和「词(word)」-delimitedmodels的有效性之间的平衡、能自然地处理罕见词的翻译、并能最终提升系统的整体准确度。我们的波束搜索技术(beamsearchtechnique)使用了一个长度规范化(length-normalization)过程,并使用了一个覆盖度惩罚(coveragepenalty),其可以激励很可能能覆盖源句子中所有的词的输出句子的生成。在WMT14英语-法语和英语-德语基准上,GNMT实现了可与当前最佳结果媲美的结果。通过在一个单独的简单句子集合的人类对比评估中,它相比于谷歌已经投入生产的基于短语的系统的翻译误差平均降低了60%。

今天除了发布这份研究论文之外,我们还宣布将GNMT投入到了一个非常困难的语言对(汉语-英语)的翻译的生产中。现在,移动版和网页版的GoogleTranslate的汉英翻译已经在100%使用GNMT机器翻译了每天大约1800万条翻译。GNMT的生产部署是使用我们公开的机器学习工具套件TensorFlow和我们的张量处理单元(TPU:TensorProcessingUnits),它们为部署这些强大的GNMT模型提供了足够的计算算力,同时也满足了GoogleTranslate产品的严格的延迟要求。汉语到英语的翻译是GoogleTranslate所支持的超过10000种语言对中的一种,在未来几个月,我们还将继续将我们的GNMT扩展到远远更多的语言对上。

我们的系统产出一个翻译案例,其输入句子采样自一个新闻网站。这个地址()可以看到更多随机采样自新闻网站和书籍的输入句子翻译样本。

来自对比评估的数据,其中人类评估者对给定源句子的翻译质量进行比较评分。得分范围是0到6,其中0表示「完全没有意义的翻译」,6表示「完美的翻译」。

使用人类评估的并排比较作为一项标准,GNMT系统得出的翻译相比于之前的基于短语的生产系统实现了极大的提升。在双语人类评估者的帮助下,我们在来自和新闻网站的样本句子上测定发现:GNMT在多个主要语言对的翻译中将翻译误差降低了55%-85%以上。

我们的系统产出一个翻译案例,其输入句子采样自一个新闻网站。这个地址()可以看到更多随机采样自新闻网站和书籍的输入句子翻译样本。

十年前,我们发布了GoogleTranslate(谷歌翻译),这项服务背后的核心算法是基于短语的机器翻译(PBMT:Phrase-BasedMachineTranslation)。自那时起,机器智能的快速发展已经给我们的语音识别和图像识别能力带来了巨大的提升,但改进机器翻译仍然是一个高难度的目标。

下面的图展示了GNMT将一个汉语句子翻译成英语句子的过程。首先,该网络将该汉语句子的词编码成一个向量列表,其中每个向量都表征了到目前为止所有被读取到的词的含义(「编码器(Encoder)」)。一旦读取完整个句子,解码器就开始工作一次生成英语句子的一个词(「解码器(Decoder)」。为了在每一步都生成翻译正确的词,解码器重点注意了与生成英语词最相关的编码的汉语向量的权重分布(「注意(Attention)」,蓝色链接的透明度表示解码器对一个被编码的词的注意程度)。

自那以后,研究者已经提出了很多改进NMT的技术,其中包括模拟外部对准模型(externalalignmentmodel)来处理罕见词[3],使用注意(attention)来对准输入词和输出词[4]以及将词分解成更小的单元以应对罕见词[5,6]。尽管有这些进步,但NMT的速度和准确度还没能达到成为GoogleTranslate这样的生产系统的要求。我们的新论文[1]描述了我们怎样克服了让NMT在非常大型的数据集上工作的许多挑战,以及我们如何打造了一个在速度和准确度上都已经足够能为谷歌的用户和服务带来更好的翻译的系统。

几年之前,我们开始使用循环神经网络(RNN:RecurrentNeuralNetworks)来直接学习一个输入序列(如一种语言的一个句子)到一个输出序列(另一种语言的同一个句子)的映射[2]。其中基于短语的机器学习(PBMT)将输入句子分解成词和短语,然后很大程度上对它们进行地翻译,而神经机器翻译(NMT)则将整个输入句子视作翻译的基本单元。这种方法的优点是:相比于之前的基于短语的翻译系统,这种方法所需的工程设计更少。当其首次被提出时,NMT在中等规模的公共基准数据集上就达到了可与基于短语的翻译系统媲美的准确度。

GoogleBrain团队和GoogleTranslate团队都参与了该项目。NikhilThorat和BigPicture也帮助了该项目的可视化工作。

用神经网络“训练”谷歌翻译机器翻译实现性突破(附论文-─其它
 
在百度搜索此文章

相关文章:

  • ─其它论文-参考文献有关
  • 用神经网络“训练”谷歌翻
  • 2016年全国硕士研究生考试
  • 工程技术方面有关研究生毕
  • ─其它论文-关于应用数学
  • ─其它论文-关于社会科学
  • ─其它论文-学术期刊类专
  • 学术年会类有关电大毕业论
  • QQ在线编辑

    服务Q Q