谷歌Transformer解决了机器翻译中的一个难题

  新浪科技讯 北京时间9月1日上午消息,机器学习已经成为一种非常有用的翻译工具,但它还存在一些弱点,翻译模式倾向于逐词翻译是其中之一,可导致严重错误。谷歌在iResearch博客上发表了一篇有趣的帖子,详细说明了这个问题的性质以及解决方案。

  该公司自然语言处理部门雅克布·乌兹考瑞特(Jakob Uszkoreit)给出了很好的解释。请思考以下两个句子:

  我过了马路就到了银行(bank)。

  我过了河就到了岸边(bank)。

  显然,每句话中的“bank”指代不同的东西,但是,逐字翻译的算法可能很可能挑选错误的含义——因为它不知道哪一个“bank”是正确的,除非它能看到句子结尾。你稍加留意就能发现,这种歧义随处可见。

  我会改写句子,当然,翻译系统不会选择这样走。如果为了这种简单的句子而修改神经网络,那将是非常低效的。

  谷歌的解决方案是所谓的关注机制(attention mechanism),也就是说在翻译软件中内置一个名为“变压器”(Transformaer)的系统。它将句子中的单词逐一进行比较,以确定它们之间是否以某种关键方式相互影响——例如,看“他”或“她”是否在说话,或者像“银行”这样的词是否以特定的方式表示。

  当翻译句子被构建时,关注机制将每个词与其他词进行比较,就像下面GIF所演示的那样。

  如果这一切听起来很熟悉,那可能是因为本周早些时候你读过一篇报道:谷歌翻译的竞争对手DeepL也在使用一种关注机制。该公司的联合创始人提到了这个问题,他们正在为此而努力工作,他甚至提到那篇报道谷歌的文章,但显而易见,他们的产品与谷歌有所区别,非常有效,甚至好于后者的版本。

  有趣的是,谷歌的方法让人们有机会看到系统的运作原理,因为Transformer给每个词提供一个与其他单词相关程度的得分,你可以看到它认为是相关的词,或者潜在的相关词:

  很酷,对吧?嗯,我想是的。但也存在另一种类型的歧义,因为在英文里,“它”可以指代街道或动物,必须看到最后一个字才能确定bank的含义。人脑可以自动计算和分辨,但机器仍然必须有人教。(斯眉) 

0 条回复

发表评论

发表评论

邮箱地址不会被公开。 必填项已用*标注