机器学习已经成为一种非常有用的翻译工具，但它也有一些弱点。翻译模式的逐字翻译趋势，可能会导致严重的错误。谷歌在其研究博客上发表了一篇有趣的文章，详细描述了这个问题的性质及其解决方案。
这个问题在雅各布·尤兹克利特的自然语言处理部门中得到了很好的解释。思考下面这两句话：
Iarrivedatthebankaftercrossingthestreet.（穿过马路，我到了银行。）
Iarrivedatthebankaftercrossingtheriver.（过了河，我到了对岸。）
显然，“银行”在每句话中都有不同的含义，但是一种算法会一刀切就很容易选错词——因为在看到句尾之前它不知道哪个“bank”是正确的。一旦你开始寻找这种模棱两可的东西，这种模棱两可就会无处不在。
至于我，我会重新改写一下这个句子（斯特伦克和怀特都说过这句话），但翻译软件当然不会在两者中做选择。如果修改神经系统，将整个句子翻译过来看看是否有什么奇怪的地方，那就会非常低效，如果句子有问题的话，需要重新试一次。
谷歌的解决方案是所谓的“注意力机制”，将它内置在一个被称为“转换器”的系统中。它将每个单词与句子中的每一个单词进行比对，以确定它们是否会以某种关键的方式相互影响——例如，看“他”或“她”是否在说话，或者“银行”这个词是否以特定的方式表达。
当要翻译的句子被构造出来时，注意力机制会将每个词与其他词相比较。这个动图显示了整个过程。嗯，有点……
如果这一切听起来很耳熟，那可能是因为你在本周早些时候读到过这篇文章：一家竞争对手的翻译公司DeepL也使用了注意力机制。该公司的联合创始人提到了这个问题，因为他们也一直在努力解决此问题，甚至还提到了谷歌博客中的那篇文章（你只需要