同丰5MM-25MM穿线不锈钢软管和包塑金属软管

同丰5MM-25MM穿线不锈钢软管和包塑金属软管

金属软管|不锈钢软管|不锈钢金属软管|包塑金属软管|花洒软管|卫浴软管|淋浴软管|花洒不锈钢软管|自1989年以来,我们一直专注于制造家用花洒软管和工业穿线用软管我们的软管,包括单扣不锈钢软管,双扣不锈钢软管和厨卫软管。我们的生产设施是完全自动化的软管机械(德国制造),我们有完整的质量保证计划,并通过ISO 9001和NSF61认证。我们一直在不断寻求新的应用和灵活创新的软管产品进行研究和开发。目前我们主要有两类产品:家用卫浴软管,工业和特殊用途的穿线软管以满足客户的要求。
详细同丰金属软管
自1989年以来,我们一直专注于制造家用花洒软管和工业穿线用软管我们的软管,包括单扣不锈钢软管,双扣不锈钢软管和厨卫软管。我们的生产设施是完全自动化的软管机械(德国制造),我们有完整的质量保证计划,并通过ISO 9001
公告
同丰软管为你提供花洒软管|卫浴软管|淋浴软管|金属软管|不锈钢软管|不锈钢金属软管|花洒不锈钢软管|最新市场价格_行情_报价_产品品牌_规格_型号_尺寸_标准_使用方法_说明等实用商机信息,如需了解更多信息,请联系我们获取更多商机!
更多 申请加入成员列表
管理员
bxgrg
员工
更多企业新闻平特王高手心水论坛

攻下号称最难的WMT2019中英翻译任务!百度机器翻译团队登顶

作者:shonly   发布于 2019-08-14  

  采用BackTranslation技术利用英语单语数据提升模型的翻译质量

  主流的神经网络翻译模型是Transformer,根据模型参数的大小可以分成baseTransformer和bigTransformer。其中,bigTransformer具有更多的参数和更好的翻译效果。在本次比赛中,我们基于Transformer模型,创新性地提出了三种改进的模型,显著提升了翻译质量,成为比赛决胜的关键点之一。此次改进的模型包括:Pre-trainedTransformer:在大规模单语语料上训练语言模型

  并以此作为翻译模型的编码器。DeeperTransformer:加深编码器的层数

  提取更多维度特征。BiggerTransformer:增大前向网络的隐藏节点

  在大规模语料上训练的语言模型,对其下游任务有很显著的提升。我们在中文数据上训练出一个24层的Transformer语言模型,采用自编码的训练方法,即随机将句子中的词变为masked标签,并经过24层的Transformer进行编码,最后预测masked位置的实际的词。以预训练的语言模型作为翻译模型的编码器,在中英双语数据上继续训练翻译模型。在使用双语数据训练阶段,预训练语言模型(编码器)的参数在前10000步保持不变,只更新解码器的参数,之后编码器和解码器都会更新参数。Pre-trainedTransformer相比标准的bigTransformer拥有更深的encoder

  从6层扩展到24层),并且经过在超大规模的中文单语数据上预训练,可以对源语言(中文)句子提取更多的有效特征,从而有效的提高模型的翻译质量。从自动评价指标BLEU上看,Pre-trainedTransformer相比bigTransformer,显著提升了1个百分点。DeeperTransformer

  但是对于翻译模型的训练而言,仅加深编码器的层数,通常会遇到梯度消失的问题,导致模型无法正常收敛。我们提出DeeperTransformer,在更深的编码器中,通过增加残差连接,即前面所有层都作为下一层的输入,避免了梯度消失,实现了端到端的翻译训练。标准的baseTransformer和bigTransformer模型,编码器和解码器都是6层的。而对于采用deeperTransformer的模型,baseTransformer的编码器可以扩展到30层,bigTransformer的编码器可以扩展到15层。DeeperTransformer相比标准的bigTransformer性能提升较少

  但是在模型集成阶段,加入DeeperTransformer可以显著提升整个系统的翻译质量,在本文后面的模型集成部分会有更详细的介绍。BiggerTransformer

  我们提出了BiggerTransformer,在宽度的维度上增强模型。探索了增大前向网络节点和隐藏层节点对翻译质量的影响,发现增大前向网络节点可以显著提升翻译质量。BiggerTransformer的前向网络节点数是15000,而标准的bigTransformer的前向网络节点数是4096。但是,更多的参数更容易在训练过程中出现过拟合问题。通过增大dropout的比率和labelsmoothing的参数避免了过拟合。相比bigTransformer,BiggerTransformer提升了0.8BLEU。三

  采用联合训练方法增强backtranslation生成的译文,构造更高质量的“伪”双语数据。首先使用中英双语数据分别训练中英和英中翻译模型,中英模型将中文单语数据翻译成英文,英中模型将英文单语数据翻译成中文。中英模型在英中模型产生的“伪”的双语数据上继续训练,英中模型在中英模型生成的“伪”的双语数据上继续训练,中英和英中模型的性能都得到提升。在下一轮中,翻译效果更好的中英、英中模型可以生成质量更高的伪数据,用来进一步提升翻译模型。对于双语数据的目标端

  英文),通过英-中翻译模型生成源端(中文)译文,将“生成”的中文和“真实”的英文作为增强的数据混入双语数据共同训练中英模型。

  中文),采用知识蒸馏的方法,以R2L翻译模型(从右到左的翻译顺序)和异构模型(不同结构的模型)作为“Teacher”,生成目标端(英文)译文,再将“真实”的中文和“生成”的英文作为增强数据,指导模型学习更多的知识。R2L翻译模型作为“Teacher”,由于翻译模型解码的特性,生成的英文译文的后部分翻译的通常比前部分更好,通过知识蒸馏方法可以让翻译模型(L2R)学习到更多的句子后部信息。不同结构的翻译模型具有不同的翻译特性,例如,DeeperTransformer和BiggerTransformer可以作为Pre-trainedTransformer的“Teacher”,指导Pre-trainedTransformer学习DeeperTransformer和BiggerTransformer的特性。如下图所示,D’表示模型生成的双语句对,人车都在浙江却在包头违了章?车多个不同的D’组合作为模型的训练语料。

  不仅可以增强模型的鲁棒性,还指导模型学习其他模型特有的知识,从而进一步提升翻译效果。四

  我们使用不同的模型,在不同的数据上采用不同的策略训练出上百个翻译模型,以探索不同的模型集成对翻译质量的影响。经过大量的实验发现,相同结构的模型进行集成,即使性能都很强,但是集成的翻译效果收益较小;而集成不同结构的模型,翻译的效果得到了非常显著的提升,相比最强的单系统提升了1.4BLEU。五

  通过k-bestMIRA算法学习各个特征的权重,从而对候选译文进一步排序,选择最好的译文。设计了4种特征,可以有效的提高翻译质量:1.翻译模型特征

  相比于基线个百分点的大幅提升。作为国内最早的互联网机器翻译系统之一,百度翻译在技术和产品上一直处于业界领先。早在2015年,百度翻译就发布了全球首个神经网络翻译系统,并于同年获得国家科技进步二等奖。通过不断的技术创新,翻译质量保持业界领先。六合网址总论坛做了不少体现社会责任和公益的事。。在刚刚过去的百度开发者大会上,发布了业界首个端到端的同传翻译小程序,为用户提供沉浸式同传体验。随着技术的不断进步与发展,机器翻译将在跨越语言鸿沟中发挥越来越大的作用。百度自然语言处理(NaturalLanguageProcessing

  NLP)以『理解语言,拥有智能,改变世界』为使命,研发自然语言处理核心技术,打造领先的技术平台和创新产品,服务全球用户,让复杂的世界更简单。