央视AI唱作大热背后是怎样的技术？|aifa官方入口

本文摘要：公有云部署；私有化部署；离线部署多语言国际化反对：微软公司语音合成反对全球49个语言，近80个声音。

公有云部署；私有化部署；离线部署多语言国际化反对：微软公司语音合成反对全球49个语言，近80个声音。深度神经网络反对中文和英文。工业云计算平台：微软公司语音合成反对全球十几个数据中心；深度神经网络可以超过产品级的动态亲率；反对低所发。

全系列语音反对：微软公司语音可以获取整套的语音辨识，翻译成，语音合成等解决方案，可以反对智能客服，翻译成等场景。利用微软公司语音解决问题方早已落地的场景如小米9手机王源声音的自定义，ROOBO智能机器人、智能会议系统，微软公司翻译成，微软公司讲出文档等。正如李迎彤所说，应用于要瞬间控超过很多人的手机上。

低所发且巨量的网络和计算出来市场需求，背后必须强劲的云端基础设施做到反对。只不过，微软公司与央视新闻的合作，源自CCTV团队春节前在微软公司新视界技术展示中心的一次参观。用李冕的话来说，此次合作无意间中带着必定，一方面，AI技术大大经常出现重大突破。例如去年9月份，微软公司首度公布了企业级自定义语音合成平台，企业可以根据自己想的音色来微软公司的平台上自定义声音。

去年12月份，微软公司在语音方面更进一步构建根本性的技术突破，即深度神经网络语音合成技术，一下子让原本的语音合成领域，很多无法做的都可以构建了。明确而言，大自然度方面可以更为像人类，语气、情感方面也获得相当大的提高。

另一方面，在行业“转型”的大环境下，传统媒体相反新媒体融合发展。传统企业也必须与新兴技术、新兴产业融合，顺应时代的潮流，接续未来的拒绝。只不过，无论是小米9王源自定义版声音、央视主持人康辉自定义版声音，还是去年微软公司小冰进驻小米智能音箱、华为手机，皆反映了微软公司的全方位AI能力。

未来无论是视觉、听力，还是语音，在制造业、零售、媒体、教育、医疗、金融等诸多领域不会都有非常普遍的应用于场景。尤其是，此次与央视新闻合作的融媒体产品，是来自微软公司基础研究的自然语言部门，以及语音产品部门、智能云产品部门和市场部门的能人们跨部门构成项目组，在将近一个月的时间内与央视深度合作，构建了将用户输出图片以Rap的方式唱出来的即时体验，融合了多项微软公司的AI和云服务。（(公众号：)录：微软公司亚洲研究院自然语言计算出来组资深研究员韦福如）从幕后回头到台前，很多“Highlight”发问：微软公司与央视新闻合作，背后具有怎样的考量？李冕：最初当央视明确提出来合作市场需求的时候，我们考虑过几个方向。

首先一定是用户体验要好。其次，尽管时间凸，但是当时我们想要，微软公司在AI的各个方面都有相当多的技术累积，可以说道是全栈式的，那么我们把步子就努得更大一些。

只不过这个项目里中用了很多的有所不同AI技术，如图像识别、自然语言处置、语音辨识、语音合成等，以及微软公司智能云的能力。所以，最后我们要求在春节这个类似的时间节点，和CCTV一起发售来给广大的用户、网民们一个较为冷笑话和寒冷的产品体验。同时，对于微软公司内部而言也是阅兵AI和云各部门较慢协同和落地能力的机会，所以当时我们就去做到了这个项目。

发问：整个合作过程有哪些难题？韦福如：从自然语言方面来讲，用户对歌词的拒绝是什么，有一些有所不同的地方。因为歌词讲究更加相似生活，朗朗上口。输出部分，要从图片里取得尽量多的信息。如最基本的要告诉图片中是什么环境，有什么物体，是不是人，有几个人，大约年龄等等。

还有一些更加精细的内容，比如，人的性别，表情如何，颜色背景等等……我们必须把这些图像处理的结果同构到歌词分解中用的关键词，然后再行用基于深度自学的歌词创作模型一句一句分解整首歌词。但事实上，图片辨识的一般结果从数量和类别上都很难符合歌曲作词所必须的想象力拒绝，这就必须我们把这些信息再行处置到更加精细的关键词上去，然后从这些关键词再行分解歌词。一般歌词有十来句，甚至一二十句，所以必须做到更加多的处置。

同时，还必须基于很多数据。数据方面大家很更容易想起的是歌词，我们捕捉了很多歌词。用户从分解的歌词中应当感受到了中国传统文化的气息，这其中我们用于了宋词去训练模型。

另外一个难题，大家熟知的歌词或者宋词，整体上有可能感物思人、伤春悲秋的较为多。但是春节期间，我们期望大家都开开心心。所以在这方面我们也在算法上做到了调整。

比如我们不会尽量让算法分解大力一些的句子，另外还包括有一些多音字，也不会做到适当处置。所以从技术上来讲，一个是长年的累积，还包括技术和文化；第二个是针对这样类似的应用于，做到一些细节上的适应环境调整。当然，人类的建构能力是很强的，机器的优势则更加多展现出在记忆。

比如韵律，一般人不过于更容易掌控，但是对于机器和算法来说，则很更容易做。基础研究上还有很多很长的路要回头，AI在建构内容方面的能力还是受限的。

发问：不管TTS（Text to Speech）也好，还是图象识别也好，遇上的仅次于艰难是什么，怎样解决问题的？韦福如：较为无以的是，通过图像输入得出歌词还是过于抽象化了。比如，它只告诉里面有人脸，只告诉里面有人，或者只告诉里面有几个人。这种情况下，去写出歌词十分无以，所以我们必须把这些信息处理到更加精细的关键词上去，然后从这些关键词再行分解歌词。歌词有十来句，甚至一二十句，实质上要做到更加多的处置。

李冕：我们的场景有点看起来小学语文考试里面的看图作文，给你一张图。当然我们这个是彩色图，那个是一张图或者是两张图，然后让你说是一个作文来。我们做到的类似于看图做到诗，整条链路下来，中间的坑点只不过是一挺多的。

发问：可以重点讲解一下微软公司在读者解读方面的优势吗？韦福如： SQuAD机器读者解读数据集，最近两年尤其火。在工业界和研究领域都获得了普遍的注目。2018年1月，微软公司亚洲研究院递交的模型在EM值上以82.650的最高分首度打破人类分数82.304。

9月份，我们的模型在EM值和F1值两个维度上，以85.954和91.677的分数首次全面打破人类在SQuAD数据集上的展现出。2019年1月，基于BERT研发的近期系统又在SQuAD2.0和交互式、多轮读者解读数据集CoQA上持续领先。发问：人工智能的“表达方式”，却是不同于人类。

人类具备感情、思维，在说出的过程中兼备情感的传达，同时也是一个自然人性格、个性的最重要反映方式。情感的传达反映在算法上，是怎样一个过程？微软公司TTS在机器情感输入方面有何观点？刘越颖：机器的情感主要由两方面要求：数据和算法。微软公司TTS（Text to Speech）在数据采集时，与以往有所不同，更加侧重情感和意思的传达。同时，基于深度神经网络TTS的算法具备更加强劲的自学能力，可以更佳的还原成情感，具备更高的大自然度。

最后，我们重新加入了多情感和多风格的声学建模，并在制备中展开准确掌控。发问：中文传达与英文等不存在语种差异。

对于人类而言，换气、中断、同音字、断句的辨别，是很更容易的过程，对于NLP就较为无以。直说，微软公司在“仿照人类”语言的细节处置方面有什么经验以及进展？刘越颖：微软公司在语音方面早已做到了很多年。还包括从最开始的参数制备、单元拼凑，到这次的深度神经网络的语音合成，都是一步步累积下来的。

此次的深度神经网络，跟原本不一样。传统的作法可以解读为每个音都分开有所不同的单元，通过较为大量的音节单元的累积，就可以把有所不同的音节单元拼凑一起，组合而成一句话，但那种制备是较为机械，拼凑过程中不圆顺的地方就不会有机器感觉，或者是不过于大自然的地方。但是深度神经网络语音合成，是一个末端到端的语音合成系统，包括末端到端的声学和韵律建模，以及声音制备模型。

可以解决传统语音合成系统的局限性，优化口语和唱歌中的重音，语调和节奏，大幅度提高了语音合成的表现力，具备更加大自然的韵律和更加非常丰富的情感。中文传达主要牵涉到停连、重音、语气、节奏，以及对内容的解读。微软公司深度神经网络TTS可以细致地还原成人类的换气声音，使得语音合成更加具备人类的特征。对于断句、中断、多音字，微软公司针对有所不同语言要素，展开有针对性的建模，然后利用末端到端的声学建模，从现实语音中学到最必要的表达方式。

发问：除了语音技术，还中用其它哪方面的能力？韦福如：我们不会用很多有所不同的图像识别技术，有数十万个标签和一百多个类。有几张人脸时，能告诉这个人是快乐的，还是正处于怎样的状态。以及图像中人物的性别，我们必须拿这些信息去创作歌词。获得图像识别信息之后，首先要把这些信息，大约归类到一些歌词的关键词上。

第二步是再行把歌词一句一句分解出来，这个时候就用到序列对序列的分解模型。发问：此次合作中，不存在的商业潜力是什么？刘越颖：现在是多元化、个性化的时代，每个产品或者是公司都期望有一个自己的形象。

这个形象某种程度是可以基于图像层面的，也可以是基于声音的。未来声音自定义不会是一个趋势。

每个企业、设备、个人都会有一个独有的人工智能自定义声音，让语音带入生活的更好角落。此外，深度神经网络可以减少训练所需的录音数据数量，这样就不会让声音自定义更为沦为有可能，这是一个很好的合作点。

发问：此次合作，微软公司在云计算方面有哪些部署？李迎彤：从云计算的角度来讲，就像日常工作生活中中用的电，大家都用电，但是并会去尤其注意它的不存在。我们发展云计算也是一样，要为大家获取最差的性能，最差的体验。

目前，微软公司在中国有大量云计算的基础设施投放，这次我们就运用了云平台数据库和网络服务。微软公司目前在中国设有四个数据中心分别坐落于北京、上海。

通过云端网络技术，对有所不同地域的催促展开较慢号召。另外，我们覆盖面积全中国的内容发给网络，可以确保用户在体验的过程中，会受到网络带宽的影响。《你的生活，AI为你演唱不作》在央视平台的发售，是面向全国范围甚至更加甚广的用户。

所以我们要确保这些受众都需要有一个好的、较慢、高效的体验。这一定是因为我们在基础设施上做到了大量的投放，才能做这样的确保。

李冕：我们做到了很多CDN的加快，我们的机房离主要的节点都很将近，总体的速度还是迅速的。从上载的速度，还包括所发的号召上，在后台看CPU冲刺的数字，我们实在还是十分放心的。（录：微软公司亚洲互联网工程院语音组产品经理刘越颖）走到青铜、白银，步入“黄金时代”比尔·盖茨曾说道过，“语言解读是人工智能皇冠上的明珠”。

NLP的历史完全与计算机和人工智能AI的历史一样宽。换句话说，计算机问世那一刻，人工智能AI也应运而生。人工智能AI研究最先的领域就是机器翻译以及自然语言解读。微软公司亚洲研究院自1998年创立以来，就给与NLP充足的推崇。

微软公司亚洲研究院官方数据表明，累计2018年11月，总计公开发表100余篇ACL大会文章，出版发行《机器翻译》和《智能解说》两部著作，培育了500名实习生、20名博士和20名博士后。微软公司研发的NLP技术，还包括输入法、分词、句法/语义分析、文摘、情感分析、解说、横跨语言检索、机器翻译、科学知识图谱、聊天机器人、用户画像和引荐等，早已普遍应用于Windows、Office、Bing、微软公司理解服务、小冰、小娜等微软公司产品中。与创意技术人组不作研发的微软公司对联和合于词典，也早已为成千上万的用户获取服务。

21年的时间里，无论是微软公司亚洲研究院，还是AI行业。走到荒凉、肥沃的土地，渐渐步入艰辛耕种后的种种“进账”。那么，对于现在抑或将来，微软公司TTS正在做到着哪些希望？发问：微软公司近期在TTS领域有什么新的论文或者新的突破，可以讲解一下，突破点以及对行业的影响？团队总结：2018年12月，微软公司语音在微软公司Azure云上公布了创新性技术突破——末端到端的深度神经网络语音模型，将语音合成带进一个高保真的新阶段（参照英文版blog）。

深度神经网络语音合成技术让语音合成的的质量以及语音模型的制作又上了一个新的台阶。我们可以感受到语音更加大自然；训练模型必须的数据量更加较少；反对语音模型也较慢扩展到多种说出的风格。

微软公司语音合成技术早已在世界顶级期刊和会议公开发表了多篇论文。LEARNING LATENT REPRESENTATIONS FOR STYLE CONTROL AND TRANSFER IN END-TO-END SPEECH SYNTHESIS, https://arxiv.org/pdf/1812.04342.pdf, accepted by ICASSP2019.Neural Speech Synthesis with Transformer Network,https://arxiv.org/pdf/1809.08895.pdf, accepted by AAAI 2019.A New Glottal Neural Vocoder for Speech Synthesis, https://www.isca-speech.org/archive/Interspeech_2018/abstracts/1757.html, published in INTERSPEECH2018.发问：AI语音和自然语言处置否不存在技术、产品周期长、落地较为无以的情况，从实际的落地情况来看，微软公司在这方面有什么进展？未来有哪些希望的方向？韦福如：我自己不实在NLP技术落地有多么无以，实质上大家每天都在用，比如说搜寻、输入法和翻译成，都会中用大自然语音处置的技术。当然，全然靠自然语言处置的技术驱动的面向大规模用户的应用于和服务，目前还不是尤其成熟期，这个主要还是有市场需求和场景，要能解决问题用户的实际问题。

反过来看，现在机会在NLP，不管就是指研究上还是外部的市场机会。还包括很多VC也在注目。从研究上来讲，2018年大家说道是NLP之年，就是自然语言处置之年。

早已有很好的一些进展，比如谷歌的BERT这样的预训练模型灵感了新的研究课题，让标准化语言解读沦为有可能且有一点了解探寻和重点投放的研究方向。目前，在自然语言解读的任务上，实训练模型很好地减轻了标示数据较少和横跨领域的问题，而这正是实际应用于中遇上的实际问题。

落地的机会也很多，在标准化的解读之后，需要较为较慢地去兼容到一些特定的领域。然后在标示数量较为较少的情况下，也可以做不俗的结果，这都是在实际中遇上的问题。我指出接下来NLP不管是研究上，落地上，还是从市场上都应当是有十分多机会的。

刘越颖：传统的AI语音合成技术不存在产品周期长的问题。因为声音收集的数量大，时间幸，成本高。经过微软公司语音团队多年来的研究和技术改版，目前早已首度构建了平台化、产品化的语音合成服务。

首先，深度神经网络模型可以大大降低声音收集的数量和成本，并且在大自然度和保真度上很好的还原成人声。同时，微软公司获取了平台简化的自定义语音服务，用户可以自定义语音合成数据和模型，让开发周期更加较短，合适更好的个性化应用于场景。所以，未来人工智能语音不会有更加多的落地场景，也为用户带给更加非常丰富的体验。

目前，微软公司语音产品早已被应用于微软公司的各类人工智能产品和平台上，还包括了微软公司小冰，微软公司小娜（Cortana)，Windows，Skype，理解服务（Cognitive Service），微软公司翻译成等。此外，微软公司语音产品也大力与第三方企业在更好场景上合作，还包括智能助理、智能客服、智能汽车、智能朗诵等领域。

除了这次CCTV的项目外，微软公司语音和小米手机合作，在近期的小米旗舰机Mi9的手机内，自定义了王源的明星声音。通过语音的桥梁，加深了粉丝与爱豆的距离。未来声音自定义不会是一个趋势。

每个企业，设备，个人都会有一个独有的人工智能自定义声音，让语音带入生活的更好角落。发问：未来AI方向有哪些机会？李冕：我实在AI的方向有三个机会。一个是，注入式AI，就是把AI技术带入到现有的产品和服务里。第二个，有相当大机会的是科学知识挖出，例如搜索引擎可以看做是基于全网数据的标准化知识库的挖出，早已比较成熟期。

但在专业知识库，比如现在大多数企业内部，有很多数据孤岛没切断。所以我们指出自然语言处置现在有需要落地的点。第三个，是获取机器学习的工具和平台之上的高价值产品和服务。

比如，几个人扣个小团队，也能作出人脸识别的产品。但并没多少公司能获取AI落地到生产场景之后对业务的更进一步号召。例如，高铁的闸机必须7×24小时要号召数据，这部分也可以叫作AI数据推理小说，应当是AI技术供应商能获取的电子货币服务，这样才能协助各个传统行业的企业客户需要确实将AI落地，并充分发挥更大的价值。

原创文章，予以许可禁令刊登。下文闻刊登须知。

本文来源：aifa官方入口-www.wbbdga.com