6月6日下午，全球人工智能技術(shù)大會期間，聚焦全球化多語種需求，著眼于語言互通在一帶一路戰(zhàn)略中的基礎(chǔ)性作用，在多語種智能信息處理專題論壇上，科大訊飛研究院執(zhí)行院長劉聰發(fā)表《用系統(tǒng)性創(chuàng)新破局多語種智能語音語言技術(shù)難題》主題演講。

　　用系統(tǒng)性創(chuàng)新破局多語種技術(shù)難題

　　當(dāng)前，語音已成為萬物互聯(lián)時代人機(jī)交互的關(guān)鍵入口，語音輸入、語音搜索、語音交互等技術(shù)已經(jīng)成為手機(jī)、車載、玩具等智能產(chǎn)品的標(biāo)配。另一方面，一帶一路國家戰(zhàn)略的建設(shè)依賴語言互通，多語種翻譯技術(shù)價值凸顯。此外，多語種語音語言技術(shù)也涉及國家信息安全等重大方向，成為世界各國競相布局的關(guān)鍵技術(shù)方向。

　　因此，無論從社會剛需，還是國家戰(zhàn)略、信息安全等方面考慮，布局多語種語音語言技術(shù)都顯得尤為重要。

　　劉聰表示，未來十年，我們將圍繞語音交互、語言翻譯等剛需應(yīng)用場景，開展多語種語音識別、語音合成、機(jī)器翻譯、圖文識別等智能語音語言技術(shù)的系統(tǒng)性布局，覆蓋包括一帶一路和世界主要國家在內(nèi)的70多種語言。

　　我們非常清楚要將70多種語言的智能語音語言技術(shù)做到實用水平，并沒有那么容易，所以我們計劃用十年的時間去攻克這個難題。

　　針對未來十年布局，劉聰總結(jié)出多語種技術(shù)研發(fā)中面臨的三個挑戰(zhàn)：

　　一是不同語言的用戶分布存在明顯的長尾效應(yīng)，小語種語言分析研究的積累和投入不足。不同語言獨(dú)特的語言現(xiàn)象十分復(fù)雜，相關(guān)知識的全面積累以及知識與技術(shù)的融合均存在困難；

　　二是多語種訓(xùn)練數(shù)據(jù)稀缺，制作難度和成本較大，難以支撐大量語種系統(tǒng)的研發(fā)；

　　三是語音合成、圖文識別、語音識別、機(jī)器翻譯等多語種技術(shù)涉及70多個語種、云端和本地引擎，以及不同領(lǐng)域需要研發(fā)部署成百上千套系統(tǒng)，眾多系統(tǒng)批量構(gòu)建存在難題。同時，當(dāng)前基于級聯(lián)的語音翻譯、圖片翻譯也存在誤差擴(kuò)散問題。

　　劉聰認(rèn)為：多語種技術(shù)的全面推動，包括技術(shù)創(chuàng)新和應(yīng)用落地，不能只靠單點(diǎn)技術(shù)的創(chuàng)新，迫切需要通過系統(tǒng)性創(chuàng)新的方式來破局。

　　從數(shù)據(jù)、算法、平臺多維度

　　構(gòu)建多語種技術(shù)的系統(tǒng)性創(chuàng)新研發(fā)體系

　　什么是系統(tǒng)性創(chuàng)新？科大訊飛總結(jié)了三大關(guān)鍵要素：一是關(guān)鍵的核心技術(shù)效果要跨越技術(shù)鴻溝，達(dá)到應(yīng)用門檻；深度融合創(chuàng)新鏈條上的各個關(guān)鍵技術(shù)，激發(fā)創(chuàng)新能力；針對重大的歷史命題社會命題進(jìn)行系統(tǒng)性解析，并將其轉(zhuǎn)化為科學(xué)問題。

　　單點(diǎn)技術(shù)突破方面，從2006年研發(fā)的中文口語評測機(jī)器評分超過專業(yè)評測員平均水平，到2015年研發(fā)的機(jī)器中文語音轉(zhuǎn)寫正確率超過人類速記員水平，再到智醫(yī)助理機(jī)器人通過國家執(zhí)業(yè)醫(yī)師資格考試綜合筆試測試、中英語音翻譯達(dá)到CATTI全國翻譯專業(yè)資格（水平）考試二級合格標(biāo)準(zhǔn)……科大訊飛不斷在單點(diǎn)技術(shù)上取得突破。

　　在創(chuàng)新鏈條上各關(guān)鍵技術(shù)的深度融合方面，基于核心技術(shù)的深度理解，我們可以進(jìn)行多個方向技術(shù)的協(xié)同創(chuàng)新。劉聰舉例，2016年，科大訊飛基于語音譜圖和圖像的相似性，成功將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于語音識別，提出DFCNN建模技術(shù)，將其拓展到圖文識別任務(wù)上，效果取得了大幅提升。

　　對于多語種智能語音語言技術(shù)研發(fā)及產(chǎn)業(yè)化而言，由于其涉及語言眾多、技術(shù)實現(xiàn)復(fù)雜，我們將其作為一個系統(tǒng)工程進(jìn)行推動。劉聰表示。

　　他從數(shù)據(jù)、算法、平臺等維度，分享了科大訊飛在多語種智能語音語言技術(shù)系統(tǒng)性創(chuàng)新中的思考和實踐。在數(shù)據(jù)方面，科大訊飛研發(fā)了基于人機(jī)協(xié)同的多語種數(shù)據(jù)標(biāo)注平臺；在算法方面，重點(diǎn)開展了多語種端到端統(tǒng)一建模框架、無監(jiān)督/弱監(jiān)督訓(xùn)練，以及語音/圖片翻譯多任務(wù)協(xié)同優(yōu)化等方向的研究；在研發(fā)訓(xùn)練效率優(yōu)化方面，構(gòu)建了多語種模型自動訓(xùn)練及定制優(yōu)化平臺，以推動多語種系統(tǒng)的批量研發(fā)，解決人工耗時耗力問題。

　　基于系統(tǒng)性創(chuàng)新，我們已經(jīng)完成一套完整的多語種語音語言系統(tǒng)研發(fā)，包括60種語言的語音合成，69種語言的語音識別，56種語言的圖文識別，以及168種語言與中文的機(jī)器翻譯。劉聰指出，部分語種現(xiàn)已上線訊飛開放平臺，對外提供服務(wù)。

　　用系統(tǒng)性創(chuàng)新推動多場景廣泛落地

　　得益于系統(tǒng)性創(chuàng)新，科大訊飛多語種智能語音語言技術(shù)在語音交互、語言翻譯等場景初步取得規(guī)?；瘧?yīng)用落地。

　　在多語種交互方面，科大訊飛與俄羅斯汽車工程研究院（NAMI）、奇瑞等國內(nèi)外多個廠商開展多語種合作，目前已覆蓋英語、俄語、日語、泰語、西班牙語、意大利語等主要語種。

　　在多語種翻譯方面，科大訊飛2016年發(fā)布的訊飛翻譯機(jī)開創(chuàng)了AI翻譯機(jī)新品類，今年5月又推出雙屏翻譯機(jī)，持續(xù)引領(lǐng)智能翻譯硬件潮流。訊飛聽見同傳產(chǎn)品廣泛應(yīng)用于大型會議、發(fā)布會、展覽會等場景，已服務(wù)超1萬場次大會，服務(wù)超3億人次。科大訊飛還成為北京2022年冬奧會和冬殘奧會官方自動語音轉(zhuǎn)換與翻譯獨(dú)家供應(yīng)商，助力打造人類歷史上首個信息溝通無障礙的奧運(yùn)會。

　　此外，為了賦能海外開發(fā)者，依托智能語音國家新一代人工智能開放創(chuàng)新平臺，2020年4月科大訊飛在新加坡部署了海外站點(diǎn)，為海外開發(fā)者提供多語種語音識別、語音合成、機(jī)器翻譯、圖文識別和語音評測等能力，海外開發(fā)者數(shù)量已經(jīng)超過7萬人。

　　劉聰指出，盡管在多語種技術(shù)研發(fā)和產(chǎn)業(yè)應(yīng)用方面，我們?nèi)〉贸醪匠尚?，但我們也?yīng)清醒認(rèn)識到，當(dāng)前大量低資源語種的技術(shù)水平相比中英文等資源豐富語種還有較大差距。依托科技冬奧科技創(chuàng)新2030等國家科技部重點(diǎn)研發(fā)計劃，科大訊飛目前聯(lián)合了中科大、哈工大、新疆大學(xué)、上海外國語大學(xué)等國內(nèi)眾多科研單位，已形成了廣泛的多語種產(chǎn)學(xué)研聯(lián)盟，共同推動我國多語種智能語音語言技術(shù)進(jìn)步。