簡介： 語音AI是最早從實驗室走向應用的AI技術，其發展史就是不斷創新、解鎖應用的歷史，從1995年 Dragon Dictate的桌面孤立詞語音識別，到2011年蘋果的手機語音助手SIRI，再到當下百花齊放的各種智能語音應用。
作者 | 袁斌、鄢志杰 阿里達摩院語音實驗室
來源 | 阿里開發者公眾號
語音AI是最早從實驗室走向應用的AI技術，其發展史就是不斷創新、解鎖應用的歷史，從1995年 Dragon Dictate的桌面孤立詞語音識別，到2011年蘋果的手機語音助手SIRI，再到當下百花齊放的各種智能語音應用。
由于技術的快速進步，以及各大云計算廠商以API形式提供的語音AI能力，目前開發者已能便捷使用語音AI去搭建應用。但API也存在局限性，不少開發者希望獲得更多、更底層的把控力，希望對API背后AI模型有更深入的了解；不只是開發應用，還可以開發模型；不只是調用API接口，還可以通過對模型的訓練或微調（fine-tuning），以提升實際應用效果。
為了讓所有滿懷創意的開發者實現更高水平的創新，在最近推出的魔搭社區ModelScope上，阿里達摩院首批開源開放了40多個語音AI模型，公有云上廣受歡迎的付費模型這次也免費開放。模型背后，我們提供了訓練或微調腳本工具鏈，含蓋語音AI各個主要方向。
下面，就讓我們以語音合成、語音識別、語音信號處理為例，來展示如何玩轉魔搭社區的語音AI模型。
一、語音合成
語音合成是將文字作為輸入，讓AI能夠將文字轉換為語音的原子能力。例如，我們希望AI朗讀如下的一段文字：
“最當初，他只是覺得賽倫看莫穎兒的眼光溫柔得超過一般父女或是師徒的感情，在觀察了一段時間過后，他才逐漸確定賽倫似乎很在乎這個少女。”
在魔搭社區，可以有兩種方式來進行語音合成模型的體驗：
第一種方式是使用模型詳情頁的“在線體驗”功能，以最直觀的方式對每個語音合成模型進行體驗。這對模型的初步體驗和把玩品鑒非常高效。
接下來以“SambertHifigan語音合成-中文-多人預訓練-16k”模型為例，介紹如何進行在線體驗。
模型鏈接查看文末[1]。
第二種方式是使用編程，通過簡單的幾行代碼，就可以實現自己的語音合成功能，并集成嵌入到具體的應用中去。這種方式適合選定喜歡的發音人后、進行深度的應用開發。
魔搭社區提供了免費的CPU算力（不限額）和GPU算力（NVIDIA-V100-16G 限額100小時），供開發者進行使用，下面我們使用Notebook開發環境來簡單演示如何實現使用代碼進行語音合成。
讓我們選擇CPU服務，稍等幾分鐘服務啟動，我們點擊“查看NoteBook”，進入開發環境，選擇啟動一個python腳本。
這些語音AI模型都配備了代碼示例，我們可以在模型詳情頁的代碼示例中找到：
將該代碼進行復制并粘貼至notebook的python腳本當中，我們可以將代碼中‘待合成文本’字符串替換成想要的合成本文，并執行程序，便可以下載生成的音頻文件進行試聽。
這項語音合成技術背后是達摩院的顯式韻律聲學模型SAMBERT以及Hifi-GAN聲碼器的結合。
在語音合成領域，目前以FastSpeech2類似的Non-Parallel模型為主流，它針對基頻（pitch）、能量（energy）和時長（duration）三種韻律表征分別建模。但是，該類模型普遍存在一些效果和性能上的問題：獨立建模時長、基頻、能量，忽視了其內在聯系；完全非自回歸的網絡結構，無法滿足工業級實時合成需求；幀級別基頻和能量預測不穩定…
因此達摩院設計了SAMBERT，一種基于Non-Parallel結構的改良版TTS模型，它具有以下優點：
- 建立時長與基頻、能量的依賴關系，并使用自回歸結構的時長預測模塊，提升預測韻律的自然度和多樣性;
- Decoder使用PNCA自回歸結構，降低帶寬要求，支持CPU實時合成;
- 音素級別建模基頻、能量，提高容錯率;
- 以預訓練BERT語言模型為編碼器，在小規模數據上效果更好。
二、語音識別
在魔搭社區上，達摩院語音實驗室開放了核心的語音識別模型“Paraformer語音識別-中文-通用-16k-離線”，這是即將大規模商業部署的下一代模型，其訓練數據規模達到5萬小時以上，通過對非自回歸語音識別模型技術的改進，不僅達到當前類Transformer自回歸模型的語音識別準確率，而且在推理效率上有10倍的加速比提升。
模型鏈接參考文末[2]。
在魔搭社區中，語音識別模型與語音合成一樣，提供Demo和Notebook兩種方式進行效果體驗，操作方法請參見上文，不再贅述。
除了開放最先進的Paraformer模型之外，語音實驗室還免費開放了當紅的語音識別模型UniASR，它在公有云上提供商業化的服務，廣受歡迎。UniASR模型含蓋了中、英、日、俄等語種，支持8k/16k采樣率，可以滿足開發者不同場景的開發需求。
模型鏈接參考文末[3]。
三、語音信號處理
信號處理也是語音處理的一個重要的技術組成分支，達摩院開源了基于深度學習的回聲殘余抑制算法。
模型名：DFSMN回聲消除-單麥單參考-16k
模型鏈接參考文末[4]。
從用戶體驗角度，一個理想的回聲消除算法要達到以下效果：遠端單講(far end single talk)時零回聲泄露；近端單講(near end single talk)時語音無損；雙端同時講話時可以互相聽清，也即雙講(double talk)通透。目前在開源的信號處理算法當中，雙講時的效果都比較差強人意。這是因為目前的開源信號處理算法無法有效區分錄音信號中的回聲信號和近端語音信號，而且真實通話中雙講出現的時間一般較短、時間占比也很低，所以從策略上為了確保零回聲泄露，只好犧牲雙講時的效果。
點擊查看原文，獲取更多福利！
https://developer.aliyun.com/article/1103557?groupCode=alitech?utm_content=g_1000365848
版權聲明：本文內容由阿里云實名注冊用戶自發貢獻，版權歸原作者所有，阿里云開發者社區不擁有其著作權，亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容，填寫侵權投訴表單進行舉報，一經查實，本社區將立刻刪除涉嫌侵權內容。
版權聲明：本文內容由互聯網用戶自發貢獻，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如發現本站有涉嫌抄襲侵權/違法違規的內容， 請發送郵件至 舉報，一經查實，本站將立刻刪除。