大家好！感謝深藍學院的邀請！我代表西工大音頻語音與語言處理研究組向各位匯報一下我們實驗室在智能語音技術方面的一些進展，基于實驗室多位同學研究工作的總結。

針對人類語音的研究是一門典型的交叉學科，涉及聲學、聽覺、信號處理、語音語言學、生理學、認知科學、統計學、機器學習等眾多領域。語音處理主要針對人類的語音作為研究載體，除此之外，對聲音的研究非常廣泛，比如環境聲、音樂等，統稱為聽覺（音頻）信息處理。如果把做和聲音相關研究的人員加在一起，會是一個特別龐大的群體，個人感覺規模不會少于CV領域。

關于今天的主題——智能語音交互，主要是人和機器通過語音作為媒介進行自然交互的形式，從語音交互圓環（speech circle）這張圖看，涉及到的核心技術主要包括四個方面，首先通過語音識別（ASR）轉成文字，如果語音信號質量不好的話，前端會有一個語音增強模塊；然后是口語語言理解，接下來是對話管理和口語語言生成，而最終通過文語轉換（TTS）生成語音回饋給用戶。

回顧語音識別的發展，在2000年之前，語音識別的錯誤率有明顯的改善，而在2000年到2010年期間，我們做的很多努力很難再去進一步降低識別的錯誤率。在大概2010年后，在深度學習的推動下，利用大數據、機器學習和大算力這“三駕馬車”，語音識別的識別準確度再一次明顯提升，錯誤率再一次下降，并且在一部分數據集上實現了媲美人類語音識別的精度。

語音識別是智能語音范疇內的一個典型任務，除此之外，智能語音的任務還包括語音編碼、語音增強、關鍵詞檢出、聲紋識別等一系列任務，而智能語音技術能夠服務的方向主要包括三方面，一是自然人機交互，二是自然人人交互，還有就是內容分析與挖掘，垂直落地的應用非常多，場景廣泛，價值巨大。

智能語音涉及的具體方向眾多，而接下來我將圍繞著我們實驗室重點關注的三個方向——語音增強、語音識別和語音合成來展開介紹。

關于語音增強，這是一個非常經典的研究課題，它的基本目的是減少噪聲干擾，提高語音質量。在麥克風拾音時，會遇到語音隨距離增加而造成的衰減、信道畸變、房間混響、聲學回聲，各種噪聲干擾和人聲干擾等眾多問題。傳統的基于統計信號處理的語音增強可以提供良好的平穩噪聲抑制能力，而以數據驅動的深度學習方法則將非平穩的噪聲的抑制成為了可能。

關于深度學習在語音增強中的應用大致可以分為三個階段，開始的研究工作主要圍繞基礎的Masking和Regression范式，當時的網絡的結構比較簡單，主要針對幅度譜建模，損失函數主要是MSE。

在第二階段，研究者們展開了更大膽的嘗試，這體現在網絡結構的多樣化，包括CRN，Tasnet，生成對抗網絡（GAN）的使用和最近的Transfomer結構；而建模也從時頻域延伸到直接在時域建模；損失函數更更多樣化，包括MSE、SI-SNR和PESQ等形式。

而在現階段，AI降噪開始落地應用，包括TWS耳機、在線會議系統等場景，在線會議和直播后臺等應用中，可能都已經有了AI語音增強網絡的嵌入，技術方面還出現了復數形式的網絡和各種更為精細化設計的網絡結構。此外，還有利用聲紋先驗信息的個性化語音增強或稱之為目標說話人提取。

基于DCCRN復數神經網絡的語音增強

關于語音增強，我們實驗室的同學在去年的Interspeech上發表了Deep Complex Convolution Recurrent Network(DCCRN)這個工作，DCCRN采用經典的U-Net結構，在CRN的基礎上綜合了復數卷積以及LSTM瞬態建模的優勢。

它在模型復雜度和低延時（40ms）的要求下，具有高性能降噪能力。在去年的Interspeech深度噪聲抑制競賽（DNS）的實時賽道中，取得了第一名的成績，這篇論文當前在google scholar上的引用已經達到了100次。基于深度學習語音增強的一個問題在于需要做降噪量和語譜保真上的折中。

在今年，我們在DCCRN的基礎上又提出了同時兼顧聽感與降噪的復數增強網絡DCCRN+，在具有高降噪量的同時，提升語音的保真度。它的貢獻主要包括，一個基于”可學習”的子帶劃分與合并，減少模型大小和計算復雜度；二是實現了頻域和時域序列同時建模；三是通過“卷積通道”獲取編碼器每層輸出的更豐富的信息；四是以信噪比估計作為輔助任務，降噪的同時提升聽感；五是在后處理中去除殘留噪聲。

DCCRN+：兼顧語音保真與降噪量的復數增強網絡

人們對于語音通話的體驗要求越來越高，比如更高采樣率、甚至具有空間方位感的沉浸式開會體驗。近期在DCCRN的基礎上，為了處理超帶寬的語音數據，我們還提出了超帶寬語音增強模型S-DCCRN，用于增強32KHz采樣率的帶噪語音。它的主要貢獻包括：

1.首先利用子帶DCCRN精細化學習高低頻信息，然后全帶DCCRN結合高低頻信息，起到平滑銜接作用；

2.同時，通過網絡學習動態調整不同頻帶能量；

3.在和16K降噪模型保持相同的較低頻率分辨率的同時，通過復數特征編碼從譜上獲取更多的信息。

自去年推出DCCRN以來，目前已經在這個上面有很多擴展性的工作，包括我們自己的DCCRN+，S-DCCRN，以及同時做去混、降噪和分離的DesNet，阿里、NTNU等單位也做了多通道上的擴展，值得注意的是近期微軟把DCCRN用于個性化語音增強即目標說話人增強，推出了pDCCRN方案。除了DCCRN系列，近期我們也推出了Uformer，基于復數和實數Unet和卷積核膨脹雙路Conformer，具有更為強大的能力。

接下來我們展開關于深度學習語音增強發展的相關討論。目前，雖然基于AI的降噪已經有一定的應用，但是在很多場合，采用的還是基于信號處理的方案，而“AI降噪”在實際落地的時候，出于對于資源的考慮，很多精細設計的模型無法發揮優勢。如何將信號處理和深度學習有機的結合在一起也是值得深度探索的。

此外，語音增強除了給人聽外，另一個重要目的是為了更好的服務于包括語音識別在內的下游任務，而現狀卻是深度學習語音增強給語音識別帶來的提升有限，甚至有些情況可能是副作用，這是因為語音識別通過多場景訓練策略已經考慮到了噪聲的影響，同時端到端語音識別模型的能力很強，深度學習語音增強處理過的語譜語音識別模型卻沒有見過。

我們可以嘗試在訓練過程中，把增強后的數據和原始數據同時加入，進行聯合訓練，甚至前后端聯合建模。但是在實際使用中，我們往往希望完全解耦前后端，不希望聯合訓練。此外，更細致、全面和快捷的數據仿真方案也可能會提升模型訓練后的效果。與此同時，而視覺、聲紋等先驗信息的有效利用也是提升語音增強模型效果的重要途徑，近期我們也看到了這個方向上非常多有益的探索甚至開始落地。

WeNet語音識別工具包

最后來匯報一下我們在語音合成領域的一些探索。目前基于序列到序列模型和神經聲碼器的方案已經獲得了廣泛引用，甚至在一些限定領域獲得了媲美真人語音的效果，然而當前離真正“復刻”人類語音還有很長的路要走。

比如篇章合成、表現力和可控性、低質數據建模、少樣本和單樣本音色克隆、完全端到端建模、高表現力歌唱合成以及如何把說話和唱歌統一建模做到一個統一的發音模型等。在這些方面，我們實驗室近期典型的探索介紹如下。可控對話TTS——實現擬人化的對話語音合成，甚至可以控制合成口語對話的講話流利程度。

MsEmoTTS是我們近期提出的一個多層級的情感語音合成方案，可以在一個模型框架里實現情感遷移、預測和控制。我們的“單人千面”方案，在每個發音人只有一種風格錄音的條件下，實現了有效的風格解耦與交叉，例如朗讀風格的發音人可以讀唐詩、做客服。

最后，我們在VITS端到端TTS的基礎上，做出了多方面的改進，進而又提出了一個端到端歌唱合成方案VISinger。另外，我們也將聯合網易伏羲等多家單位在Wenet開源社區開源一個中文歌唱合成數據庫，包括一個專業歌手100首左右的中文流行歌曲和高質量的標注，敬請關注。