近日，上海期智研究院PI（首席研究員）、清華大學助理教授趙行帶領團隊與字節跳動公司合作，發表了一篇題為《神經網絡配音器》的論文。這款人工智能軟件可以根據視頻中說話人物的外表、口型、情緒等特征，完成沒有“違和感”的配音。它有廣闊的應用前景，既可以為“UP主”的視頻作品做外語配音，也有望取代影視配音演員。
“我們團隊與公司的合作，都沒有要求公司給項目經費，這種開放性產學研合作讓我們能更自由地探索科技前沿。”趙行博士說。而給他“不收錢”底氣的，是上海期智研究院。這家新型研發機構給每位PI獨立的課題經費，為他們營造了在基礎研究領域自由探索的環境。
科學家可以按興趣自由探索
上海期智研究院坐落于張江高新區徐匯園，由圖靈獎得主、中國科學院院士姚期智牽頭組建，以“突破人工智能基礎研究，引領世界人工智能交叉發展”為使命，聚焦人工智能、現代密碼學、高性能計算系統、量子計算及量子人工智能、物理器件與計算、生物智能等6個核心方向，并逐步向交叉研究領域拓展，有望孕育一批具有重要影響力的科學理論和關鍵技術，提升人工智能等領域的創新策源能力。
市科委基礎處介紹，上海期智研究院與傳統的科研院所不同，在體制機制上試點“三不一綜合”，即不定行政級別、不定編制、不受崗位設置和工資總額限制，實行綜合預算管理。市科委對上海期智研究院進行“機構式資助”，給予穩定的經費支持，讓科研人員不必費時費力申請競爭性政府項目，可以潛心開展前沿研究。
上海期智研究院科研人員在研究強化學習算法。
“科學家在這里工作的最大好處，是能對自己感興趣的方向進行自由探索。”上海期智研究院PI、上海交通大學教授郁昱說。這位密碼學專家申請的研究院課題是“安全計算理論及系統”，去年夏天獲得立項。與政府科研項目相比，研究院課題的申請書薄很多，因為PI不需要把課題的各個預算科目寫得很細，姚期智等評審專家對PI給予充分信任。而且這些課題不會限制PI的研究方向，讓他們擁有根據科技發展趨勢和自身興趣做出調整的空間。比如，郁昱為了回應量子計算機對傳統密碼學的挑戰，對“后量子密碼”做了深入研究，相關經費也在課題經費中支出。
考核方面，PI每年要提交階段性研究報告，但不設量化指標。“很多科研項目是有階段性量化指標的，比如要求發表論文多少篇，一些科研人員可能為了完成指標去‘湊論文’。”郁昱說，“而我在這里能心無旁騖地研究，發論文是水到渠成的事。”
寬松制度催生國際領跑成果
在這種寬松靈活的制度下，郁昱今年帶領團隊取得了兩項國際“領跑”的成果。
一項成果是他和研究助理劉晗林等人設計的通用加密電路，用于保護算法隱私，其效率比圖靈獎得主萊斯利·瓦利安特設計的通用電路提高1/3。據介紹，電路在加密安全性上優于計算機程序，瓦利安特在1976年設計的通用電路已廣泛應用于隱私保護函數計算、可驗證計算等領域，其構造方法一直沒有大的改變。上海期智研究院的這項成果，是首次對通用電路進行結構性優化，相關論文發表在國際頂級密碼學會議——2021年美國密碼年會上。
郁昱教授的辦公室窗外是黃浦江兩岸美景。
另一項國際領先成果，則是郁昱選擇新的研究方向、進行自由探索的產物。未來，如果量子計算機投入應用，傳統密碼學是否會失效？對于這個問題，國際上一些密碼學家未雨綢繆，開始研究“后量子密碼”。郁昱也是其中一員，在研究院課題的支持下，他帶領團隊研發出了“后量子時代”的數字簽名，其算法效率比美國國家標準與技術研究院征集的第三輪標準高10%。
研究院吸引高校教師兼職做PI
趙行研究的“多模態與多傳感器的機器學習”課題，也達到了國際先進水平。今年10月舉行的國際計算機視覺會議上，他發表了4篇論文，其中2篇被收錄為口頭報告。這個頂級會議的口頭報告論文接收率僅為3.3%。
什么是多模態機器學習？這項研究通過神經網絡技術，將計算機視覺、語音識別、自然語言處理等人工智能領域打通，實現理解和處理多源模態信息的能力。比如將圖像和聲音聯系起來，趙行等人開發出“神經網絡配音器”，它能根據說話人物的外表、口型、情緒等特征進行人工智能配音。“我們與影視公司交流后了解到，人工智能配音的需求量很大。”趙行告訴記者，“一部全球發行的影片需要幾十種語言的配音，目前都是人工配音，工作量很大。如果今后采用機器自動配音，可以為影視公司節約很多成本。”
在自動駕駛領域，多模態機器學習也大有用武之地。它能實現計算機視覺與激光雷達、毫米波雷達等傳感器的信息交互，進行融合預測，從而提升智能汽車對周邊環境預測的準確性和安全性。
趙行博士在上海期智研究院作報告。
值得一提的是，趙行團隊在國際計算機視覺會議上發表的論文中，有一篇的第一作者是“學士后”薛子慧。“學士后”是上海期智研究院在新冠疫情暴發后設立的崗位，招聘那些本科畢業、被國外名校錄取卻因疫情無法出國的學生，讓他們在PI指導下開展前沿研究。
除了“學士后”，研究院還設有研究助理、工程師、實習生等崗位。郁昱告訴記者，近年來，國內一些知名高校的新進科研人員數量不多，高校教師在新型研發機構兼職做PI，可以招聘一批青年科研人員，在前沿科技探索之路上獲得更多的人力支持。目前，上海期智研究院有32位PI，他們來自清華、上海交大、復旦、同濟等高校。“上海期智研究院位于黃浦江畔，有高水平科研團隊，又有自由探索的學術氛圍，對科技人才的吸引力很大。”望著窗外的浦江美景，郁昱對研究院的未來充滿期待。
欄目主編：黃海華 文字編輯：俞陶然
視頻：謝嘉媛 趙晨潤 李小佳
來源：作者：俞陶然
版權聲明：本文內容由互聯網用戶自發貢獻，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如發現本站有涉嫌抄襲侵權/違法違規的內容， 請發送郵件至 舉報，一經查實，本站將立刻刪除。