“我始終相信開(kāi)源會(huì)產(chǎn)生裂變。當(dāng)越來(lái)越多的開(kāi)發(fā)者參與到開(kāi)源項(xiàng)目中，這套代碼、組件就不僅僅只是一套代碼，它會(huì)變成我們未來(lái)的生產(chǎn)力和競(jìng)爭(zhēng)力。”網(wǎng)易智企低延時(shí)直播開(kāi)源負(fù)責(zé)人、網(wǎng)易云信流媒體首席架構(gòu)師吳桐說(shuō)道。

開(kāi)源去年被納入《“十四五”軟件和信息技術(shù)服務(wù)業(yè)發(fā)展規(guī)劃》，上升到了國(guó)家戰(zhàn)略層面。同時(shí)，開(kāi)源軟件公司在資本市場(chǎng)表現(xiàn)不負(fù)眾望，多家公司估值突破 100 億美元。國(guó)內(nèi)的開(kāi)發(fā)者社區(qū)和投資人群體對(duì)開(kāi)源的認(rèn)知在進(jìn)一步提高。

越來(lái)越多的企業(yè)投身開(kāi)源，網(wǎng)易智企便是其中之一。今年 3 月，網(wǎng)易智企正式發(fā)布了“易 ”開(kāi)源計(jì)劃。網(wǎng)易智企旗下圍繞 IM、音視頻技術(shù)提供 PaaS 服務(wù)的網(wǎng)易云信打響頭炮，先后開(kāi)源了自己的會(huì)議組件 NetMeeting SDK和低延時(shí)直播方案LLS-Player。

相關(guān)地址：

https://github.com/GrowthEase/NetEase_Meeting

https://github.com/GrowthEase/LLS-Player/

開(kāi)源了什么項(xiàng)目？

依托網(wǎng)易 24 年 IM、音視頻技術(shù)積累，網(wǎng)易云信已經(jīng)幫助 120 萬(wàn)企業(yè)開(kāi)發(fā)者成功發(fā)送 1.6 萬(wàn)億條消息，全球注冊(cè)應(yīng)用數(shù) 48 萬(wàn)，覆蓋智能終端 SDK 數(shù)超過(guò) 186 億。“網(wǎng)易智企許多產(chǎn)品和技術(shù)發(fā)展受益于開(kāi)源帶來(lái)的紅利，現(xiàn)在我們也將部分技術(shù)開(kāi)源，反哺技術(shù)創(chuàng)新。”吳桐表示。

今年 3 月份，網(wǎng)易云信首次開(kāi)源了自己的會(huì)議組件 NEMeeting SDK。

疫情期間，人們已經(jīng)對(duì)在線會(huì)議軟件不再陌生，甚至在線會(huì)議軟件已經(jīng)成為日常辦公的必備工具。為使開(kāi)發(fā)者能夠快速便捷地?fù)碛蟹€(wěn)定的會(huì)議系統(tǒng)，網(wǎng)易會(huì)議 NEMeeting SDK 提供了一套簡(jiǎn)單易用的接口，允許開(kāi)發(fā)者通過(guò)調(diào)用 SDK 提供的 API，快速集成音視頻會(huì)議功能至現(xiàn)有應(yīng)用中。

網(wǎng)易會(huì)議組件架構(gòu)

根據(jù)官方介紹，NEMeeting SDK 架構(gòu)可以分為四層：

• Base 主要包含了云信的各基礎(chǔ) SDK 和一些第三方 SDK。
• Room Kit 是一個(gè)無(wú) UI 房間服務(wù)組件，承載了與 Server 通信邏輯，同時(shí)處理一些會(huì)控邏輯。據(jù)悉，Room Kit 未來(lái)會(huì)演進(jìn)成一個(gè)泛會(huì)議的房間服務(wù)。
• Meeting SDK 是一個(gè)帶 UI 的會(huì)議服務(wù)組件, 提供了一整套的標(biāo)準(zhǔn)會(huì)議 UI 實(shí)現(xiàn)，以及有限的 UI 自定義功能。
• App 層，云信標(biāo)準(zhǔn)版網(wǎng)易會(huì)議應(yīng)用實(shí)現(xiàn), 支持直接編譯成一個(gè)獨(dú)立的應(yīng)用。

會(huì)議組件開(kāi)源兩個(gè)月后，網(wǎng)易云信在 5 月份再次開(kāi)源了低延時(shí)直播方案，目前開(kāi)源了信令交互協(xié)議、低延時(shí)引擎和播放器插件。開(kāi)發(fā)者使用一套低延時(shí)播放器代碼，就可實(shí)現(xiàn)同時(shí)對(duì)接多家低延時(shí)直播廠商，大大減小包體積的增量。

根據(jù)吳桐介紹，目前市面上推出的低延時(shí)直播產(chǎn)品都采用了私有協(xié)議，并且需要綁定對(duì)應(yīng)的 SDK，如果接入多家就需要接入多個(gè) SDK，對(duì)包大小非常不友好。采用私有協(xié)議也導(dǎo)致各廠商產(chǎn)品之間無(wú)法兼容，低延時(shí)直播難以大規(guī)模推廣。

因此，網(wǎng)易云信基于 WebRTC 實(shí)現(xiàn)了一個(gè)通用的低延遲的播放器，主要分為 3 個(gè)模塊：

• FFmpeg plug-in: FFmpeg 插件。
• RtdEngineImpl: 低延時(shí)播放引擎，既 WebRTC 封裝層，包含 API、引擎創(chuàng)建、信令建聯(lián)、媒體數(shù)據(jù)的接收回調(diào)等。
• WebRTC: 標(biāo)準(zhǔn) WebRTC 代碼，實(shí)現(xiàn)媒體建聯(lián)，數(shù)據(jù)接收，數(shù)據(jù)包排序組幀等。

開(kāi)發(fā)者通過(guò)調(diào)用低延時(shí)引擎 API，快速集成低延時(shí)直播功能到現(xiàn)有的播放器中。同時(shí)，我們還將低延時(shí)引擎相關(guān) API 封裝成了 FFmpeg 插件，作為 FFmpeg AVInputFormat 的一種，對(duì)于使用 FFmpeg 作為基礎(chǔ)庫(kù)的播放器，開(kāi)發(fā)者僅需將低延時(shí)引擎和 FFmpeg 插件源碼編譯到自己的 FFmpeg 中，不需要對(duì)播放器進(jìn)行改造，通過(guò)替換播放 URL，直接復(fù)用原有的流程就可以擁有低延時(shí)播放的能力。

針對(duì)低延時(shí)直播場(chǎng)景，網(wǎng)易云信深度定制了 WebRTC 引擎，支持 AAC、B 幀和多 Slice，并對(duì)首幀和端到端延時(shí)都進(jìn)行了優(yōu)化，目前首幀時(shí)間控制在 200ms 左右，端到端延時(shí)控制在 1s 以內(nèi)。

未來(lái)，網(wǎng)易云信還會(huì)開(kāi)源低延時(shí)直播引擎的裁剪版本，進(jìn)一步優(yōu)化包體積和各種播放指標(biāo)。并繼續(xù)推出開(kāi)源的低延時(shí)直播推流引擎和低延時(shí)推流插件，提供低延時(shí)直播的全鏈路解決方案，進(jìn)一步降低開(kāi)發(fā)門(mén)檻，推動(dòng)低延時(shí)直播行業(yè)的快速發(fā)展。

“網(wǎng)易會(huì)議的開(kāi)源開(kāi)啟了網(wǎng)易智企的開(kāi)源時(shí)代，低延時(shí)直播的開(kāi)源則深化了我們的開(kāi)源計(jì)劃。”吳桐說(shuō)道。

開(kāi)源背后

事實(shí)上，“易 ”開(kāi)源計(jì)劃在 2021 年便開(kāi)始籌備。據(jù)吳桐透露，項(xiàng)目開(kāi)源的準(zhǔn)備工作非常多、非常雜。首先需要確定開(kāi)源的內(nèi)容、要開(kāi)源到什么地步，其次需要準(zhǔn)備相關(guān)的資料，包括一套完整的代碼、成熟的指導(dǎo)文檔，甚至開(kāi)源后的持續(xù)更新迭代和答疑也需要提前有所準(zhǔn)備。

在許可證選擇方面，吳桐表示不想設(shè)置太多限制，希望開(kāi)源項(xiàng)目可以對(duì)所有的開(kāi)發(fā)者完全開(kāi)放、支持修改商用。因此，目前的 NetMeeting SDK、LLS-Player 都選用了軟件授權(quán)條款相對(duì)寬松的 MIT 許可證。

“寬松的許可，能讓項(xiàng)目的使用范圍更廣，開(kāi)創(chuàng)的內(nèi)容也更豐富。”吳桐建議道，“對(duì)于開(kāi)源項(xiàng)目，我們比較建議選擇 MIT/BSD/Apache，相對(duì)寬松的許可證會(huì)讓大家更有使用的意愿。具體地，還要從許可授權(quán)、許可授予條件以及聲明免除保證和責(zé)任限制等幾個(gè)方面來(lái)綜合考慮。”

整個(gè)籌備過(guò)程中，最重要的還是開(kāi)源源碼的籌備。“開(kāi)放源碼的功能實(shí)現(xiàn)要最大程度的符合標(biāo)準(zhǔn)，因?yàn)槲覀兊牡脱訒r(shí)播放器除了可以對(duì)接云信的服務(wù)，也可以對(duì)接其他廠商的服務(wù)，標(biāo)準(zhǔn)化可以最大程度避免兼容性問(wèn)題。另外，我們需要進(jìn)行大量測(cè)試，保證代碼運(yùn)行質(zhì)量和功能指標(biāo)。”吳桐表示。

源碼開(kāi)放只是第一步，網(wǎng)易智企正在搭建和完善開(kāi)源社區(qū)，吸引更多開(kāi)發(fā)者參與共建，不斷推進(jìn)場(chǎng)景化落地。

吳桐表示，目前開(kāi)源社區(qū)在代碼管理上還是很困難的。社區(qū)一方面會(huì)接受其他使用源碼的開(kāi)發(fā)者提交的代碼，與這些開(kāi)發(fā)者做進(jìn)一步的溝通與交流，另一方面又要防范惡意的代碼貢獻(xiàn)者，但很難從根本上防范惡意貢獻(xiàn)者在代碼中留下各樣的病毒。“對(duì)于開(kāi)發(fā)者提交的開(kāi)發(fā)代碼，我們會(huì)進(jìn)行嚴(yán)格的優(yōu)化和分析，確保能夠篩選出可以接收的代碼。”

目前，網(wǎng)易智企開(kāi)源的都是云信業(yè)務(wù)線的技術(shù)。吳桐透露，后續(xù)會(huì)在云商和易盾兩條業(yè)務(wù)線中選擇開(kāi)放其他技術(shù)能力。

“我們鼓勵(lì)開(kāi)發(fā)者站在網(wǎng)易智企的肩膀上，基于優(yōu)質(zhì)的源代碼進(jìn)行上層開(kāi)發(fā)和迭代創(chuàng)新，深耕需求場(chǎng)景打磨產(chǎn)品，希望可以助力千行百業(yè)數(shù)字化轉(zhuǎn)型，與行業(yè)共同探索開(kāi)源的巨大社會(huì)價(jià)值。”吳桐說(shuō)道。