祝全天下的開發(fā)者朋友，新年職業(yè)發(fā)展虎嘯風(fēng)生，新年工資增速如虎添翼，新年愛情運勢虎躍龍驤，新年代碼事故下虎口逃生，虎！虎！虎！
軟件工程圣經(jīng)《人月神話》一書中曾提到“軟件開發(fā)沒有銀彈”，事實也正是如此，復(fù)雜的軟件工程問題無法靠簡單的答案來解決。在字節(jié)跳動，海量數(shù)據(jù)、復(fù)雜業(yè)務(wù)場景、快速發(fā)展的業(yè)務(wù)規(guī)模，都對業(yè)界成熟的開源技術(shù)方案帶來了或多或少的挑戰(zhàn)。字節(jié)跳動各技術(shù)團隊在充分調(diào)研了業(yè)界成熟方案后，從業(yè)務(wù)實際出發(fā)，自研了多套取得了卓越成效的方案與工具，其中部分已開源，部分已集成到火山引擎服務(wù)中，更多方案在內(nèi)部打磨成熟后也將開放給業(yè)界使用。
以下內(nèi)容為過去一年中，字節(jié)跳動技術(shù)團隊公眾號所發(fā)布的自研技術(shù)方案集合，以饗讀者。
字節(jié)工程師自研基于 IntelliJ 的終極文檔套件
眾所周知，程序員最討厭的四件事：寫注釋、寫文檔、別人不寫注釋、別人不寫文檔。因此，想辦法降低文檔的編寫和維護成本是很有必要的。為解決寫文檔原始模式的諸多痛點，字節(jié)工程師自研的基于 IntelliJ 的終極文檔套件方案可以做到完全脫離瀏覽器 / 文檔編輯器，線上頁面的同步完全交給定時觸發(fā)的自動化部署。
字節(jié)工程師自研基于 IntelliJ 的終極文檔套件
字節(jié)自研 Android 虛擬機內(nèi)存管理優(yōu)化黑科技 mSponge
字節(jié)自研的 Android 虛擬機內(nèi)存管理工具 mSponge，從應(yīng)用側(cè)視角對 Android 虛擬機內(nèi)存管理進行改造，優(yōu)化了虛擬機對 LargeObjectSpace 的內(nèi)存管理策略，間接增加其它內(nèi)存空間使用上限。改造后的方案，32 位運行環(huán)境 LargeObjectSpace 的內(nèi)存使用上限可達到 2G 甚至更多（64 位環(huán)境使用上限理論上會趨于無限大）。通過本方案可以最大程度上從系統(tǒng)側(cè)解決諸多應(yīng)用都會遇到的內(nèi)存瓶頸和 OOM 問題，一鍵接入，安全可靠。
拯救OOM！字節(jié)自研 Android 虛擬機內(nèi)存管理優(yōu)化黑科技 mSponge
自研推薦系統(tǒng)大規(guī)模 Training & Serving 方案 Monolith
Monolith 是字節(jié)跳動火山引擎智能推薦平臺中的大規(guī)模 TrAIning 和 Serving 方案，包括了 Training/Serving/Parameter Sync 等，是一套完整的系統(tǒng)方案。與業(yè)界其它系統(tǒng)相比，Monolith 成功應(yīng)對了多方面的挑戰(zhàn)，具備以下特色：解決了 TensorFlow PS 通信瓶頸、全方位容錯、分布式 Serving、性能優(yōu)化等，目前，Monolith 已通過推薦平臺，成功應(yīng)用在電商、社區(qū)、視頻等多個行業(yè)的場景上，效果、穩(wěn)定性、性能均得到了充足的驗證。未來，我們也將繼續(xù)保持高速迭代，不斷優(yōu)化用戶體驗和平臺功能。
為君作磐石——人人都能搭建大規(guī)模推薦系統(tǒng)
字節(jié)優(yōu)化版性能檢測工具 atop
atop 是一款開源的單機性能監(jiān)測工具，支持實時觀測的同時、也支持讀取歷史文件排查問題。另外一個優(yōu)點是除提供 CPU、MEM、DISK 等全局指標外，還提供進程、線程級別的各項指標監(jiān)控數(shù)據(jù)。字節(jié)跳動基于社區(qū)的 atop 進行優(yōu)化，目前已迭代 3 個版本，穩(wěn)定運行接近三年，新增包括 NUMA 聚合、JSON 格式輸出、交互界面改進、日志相關(guān)改進及其他特性優(yōu)化。
深入字節(jié)版atop: 線上系統(tǒng)的性能監(jiān)控實踐
自研 OpenBMC 方案
OpenBMC 是 Linux Foundation 組織里的一個項目，也是目前開源 BMC 里方案最成熟、社區(qū)最活躍的項目。字節(jié)跳動系統(tǒng)部 STE 團隊自研的 OpenBMC，已在內(nèi)部成功上線，并穩(wěn)定運行了四個多月。這也是字節(jié)跳動首次正式上線并初步產(chǎn)品化的 OpenBMC 方案。同時，STE 團隊的工程師們，也在 OpenBMC 開源社區(qū)里提交了涉及新 feature 及 bug fix 的諸多 commits，目前已經(jīng)成為了 OpenBMC Technical Oversight Forum (TOF) 的一員。
字節(jié)跳動自研 OpenBMC 方案成功上線，STE 團隊工程師都做了哪些事？
自研同傳系統(tǒng)「火山同傳」
2021 北京智源大會上，火山翻譯推出的產(chǎn)品 「火山同傳」 為會議現(xiàn)場和線上直播提供 「低延時、高質(zhì)量」 的同傳字幕，助力大會順利召開。字節(jié)跳動 AI-LAB 智能語音團隊對 RNN-T 模型做了較多嘗試和探索，通過數(shù)據(jù)的不斷積累、算法的持續(xù)優(yōu)化，基于 RNN-T 模型的自研端到端語音識別系統(tǒng)獲得了顯著優(yōu)于 CTC 模型的性能，被應(yīng)用到了會議轉(zhuǎn)錄、同傳等多個業(yè)務(wù)中，都取得了較好的反饋。
亮相智源大會，字節(jié)跳動自研同傳系統(tǒng)的技術(shù)實現(xiàn)
自研智能化測試系統(tǒng) Fastbot
Fastbot 是由字節(jié)自研的客戶端智能測試工具，主要適用客戶端穩(wěn)定性/兼容性/壓力測試。目前 Fastbot 已支持多平臺：Android，iOS，Web，PC 等。目前，F(xiàn)astbot 已廣泛應(yīng)用于字節(jié)客戶端類產(chǎn)品的穩(wěn)定性測試與兼容性測試。每日啟動任務(wù)數(shù)超過 1 萬次，每月平均發(fā)現(xiàn) 5 萬個以上的崩潰。借助 Fastbot 的能力，我們在發(fā)版前就可以修復(fù)大部分的 crash，確保線上用戶的使用體驗。同時，F(xiàn)astbot 在整個 DevOps 流程扮演重要的基礎(chǔ)服務(wù)角色。其中 iOS、Android 版本均以開源。
自研端智能一體化方案 Pitaya
Pitaya 是字節(jié)跳動移動平臺團隊與 MLX 團隊深度合作共建的一套從端（云端）到端（終端）的全鏈路動態(tài)部署方案。Pitaya 是專門為移動端打造的端智能一體化方案，與傳統(tǒng)方案相比，具備以下優(yōu)勢：降低了端智能使用成本，方便業(yè)務(wù)快速集成，拿到業(yè)務(wù)收益；；完善的動態(tài)化能力，支持模型的快速迭代與效果驗證；提升多方協(xié)作的效率，讓算法工程師深入?yún)⑴c客戶端場景中；算法、模型高度復(fù)用，可以快速推廣已經(jīng)驗證的方案。目前，字節(jié)跳動內(nèi)已經(jīng)有抖音、頭條、西瓜等眾多產(chǎn)品線基于 Pitaya 開始了端智能的實踐和探索，后續(xù)還將規(guī)劃特征工程、模型自衍化、通用 AI 能力建設(shè)等新功能。
輕松玩轉(zhuǎn)移動AI，一鍵集成的端智能框架Pitaya
下期字節(jié)技術(shù)年貨預(yù)告：實踐篇
版權(quán)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容， 請發(fā)送郵件至 舉報，一經(jīng)查實，本站將立刻刪除。
