12周岁女裸体啪啪自慰网站_18岁免费网站_狠狠色综合播放一区二区_伊大人香蕉综合8在线视_亚洲精品无码久久久久小霞

您當前的位置: 首頁 >> 智能 > >> 內(nèi)容頁

字節(jié)旗下火山引擎披露自研芯片 牽手英偉達緩解視頻算力壓力

2023-08-23 20:46:27 來源:第一財經(jīng)

近日,字節(jié)跳動旗下火山引擎視頻云宣布其自研的視頻編解碼芯片已成功出片。與具備通用計算能力的CPU芯片相比,該自研芯片僅支持視頻編解碼任務,在特定場景具備更高的計算密度。


(資料圖片)

另外,此次火山與NVIDIA的合作主要是通過NVIDIA GPU進行算力方面的協(xié)調(diào)與調(diào)度,同時合作開源BMF(Babit MultiMedia Framework)多媒體處理框架,通過由CPU、GPU以及視頻編解碼專用芯片等組成的異構(gòu)計算資源底層,支撐上層,提升復用與效率,降低網(wǎng)絡視頻服務的計算、存儲及傳輸帶寬成本。

牽手英偉達GPU布局框架平臺

在架構(gòu)關(guān)系上,BMF異構(gòu)層包括了CPU、CUDA、FPGA,以及字節(jié)此次自研的ASIC算力。再之上分別是包括視頻編解碼在內(nèi)的模塊層、框架層,以及應用層。

視頻自研芯片與BMF框架的誕生基于當下視頻化逐漸普及的趨勢。火山引擎總裁譚待表示,視頻數(shù)據(jù)量呈爆發(fā)式增長,應用場景也在不斷拓展。初心資本合伙人許旸洋認為視頻正吞食一切是當下大的趨勢,而視頻化的形式將變得更加平民化,每個人都可以是視頻創(chuàng)作者,視頻大量出現(xiàn)倒逼底層技術(shù)升級。

NVIDIA開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬對記者表示,此次火山引擎與NVIDIA的合作主要是指新的視頻處理框架。過去的視頻處理主要通過FFmpeg(一種命令行工具,用來對視頻文件轉(zhuǎn)換格式),后者方式主要包括調(diào)用C + + 的API,以及命令提示。但在視頻復雜實時交互的編輯需求下,F(xiàn)Fmpeg很難與現(xiàn)有AI應用連接起來。目前該框架主要面向開發(fā)者群體,會令過去使用FFmpeg等AI框架進行視頻處理的開發(fā)者受益,也利于更多的創(chuàng)新誕生。

談及此次與火山在BMF框架方面的合作,NVIDIA 高級計算專家王曉偉對記者表示,NVIDIA對框架進行了深度改造,增強框架的GPU親和力,在框架層面提供更多的GPU加速能力,改進了BMF對FFmpeg CUDA filter的支持,添加GPU數(shù)據(jù)格式轉(zhuǎn)換以及實現(xiàn)BMF與其他深度學習框架和SDK的數(shù)據(jù)兼容,這些特性可以方便開發(fā)者更快地在GPU上定制所需的BMF模塊,從而快速響應業(yè)務需求,使用BMF搭建GPU流水線。

同時,NVIDIA還提供了許多精細優(yōu)化的BMF模塊,這些模塊可以做到開箱即用,并且作為示例向開發(fā)者展示如何高效地開發(fā) BMF GPU 模塊。如BMF中的人臉識別示例使用 NVIDIA TensorRT(一種高性能深度學習推理優(yōu)化器和運行時加速庫)對模型推理進行加速,并且調(diào)用 CV-CUDA (NVIDIA開發(fā)的專用于構(gòu)建加速型端到端計算機視覺和圖像處理管道的開源項目)進行模型后處理,完整地展示了如何在 GPU 上使用 BMF 開發(fā)一個CV流水線及相關(guān)GPU模塊。

王曉偉對記者表示,BMF能夠提供簡潔易用的跨語言接口、靈活的調(diào)度和擴展性,以模塊化的方式動態(tài)擴展、管理和復用視頻處理的原子能力;而現(xiàn)有的常用框架基本都存在著語言接口單一,調(diào)度擴展不靈活以及開發(fā)門檻高等問題,限制了 AI 時代下業(yè)務場景的進化。

通過硬件創(chuàng)新緩解算力瓶頸

此次火山并未具體透露自研視頻芯片的具體代工廠等信息,字節(jié)跳動視頻架構(gòu)負責人火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅表示,此次推出火山引擎自研視頻編碼芯片,可以使一臺芯片服務器的轉(zhuǎn)碼能力相當于百臺CPU服務器的算力;壓縮效率比行業(yè)主流硬件編碼器提升30%+。據(jù)此將單個視頻的計算、存儲和傳輸?shù)倪呺H成本達到平衡。

另外,王悅表示,該芯片支持ASIC算力,是一種比較折中的算力資源,吞吐雖然差一些,但其優(yōu)勢是可擦寫、更靈活,能夠完成漸進迭代,也為火山ASIC方案提供了先行驗證。

目前火山視頻云的圖片和動圖轉(zhuǎn)碼服務都跑在FPGA上,部分點播、直播服務里也在使用FPGA。此外,王悅表示,火山還有ARM板卡陣列,這個方案本來是用來支持云游戲、云手機等場景需求而研發(fā)的,火山把編轉(zhuǎn)碼和處理引擎在ARM指令集上深度集成和優(yōu)化之后,經(jīng)過大規(guī)模實測發(fā)現(xiàn)這種算力資源在密度、成本方面相較X86服務器也有很大優(yōu)勢,因此也在點播場景里不斷提升這種資源的使用量,做到與云游戲等場景的并池降本。王悅稱目前最新一代板卡已經(jīng)支持開源大模型llama2。

對視頻芯片的自研投入早已在海內(nèi)外大廠內(nèi)進行,2016年,時任谷歌云計算副總裁的帕塔·蘭加納坦(Partha Ranganathan )向時任YouTube 副總裁 Scott Silver 申請視頻芯片項目。2021年,YouTube 披露自研視頻芯片Argos的進展。今年,F(xiàn)acebook 母公司Meta首度公開了其自研 AI 芯片的進展,可以支持其最近推出的廣告設計和創(chuàng)作工具的生成式 AI技術(shù)。

2022年,騰訊公布自研視頻轉(zhuǎn)碼芯片“滄?!庇?022年3月5日流片。2022年8月,快手宣布研制出云端智能視頻處理SoC(System on Chip)芯片SL200?;鹕揭娣矫嫒耸繉τ浾弑硎?,不同平臺的視頻自研芯片適用于各自不同的業(yè)務場景,火山自研視頻芯片對內(nèi)主要服務于抖音業(yè)務。

火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅認為,“視頻編碼每升級一代,質(zhì)量碼率減少50%,但大規(guī)模的視頻數(shù)據(jù)量增長不止2倍,視頻編碼標準的迭代速度已經(jīng)追趕不上視頻數(shù)據(jù)量的增長速度,必須通過硬件創(chuàng)新來突破算力瓶頸”。

關(guān)鍵詞:
分享到:
x 廣告
x 廣告

Copyright ©  2015-2022 華中時尚網(wǎng)版權(quán)所有  備案號:京ICP備12018864號-26   聯(lián)系郵箱:2 913 236 @qq.com