聚焦數倉極致降本,火山引擎ByteHouse升級解決方案
隨著數據量的爆炸性增長,現代企業在數據存儲、處理與分析上面臨巨大挑戰。作為面向實時數據處理的工具,OLAP(聯機分析處理)系統能幫助企業充分挖掘數據價值、輔助決策。然而,OLAP在追求高效數據分析的同時,往往難以平衡成本與效率矛盾。
快節奏的商業環境要求OLAP系統在保證數據準確性的前提下,盡可能縮短數據處理和分析的時間。但高效的數據處理往往伴隨著更復雜的系統架構和更高的資源消耗,企業需要投入高昂的計算資源、服務器、存儲資源等硬件成本以及大量算法優化、運維、遷移等軟性成本。
在近期線上直播中,火山引擎ByteHouse則從“降本增效”角度出發,總結了自身服務抖音集團內部以及金融、游戲等外部行業經驗,為企業實現效率、成本雙贏提供全新解決方案。
據火山引擎ByteHouse資深產品經理介紹:“ ByteHouse已在抖音集團內部經過多年打磨,在企業降本增效大背景下,我們也通過架構、技術、生態、一體化能力升級,將一系列能力對外輸出,為企業帶去‘四大紅利’,期望在保障查詢性能基礎上,盡可能降低資源成本?!?/div>
首先,“架構紅利”,這也是ByteHouse極致降本的重要基石。作為一款聚焦于大規模數據分析設計的云原生數據倉庫,ByteHouse通過其獨特的存算分離架構,實現了資源的高效利用和靈活擴展。該架構的引入,有效解決了傳統數據倉庫在計算和存儲資源上的緊耦合問題,使得企業可以根據實際需求獨立擴展計算或存儲資源,避免資源浪費。
基于存算分離架構,ByteHouse將計算資源 Shared-Nothing 和存儲資源 Shared-Disk 獨立擴展,用戶只需根據實際業務需求靈活調整計算資源配置,無需受限于存儲限制。另外,ByteHouse采用彈性計費、自動啟停策略,當 VW 空閑超過 5 分鐘時,自動啟停 會自動關閉集群,VW在關閉期間不會產生任何費用,能幫助用戶節省至少20%成本。
其次,計算和存儲的獨創設計,為企業帶去雙重“技術紅利”。在計算層面,ByteHouse自研的查詢優化器提升了多表查詢性能,同時其點查優化技術,提升了整體系統的并發性能。據性能測試顯示,ByteHouse的性能比開源ClickHouse提升了40%-50%,這意味著在相同的查詢單位算力下,ByteHouse能夠顯著減少計算節點數量,從而降低企業的硬件成本。在存儲層面,ByteHouse共享對象存儲、存儲分級、數據壓縮等極致優化,進一步壓縮了存儲成本。
除了技術層面優勢,ByteHouse在生態兼容性方面也表現出色。一方面,ByteHouse 支持豐富的上下游生態,包括Flink、Spark、DataX、DataSail等數據導入、加工工具; Airflow,DophinScheduler等調度工具; Superset、Tableau、FineBI、DataWind等BI工具以及語言Driver、開發工具等。另一方面,ByteHouse與ClickHouse、MySQL生態完全兼容,降低用戶數據遷移門檻和遷移額外成本。
最后,ByteHouse還具備強大的“融合紅利”。立足于All in One的理念,ByteHouse融合了實時查詢、聚合查詢、人群圈選、文本檢索等各類場景,不僅簡化了企業的技術棧管理,降低運維成本,還為企業提供了更加豐富和一體化的使用體驗。從數據上看,以抖音集團內部舉例,僅僅5個 SRE 工程師就能運維近 2 萬臺 ByteHouse 服務器。
值得一提的是,在湖倉融合方面,ByteHouse支持業界常見數據湖的外表連接方式,能實現多種外表和ByteHouse內表的聯邦查詢。同時,通過Zero-ETL技術,ByteHouse可以將數據湖中的數據自動同步到數倉中,不僅提高了分析效率,減少數據不一致問題,還降低了數據的冗余存儲和轉換成本。
ByteHouse極致降本的能力也在抖音集團內部以及游戲等外部場景中得到充分檢驗和應用。目前,抖音集團超過80%業務都基于ByteHouse部署,在存算分離架構上,ByteHouse對象存儲能減少抖音集團上層軟件層的副本需求,在QPS提升35%的基礎上,成本降低60%。除此之外,在某頭部游戲公司的應用中,ByteHouse高并發點查能力也幫助該公司在服務器核數減少30% 情況下,并發性能提升2倍。
憑借創新的OLAP架構、卓越的技術創新、廣泛的生態兼容性以及強大的融合優勢,ByteHouse為企業級數倉降本增效提供了有力支持,進一步助力企業加速數字化轉型,實現數據驅動下的業務增長。

浙公網安備 33010602011771號