伴隨著云計(jì)算和數(shù)字化浪潮的推進(jìn)，越來越多行業(yè)數(shù)據(jù)實(shí)時(shí)性的權(quán)重正在被加速提升，對(duì)企業(yè)而言，如果想要保證業(yè)務(wù)的持續(xù)發(fā)展，其底層數(shù)據(jù)庫必須要能滿足數(shù)據(jù)的實(shí)時(shí)性和高并發(fā)要求。

除此之外，在降本增效的大潮下，“高性價(jià)比”也成為企業(yè)選擇一款數(shù)倉的重要因素。

那么，企業(yè)應(yīng)該如何構(gòu)建自己的實(shí)時(shí)數(shù)倉體系，并兼具性能、成本、運(yùn)維等全部需求？

讓我們把視線聚焦到數(shù)字廣告行業(yè)，這家企業(yè)僅僅用了 11 天，在數(shù)據(jù)處理方面，就實(shí)現(xiàn)了效率提升 40%、成本降低 30%。這就是數(shù)字化廣告平臺(tái)——布魯肯。

業(yè)務(wù)背景：實(shí)時(shí)數(shù)倉是廣告業(yè)數(shù)據(jù)引擎的核心動(dòng)力

作為一家數(shù)字化廣告平臺(tái)，布魯肯覆蓋全渠道自助式變現(xiàn)解決方案，為移動(dòng)開發(fā)者提供增長和變現(xiàn)一體化的商業(yè)解決方案。一方面，布魯肯幫助媒體端（如電商平臺(tái)、社媒網(wǎng)站等）獲得更大的流量和廣告收益，另一方面幫助廣告主提供足夠精準(zhǔn)的廣告投放策略，以提高產(chǎn)品曝光。

以 APP 開屏廣告展示為例，開屏廣告展現(xiàn)在人們眼中的時(shí)間僅需 200ms，甚至是 100ms。在如此短時(shí)間內(nèi)，上演的卻是一個(gè)完整周期的廣告模型——從打開時(shí)的接受用戶數(shù)據(jù)，到基于用戶數(shù)據(jù)生成對(duì)應(yīng)的廣告策略，最終再反饋到產(chǎn)品端進(jìn)行前端展示。

而為這個(gè)復(fù)雜精密的實(shí)時(shí)數(shù)字廣告模型提供核心動(dòng)力的，是布魯肯的底層實(shí)時(shí)數(shù)據(jù)倉庫，在特定節(jié)日大促期間如 618、雙 11 等，底層的數(shù)據(jù)流轉(zhuǎn)則更是會(huì)被以十倍、乃至百倍的要求提速。

業(yè)務(wù)痛點(diǎn)：無法平衡的效率與成本

布魯肯在全球擁有 600 多家 DSP、代理平臺(tái)和廣告主伙伴，底層數(shù)據(jù)系統(tǒng)一天的請(qǐng)求次數(shù)高達(dá) 150 億，數(shù)據(jù)流量超過 2GB/s，廣告日均點(diǎn)擊 20M+，多樣化場(chǎng)景、海量數(shù)據(jù)高并發(fā)的需求場(chǎng)景每時(shí)每刻都在布魯肯上演。

數(shù)據(jù)體量大，場(chǎng)景多樣，導(dǎo)致整體數(shù)據(jù)架構(gòu)復(fù)雜的，之前布魯肯基于開源 ClickHouse 自建系統(tǒng)，其本身固有的列式存儲(chǔ)模式，伴著業(yè)務(wù)發(fā)展，對(duì)應(yīng)的硬件成本更在飛速飆升。另外， ClickHouse 本身雖然具備強(qiáng)大的分析和線性拓展能力，但在復(fù)雜查詢等層面不擅長。

布魯肯在構(gòu)建實(shí)時(shí)數(shù)倉過程中主要面臨問題：

• 海量數(shù)據(jù)下的高并發(fā)：采集數(shù)據(jù)量大 ，數(shù)據(jù)流量超過 2GB/s，并發(fā)處理要求高。

• 系統(tǒng)穩(wěn)定性要求：業(yè)務(wù)包含廣告營銷投流分析等，對(duì)于數(shù)據(jù)質(zhì)量與穩(wěn)定性要求高。

• 彈性擴(kuò)容和降本增效：資源需求隨營銷活動(dòng)動(dòng)態(tài)變化，比如 618、雙 11 等大促期間，數(shù)據(jù)量級(jí)驟增，性能要求更高，需要能根據(jù)實(shí)際業(yè)務(wù)需求，靈活調(diào)整資源配置。

直觀反映到企業(yè)經(jīng)營層面：底層硬件以及數(shù)據(jù)庫運(yùn)維側(cè)不斷在投入更多的企業(yè)運(yùn)營成本，但前端業(yè)務(wù)依然會(huì)出現(xiàn)“卡頓、用戶請(qǐng)求反饋慢、投放策略優(yōu)化不及時(shí)”等問題。

優(yōu)化方案：從 ClickHouse 到 ByteHouse 實(shí)時(shí)數(shù)倉解決方案

1. 選型歷程：

關(guān)于數(shù)據(jù)庫的選型工作在布魯肯內(nèi)部持續(xù)開展，調(diào)研產(chǎn)品包括 Flink 等國內(nèi)諸多主流數(shù)據(jù)庫產(chǎn)品，在相關(guān)業(yè)務(wù)場(chǎng)景的性能表現(xiàn)以及使用成本，未能滿足要求。

從最開始選擇 ByteHouse 到使用其進(jìn)行生產(chǎn)，布魯肯僅僅用了 11 天。引入 ByteHouse，對(duì)布魯肯企業(yè)業(yè)務(wù)影響極小且成本極低。

1. 產(chǎn)品組合：

云原生數(shù)據(jù)倉庫 ByteHouse （企業(yè)版）+Kafka

• Kafka 集群：用于流式數(shù)據(jù)的傳輸和處理，確保大規(guī)模數(shù)據(jù)在不同系統(tǒng)之間的高效傳輸和實(shí)時(shí)處理。

• ByteHouse 集群： 作為核心的數(shù)據(jù)存儲(chǔ)與處理平臺(tái)，支持大規(guī)模數(shù)據(jù)的存儲(chǔ)、查詢和分析，支持高效處理實(shí)時(shí)數(shù)據(jù)和批量數(shù)據(jù)，提供快速的查詢響應(yīng)和復(fù)雜的分析能力。

1. 方案介紹：

基于 ByteHouse+Kafka 搭建一套高效、可靠、可擴(kuò)展的實(shí)時(shí)數(shù)倉鏈路，解決數(shù)據(jù)整合、實(shí)時(shí)處理、廣告效果評(píng)估等問題，提升廣告業(yè)務(wù)的整體運(yùn)營效率，更好地為下游合作伙伴廣告投放決策提供支持。

• 數(shù)據(jù)鏈路設(shè)計(jì)：來源于廣告終端的數(shù)據(jù)，進(jìn)入 Kafka 集群，再經(jīng)過 ByteHouse 內(nèi)表和物化視圖加工，同步到數(shù)據(jù)應(yīng)用中，最終輔助廣告主、廣告平臺(tái)等進(jìn)行投放效果的評(píng)估、費(fèi)用結(jié)算等。

• 生態(tài)兼容性：ByteHouse 與 Kafka 具備很強(qiáng)適配性，為了更好地適配 Kafka，ByteHouse 內(nèi)置增強(qiáng)型 Kafka 引擎，為數(shù)據(jù)寫入提供高性能保障。

• 擴(kuò)展性：ByteHouse+Kafka 均為分布式架構(gòu)優(yōu)勢(shì)，讓布魯肯系統(tǒng)具備充分的靈活性，可以在分鐘級(jí)別下完成全鏈路擴(kuò)容，以便應(yīng)對(duì)廣告場(chǎng)景中常見的大促等流量峰高。

• 壓縮成本：ByteHouse 具備冷存儲(chǔ)的能力，將熱數(shù)據(jù)自動(dòng)轉(zhuǎn)存到冷存儲(chǔ)的方式引入布魯肯，有效緩解業(yè)務(wù)存儲(chǔ)空間持續(xù)增長的問題。

1. 應(yīng)用場(chǎng)景

以今年 618 大促為例。數(shù)字廣告行業(yè)與電商等行業(yè)具備同樣流量峰值點(diǎn)，底層服務(wù)器和數(shù)據(jù)庫需要緊急擴(kuò)容和定向監(jiān)測(cè)運(yùn)維來應(yīng)對(duì)流量高峰。

ByteHouse 與布魯肯提前 2 周聯(lián)合制定預(yù)案，包括如何擴(kuò)容、緊急處理等。在 618 大促期間，運(yùn)維人員只需要點(diǎn)擊擴(kuò)容按鍵等簡單操作，就能實(shí)現(xiàn)分鐘級(jí)擴(kuò)容。如果基于之前的開源產(chǎn)品，這類運(yùn)維工作投入成本和工作量會(huì)是現(xiàn)在的幾十乃至上百倍。

最終成效：1 個(gè)人力，降低企業(yè) 30%成本

1. 擴(kuò)展業(yè)務(wù)邊界

“以 618 為例，我們之前只上了程序化競(jìng)價(jià)廣告，像今年，我們包括其他的一些網(wǎng)站、社媒，以及品牌 PDB 投放我們也都可以支持，相當(dāng)于業(yè)務(wù)寬度更廣了。”

——布魯肯市場(chǎng)負(fù)責(zé)人張亞靈

1. 極致降本增效

“基本全線切到火山引擎之后，我們的成本大概降低了 30%，在效率側(cè)，我們?cè)u(píng)估提高了 30%- 40% 左右，這兩個(gè)一疊加，其實(shí)我覺得效率整體提高一半是有的。”

  ——布魯肯市場(chǎng)負(fù)責(zé)人張亞靈

“其實(shí)在整個(gè)過程中，我們幾乎沒有提供過重的服務(wù)，除了部分參數(shù)和指標(biāo)的調(diào)整確認(rèn)，也就是一個(gè)研發(fā)接近 20%、30%的人力投入，對(duì)于布魯肯來說，只投入 1 個(gè)人力就完成了接入和運(yùn)維。”

——ByteHouse 團(tuán)隊(duì)相關(guān)負(fù)責(zé)人

現(xiàn)階段，布魯肯的同款聚焦于降本增效的實(shí)時(shí)數(shù)倉解決方案已經(jīng)上線。

  案例來源：產(chǎn)業(yè)家《實(shí)時(shí)數(shù)倉，站上產(chǎn)業(yè)潮頭》

《ByteHouse 極致降本指南》也重磅上線，歡迎領(lǐng)取：https://wj.toutiao.com/q/324727/m770OOv3/ec1a/#/