火山引擎ByteHouse助力車企實(shí)現(xiàn)高性能數(shù)據(jù)分析
為了支撐車輛數(shù)據(jù)系統(tǒng)對實(shí)時(shí)性的要求，車企在底層數(shù)據(jù)引擎選型上往往傾向于能對大規(guī)模數(shù)據(jù)、復(fù)雜場景的分析型數(shù)據(jù)庫。作為火山引擎推出的一款定位于OLAP的分析型數(shù)據(jù)庫，ByteHouse因其高性能、極致分析能力，進(jìn)入某系能源車企的視野。
更多技術(shù)交流、求職機(jī)會，歡迎關(guān)注字節(jié)跳動數(shù)據(jù)平臺微信公眾號，回復(fù)【1】進(jìn)入官方交流群。
新能源汽車市場正在迎來飛速發(fā)展時(shí)期。根據(jù) IDC 預(yù)測，中國乘用車市場中，新能源車市場規(guī)模將在2028年超過2300萬輛，年復(fù)合增長率為22.8%。
一套高可靠、高性能、高可用的數(shù)據(jù)分析系統(tǒng)對于新能源車及時(shí)發(fā)現(xiàn)和解決問題、保障車輛安全、提升產(chǎn)品質(zhì)量都具有重要意義。
行業(yè)上曾有過電池溫度過高，超過安全閾值，導(dǎo)致車輛事故的新聞報(bào)道。實(shí)時(shí)車輛信號數(shù)據(jù)分析系統(tǒng)則能實(shí)時(shí)監(jiān)測電池溫度、電流、電壓等信號數(shù)據(jù)。當(dāng)溫度異常升高時(shí)，系統(tǒng)能夠立即向車主發(fā)出警報(bào)，提醒車主采取措施，比如降低車速或盡快找到安全地點(diǎn)停車。同樣，相關(guān)數(shù)據(jù)也會被實(shí)時(shí)傳輸回車輛制造商的服務(wù)器。制造商的技術(shù)團(tuán)隊(duì)可以迅速分析數(shù)據(jù)，判斷是否是個(gè)別車輛的故障，還是存在批次性的產(chǎn)品質(zhì)量問題。
為了支撐車輛數(shù)據(jù)系統(tǒng)對實(shí)時(shí)性的要求，車企在底層數(shù)據(jù)引擎選型上往往傾向于能對大規(guī)模數(shù)據(jù)、復(fù)雜場景的分析型數(shù)據(jù)庫。作為火山引擎推出的一款定位于OLAP的分析型數(shù)據(jù)庫，ByteHouse因其高性能、極致分析能力，進(jìn)入某系能源車企的視野。
通過選取某一輛車一天的樣例數(shù)據(jù)，車企模擬了近千億條數(shù)據(jù)進(jìn)行測試。在單表點(diǎn)查、單表聚合、關(guān)聯(lián)聚合等查詢場景中，基于相同SQL查詢，相比于市場同類型產(chǎn)品，ByteHouse性能提升至少4倍。
據(jù)介紹，ByteHouse的高性能主要來源于其在復(fù)雜查詢、寬表查詢等場景中的系列優(yōu)化措施。在復(fù)雜查詢上，ByteHouse推出了一系列自研優(yōu)化器，包括RBO（基于規(guī)則的優(yōu)化能力）、CBO（基于代價(jià)的優(yōu)化能力）、分布式計(jì)劃生成等，能夠準(zhǔn)確的計(jì)算出效率最大化執(zhí)行路徑，大幅度降低用戶查詢時(shí)間。除此之外，ByteHouse還從Exchange、Runtime Filter以及并行化重構(gòu)等方向進(jìn)行了優(yōu)化。在寬表查詢場景中，ByteHouse主要通過全局字典、Zero copy以及UncompressedCache 來實(shí)現(xiàn)性能提升。
在此前發(fā)布的性能白皮書中，ByteHouse通過SSB、TPC-H 和 TPC-DS三種數(shù)據(jù)集測試結(jié)果展示了其性能硬實(shí)力。以性能著稱的某開源OLAP作為基準(zhǔn)測試產(chǎn)品，ByteHouse在不同查詢項(xiàng)上都有顯著的性能提升。以TPC-H 數(shù)據(jù)集舉例，在相同硬件和軟件環(huán)境下， ByteHouse 查詢效率高于本次基準(zhǔn)測試產(chǎn)品幾十倍。
通過一系列技術(shù)優(yōu)化手段，ByteHouse實(shí)現(xiàn)性能進(jìn)一步提升，縮短查詢執(zhí)行時(shí)間、優(yōu)化資源利用，能應(yīng)對更復(fù)雜的查詢場景，為用戶提供更流暢的數(shù)據(jù)分析體驗(yàn)，應(yīng)用于互聯(lián)網(wǎng)、游戲、金融、汽車、氣象等領(lǐng)域，助推數(shù)智化轉(zhuǎn)型升級。
點(diǎn)擊跳轉(zhuǎn) 火山引擎云原生數(shù)倉ByteHouse 了解更多。
浙公網(wǎng)安備 33010602011771號