字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)

摘要： 更多技術(shù)交流、求職機(jī)會(huì)、試用福利，歡迎關(guān)注字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)微信公眾號(hào)，回復(fù)【1】進(jìn)入官方交流群 序言 埋點(diǎn)數(shù)據(jù)作為推薦、搜索、產(chǎn)品優(yōu)化的基石，其數(shù)據(jù)質(zhì)量的重要性不言而喻，而要保障埋點(diǎn)數(shù)據(jù)的質(zhì)量，埋點(diǎn)驗(yàn)證則首當(dāng)其沖。工欲善其事必先利其器，要做好埋點(diǎn)驗(yàn)證會(huì)面臨很多技術(shù)挑戰(zhàn)：易用性、準(zhǔn)確性、實(shí)時(shí)性、穩(wěn)定性 閱讀全文

摘要： 在字節(jié)跳動(dòng)各產(chǎn)品線飛速成長(zhǎng)的過程中，對(duì)數(shù)據(jù)分析能力也提出了更高的要求，現(xiàn)有的主流數(shù)據(jù)分析產(chǎn)品都沒辦法完全滿足業(yè)務(wù)要求。因此，字節(jié)跳動(dòng)在ClickHouse引擎基礎(chǔ)上重構(gòu)了技術(shù)架構(gòu)，實(shí)現(xiàn)了云原生環(huán)境的部署和運(yùn)維管理、存儲(chǔ)計(jì)算分離、多租戶管理等能力，推出了云原生數(shù)據(jù)倉庫ByteHouse。 在性能、可擴(kuò) 閱讀全文

摘要： 更多技術(shù)交流、求職機(jī)會(huì)、試用福利，歡迎關(guān)注字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)微信公眾號(hào)，回復(fù)【1】進(jìn)入官方交流群 看板/儀表盤/Dashboard是數(shù)據(jù)分析結(jié)果的呈現(xiàn)。用于向讀者傳達(dá)有效的數(shù)據(jù)信息和業(yè)務(wù)見解，讓數(shù)據(jù)更清晰直觀的展示業(yè)務(wù)面貌，幫助讀者發(fā)現(xiàn)關(guān)鍵指標(biāo)，提升決策速度。 由于看板本身承載的價(jià)值，搭建一個(gè)清晰可用 閱讀全文

摘要： 更多技術(shù)交流、求職機(jī)會(huì)、試用福利，歡迎關(guān)注字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)微信公眾號(hào)，回復(fù)【1】進(jìn)入官方交流群 需求背景 數(shù)據(jù)探查上線之前，數(shù)據(jù)驗(yàn)證都是通過寫 SQL 方式進(jìn)行查詢的，從編寫 SQL，到解析運(yùn)行出結(jié)果，不僅時(shí)間長(zhǎng)，還會(huì)反復(fù)消耗計(jì)算資源，探查上線后，只需要一次探查，就可以得到整張表的探查報(bào)告，但后續(xù)我 閱讀全文

摘要： 更多技術(shù)交流、求職機(jī)會(huì)、試用福利，歡迎關(guān)注字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)微信公眾號(hào)，回復(fù)【1】進(jìn)入官方交流群 近年來，OLAP產(chǎn)品的競(jìng)爭(zhēng)日漸激烈，目前企業(yè)間流行的既有Impala、Greenplum等上一代較為成熟的數(shù)據(jù)分析產(chǎn)品，也有ClickHouse、Kylin、Druid、Doris、StarRocks等在 閱讀全文

摘要： 更多技術(shù)交流、求職機(jī)會(huì)、試用福利，歡迎關(guān)注字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)微信公眾號(hào)，回復(fù)【1】進(jìn)入官方交流群 ClickHouse 作為目前業(yè)內(nèi)主流的列式存儲(chǔ)數(shù)據(jù)庫(DBMS)之一，擁有著同類型 DBMS 難以企及的查詢速度。作為該領(lǐng)域中的后起之秀，ClickHouse 已憑借其性能優(yōu)勢(shì)引領(lǐng)了業(yè)內(nèi)新一輪分析型數(shù)據(jù) 閱讀全文

摘要： 更多技術(shù)交流、求職機(jī)會(huì)、試用福利，歡迎關(guān)注字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)微信公眾號(hào)，回復(fù)【1】進(jìn)入官方交流群 本文將介紹字節(jié)跳動(dòng)在埋點(diǎn)數(shù)據(jù)流業(yè)務(wù)場(chǎng)景遇到的需求和挑戰(zhàn)以及具體實(shí)踐，包含埋點(diǎn)數(shù)據(jù)流簡(jiǎn)介、埋點(diǎn)數(shù)據(jù)流建設(shè)實(shí)踐、埋點(diǎn)數(shù)據(jù)流治理實(shí)踐以及未來規(guī)劃。關(guān)注字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)微信公眾號(hào)，回復(fù)【0627】獲得本次分享材料 閱讀全文

摘要： 更多技術(shù)交流、求職機(jī)會(huì)、試用福利，歡迎關(guān)注字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)微信公眾號(hào)，回復(fù)【1】進(jìn)入官方交流群 中國(guó)游戲行業(yè)發(fā)展現(xiàn)狀及挑戰(zhàn) 國(guó)內(nèi)市場(chǎng)增長(zhǎng)乏力 2021年游戲銷售收入2965.13億元，同比增長(zhǎng)6.4%，增速相較于2020年減少近15%。游戲用戶規(guī)模達(dá)6.66億人，同比增長(zhǎng)僅為0.22%。2021年游 閱讀全文

摘要： 數(shù)據(jù)倉庫發(fā)展歷程很久，隨著云計(jì)算等技術(shù)發(fā)展以及海量數(shù)據(jù)應(yīng)用場(chǎng)景等出現(xiàn)，對(duì)數(shù)據(jù)倉庫提出全新要求，高性能、實(shí)時(shí)性、云原生等成為數(shù)據(jù)倉庫發(fā)展關(guān)鍵詞，也因此演變出不同的數(shù)倉發(fā)展路徑。 在字節(jié)跳動(dòng)十年發(fā)展歷程中，各類業(yè)務(wù)數(shù)據(jù)量膨脹，不斷挑戰(zhàn)數(shù)據(jù)能力邊界，也讓字節(jié)跳動(dòng)在數(shù)據(jù)鏈路優(yōu)化處理、提升分析效率、數(shù)據(jù)倉庫選 閱讀全文

摘要： 字節(jié)的 DataCatalog 系統(tǒng)，在 2021 年進(jìn)行過大規(guī)模重構(gòu)，新版本的存儲(chǔ)層基于 Apache Atlas 實(shí)現(xiàn)。遷移過程中，我們遇到了比較多的性能問題。本文以 Data Catalog 系統(tǒng)升級(jí)過程為例，與大家討論業(yè)務(wù)系統(tǒng)性能優(yōu)化方面的思考，也會(huì)介紹我們關(guān)于 Apache Atlas 相關(guān)的性能優(yōu)化。 閱讀全文