字節跳動數據平臺

摘要： 字節跳動 A/B Tester 團隊將 A/B test 實驗方法應用在廣告營銷領域，并首先在西瓜視頻成功實踐，用科學實驗衡量決策收益，讓廣告營銷從創意玄學走向數據科學。 文 | 字節跳動數據平臺 A/B Tester 團隊 我有一半的廣告費都被浪費了！ “我有一半的廣告費都被浪費了，但就是不知道是 閱讀全文

摘要： 字節跳動數據湖團隊在實時數倉構建寬表的業務場景中，探索實踐出的一種基于 Hudi Payload 的合并機制提出的全新解決方案。 字節跳動數據湖團隊在實時數倉構建寬表的業務場景中，探索實踐出的一種基于 Hudi Payload 的合并機制提出的全新解決方案。 該方案在存儲層提供對多流數據的關聯能力， 閱讀全文

摘要： 背景 字節跳動開發套件數據集成團隊（DTS ，Data Transmission Service）在字節跳動內基于 Flink 實現了流批一體的數據集成服務。其中一個典型場景是 Kafka/ByteMQ/RocketMQ → HDFS/Hive 。Kafka/ByteMQ/RocketMQ → HD 閱讀全文

摘要： 本文是字節跳動數據平臺數據引擎SparkSQL團隊針對 Spark History Server (SHS) 的優化實踐分享。 文 | 字節跳動數據平臺—數據引擎—SparkSQL團隊 在字節跳動內部，我們實現了一套全新的云原生 Spark History 服務—— UIService，相比開源的 閱讀全文

摘要： 在線AB實驗成為當今互聯網公司中必不可少的數據驅動的工具，很多公司把自己的應用來做一次AB實驗作為數據驅動的試金石。 文 | 松寶 來自 字節跳動數據平臺團隊增長平臺 在線AB實驗成為當今互聯網公司中必不可少的數據驅動的工具，很多公司把自己的應用來做一次AB實驗作為數據驅動的試金石。 數據 ? 洞察 閱讀全文

摘要： 由字節跳動數據湖團隊貢獻的 RFC-29 Bucket Index 在近期合入 Hudi 主分支，本文詳細介紹 Hudi Bucket Index 產生的背景與實踐經驗。字節跳動數據湖團隊持續招人中，團隊支撐字節所有業務線的數倉，打造業界領先的 EB 級數據湖。文末了解詳情 文 | 字節跳動數據平臺 閱讀全文

摘要： 數據血緣描述了數據的來源和去向，以及數據在多個處理過程中的轉換。數據血緣是組織內使數據發揮價值的重要基礎能力。本文從字節的數據鏈路概況開始，介紹了數據血緣在字節的應用場景，總體設計，數據模型以及衡量指標。 文 | 羅小亮、拾捌、大濱來自字節跳動數據平臺開發套件團隊 字節跳動數據鏈路介紹 為了明確問題 閱讀全文

摘要： 企業級數倉架構設計與選型的時候需要從開發的便利性、生態、解耦程度、性能、 安全這幾個緯度思考。本文作者：驚帆 來自于數據平臺 EMR 團隊 前言 Apache Hive 經過多年的發展，目前基本已經成了業界構建超大規模數據倉庫的事實標準和數據處理工具，Hive 已經不單單是一個技術組件，而是一種設計 閱讀全文

摘要： ClickHouse UBA 版本是字節跳動內部在開源版本基礎上為火山引擎增長分析專門深度定制優化的版本。 閱讀全文

摘要： 本文是字節跳動數據平臺開發套件團隊在 Flink Forward Asia 2021: Flink Forward 峰會上的演講，著重分享了字節跳動數據湖技術上的選型思考和探索實踐。 閱讀全文