摘要：
一、問題背景 這兩天被問了這么一個問題，所以才開啟了這個話題。問題如下： 支付中心一般都是由交易系統和支付系統兩大系統構成，其中交易系統主要是處理跟商戶或用戶的請求，創建相關訂單并發起支付，支付系統主要是處理跟支付通道的對接，將支付請求轉給支付通道并處理響應。正常用戶發起支付請求，交易系統創建交易訂 閱讀全文
posted @ 2025-09-10 17:05
Boblim
閱讀(80)
評論(0)
推薦(0)
摘要：
問題拋出：像窗口大小為1小時，滑動步長為1分鐘的滑動窗口，我理解最大并行的窗口數是60（比如第一個是0點開始的，那么在59分的時候就有60個），那么每個窗口的大小是一樣的么，他們所占內存的大小跟自己窗口有關，還是底層數據之間其實是共享的呢。舉例，如果我們1小時內，因為每分鐘去消息隊列讀，所以其實有6 閱讀全文
posted @ 2025-09-06 15:53
Boblim
閱讀(9)
評論(0)
推薦(0)
摘要：
一、背景 最近有一個需求是：要求有一個類對象為Order，它有string類型的字段orderNo和Long類型的字段cost，生產者寫到kafka的value是Order對象序列化后的字節數組、key值是orderNo字段，要求spark以手動提交的方式消費kafka，并將數據依次寫入到hive表 閱讀全文
posted @ 2025-09-06 01:25
Boblim
閱讀(15)
評論(0)
推薦(0)
摘要：
Java 原生序列化的問題 性能差 Java 自帶的序列化是基于反射的，序列化時需要寫入大量類元數據（類名、字段描述、版本號等），字節流臃腫。 反序列化時依賴反射和對象創建，速度比 Protobuf/Avro 慢一個數量級。 不跨語言 Java 序列化生成的字節流格式只有 JVM 認識，Python 閱讀全文
posted @ 2025-09-04 15:35
Boblim
閱讀(24)
評論(0)
推薦(0)
摘要：
一、背景 最近有一個需求是：要求有一個類對象為Order，它有string類型的字段orderNo和Long類型的字段cost，生產者寫到rocketMQ的value是Order對象序列化后的字節數組、key值是orderNo字段，要求spark以手動提交的方式消費rocketMQ，并將數據依次寫入 閱讀全文
posted @ 2025-09-04 15:28
Boblim
閱讀(19)
評論(0)
推薦(0)
摘要：
一、背景 最近有一個需求是：要求有一個類對象為Order，它有string類型的字段orderNo和Long類型的字段cost，生產者寫到rocketMQ的value是Order對象序列化后的字節數組、key值是orderNo字段，要求spark以自動提交的方式消費rocketMQ，并將數據依次寫入 閱讀全文
posted @ 2025-09-04 15:05
Boblim
閱讀(13)
評論(0)
推薦(0)
摘要：
在 Spark 里接入 RocketMQ，主要有兩大類方式： 🔹 1. 基于 老的 Spark Streaming (DStream API) RocketMQ 社區提供過 rocketmq-spark connector（在 apache/rocketmq-externals 里），可以像 Ka 閱讀全文
posted @ 2025-09-04 14:27
Boblim
閱讀(103)
評論(0)
推薦(0)
摘要：
🔑 Spark Streaming vs Structured Streaming 對比表 對比維度Spark StreamingStructured Streaming 編程模型 基于 RDD 和 DStream（離散流，本質是一系列小批次 RDD） 基于 Dataset/DataFrame（統 閱讀全文
posted @ 2025-09-04 01:08
Boblim
閱讀(22)
評論(0)
推薦(0)
摘要：
這三個是 Spark 里的核心數據抽象，很多人會混淆。我們來逐層對比一下： 1. 概念對比 特性RDD (Resilient Distributed Dataset)DataFrameDataset 提出時間 Spark 最早的數據抽象 (Spark 1.0 就有) Spark 1.3 引入 Spa 閱讀全文
posted @ 2025-09-04 01:08
Boblim
閱讀(15)
評論(0)
推薦(0)
摘要：
在 Spark Structured Streaming 里，確實沒有像 DStream API 那樣的 commitAsync 讓你手動提交 Kafka offset。原因主要有以下幾個方面： 1. Structured Streaming 的 核心設計理念 Structured Streamin 閱讀全文
posted @ 2025-09-04 00:55
Boblim
閱讀(9)
評論(0)
推薦(0)
浙公網安備 33010602011771號