在做統計計算的時候，根據條件將不同數據分組存放，可以方便后續取數、分析。 Flink中有分流算子，可以將這一批處理后的數據，分成不同的流數據，Spark雖然沒有這種算子，但是有類似的操作。 根據key值，將數據寫到不同目錄下 import org.apache.hadoop.mapred.lib.M Read More
posted @ 2025-06-27 15:52
MrSponge
Views(9)
Comments(0)
Diggs(0)
python不僅在獲取外部傳參跟Scala、Java有區別，還在提交Spark任務上也有區別。 python不像Java、Scala項目那樣，可以通過Maven將項目的一些資源（jar、resource...）打成一個jar包提交到集群上，它不能打包（暫時不知道怎么打包），每次都是通過spark-s Read More
posted @ 2025-05-14 16:06
MrSponge
Views(17)
Comments(0)
Diggs(0)
最近在學PySpark，發現有幾個有意思的點。 ScalaSpark→JavaSpark→PySpark Python如何獲取外部傳參 在Java、Scala中，可執行文件代碼都會有一個main方法 def main(args: Array[String]): Unit = { val input Read More
posted @ 2025-05-13 22:38
MrSponge
Views(27)
Comments(0)
Diggs(0)
前言：由于Spark的閉包檢查，Driver端的數據無法獲取到Executor端的計算數據。 因此需要特殊類型——累加器（ACC） 目錄累加器實現原理調用系統累加器注意事項自定義累加器廣播變量 累加器實現原理 累加器用來把Executor端變量信息聚合到Driver端。再Driver程序中定義的變量 Read More
posted @ 2025-04-10 23:42
MrSponge
Views(59)
Comments(0)
Diggs(0)
查看源碼發現 aggregateByKey 的返回值與傳入的zeroVlue類型是一樣的 package com.pzb.rdd.operator.transform import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf Read More
posted @ 2025-04-10 23:38
MrSponge
Views(20)
Comments(0)
Diggs(0)
最近在寫Spark導數程序的時候，為了實現程序的多元化，即使用同一套程序，實現不同場景的需求，而參考Spark的org.apache.spark.deploy.master.MasterArguments解析main()方法參數寫法 @tailrec def parameterMatching(ar Read More
posted @ 2025-04-10 23:35
MrSponge
Views(16)
Comments(0)
Diggs(0)
最近公司讓我們學習部署一下deepseek，看能不能擴展一些AI新業務（個人感覺我沒這個實力😂），在此記錄一下部署遇到的問題！！！ 環境：本地下載ollama，然后通過ollama pull deepseek r1 模型，Linux服務器通過ragflow開源項目整合ollama接口實現大模型調用 Read More
posted @ 2025-02-17 15:16
MrSponge
Views(759)
Comments(0)
Diggs(0)
在字符串中添加換行符 在PostgreSQL中如果想在字符串中添加特殊符號，是不等直接在字符串中顯示的，如：select '\n'，最后查出來的就是\n而不是換行符。 這是需要借用E。在PostgreSQL中，字符串前面的 E 表示該字符串是一個轉義字符串（escape string）。轉義字符串可 Read More
posted @ 2024-12-31 16:11
MrSponge
Views(172)
Comments(0)
Diggs(0)
這里引用官網的文章 + 我在使用時遇到的問題。官網已經講解的很明白了。 版本信息： mysql：8.0.33 starRocks：3.0.1 官網有另外一種更簡便的方法（DML、DDL一起同步），但好像是我的StarRocks版本太低了，實現不了，看了一下jar包，得3.1以上的才行 從MySQL實 Read More
posted @ 2024-12-17 16:52
MrSponge
Views(1632)
Comments(0)
Diggs(0)
背景 前段時間在做一個數據中臺的項目，系統用到了不同數據庫中的數據。自己又不想手寫JDBC連接，既然我有這個需求，那功能應該有人實現了，于是開始了網上搜了，搜索后發現基本都是講讀寫分離、主備切換的，后面也查略了Mybatis-plus的官網，里面有這個功能，但好像是我組件的版本之間不兼容，導致出現了 Read More
posted @ 2024-10-30 17:57
MrSponge
Views(2121)
Comments(0)
Diggs(0)
浙公網安備 33010602011771號