技術即藝術

摘要： 寫在前面 本人9年IT研發相關從業經驗，主要方向在大數據和數據治理相關研發工作，之所以寫這邊博客是因為最近三四年工作及以咨詢顧問角色對外做相關咨詢工作中遇到與售前相關的一些事宜，包括與客戶洽談相關商機、需求調研分析、解決方案編寫等相關工作。所以寫下該編博客記錄一些經驗總結。本篇博客的主要內容思維導圖 閱讀全文

摘要： 1.需求 2.應用場景 簡單的線性預測銷售額，比如三月份累計銷售額應該達到2a+b,實際a+b+c看看差距 3.sql實現 這道題先需要去分析結果集，本質上是一個迭代累加的過程，先要得到如下結果 如果在面試數倉中實現了以上結果，基本上面試官會很通過，也在短時間內可以實現，實現sql如下 with t 閱讀全文

摘要： 1.問題描述 在應用flink實時消費kafka數據多端中，一般會使用flink原生的addsink或flinkSQL利用SqlDialect，比如消費kafka數據實時寫入hive和kafka一般用兩種方式： 第一種方式是寫入hive利用SqlDialect，寫入kafka利用flink的旁路輸出 閱讀全文

摘要： 1.需求 查詢用戶連續追蹤客戶的開始時間和結束時間，以下兩種場景都需支持 第一種場景： 連續：中間沒有斷，如a追蹤客戶小明，第1次開始為2023-01-01，結束時間為：2023-01-03；第2次開始為2023-01-04，結束時間為：2023-01-07，則追蹤時間為開始時間為2023-01-0 閱讀全文

摘要： 1.需求 根據身份證號分組聚合求第一次(開始時間最小)出現的基站及對應時間和最后一次(結束時間最大)出現的基站，ip4，ip6及對應時間 2.應用場景 安全行業，上網流量日志監控行業，如追擊罪犯，要查看第一次出現的位置和最后一次出現的位置及最后一次聯系人等相關信息，從而可以和最后一次聯系人及相關信息 閱讀全文

摘要： ####1.時間語義 Flink是一個實時計算引擎，談到實時概念，就必然會設計到時間概念。Flink的時間語義是保證實時及實時數據處理的一致性，及時性。Flink時間語義分為下面三種 ######Event Time:事件創建時間 ######Ingestion Time:事件攝入時間(數據進入Fl 閱讀全文

摘要： ####CDC介紹 CDC 是 Change Data Capture（變更數據獲取）的簡稱。核心思想是，監測并捕獲數據庫的變動（包括數據或數據表的插入、更新以及刪除等），將這些變更按發生的順序完整記錄下來，寫入到消息中間件中以供其他服務進行訂閱及消費。 #####CDC種類 ######基于查詢的 閱讀全文

摘要： ###1. 寫在前面 之前零散的寫了一些spark在某一塊的性能優化，比如sparkstreaming的性能優化，參數優化，sparkSQL的優化。本篇博文針對spark一些基本的核心優化做一個介紹分享，當然這里的介紹適合rdd,sparkstreaming,sparkSQL等。當然個人認為不管什么 閱讀全文

摘要： ####1.數據倉庫及數倉中的數據模型及操作描述 在大數據設計與開發過程中，數據倉庫是必不可少的一部分。但很多開發者將數倉理解為很多業務庫和業務表的匯總集合，這是不全面的。數倉存在很多設計，架構，業務建模等多個維度的問題。關于數倉的大體介紹可以參照之前的文章(https://www.cnblogs. 閱讀全文

摘要： ####1.hive窗口函數語法 提到Hive SQL的窗口函數，很多開發者就想到row_number() over()或者rank() over()。甚至許多開發者包括之前本人也覺得row_number()，rank()就是最常用的窗口函數。其實這個理解是錯誤的。hive的窗口函數其實只有一個就是 閱讀全文