一、?數據分布策略?

1. ?分區分桶設計?
• 對高頻查詢字段（如時間、用戶ID）進行分區，結合PARTITION BY和DISTRIBUTE BY實現雙層剪枝，減少掃描數據量
• 按業務需求選擇分桶列（如廣告ID、商品ID），確保數據均勻分布，避免熱點問題。
2. ?Shard數調整?

　　　　Shard數決定并行度，過少會導致資源利用率不足，過多則增加元數據管理開銷。擴容后需根據實際負載調整Shard數。

• 根據集群規模動態調整Shard數量：

　　　　　　-- 創建新Table Group并設置Shard數
　　　　　　CREATE TABLEGROUP tg_ads WITH (shard_count = 64);

• 擴容后優先新建Table Group，而非修改原有表結構，避免元數據管理開銷。

3. ?統計信息更新?

　　　　（1）收集表的行數、列基數、最大值/最小值、分桶分布等特征，確保優化器生成高效的執行計劃（如JOIN順序預估、內存開銷計算）。

　　　　（2）在數據批量導入或大量INSERT/UPDATE/DELETE操作后，需手動執行ANALYZE <tablename>更新統計信息，避免因信息滯后導致執行計劃錯誤。

         ANALYZE orders;  -- 更新行數、基數、最大值等關鍵信息

二、?查詢優化?

1. ?JOIN性能優化?
• 優先選擇Join條件列或Group By列作為分布列（Distribution Key），實現Local Join加速，通過SET hg_experimental_enable_adaptive_join=on開啟自適應JOIN優化，減少跨節點數據傳輸。
• 啟用Runtime Filter減少Shuffle數據量：

         SET runtime_filter_type = "IN,MIN_MAX";  -- 過濾無效關聯數據

2. ?執行計劃調優?
• 強制使用向量化引擎提升復雜計算效率：

         SET enable_vectorized_engine = true;

• 寬表查詢時限制并行度，減少內存消耗：

         SET hg_experimental_max_num_record_batches_in_buffer = 7;

三、?數據寫入優化?

1. ?批量寫入參數?
• 調整Stream Load批次大小與并發度：

　　　　　　SET hg_experimental_query_batch_size = 1024;  -- 提升大批量寫入效率
　　　　　　SET hg_experimental_dml_bulkload_dop = 2;     -- 控制寫入并發，避免OOM

2. ?資源隔離控制?
• 限制MaxCompute外表查詢并發度，防止影響核心業務：

　　　　　　SET hg_experimental_odps_executor_max_dop = 8;

四、?外部表加速策略?

1. ?Serverless Computing?
• 對MaxCompute外表查詢啟用Serverless資源隔離，提升穩定性：

　　　　　　SET hg_experimental_enable_serverless = on;  -- 避免占用實例自身資源

2. ?HQE執行引擎?
• 針對ORC格式MaxCompute表啟用HQE引擎，查詢性能提升30%~100%：

　　　　　　SET hg_experimental_enable_hqe = true;

調優效果驗證工具

?優先級建議?：

1. 優先優化數據分布（分區分桶不合理導致的熱點）
2. 次優處理高頻查詢的JOIN邏輯與統計信息更新
3. 最后調整執行參數（向量化、并行度等）