報錯信息

2025-08-11 03:30:24.234 [10.42.2.210:27777] ERROR 異常 java.sql.SQLException: Failed to load data into tablet 212527, because of too many versions, current/limit: 1006/1000. You can reduce the loading job concurrency, or increase loading data batch size. If you are loading data with Routine Load, you can increase FE configs routine_load_task_consume_second and max_routine_load_batch_size,: be:10.166.150.126: BE:10005.

問題原因

錯誤原因：某個 tablet (ID: 212527) 的版本數(shù)超過了限制（當前 1006，限制 1000）

StarRocks 中每個 tablet 有版本數(shù)限制，當數(shù)據(jù)加載過于頻繁或并發(fā)度過高時，會導致版本數(shù)快速增加。

常見于：

1. 高頻小批量數(shù)據(jù)導入

2. 并發(fā)導入任務過多

3. 數(shù)據(jù)壓縮合并速度跟不上導入速度

解決方案

1. 調(diào)整導入?yún)?shù)

• 減少并發(fā)度：降低同時運行的導入任務數(shù)量

• 增大批量大小：增加每次導入的數(shù)據(jù)量，減少導入頻率

  -- 如果是 Routine Load，可以調(diào)整以下參數(shù)
  ALTER ROUTINE LOAD [db.]job_name
  PROPERTIES (
      "max_batch_interval" = "20",    -- 增加批次間隔(秒)
      "max_batch_rows" = "200000",    -- 增加每批最大行數(shù)
      "max_batch_size" = "209715200"  -- 增加每批最大字節(jié)數(shù)(200MB)
  );

2. 調(diào)整 FE 配置

如果是 Routine Load 任務，可以調(diào)整以下 FE 配置：

• routine_load_task_consume_second：增加每個任務的消費時間（默認10秒）

• max_routine_load_batch_size：增加每批次最大大小（默認1GB）

3. 調(diào)整 BE 配置

可以適當調(diào)整 BE 的以下參數(shù)（需重啟 BE）：

• tablet_max_versions：增加 tablet 最大版本數(shù)限制（默認1000）

• cumulative_compaction_min_deltas：降低觸發(fā)增量壓縮的最小版本數(shù)

4. 監(jiān)控與優(yōu)化

• 檢查集群負載情況，確保 compaction 能及時完成

• 監(jiān)控 be_tablet_compaction 相關(guān)指標，確認 compaction 是否滯后

預防措施

1. 合理規(guī)劃數(shù)據(jù)導入頻率和批量大小

2. 對于高頻導入場景，考慮使用 Stream Load 替代 Routine Load

3. 定期監(jiān)控 tablet 版本數(shù) (SHOW TABLET FROM table_name)

如果問題持續(xù)存在，可能需要進一步檢查集群資源是否充足（CPU、IO等），或者考慮增加 BE 節(jié)點分散負載。