計算引擎-Presto
概述

參考
高質量:
- B站:https://mp.weixin.qq.com/s/9_lSIFSw5o8sFC8foEtA7w
- https://mp.weixin.qq.com/s/NmTaJjE0UqYHh2Q4_HqSog
- meta實踐Prestissimo:https://mp.weixin.qq.com/s/5mswJXHOo9jQa4h9zTMDyg
- k8s部署:https://mp.weixin.qq.com/s/Yo3FWum-_lZtn7DUkCzxkw
- meta的velox:https://www.qtmuniao.com/2023/03/22/velox-task-analysis/
- https://zhuanlan.zhihu.com/p/614918289
其他:
技術架構


執行流程
coordinator 收到作業后通過 sql 解析器對作業進行解析生成語法樹, LogicPlanner 再對語法樹進行語義分析,將 AST 轉為邏輯執行計劃,同時使用優化器進行優化。接著通過 DistributedPlanner 將計劃進行切分生成多個 stage,stage 內部劃分為多個 task, 通過 scheduler 將多個 task 分發到不同的 worker 上執行。由于Presto 本身不存儲數據,需要通過多個connector 來訪問不同數據源的數據。


浙公網安備 33010602011771號