Hive 查看mapjoin日志過程
MapJoin
如果不指定 MapJoin 或者不符合 MapJoin 的條件,那么Hive解析器會將 Join 操作轉換成 Common Join,即:在 Reduce 階段完成 join。容易發生數據傾斜。可以用 MapJoin 把小表全部加載到內存在 map 端進行 join ,避免 reducer 處理。
一,開啟MapJoin參數設置
(1)設置自動選擇Mapjoin(默認為true)
set hive.auto.convert.join = true;
(2)大表小表的閾值設置(默認25M以下認為是小表):
set hive.mapjoin.smalltable.filesize=25000000;
二,MapJoin工作機制

在日志中,查看mapjoin日志


浙公網安備 33010602011771號