欣欣姐

select a.owner, a.table_name, a.column_name, a.data_type, d.constraint_type, a.num_nulls from all_tab_columns a left join ( select b.owner, b.TABLE_NA Read More

有時(shí)候編輯的py文件，需要進(jìn)行自動(dòng)執(zhí)行時(shí)，可以用以下方式進(jìn)行定時(shí) 00 09 * * * /usr/local/bin/python3 /udata/ubi/uenbi_py/trade_all_daily.py >>/udata/ushks/pythoncode/pylog.log 2>&1 Read More

查看某個(gè)某個(gè)字段的注釋名等 select a.owner as 用戶名 ,a.TABLE_NAME as 表名 ,b.COMMENTS as 表注釋名 ,a.COLUMN_NAME as 字段名 ,a.comments as 字段注釋 from dba_col_comments a join dba Read More

需求場(chǎng)景，組內(nèi)排序，例如統(tǒng)計(jì)某個(gè)用戶前10次消費(fèi)金額，如求某個(gè)相同id或組內(nèi)的top值 步驟一，創(chuàng)建測(cè)試表 create table tmp_partition_test ( name string, subject string, score int ) 步驟二，插入測(cè)試數(shù)據(jù) insert int Read More

Group By 默認(rèn)情況下，Map階段同一Key數(shù)據(jù)分發(fā)給一個(gè)reduce，當(dāng)一個(gè)key數(shù)據(jù)過(guò)大時(shí)就傾斜了。 但并不是所有的聚合操作都需要在Reduce端完成，很多聚合操作都可以先在Map端進(jìn)行部分聚合，最后在Reduce端得出最終結(jié)果。 1）開(kāi)啟Map端聚合參數(shù)設(shè)置 （1）是否在Map端進(jìn)行聚合 Read More

MapJoin 如果不指定 MapJoin 或者不符合 MapJoin 的條件，那么Hive解析器會(huì)將 Join 操作轉(zhuǎn)換成 Common Join，即：在 Reduce 階段完成 join。容易發(fā)生數(shù)據(jù)傾斜。可以用 MapJoin 把小表全部加載到內(nèi)存在 map 端進(jìn)行 join ，避免 redu Read More

hive中，需要每天定時(shí)跑一些sql的腳本或者其他腳本，可以通過(guò)調(diào)用sh腳本 1.新建一個(gè)sh文件 [root@master log]# vim wh_hive_daily.sh 2.添加以下內(nèi)容 （可以直接復(fù)制，然后修改sql里面的內(nèi)容即可） #!/bin/bash APP=uiopdb hive Read More

據(jù)兩個(gè)例子， 第一個(gè)數(shù)層級(jí)關(guān)系的遞歸，用循環(huán) begin for orgId in (select org_id from DWSDATA.T_AGENT_ORG_ID group by agent_id ) loop insert into ken.all_agent(agent_id,all_c Read More

進(jìn)入到,50070頁(yè)面報(bào)錯(cuò)，There are 1557 missing blocks. The following files may be corrupted: 步驟1，檢查文件缺失情況 執(zhí)行一下代碼， hdfs fsck / -list-corruptfileblocks，查看哪些數(shù)據(jù)塊損壞 Read More

問(wèn)題：在使用hive的insert into 往表里插入數(shù)據(jù)時(shí) ，卻發(fā)現(xiàn)原來(lái)的數(shù)據(jù)被覆蓋了。如下圖，如論insert 語(yǔ)句執(zhí)行多少次，只會(huì)有最新的一條數(shù)據(jù)。（情況跟overwrite一樣） 經(jīng)過(guò)多次查找原因，才知道時(shí)因?yàn)轱h號(hào)的原因，去掉飄號(hào)就可以了 總結(jié)： 所以要么用戶名和表名分別都加飄號(hào)，要么就都 Read More