wang3680 機會是留給那些有準備的人

摘要： 1.kafka開通krb認證之后，需要在消費kafka時候加載配置文件 ./kafka-topics.sh --zookeeper 198.28.1.81:2181 --create --topic hs_user_useroperlog --partitions 3 --replication-f 閱讀全文

摘要： 遷移hdfs節(jié)點過程中，退役datanode節(jié)點，出現(xiàn)這個問題：使用命令檢查block報告hdfs fsck /返回結果截圖如下：參數(shù)說明：Total size ： hdfs集群存儲大小，不包括復本大小。如：75423236058649 B （字節(jié)）。（字節(jié)->KB->m->G->TB，75423236058649/1024/1024/1024/1024=68.59703358591014TB） 閱讀全文

摘要： html頁面轉(zhuǎn)pdf下載 兩個js文件可供使用，地址如下： https://github.com/linwalker/render-html-to-pdf 唯一的缺點是圖片跨頁不好解決，最終的pdf文件如下： 解決下載pdf文件背景是黑色的問題，將div添加背景色為白色，未解決圖片跨頁問題，解決思路 閱讀全文

摘要： Lyft 于2019年4月開發(fā)了Amundsen，并與10月開源。git項目地址：https://github.com/amundsen-io/amundsen安裝說明：https://github.com/amundsen-io/amundsen/blob/main/docs/installation.mdAmundsen提供了搜索與排名的功能，幫助更好的查找數(shù)據(jù)表。支持的數(shù)據(jù)源非常豐富，支持h 閱讀全文

摘要： 星環(huán)catalog元數(shù)據(jù)管理系統(tǒng)，底層是在altas的基礎上做了自己的開發(fā)，具有血緣關系、數(shù)據(jù)地圖展示，搜索（做的不好）表等，可以給表加標簽，還具有sql執(zhí)行頁面。總體來說這套工具想法挺好，但是產(chǎn)品用起來不是特別友好，搜索想全文查找不是特別好用，搜出來的字段無法連接到具體表上，只是展示。 搜索表或者 閱讀全文

摘要： HBaseHiveSqoopStormKafka limitOffset? EOF; STRING: '"' ~('"')* '"' | '\'' ~('\'')* '\'' | '`' ~('`')* '`'; 閱讀全文

摘要： 一、idea安裝lombok插件 安裝lombok插件 在這里插入圖片描述 二、重啟idea 三、添加maven依賴 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version> 閱讀全文

摘要： 1.官方說明如下 按照上面信息配置時候會出現(xiàn) (staticfiles.E002) The STATICFILES_DIRS setting should not contain the STATIC_ROOT setting. 估計是linux和windows的原因?qū)е?這里從網(wǎng)上找到解決辦法： 閱讀全文

摘要： echarts網(wǎng)狀模型研究 參考導向力算法D3.js，有很多例子，最終的目標就是分開相互關聯(lián)畫圖覆蓋問題 echarts里面也有能夠?qū)崿F(xiàn)畫圖的例子 我們今天主要分析下echarts中關系圖graph的數(shù)據(jù)模型 通過找到例子中的數(shù)據(jù)發(fā)現(xiàn)，https://cdn.jsdelivr.net/gh/apac 閱讀全文

摘要： 轉(zhuǎn)載：https://blog.csdn.net/iamlake/article/details/104982518 引子 1. 藍鯨的背景：運維轉(zhuǎn)型 原因1：業(yè)務紅海化 原因2：“傳統(tǒng)運維”生存空間塌縮 原因3：我們太累了 2. 藍鯨的設計思想 3. 藍鯨服務 4. 收尾 閱讀全文

摘要： 某君請領導吃飯，領導婉拒。他本想回“好的”。卻回成了“媽的”。結果，他失業(yè)時才五十多歲！ 某女給男同事發(fā)微信：“你是同事中最出色的，跟你在一起，真的很開心！”因為不細心，少打了個“出”字。很長時間后，還一直在納悶，為啥被拉黑？以上是兩則笑話，這種笑話很“低級”，但在我們生活中，因“一字之差”而引起的 閱讀全文

摘要： 閱讀全文

摘要： 根目錄結構 一、3party-licenses 二、addons 1、falcon-bridge 2、falcon-bridge-shim 3、hbase-bridge 4、hive-bridge 5、kafka-bridge 6、models 7、sqoop-bridge 8、storm-brid 閱讀全文

摘要： 問題： 使用sql語句，insert into xxx select * from xxx group by;等復雜的邏輯語句 出現(xiàn)reducer數(shù)量超過1000000 原因分析： Hadoop MapReduce程序中，reducer個數(shù)的設定極大影響執(zhí)行效率 ，這使得Hive怎樣決定reduce 閱讀全文

摘要： 問題想象： bat執(zhí)行exe過程中出現(xiàn)exe一閃而過，發(fā)現(xiàn)是目錄位置不對，解決辦法 問題分析：你可以通過cmd執(zhí)行exe查看具體報錯內(nèi)容，可以發(fā)現(xiàn)exe執(zhí)行時候需要根據(jù)exe的當前路徑加載相關dll后者配置文件，所以執(zhí)行報錯 解決： 辦法1：通過跳轉(zhuǎn)目錄解決 bat定義： 添加目錄跳轉(zhuǎn)CHDIR 你 閱讀全文

摘要： Hadoop支持的一系列通配符與Unix bash相同： 通配符 名稱 匹配 * 星號 匹配0或多個字符 ? 問號 匹配單一字符 [ab] 字符類別 匹配{a,b}中的一個字符 [^ab] 非字符類別 匹配不是{a,b}中的一個字符 [a-b] 字符范圍 匹配一個在{a,b}范圍內(nèi)的 字符(包括ab 閱讀全文

摘要： 在線文檔：https://ke.smartloli.org/ 作者博客：http://www.rzrgm.cn/wang3680 源碼地址：https://github.com/smartloli/kafka-eagle 環(huán)境要求： 需要的java版本 java1.8以上版本 下載包Kafk 閱讀全文

摘要： 一、安裝 參考：http://www.rzrgm.cn/cpy-devops/p/9287531.html 首先保證系統(tǒng)安裝了java 1.8以上版本 tar –zxvf /home/logstash-7.7.0.tar.gz -C /usr/local 進入/usr/local/logst 閱讀全文

摘要： select * from user where name regexp 'mac1|mac2|mac3'通過regexp 方式查詢多個值，使用|實現(xiàn)or效果 閱讀全文

摘要： 問題：hadoop出現(xiàn)報警，有些節(jié)點數(shù)據(jù)磁盤已經(jīng)占用了90%，有些節(jié)點磁盤用了50% 解決：HDFS自帶的balancer工具來解決，保證每個節(jié)點的數(shù)據(jù)分布均衡 方法-全節(jié)點&個別節(jié)點平衡： 1.設置帶寬 hdfs dfsadmin -setBalancerBandwidth 104857600 \ 閱讀全文