摘要：
pom.xml 文件 需要在 pom.xml 文件增加 mybatis-generator-maven 插件, mybatis-generator maven 插件默認會讀到 src/main/resources目錄下的 generatorConfig.xml 文件, 也可以自定義 generato 閱讀全文
posted @ 2018-06-19 13:00
harrychinese
閱讀(464)
評論(0)
推薦(0)
摘要：
SpringBoot 應用啟動速度往往很快, 但在某些Linux 服務器上可能會很慢, 可能超過1分鐘, 有時候甚至啟動不起來. 下面過程耗時太長:IdGeneratorBase: Creation of SecureRandom instance for session ID generation 閱讀全文
posted @ 2018-06-16 22:20
harrychinese
閱讀(2580)
評論(0)
推薦(0)
摘要：
向java 程序傳參的幾種形式: 1. 使用 OS 環(huán)境變量. 這個不推薦. 2. 使用JVM變量, 最常用的是 -D 參數. -XX 和-X 參數是用來設定內存和GC參數, 不同JVM的參數設置可能不同. -D 和 -X 參數緊跟在 java 后面. java -Dfile.encoding=UT 閱讀全文
posted @ 2018-06-11 22:55
harrychinese
閱讀(3342)
評論(0)
推薦(0)
摘要：
SpringBoot 標準項目創(chuàng)建步驟 使用 Spring IDE(Eclipse), 可以新建一個 Spring starter project項目, 是一個項目向導, 在向導提示下可以按需添加 SpringBoot的常用依賴項目, 該向導生成一個非常規(guī)范的 pom.xml, 非常規(guī)范的目錄結構, 閱讀全文
posted @ 2018-06-09 16:21
harrychinese
閱讀(1095)
評論(0)
推薦(0)
摘要：
本文轉自微信公眾號 波波微課 的文章 微服務架構~攜程Apollo配置中心架構剖析 一、介紹 Apollo（阿波羅）[參考附錄1]是攜程框架部研發(fā)并開源的一款生產級的配置中心產品，它能夠集中管理應用在不同環(huán)境、不同集群的配置，配置修改后能夠實時推送到應用端，并且具備規(guī)范的權限、流程治理等特性，適用于 閱讀全文
posted @ 2018-06-07 21:32
harrychinese
閱讀(2536)
評論(0)
推薦(1)
摘要：
本文轉載自微信公眾號-架構師小秘圈 負載分析及問題排查極簡教程 Hollis 平常的工作中，在衡量服務器的性能時，經常會涉及到幾個指標，load、cpu、mem、qps、rt等。每個指標都有其獨特的意義，很多時候在線上出現問題時，往往會伴隨著某些指標的異常。大部分情況下，在問題發(fā)生之前，某些指標就會 閱讀全文
posted @ 2018-06-07 21:16
harrychinese
閱讀(853)
評論(0)
推薦(0)
摘要：
這個鏈接比我寫得更全面, http://tengj.top/2018/01/01/maven/ 20190115補充: maven 的一些插件 maven-checkstyle-plugin 檢查代碼規(guī)范的插件jacoco-maven-plugin 測試覆蓋率maven-surefire-repor 閱讀全文
posted @ 2018-05-29 22:43
harrychinese
閱讀(803)
評論(0)
推薦(0)
摘要：
Vertica 8和 Hadoop 集群的互操作性已經很不錯的, 但這塊肯定是Vertica研發(fā)的重點, 將來可能還有較大的變動. Vertica 集群 和 Hadoop 集群的兩種布局方式 |集群布局 | 描述 | 許可證 |支持Vertica for SQL on Hadoop特性 | | | 閱讀全文
posted @ 2018-05-23 21:58
harrychinese
閱讀(3701)
評論(0)
推薦(0)
摘要：
參考 在 vertica 中有三種定義 identity 字段的方法, 分別是使用 或 或 . 簡單對比: AUTO_INCREMENT 同 SQL Server 的概念一樣, sequence 和 Oracle 的概念是一樣. AUTO_INCREMENT 或 IDENTITY 字段都是直接在表定 閱讀全文
posted @ 2018-05-23 21:47
harrychinese
閱讀(1169)
評論(0)
推薦(0)
摘要：
背景 談到負載均衡, 對于數據庫集群需要區(qū)分幾個概念: 1. 運算的負載均衡, Vertica 本身是 MPP 數據庫, SQL 操作自動會利用多臺機器來加快處理速度. 2. 數據庫連接的負載均衡, Vertica 和 Teradata 一樣都是無主節(jié)點的架構, 這種架構允許客戶端連接任意一個節(jié)點, 閱讀全文
posted @ 2018-05-23 21:31
harrychinese
閱讀(1640)
評論(0)
推薦(0)
摘要：
本文僅涉及 Vertica 導入導出本地文件, 以及兩個 Vertica 集群相互導出, 不涉及 Vertica 和 hdfs/Hive 導入導出和互操作. copy 數據導入工具 copy 命令無疑是最常用的導入工具了, 它是Vertica的bulk copy工具, 性能非常好. 可以直接從文本文 閱讀全文
posted @ 2018-05-23 21:26
harrychinese
閱讀(4633)
評論(0)
推薦(0)
摘要：
三、數據庫索引的原理 在整個過程中，最容易稱為瓶頸點的是數據的讀寫，往往意味著要順序或者隨機讀寫磁盤，而讀寫磁盤的速度往往是比較慢的。 如果加快這個過程呢？相信大家都猜到了就是建立索引。 為什么索引能夠加快這個過程呢？ 相信大家都逛過美食城，里面眾多家餐館琳瑯滿目，如果你不著急呢，肚子不餓，對搜索的 閱讀全文
posted @ 2018-05-23 12:38
harrychinese
閱讀(1017)
評論(0)
推薦(0)
摘要：
本文轉自下面兩個文章: 洋碼頭技術公眾號的<<洋碼頭數據倉庫實踐>> 隨身云技術團隊的 <<大數據環(huán)境數據倉庫&維度建模>> 在轉載之前, 先說明我認為比較合理的數倉分層: 有關ODS 層: ODS層存在的意義已經被大量證明, 加上一個ODS層, 在技術層面可以保障業(yè)務系統穩(wěn)定, 同時ODS也是數據 閱讀全文
posted @ 2018-05-22 23:03
harrychinese
閱讀(2227)
評論(0)
推薦(0)
摘要：
三字經開頭就講, 教之道，貴以專, 我很早就意識到我最大的問題, 那就是沒有做到專, 貪念太重, 自身才智不足以支撐太廣的涉獵, 知道問題歸知道, 猶如抽煙上癮的人, 明知道吸煙有害, 但仍找抽不誤. 從系統研發(fā)/數據平臺/研發(fā)體系都是一把抓, Delphi/C#/Java/Python都花過不少時 閱讀全文
posted @ 2018-05-18 22:25
harrychinese
閱讀(390)
評論(0)
推薦(0)
摘要：
Vertica 表發(fā)生死鎖后, 通過下面3個查詢即可解鎖. --步驟1: 找到被鎖表的 transaction_idselect transaction_id, t.* from v_monitor.locks t; --步驟2:根據 transaction_id 獲得 session_id, 這一 閱讀全文
posted @ 2018-05-18 12:43
harrychinese
閱讀(1999)
評論(0)
推薦(1)
摘要：
我們在作業(yè)開發(fā)中為了處理效率, 經常需要并行執(zhí)行一些trans, 等它們執(zhí)行完畢后, 需要執(zhí)行另外一些trans, 從流程上也就是分支+匯合. 粗看起來很簡單, Kettle中對接一下這些組件就搞定了, 效果如下: 這是一個錯誤的設計, 如果這么簡單沒有必要寫在博客備忘了. 它的執(zhí)行效果是: 只要有 閱讀全文
posted @ 2018-05-18 12:32
harrychinese
閱讀(1524)
評論(0)
推薦(0)
摘要：
主控trans + sub trans 模式 針對一個具體的處理任務(比如增量加載一個表), 我認為應該最好是使用兩個trans來完成這個任務,分別是主控trans 和sub trans, 其中主控trans負責流程控制(包括依賴檢查+增量區(qū)間設定+異常報警), sub trans僅負責數據轉換, 閱讀全文
posted @ 2018-05-12 22:23
harrychinese
閱讀(1353)
評論(0)
推薦(0)
摘要：
Vertica 有兩個數據分布的概念, segmentation 和 partition, 至少有下面幾個區(qū)別: 1.目的方面:segmentation 解決各節(jié)點數據傾斜問題, 適用于木桶原理, 數據量大的那個節(jié)點將會拖慢整個查詢. partition 主要解決的是數據刪除和空間回收問題. 列式數 閱讀全文
posted @ 2018-05-10 19:01
harrychinese
閱讀(2238)
評論(0)
推薦(0)
摘要：
Impala 相關 Impala的常用端口: jdbc/ODBC 端口: 21050 impala-shell 訪問端口21000 web UI地址： impalad節(jié)點(一個集群多個該類節(jié)點) http://impalad_node:25000/ impala-state節(jié)點(一個集群一個該類節(jié)點 閱讀全文
posted @ 2018-04-30 12:43
harrychinese
閱讀(825)
評論(0)
推薦(0)
摘要：
本文詳細介紹了在Kettle中使用 Kudu API將數據寫入Kudu中, 從本文可以學習到:1. 如何編寫一個簡單的 Kettle 的 Used defined Java class.2. 如何讀取Kettle 每個記錄的字段. 需要注意的是 getInteger() 返回的是Long 對象; 而 閱讀全文
posted @ 2018-04-30 11:11
harrychinese
閱讀(2095)
評論(0)
推薦(0)
摘要：
總結一下我使用到的一些比較優(yōu)秀的Python package 通用包 Werkzeug itsdangerous Jinja2 Flask SQLAlchemy , 這個ORM 用的少一些 docopt, 命令行接口 python-dateutil Babel, 國際化 http://babel.p 閱讀全文
posted @ 2018-04-27 19:16
harrychinese
閱讀(763)
評論(0)
推薦(0)
摘要：
在眾多語言中, Java 生態(tài)系統發(fā)展得最好, 比如異常logging報警, 比如性能監(jiān)控工具. Python其實生態(tài)也不錯, 這里列出一些出色的工具. LogBook, 并結合 raven-python handler 與 sentry 集成. http://logbook.readthedocs 閱讀全文
posted @ 2018-04-27 12:54
harrychinese
閱讀(307)
評論(0)
推薦(0)
摘要：
擴展Kettle功能, 經常使用 user defined java class 組件, 或者自己開發(fā)Java插件. 兩種方式都有各自的痛點: 1. 在user defined java class 組件中寫java代碼, 該環(huán)境沒有代碼自動提示, 沒有語法檢查, 基本上需不斷試錯才能完成開發(fā), 效 閱讀全文
posted @ 2018-04-23 08:49
harrychinese
閱讀(1895)
評論(0)
推薦(0)
摘要：
理解 mem_limit 參數 set mem_limit=-1b #取消內存限制set mem_limit=1gb #設置單機內存上限為1GB, 注意是單機set mem_limit=1mb #設置單機內存上限為1MB, 注意是單機如果設置了 mem_limit, impala 將跳過Query內 閱讀全文
posted @ 2018-04-18 12:57
harrychinese
閱讀(4470)
評論(0)
推薦(0)
摘要：
每個Kudu 表必須設置Pimary Key(unique), 另外Kudu表不能設置secondary index, 經過實際性能測試, 本文給出了選擇Kudu主鍵的幾個策略, 測試結果糾正了我之前的習慣認知. 簡單介紹測試場景: 表中有一個unqiue字段Id, 另外還有一個日期維度字段hist 閱讀全文
posted @ 2018-04-18 12:54
harrychinese
閱讀(3391)
評論(0)
推薦(2)
摘要：
Kettle 8 已經發(fā)布, 下載地址還不太好找, 這里記錄一下: 注: 所有大型軟件升級都需要謹慎, 尤其是大版本的第一個小版本都不推薦在生產環(huán)境使用. github 總是有最新版 https://github.com/pentaho/pentaho-kettle/releases PDI-CE 閱讀全文
posted @ 2018-04-10 20:59
harrychinese
閱讀(5043)
評論(0)
推薦(2)
摘要：
Kudu+Impala很適合數據分析, 但直接使用Insert values語句往Kudu表插入數據, 效率實在不好, 測試下來insert的速度僅為80筆/秒. 原因也是顯然的, Kudu本身寫入效率很高, 但是Impala并沒有做這方面優(yōu)化, 觀察下來每次Impala語句執(zhí)行的overhead都 閱讀全文
posted @ 2018-04-04 22:12
harrychinese
閱讀(6071)
評論(0)
推薦(0)
摘要：
轉載 git 提交解決沖突 http://www.rzrgm.cn/qinbb/p/5972308.html 一：git命令在提交代碼前，沒有pull拉最新的代碼，因此再次提交出現了沖突。 error: You have not concluded your merge (MERGE_HEAD 閱讀全文
posted @ 2018-03-23 12:38
harrychinese
閱讀(895)
評論(0)
推薦(0)
摘要：
時間函數 --當前時間戳now()current_timestamp() --當前時間戳相對于 linux epoch 的秒數unix_timestamp() , 不帶參數, 則返回 '1970-01-01 00:00:00' UTC 到現在的秒數 -- 轉換到相對于 linux epoch 的秒數 閱讀全文
posted @ 2018-03-21 09:01
harrychinese
閱讀(50857)
評論(0)
推薦(0)
摘要：
常用字符串函數 base64decode(string str) : base64 解碼.base64encode(string str) : base64 編碼. fnv_hash(type v) : 對參數值做hash, 注意結果有正有負 trim(string a): 去除 leading 和 閱讀全文
posted @ 2018-03-21 08:59
harrychinese
閱讀(23172)
評論(0)
推薦(0)
摘要：
查看內置的函數 hive 不需要進入什么內置數據庫, 即可使用 show functions 命令列出所有內置的函數. show functions; -- hive僅顯示函數的名稱, 沒有參數和返回值信息. desc function function_name ; -- 該命令能顯示函數的具體用 閱讀全文
posted @ 2018-03-21 08:58
harrychinese
閱讀(10349)
評論(0)
推薦(0)
摘要：
Impala 特有的操作符 ILIKE 操作符, 忽略大小寫的 like 操作符.REGEXP 操作符, 正則匹配操作符.RLIKE 操作符, 同 REGEXP 操作符.IREGEXP 操作符, 忽略大小寫的正則匹配符.IS DISTINCT FROM 操作符, 判斷前后兩個表達式是否不相等, 和< 閱讀全文
posted @ 2018-03-21 08:54
harrychinese
閱讀(3372)
評論(0)
推薦(0)
摘要：
Impala 獲取hive 的 metadata Impala 通常和Hive共用同一個metadata 數據庫(通常是MySQL/PostgreSQL), 所以Impala 能夠讀取到Hive的元數據信息. 如果Impala需要訪問Hive表, 需要將Hive metadata 刷新到impala 閱讀全文
posted @ 2018-03-19 09:02
harrychinese
閱讀(6875)
評論(0)
推薦(1)
摘要：
使用git管理Kettle 作業(yè)的一個注意 之前 ETL 作業(yè)是用 svn 管理的, 遷移到 git 管理也算是大勢所趨吧. 這里重點講一個git管理kettle作業(yè)的注意事項: kettle 既支持基于數據庫的repository也支持基于文件repository, 但我更推薦基于文件的repos 閱讀全文
posted @ 2018-03-15 09:14
harrychinese
閱讀(912)
評論(0)
推薦(0)
摘要：
<<Pentaho Kettle解決方案：使用PDI構建開源ETL解決方案>>, Matt Casters等著，初建軍翻譯<<Hadoop應用架構>> Mark Grover編著, OREILLY出版<<Hadoop權威指南>> Tom White編著, OREILLY出版<<數據倉庫工具箱 --維 閱讀全文
posted @ 2018-03-05 18:27
harrychinese
閱讀(1811)
評論(0)
推薦(0)
摘要：
Apache Kudu 支持Insert/Update/Delete 等寫操作(Kudu 隨機寫效率也很高, 實測對一個窄表做全字段update, 其速度達到了Insert速度的88%, 而vertica的update效率比insert差很多), Kudu 表文件是列式數據格式(和Parquet格式 閱讀全文
posted @ 2018-03-05 18:24
harrychinese
閱讀(5360)
評論(0)
推薦(1)
摘要：
最近在整理很多SQL代碼, 需要分析出每個SQL的目標表和源表各有哪些, 網上沒有找到工作具, 打算寫個工具. Java調研結果:1. 商業(yè)組件包 sqlparser 有試用版組件, 限制SQL少于10000字符,99天后過期2. 使用 presto 的 parser 或 druid 的 parse 閱讀全文
posted @ 2018-02-22 21:45
harrychinese
閱讀(2930)
評論(0)
推薦(0)
摘要：
Kibana 搜索語法 Kibana 支持三種搜索語法, 分別是 Lucene query 語法, 基于 json 的 ES query語法, 以及 Kuery 語法. 前兩種語法可以直接使用, Kuery語法需要先啟用. Lucene query 語法學習簡單快速, ES query 語法相對復雜 閱讀全文
posted @ 2017-12-23 20:13
harrychinese
閱讀(14854)
評論(0)
推薦(0)
摘要：
======================= 使用impala shell 登錄 ======================= impala shell auth_creds_ok_in_clear l i ip_address u user_name ===================== 閱讀全文
posted @ 2017-12-08 22:21
harrychinese
閱讀(14491)
評論(0)
推薦(2)
摘要：
Kafka 簡要使用說明 參考文章 Kafka背景及架構介紹 Apache kafka 工作原理介紹 Kafka集群操作指南 kafka操作 概念: Partition, consumer group, rebalance 在使用中, 如果要保證消費 Kafka 的數據和生產數據的次序嚴格一致,一個 閱讀全文
posted @ 2017-11-24 22:32
harrychinese
閱讀(879)
評論(0)
推薦(0)
浙公網安備 33010602011771號