harrychinese

摘要： 視頻課程: 1. 初建軍的 【慕課大巴分享】煉數(shù)成金——深入BI - Kettle 篇 基礎(chǔ)書:1. Kettle 3.0 用戶手冊(cè), 文件名為: ETL工具Kettle用戶手冊(cè)(上).pdf, 出品方: 深圳市神盾信息技術(shù)有限公司, 20082. Kettle 3.2 使用說明書, 文件名為: K 閱讀全文

摘要： 引子 在上篇博客中重點(diǎn)介紹了幾個(gè)建模工具的評(píng)估, 并選定了SQL Power Architect作為最終的建模工具, 在評(píng)估過程中也對(duì)Oracle Data Modeler支持Vertica做了點(diǎn)研究, 雖然最終放棄使用Oracle Data Modeler, 但針對(duì)Oracle Data Mode 閱讀全文

摘要： 幾款數(shù)據(jù)建模軟件評(píng)估 下面是流行幾款數(shù)據(jù)建模軟件: 軟件 特點(diǎn) 支持Vertica? 免費(fèi)? ERWin 功能強(qiáng)大, 操作較繁瑣 不支持Vertica 商業(yè)軟件,價(jià)格高 Power Designer 功能強(qiáng)大,操作很靈活 不支持Vertica 商業(yè)軟件,價(jià)格高 Oracle SQL develope 閱讀全文

摘要： 計(jì)劃做一個(gè)元數(shù)據(jù)平臺(tái), 因?yàn)橐壏治龉δ? 所以要調(diào)研一下js 拓?fù)鋱D庫(kù), 候選對(duì)象主要參考知乎上的問答, javascript 有哪些適合做網(wǎng)絡(luò)拓?fù)鋱D形展示的包？ https://www.zhihu.com/question/20643359 候選庫(kù) yfiles for html (收費(fèi)) 閱讀全文

摘要： 這是一個(gè)很水的博客, 介紹搭建plsql developer 11+ Oracle 11g 開發(fā)環(huán)境. 1. 本機(jī)上安裝Oracle 11g express 對(duì)于開發(fā)足夠了, 300MB的下載文件, 比正式版小多了, 64bit版本.下載地址: http://www.oracle.com/techn 閱讀全文

摘要： -- *　注意: 本文的SQL是在　2017-09-14　測(cè)試的． 所以如果取當(dāng)前日期, 結(jié)果為 2017-09-14* 相關(guān)數(shù)據(jù)類型 vertica 的 Date 類型僅包含日期, 而Oracle的Date的類不僅包含日期而且包含時(shí)間. vertica 的 time, 不帶日期, 僅包含小時(shí)分秒v 閱讀全文

摘要： 二叉樹是一個(gè)重要的數(shù)據(jù)結(jié)構(gòu), 本文基于"二叉查找樹"的python可視化 pybst 包, 做了一些改造, 可以支持更一般的"二叉樹"可視化. 關(guān)于二叉樹和二叉查找樹的概念以及常用操作和算法基礎(chǔ), 可以看后面的參考文章. 二叉查找樹可視化包 pybst pypi 有一個(gè)"二叉查找樹"的可視化的pac 閱讀全文

摘要： 馬上要重新啟程了, 要從傳統(tǒng)行業(yè)轉(zhuǎn)到互聯(lián)網(wǎng)行業(yè). 這里先在技術(shù)層面做點(diǎn)總結(jié)吧. 看好和看衰的技術(shù)和產(chǎn)品 看好:1. SQL 語(yǔ)言, 如果SQL語(yǔ)言加到編程語(yǔ)言排行榜, 肯定是第一. NoSQL帶來的優(yōu)點(diǎn)不足抵消SQL缺失帶來的缺點(diǎn). 2. HP Vertica 數(shù)據(jù)倉(cāng)庫(kù), X86硬件+MPP+列式存 閱讀全文

摘要： 首先了解一下JWT使用過程:Token 是服務(wù)器端在驗(yàn)證客戶端user_id/pwd 沒問題后, 簽發(fā)給客戶端的, 作為標(biāo)示該用戶的一個(gè)令牌, 之后客戶端就使用該令牌和服務(wù)器端進(jìn)行交互. Token的根本作用:就一點(diǎn): 用于服務(wù)器端標(biāo)示是哪個(gè)用戶的請(qǐng)求JWT 安全嗎? 基本上很安全, 否則就沒有人用 閱讀全文

摘要： 利用 yEd 軟件做元數(shù)據(jù)管理yEd Diagram editor 是我常用的 flow chart 制圖工具, 另外我也用它畫 ER 和 use case 圖. 總結(jié)一下我喜歡 yEd 的原因:1. 出色的對(duì)齊功能2. 可隨意拖動(dòng)Node, 永遠(yuǎn)不用擔(dān)心相連的 Edge 會(huì)自動(dòng)斷開連接3. 每個(gè) 閱讀全文

摘要： 之前有提及過jqgrid這個(gè)很不錯(cuò)的jquery grid, 非常適合企業(yè)MIS系統(tǒng)使用. 本文以一個(gè)顯示學(xué)生成績(jī)結(jié)果的頁(yè)面, 來說明它的一些用法, 手寫代碼, 運(yùn)行可能會(huì)報(bào)錯(cuò), 不過思路是經(jīng)過驗(yàn)證的. 加載theme 默認(rèn)的jqgrid樣式很難看, jqgrid 完全支持jquery ui的 th 閱讀全文

摘要： 全棧的定義是什么? 如果 前端開發(fā)/后端開發(fā)/部署/運(yùn)維 都能hold住就算full stack, 我現(xiàn)在都o(jì)verflow stack了, 需求/架構(gòu)/開發(fā)/項(xiàng)目管理/運(yùn)維 都做. 單開發(fā)這塊, DWBI項(xiàng)目也做, C/S項(xiàng)目也開發(fā), B/S項(xiàng)目也開發(fā), 最沒有想到的是最近1年B/S的前端居然也做 閱讀全文

摘要： Client端發(fā)送請(qǐng)求, 要在發(fā)送請(qǐng)求的時(shí)候添加HTTP Basic Authentication認(rèn)證信息到請(qǐng)求中，有兩種方法：1. 在請(qǐng)求頭中添加Authorization： Authorization: "Basic 用戶名和密碼的base64字符串" 其中, 用戶名和密碼中間先用:號(hào)隔開, 然 閱讀全文

摘要： Markdown 寫作工具選擇 候選產(chǎn)品 VS Code http://code.visualstudio.com 微軟出品的輕量級(jí)編輯器, 免費(fèi), 和 sublime text 屬于一個(gè)流派的, 配合下面幾個(gè)插件 markdown 插件寫. HBuilderX 這個(gè)軟件寫MD文檔編輯體驗(yàn)非常棒, 閱讀全文

摘要： 安裝并啟動(dòng)jupyter 安裝 后, 再安裝 jupyter pip install jupyter 設(shè)置環(huán)境 ipython ipython dir= override the default IPYTHONDIR directory, ~/.ipython/ by default ipython 閱讀全文

摘要： Hadoop 發(fā)行版的選擇 大數(shù)據(jù)應(yīng)用, Hadoop 僅僅是一個(gè)基礎(chǔ), 要用起來還需要安裝很多組件, 比如Hive, Mahout, Sqoop, ZooKeeper 等等, 不得不需要考慮各個(gè)軟件間兼容性問題: 版本是否兼容，組件是否有沖突，編譯能否通過等, 一大堆事情. 真正要在企業(yè)中要用Ha 閱讀全文

摘要： 開源項(xiàng)目airflow的一點(diǎn)研究調(diào)研了一些幾個(gè)調(diào)度系統(tǒng), airflow 更滿意一些. 花了些時(shí)間寫了這個(gè)博文, 這應(yīng)該是國(guó)內(nèi)技術(shù)圈中最早系統(tǒng)性研究airflow的文章了. 轉(zhuǎn)載請(qǐng)注明出處 http://www.rzrgm.cn/harrychinese/ . ================... 閱讀全文

摘要： 關(guān)于 python packaging 和 package manager 以及 虛擬環(huán)境 以及 package index server python 社區(qū)終于和打包相關(guān)的事情通盤考慮了, https://packaging.python.org/guides/tool-recommendatio 閱讀全文

摘要： 轉(zhuǎn)自 http://blog.csdn.net/thy822/article/details/8489779這篇文章, 我不能同意更多, 所以轉(zhuǎn)在這里. Here is my thinking after looking at both products...First of all let me ... 閱讀全文

摘要： 目標(biāo): 找到一個(gè)好用的數(shù)據(jù)模型設(shè)計(jì)軟件, 適合數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目開發(fā)或大型數(shù)據(jù)庫(kù)設(shè)計(jì). 結(jié)果: Eclipse ERMaster 功能不算太多, 但ER建模功能都有了, 使用體驗(yàn)最好, 我推薦使用 Eclipse ERMaster , 另外, PowerDesigner 功能最多, 不差錢可以選這個(gè). 下 閱讀全文

摘要： [一種聲音]擇校記2 先歌頌一下十月的天氣，但我們沒有去旅游，而是在家里待著，保持好心情。我們要把愛畫畫的女兒勸去走一走，逛逛街，吃吃喝喝。她剛剛迷上滴膠，要設(shè)計(jì)圖案做手工藝品、做首飾。她興趣太廣，這點(diǎn)讓我們有些不太滿意。之前她喜歡刻 印章，全套日本產(chǎn)刻刀，各種膠皮，自己畫了好多圖案來刻。又之前，她... 閱讀全文

摘要： [一種聲音]擇校記 擇校記九月最后一天，女兒下午一點(diǎn)鐘放學(xué)。幾乎還在凌晨，我和孩子?jì)寢尵图?dòng)起來了，分工合作，讓我早早、千萬(wàn)別晚到去接女兒。一晃之間，她在平和學(xué)校住宿四個(gè)星期了。從來沒有單獨(dú)出門機(jī)會(huì)的她，在學(xué)校里樂不思蜀，竟然一點(diǎn)不適應(yīng)都沒有。八月最后一天，是她第一天入校，第一次住宿，媽媽各種收拾，... 閱讀全文

摘要： 如果需要考慮繪圖性能開銷的話, 可以考慮PyQtGraph (http://www.pyqtgraph.org/), 比matplotlib更高效, 適用于開發(fā)實(shí)時(shí)更新數(shù)據(jù)的圖表，如Tick圖、K線圖、期權(quán)波動(dòng)率曲線. matplotlib 繪圖基礎(chǔ) 繪圖: matplotlib核心剖析http:/ 閱讀全文

摘要： 目前Teradata數(shù)據(jù)倉(cāng)庫(kù)的ETL作業(yè)采用ELT方式, 因?yàn)閘oading太重了, 需要將ETL壓力轉(zhuǎn)移到專門的ETL Server上. 對(duì)于ETL工具, 市場(chǎng)上已有很成熟的商業(yè)/開源工具, 比如Informatica的PowerCenter, IBM的Datastage, 開源的Kettle. ... 閱讀全文

摘要： 提高Web性能, 最關(guān)鍵還是要看瓶頸在哪里. 手段不外乎下面幾個(gè). 實(shí)現(xiàn)從易到難一般為: 優(yōu)化Big SQL -> 引入CDN -> 引入Memcache等緩存 -> Web負(fù)載平衡(多加Web服務(wù)器) -> 數(shù)據(jù)庫(kù)讀寫分離 -> 數(shù)據(jù)庫(kù)分表分庫(kù)當(dāng)然, 對(duì)于高并發(fā)的Web服務(wù), 要實(shí)現(xiàn)高性能和高可用 閱讀全文

摘要： 之前項(xiàng)目有用過pygal做chart圖, 寫代碼很容易,幾行代碼就很做出一個(gè)看上去還不錯(cuò)的chart, 缺點(diǎn)是: 要調(diào)的再美觀很難, Web上的交互效果較差. 在web上做可視化還是推薦采用Echarts或HighCharts Javascript庫(kù). 碰到個(gè)需求, 需要在pptx中生成chart圖... 閱讀全文

摘要： 我將python的主力開發(fā)工具從eclipse+pydev切換到pycharm社區(qū)版了. 選擇pycharm 的原因:1. pycharm可以實(shí)時(shí)按照pep8的規(guī)范檢查code style和naming rules, 尤其是naming rules(類名/方法名/attr名/文件名), 這個(gè)我非常看... 閱讀全文

摘要： 在這篇文章中, 將討論EDW on Hadoop 有哪些備選方案, 以及我個(gè)人的傾向性, 最后是建構(gòu)方法. 歡迎轉(zhuǎn)載, 但必須注明原貼(劉忠武, http://www.rzrgm.cn/harrychinese/p/edw_on_hadoop.html). 閱讀全文

摘要： Teradata的SQL設(shè)計(jì)和Oracle真不是一個(gè)水平, 一點(diǎn)美感的沒有. 上個(gè)世紀(jì)它靠著MPP一招鮮吃變天, 居然做了十多年數(shù)據(jù)倉(cāng)庫(kù)的老大, 時(shí)過境遷, 現(xiàn)在有不少SQL On Hadoop 產(chǎn)品已經(jīng)出來了, 考慮到scale out的成本和能力, Teradata 數(shù)據(jù)倉(cāng)庫(kù)優(yōu)勢(shì)蕩然全無(wú). 將來... 閱讀全文

摘要： 最終91行為: set JAVA_OPTS=-XX:MaxPermSize=128m %OUR_JAVA_OPTS% -Xms%OUR_JAVA_MEM% -Xmx%OUR_JAVA_MEM% -Dscala.usejavacp=true -Xss10m 5. 補(bǔ)配hadoop環(huán)境變量 HADOOP 閱讀全文

摘要： wtforms是一個(gè)表單模板庫(kù), 下面以修改密碼表單為例簡(jiǎn)單說明其用法. 我們可以用python代碼定義form的基本元素, 比如用戶名/郵箱, 并給定各個(gè)元素的validation條件. 然后在render_template()方法中, 將python的form類傳遞給html模板. 在模板上, ... 閱讀全文

摘要： easyui datagrid 在IE上加載速度慢, 150行數(shù)據(jù)就無(wú)法忍受了. firefox加載速度還可以. jquery easyui datagrid使用參考 http://www.rzrgm.cn/youring2/archive/2013/03/01/2938661.html 優(yōu)化 閱讀全文

摘要： edwin從發(fā)布以來, 得到了不少關(guān)注, 獲得了不少star. 最近又做了一些很有意義的改進(jìn), 同時(shí)完善了部分文檔. 項(xiàng)目地址: https://github.com/harryliu/edwin , 歡迎fork或PR, 如果喜歡, 請(qǐng)打star. 再次介紹一下edwin項(xiàng)目edwin是一個(gè)報(bào)警和... 閱讀全文

摘要： 簡(jiǎn)單介紹一下edwinedwin是一個(gè)報(bào)警和監(jiān)控平臺(tái), 可以使用它監(jiān)控任意東西, 如有異常(分為警告級(jí)和嚴(yán)重級(jí)), 可以發(fā)出報(bào)警. 可以自定義報(bào)警的通知方式, 比如郵件/短信/電話. 另外, 它提供一個(gè)web UI, 能以dashboard形式展現(xiàn)監(jiān)控指標(biāo)的狀態(tài). edwin對(duì)于監(jiān)控項(xiàng)目的組織形式... 閱讀全文

摘要： 修正python pep8的警告挺無(wú)趣的, 用了 autopep8 感覺比較爽. 記錄如下. ----------------pep8檢查----------------平時(shí)我用pydev做pep8檢查, 最近處理的是一堆單獨(dú)的python腳本, 用komodo edit做pep8檢查. komod... 閱讀全文

摘要： 做了一個(gè)html E-Letter項(xiàng)目. 郵件模板采用jinja2, html 郵件內(nèi)容生成簡(jiǎn)直太爽了. 整個(gè)項(xiàng)目開發(fā)只用了2個(gè)小時(shí), 調(diào)試卻花了大半天時(shí)間, 生成的郵件總是發(fā)不出去. 于是, 打開 smtp 的debuglevel, 發(fā)現(xiàn)郵件已經(jīng)mail queue了, 但就是收不到郵件. mai... 閱讀全文

摘要： request對(duì)象的常用屬性 具體使用方法如下:request.headers, request.headers.get('If-None-Match')request.json, request.json['value'] 或 request.json.get('detail_msg', "")r 閱讀全文

摘要： #訪問不需要登錄的網(wǎng)頁(yè)import urllib2target_page_url='http://10.224.110.118/myweb/view.jsp' f = urllib2.urlopen(target_page_url)httpCodes=f.getcode()responseStr =... 閱讀全文

摘要： 數(shù)據(jù)庫(kù)存了些中文字符, 比如'處理腳本'這樣的漢字, 結(jié)果導(dǎo)致一個(gè)python程序報(bào)錯(cuò). 下面記錄處理過程和相關(guān)結(jié)論. ===========================dal.py 程序片段,python 2.7,使用了pypyodbc模塊===========================... 閱讀全文

摘要： ============================解決pydev無(wú)法增加jython271 interpreter的問題============================從jython.org上下載了 jython-standalone-2.7-b1.jar, 獲知jython271需要... 閱讀全文