摘要：
本文較為詳細地介紹了Scala的理論，并結合相應的代碼進行解讀與實踐。文章內容主要包含Scala的簡介，數據類型，函數（函數定義、匿名函數、嵌套函數、循環語句等），集合（List、Tuple、Map），伴生對象，trait，Actor，隱式轉換，JDBC等。 閱讀全文
posted @ 2018-03-17 07:10
Huidoo_Yang
閱讀(4015)
評論(1)
推薦(4)
摘要：
本文較為詳細地介紹了Scala的理論，并結合相應的代碼進行解讀與實踐。文章內容主要包含Scala的簡介，數據類型，函數（函數定義、匿名函數、嵌套函數、循環語句等），集合（List、Tuple、Map），伴生對象，trait，Actor，隱式轉換，JDBC等。 閱讀全文
posted @ 2018-03-16 07:07
Huidoo_Yang
閱讀(5514)
評論(2)
推薦(4)
摘要：
awk的使用語法介紹，awk的調用方式，以及相關的案例講解。 閱讀全文
posted @ 2018-03-07 18:47
Huidoo_Yang
閱讀(1457)
評論(0)
推薦(2)
摘要：
本文旨在使讀者能快速掌握Shell編程的基本技術，從Shell編程的概述，變量，輸出重定向進行了詳細的講解。并且介紹了Shell腳本的編寫方法，條件判斷、算術運算符、文件與字符串測試和循環語句等。 閱讀全文
posted @ 2018-03-05 20:58
Huidoo_Yang
閱讀(1895)
評論(0)
推薦(4)
摘要：
本文介紹了三種yum源配置的方法，一是阿里云源、二是使用CentOS的iso文件在本地掛載的方式配置yum源、三是利用遠程掛載目錄配置yum源。 閱讀全文
posted @ 2018-03-04 21:34
Huidoo_Yang
閱讀(215387)
評論(0)
推薦(5)
摘要：
Linux環境下部署Kettle，Kettle配置文件的使用說明。制作作業調度腳本、日志清理腳本，使用Crontab做定時任務。最終達到一鍵上傳，實現腳本上線，并可在相應日志中查看每個調度周期腳本執行情況。本文旨在記錄Kettle的部署及配置文件配置注意事項和如何自制簡易調度系統，以便處理類似問題時方案的復用。 閱讀全文
posted @ 2019-08-26 08:48
Huidoo_Yang
閱讀(3022)
評論(0)
推薦(0)
摘要：
一、背景介紹 最近幾天，接到公司的一個將當前大數據平臺數據全部遷移到阿里云ODPS平臺上的任務。而申請的這個ODPS平臺是屬于政務內網的，因考慮到安全問題當前的大數據平臺與阿里云ODPS的網絡是不通的，所以不能使用數據采集工作流模板。 然而，考慮到原大數據平臺數據量并不是很大，可以通過將原大數據平臺 閱讀全文
posted @ 2018-06-27 18:17
Huidoo_Yang
閱讀(2725)
評論(0)
推薦(0)
只有注冊用戶登錄后才能閱讀該文。 閱讀全文
posted @ 2018-04-01 18:49
Huidoo_Yang
閱讀(29)
評論(0)
推薦(0)
摘要：
一、RDD概念與特性 1. RDD的概念 RDD（Resilient Distributed Dataset），是指彈性分布式數據集。數據集：Spark中的編程是基于RDD的，將原始數據加載到內存變成RDD，RDD再經過若干次轉化，仍為RDD。分布式：讀數據一般都是從分布式系統中去讀，如hdfs、k 閱讀全文
posted @ 2018-04-01 15:16
Huidoo_Yang
閱讀(1357)
評論(0)
推薦(2)
摘要：
Flume的概述，基本組件，工作原理。Source、Sink、Channel的種類介紹。Taildir Source和HDFS Sink的屬性配置。以及使用變量，動態生成hdfs的path路徑。 閱讀全文
posted @ 2018-03-20 20:30
Huidoo_Yang
閱讀(1975)
評論(0)
推薦(1)
摘要：
本文將Hive編程從命令行、DDL、UDF、DML、Select等方面結合官方文檔進行了較為詳細的總結，并在相關的知識點給出相應的例子進行說明。 閱讀全文
posted @ 2018-03-11 11:20
Huidoo_Yang
閱讀(1712)
評論(0)
推薦(3)
摘要：
本文講述了Hive的基本理論，hive與Hadoop的關系，Apache hive的安裝步驟，使用關系型數據庫存儲hive元數據的方法等。 閱讀全文
posted @ 2018-03-08 20:28
Huidoo_Yang
閱讀(2877)
評論(0)
推薦(1)
浙公網安備 33010602011771號