摘要：
這幾天，讀了一篇系列文章《架構漫談》，其中通俗易懂的語言，風趣幽默的風格，形象明了的對比形式讓我對架構有了更進一步的了解。 首先，第一個問題什么是架構？ 架構，英文的定義是： Architecture (Latin architectura, from the Greek ?ρχιτ?κτων ar 閱讀全文
posted @ 2024-03-01 15:36
博客—銘
閱讀(21)
評論(0)
推薦(0)
2024年3月1日 #
2024年1月18日 #
摘要：
編程實現利用 DataFrame 讀寫 MySQL 的數據 （1）在 MySQL 數據庫中新建數據庫 sparktest，再創建表 employee，包含如表 6-2 所示的 兩行數據。 表 6-2 employee 表原有數據 （2）配置 Spark 通過 JDBC 連接數據庫 MySQL，編程實 閱讀全文
posted @ 2024-01-18 22:41
博客—銘
閱讀(20)
評論(0)
推薦(0)
2024年1月17日 #
摘要：
Spark SQL 基本操作 將下列 JSON 格式數據復制到 Linux 系統中，并保存命名為 employee.json。 { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "id":3 , "n 閱讀全文
posted @ 2024-01-17 22:57
博客—銘
閱讀(21)
評論(0)
推薦(0)
2024年1月16日 #
摘要：
對于兩個輸入文件 A 和 B，編寫 Spark 獨立應用程序，對兩個文件進行合并，并剔除其 中重復的內容，得到一個新文件 C。下面是輸入文件和輸出文件的一個樣例，供參考。 輸入文件 A 的樣例如下： 20170101 x 20170102 y 20170103 x 20170104 y 201701 閱讀全文
posted @ 2024-01-16 22:13
博客—銘
閱讀(14)
評論(0)
推薦(0)
2024年1月15日 #
摘要：
（1） 啟動 Hadoop，在 HDFS 中創建用戶目錄“/user/hadoop”； （2） 在 Linux 系統的本地文件系統的“/home/hadoop”目錄下新建一個文本文件 test.txt，并在該文件中隨便輸入一些內容，然后上傳到 HDFS 的“/user/hadoop” 目錄下； （3 閱讀全文
posted @ 2024-01-15 22:28
博客—銘
閱讀(11)
評論(0)
推薦(0)
2024年1月14日 #
摘要：
1. 計算級數 請用腳本的方式編程計算并輸出下列級數的前 n 項之和 Sn，直到 Sn 剛好大于或等于 q 為止，其中 q 為大于 0 的整數，其值通過鍵盤輸入。 例 如 ， 若 q 的 值 為 50.0 ， 則 輸 出 應 為 ： Sn=50.416695 。 請 將 源 文 件 保 存 為 ex 閱讀全文
posted @ 2024-01-14 23:16
博客—銘
閱讀(19)
評論(0)
推薦(0)
2024年1月13日 #
摘要：
from pyspark import SparkConf,SparkContext#創建sparkconf對象conf = SparkConf().setMaster("local[*]").setAppName("test_app")#基于sparkconf對象創建sparkContext對象s 閱讀全文
posted @ 2024-01-13 20:04
博客—銘
閱讀(9)
評論(0)
推薦(0)
2024年1月11日 #
摘要：
今日開始實驗1-Linux系統的安裝和常用命令-題目-廈門大學-林子雨-Spark編程基礎（Scala版） 安裝 Linux 虛擬機 使用 Linux 系統的常用命令 在 Windows 系統和 Linux 系統之間互傳文件 閱讀全文
posted @ 2024-01-11 11:13
博客—銘
閱讀(11)
評論(0)
推薦(0)
2024年1月4日 #
摘要：
第一次看《代碼大全》的時候，收獲并不大。當第二次在項目中，應用到代碼大全的知識。Debug的時候、重構代碼的時候，寫偽代碼的時候，將代碼寫在一個個的子程序中的時候。似乎對書中的知識理解的透徹很多。 將代碼寫在子程序的另外一個好處是，有時候你會發現以前沒有發現過的事物的本質。——>你對程序理解的更加透 閱讀全文
posted @ 2024-01-04 19:39
博客—銘
閱讀(10)
評論(0)
推薦(0)
2023年12月30日 #
摘要：
第三章 認識你的大腦 R 型對直覺，問題解決和創造性非常重要，L 型讓你細致工作并實現目標。 人類具有超強的感知能力，其中許多無法有效地用語言表達。例如，你可以立刻認出大量熟悉的人的面孔，無論他們是否改變了發型、穿著，或者肥了10磅，還是過了20年。 但是，嘗試描述你最親密愛人的臉龐，你會覺得有心無 閱讀全文
posted @ 2023-12-30 20:37
博客—銘
閱讀(13)
評論(0)
推薦(0)
浙公網安備 33010602011771號