摘要： 一、新建項目前配置JDK 1.File-->Project Structure 2.SDKs-->點擊+號，在彈出框選擇JDK的安裝路徑。 二、新建項目配置JDK 1.File-->New-->Project 2.填寫Name，Location, 選擇Language對應的JDK即可。 三、項目切換 閱讀全文

摘要： 1.IDEA clone遠程倉庫到本地， 復制遠程倉庫地址, 點擊Code-->copy 2.創建一個版本控制項目 3. 將遠程倉庫地址粘貼到URL框中，Directory是本地倉庫地址，點擊clone。 4. 輸入用戶名和密碼。密碼是訪問此github api的token, 需要登錄github- 閱讀全文

摘要： We can change replica from 3 to 2 after the data is deprecated, to save storage. 1.在hadoop的hdfs中，查看文件或者目錄的hdfs副本數量，可以使用如下命令 hdfs dfs -stat '%r' /path/ 閱讀全文

摘要： SELECT *FROM Table_NameWHERE (LAST_MODIFIED_DATE >= TO_DATE('${FROM_EXTRACT_VALUE}','YYYY-MM-DD HH24:MI:SS') AND LAST_MODIFIED_DATE < TO_DATE('${TO_EX 閱讀全文

摘要： 在Spark中執行refresh table語句時，它會刷新表的元數據信息，使得Spark能夠重新加載表的最新數據。通常情況下，你可以在以下情況下執行refresh table語句：1.在表的數據發生變化后，你希望Spark能夠立即感知到這些變化并使用最新的數據。2.在表的元數據信息發生變化后，比如 閱讀全文

摘要： 解釋： hdfs dfs -mkdir 是Hadoop命令行中用于創建目錄的命令。 -p 參數告訴 mkdir 命令創建所有不存在的父目錄。 閱讀全文

摘要： 說明： basename命令是Shell內建命令，用于去掉文件路徑中的目錄部分，只顯示文件名。如果你在使用的是Linux或者其他類Unix系統的Shell環境中，basename命令可以直接使用，無需額外安裝。 命令1: basename /aa/bb/cc/file_name 輸出： file_n 閱讀全文

摘要： Oracle組合索引（composite index）是指在數據庫表的多個列上創建的索引。當查詢操作中涉及到這些列并且是組合索引的前導列時，組合索引會生效。 組合索引的前導列是指在索引中排在最前面的列。只有當查詢的條件中使用了組合索引的前導列，且查詢條件滿足以下特性時，組合索引才會生效： 查詢條件中 閱讀全文

摘要： 1.主要區別？ repartition和coalesce是Spark中用于重新分區數據的方法。它們的區別在于： 功能不同：repartition方法用于增加或減少分區數量，而coalesce方法僅用于減少分區數量。 數據移動：repartition方法會進行數據重分區，可能會導致數據的移動和重新分配 閱讀全文

摘要： 1.set()集合 格式：{元素1，元素2，元素3}，元素之間用逗號分隔，每個元素的類型可以不一樣，比如{1,2,3},{'a','b','c'},{'a',1,'b',2} set集合是無序的，里面的元素不可重復 2.list集合(列表) 格式：[元素1，元素2，元素3], 元素可以是任何類型，比 閱讀全文