摘要： 之前，在 github 上開源了 ambari Kylin 項目，可離線部署，支持 hdp 2.6+ 及 hdp 3.0+ 。github 地址為：https://github.com/841809077/ambari Kylin ，歡迎 star 。 這段時間，陸續有不少朋友通過公眾號聯系到我，問 閱讀全文

摘要： 多線程一直是工作或面試過程中的高頻知識點，今天給大家分享一下使用 ThreadPoolTaskExecutor 來自定義線程池和實現異步調用多線程。 一、ThreadPoolTaskExecutor 本文采用 Executors 的工廠方法進行配置。 1、將線程池用到的參數定義到配置文件中 在項目的 閱讀全文

摘要： 一、定時任務觸發條件 1、在 Application 啟動類上添加：@EnableScheduling 2、含定時方法的類上添加注解：@Component，該注解將定時任務類納入 spring bean 管理。 3、在定時方法上寫上：@Scheduled(cron = "0 0/1 ?")，該 cr 閱讀全文

摘要： 系統環境 操作系統：CentOS 6 或 CentOS 7 JDK 版本：1.8.0_151 Ambari 版本：2.6.1 HDP 版本：2.6.4.0 擴展鏈接 "Kerberos原理 經典對話" "基于ambari的Kerberos安裝配置" "Windows本地安裝配置Kerberos客戶端 閱讀全文

摘要： HDP版本：2.6.4.0 Kylin版本：2.5.1 機器：三臺 CentOS 7，8G 內存 Kylin 的計算引擎除了 MapReduce ，還有速度更快的 Spark ，本文就以 Kylin 自帶的示例 kylin_sales_cube 來測試一下 Spark 構建 Cube 的速度。 一、 閱讀全文

摘要： 前言： 今天接手了同事之前做的一個小項目，里面涉及到了 FastDFS 的使用。但是當我在本地運行項目的時候，卻報了 Could not autowire No beans of 'FastDFS Client' type found 相關的錯誤。 接下來就詳細描述一下 FastDFS 報錯的解決方 閱讀全文

摘要： # coding=utf-8 """根據搜索詞下載百度圖片""" import re import urllib import os def get_onepage_urls(onepageurl): """獲取單個翻頁的所有圖片的urls+當前翻頁的下一翻頁的url""" try: page = urllib.urlopen(onepageurl) # ... 閱讀全文

摘要： 1. 首先通過urllib獲取網頁的源碼 2. 獲取下一頁的url鏈接，當本頁的圖片鏈接獲取完畢，再繼續獲取下一頁的。使用Python正則表達式匹配需要的字段 3. 獲取每一頁的圖片鏈接，將之放入一個總的數組，最后通過鏈接下載圖片 4. 下載圖片。使用urllib.urlretrieve()方法，直 閱讀全文

摘要： 學習HDFS有一段時間了，現在把自己總結的HDFS的相關操作代碼展示給大家。 主要有HDFS的增刪改查，文件的追加，windows本地文件的上傳，hdfs文件的下載，文件重命名，創建目錄，文件是否存在等操作。 準備工作：我是用maven搭配的環境，下面用到了單元測試@Test，需要在pom.xml文 閱讀全文

摘要： 在Java中，以下三個類經常用于處理數據流，下面介紹一下三個類的不同之處以及各自的用法。 InputStream ： 是所有字節輸入流的超類，一般使用它的子類：FileInputStream等，它能輸出字節流； InputStreamReader ： 是字節流與字符流之間的橋梁，能將字節流輸出為字符 閱讀全文