一條路上的咸魚

摘要： StarRocks版本在3.1.4及以下，并且使用了metadata_journal_skip_bad_journal_ids來(lái)跳過(guò)某個(gè)異常的journal，會(huì)導(dǎo)致FE元數(shù)據(jù)無(wú)法合并。 閱讀全文

摘要： 一、背景 在通用的數(shù)據(jù)開放平臺(tái)中，支持用戶編寫基于Groovy腳本的接口，Groovy腳本中可以查詢數(shù)據(jù)庫(kù)，然后對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行一些處理。平臺(tái)支持任何接口都可以啟用緩存。 緩存不是緩存整個(gè)腳本的結(jié)果，而是只支持緩存數(shù)據(jù)庫(kù)查詢語(yǔ)句的結(jié)果，這樣Groovy腳本中的其他邏輯依然可以處理數(shù)據(jù)。之前一直運(yùn) 閱讀全文

摘要： 本文介紹了從第一代基于Hadoop體系的離線數(shù)據(jù)同步，到第二代基于DolphinScheduler和StarRocks的改進(jìn)方案，再到第三代基于Python自定義的離線數(shù)據(jù)同步的演變過(guò)程。每一代方案都在不斷優(yōu)化，以適應(yīng)日益增長(zhǎng)的數(shù)據(jù)量和復(fù)雜的業(yè)務(wù)需求。 閱讀全文

摘要： 使用一臺(tái)4C8 G服務(wù)器輕松實(shí)現(xiàn)2個(gè)MySQL實(shí)例中通過(guò)負(fù)責(zé)分庫(kù)分表規(guī)則之后的5000多張表的數(shù)據(jù)實(shí)時(shí)同步到StarRocks 閱讀全文

摘要： 本文來(lái)自微信公眾號(hào):coder_xiaobu,歡迎關(guān)注 一.安裝pyspider pip install pyspider 二.啟動(dòng) pyspider all 三.安裝中出現(xiàn)的問(wèn)題處理 安裝的時(shí)候出現(xiàn)如下的錯(cuò)誤 "Please specify --curl-dir=/path/to/built/li 閱讀全文

摘要： 一、簡(jiǎn)單說(shuō)明 傳播屬性 描述 PROPAGATION_REQUIRED 如果當(dāng)前沒(méi)有事務(wù)，就創(chuàng)建一個(gè)事務(wù)，如果當(dāng)前存在事務(wù)，就加入該事務(wù)。 PROPAGATION_REQUIRED_NEW 當(dāng)前的方法必須啟動(dòng)新事務(wù)，并在它自己的事務(wù)內(nèi)運(yùn)行，不管是否存著事務(wù)，都開啟新事務(wù)。 PROPAGATION_S 閱讀全文

摘要： 算法時(shí)間復(fù)雜度分析 在看一個(gè)算法是否優(yōu)秀時(shí)，我們一般都要考慮一個(gè)算法的時(shí)間復(fù)雜度和空間復(fù)雜度。現(xiàn)在隨著空間越來(lái)越大，時(shí)間復(fù)雜度成了一個(gè)算法的重要指標(biāo)，那么如何估計(jì)一個(gè)算法的時(shí)間復(fù)雜度呢？ 時(shí)間復(fù)雜度直觀體現(xiàn) 首先看一個(gè)時(shí)間復(fù)雜度不同的兩個(gè)算法，解決同一個(gè)問(wèn)題，會(huì)有多大的區(qū)別。 下面兩個(gè)算法都是用來(lái)計(jì) 閱讀全文

摘要： 一、Spring抽象緩存 1. Spring從3.1開始定義了org.springframework.cache.Cache和org.springframework.cache.CacheManager接口來(lái)統(tǒng)一不同的緩存技術(shù)；并支持使用JCache(JSR 107)注解簡(jiǎn)化開發(fā)。 2. Cache 閱讀全文

摘要： 一、啟動(dòng)流程 1. 創(chuàng)建SpringApplication對(duì)象 2. 運(yùn)行run方法 3. 事件監(jiān)聽機(jī)制 需要配置在META INF/spring.factories中的事件監(jiān)聽器。 ApplicationContextInitializer SpringApplicationRunListener 閱讀全文

摘要： 一、JDBC方式 1. 引入starter。 2. 配置application.properties 3. 配置后默認(rèn)使用org.apache.tomcat.jdbc.pool.DataSource作為數(shù)據(jù)源；數(shù)據(jù)源的相關(guān)配置都在org.springframework.boot.autoconfig 閱讀全文