淺談LocalCache | 京東云技術團隊

1、什么是LocalCache？

本地緩存是一種將數據存儲在應用程序內存中的機制，用于提高數據訪問的性能和響應速度。它通過在內存中維護一個鍵值對的存儲結構，允許應用程序快速檢索和訪問數據，而無需每次都從慢速的數據源（如數據庫或網絡）獲取數據。

2、LocalCache優缺點

1）優點

2）缺點

3、LocalCache應用場景

LocalCache適用于許多不同的使用場景，特別是以下幾種情況：

4、LocalCache實際使用場景

5、LocalCache在Guava實踐

Guava cache 繼承了 ConcurrentHashMap 的思路，使用多個 segments 方式的細粒度鎖，在保證線程安全的同時，支持高并發場景需求。

1、CacheBuilder 緩存構建器。構建緩存的入口，指定緩存配置參數并初始化本地緩存。采用 Builder 設計模式提供了設置好各種參數的緩存對象。

CacheBuilder<Object,Object> cacheBuilder =CacheBuilder.newBuilder();

2、LocalCache 數據結構。緩存核心類 LocalCache 數據結構與 ConcurrentHashMap 很相似，由多個 segment 組成，且各 segment 相對獨立，互不影響，所以能支持并行操作，每個 segment 由一個 table 和若干隊列組成。緩存數據存儲在 table 中，其類型為AtomicReferenceArray，具體結構圖及代碼解釋如下。

#Guava中LocalCache聲明segments變量
final LocalCache.Segment<K, V>[] segments;

#Guava中初始化segments
this.segments = this.newSegmentArray(segmentCount);
final LocalCache.Segment<K, V>[] newSegmentArray(int ssize) {
    return new LocalCache.Segment[ssize];
}
#獲取Segment
Segment<K, V> segmentFor(int hash) {
    return segments[(hash >>> segmentShift) & segmentMask];
}

#Guava中Segment聲明table變量用于存儲數據
volatile AtomicReferenceArray<LocalCache.ReferenceEntry<K, V>> table;

V put(K key, int hash, V value, boolean onlyIfAbsent) {
    #保證線程安全
    lock(); 
    #獲取數據
    AtomicReferenceArray<ReferenceEntry<K, V>> table = this.table;
    int index = hash & (table.length() - 1);
    ReferenceEntry<K, V> first = table.get(index);
    for (ReferenceEntry<K, V> e = first; e != null; e = e.getNext()) {
      if (e.getHash() == hash
      && entryKey != null
      && map.keyEquivalence.equivalent(key, entryKey)) {
      }
    }
}

3、在Guava中，CacheBuilder提供了一系列方法，用于指定緩存的大小、過期策略、并發級別等屬性。

Cache<Object,Object> cache = cacheBuilder.maximumSize(1000)
                                        .expireAfterWrite(Duration.ofMinutes(10))
                                        .concurrencyLevel(4)
                                        .build();

2. 使用緩存：通過Cache對象的方法來進行緩存的讀取、寫入和移除操作。例如：

3. 其他功能：Guava的LocalCache還提供了其他功能，如統計信息、監聽器、加載器等，用于監控緩存的狀態、處理緩存未命中的情況等。

CacheStats stats = cache.stats();
cache.asMap().forEach((key, value)->System.out.println(key +": "+ value));
cache.cleanUp();

總結來說，Guava的LocalCache使用CacheBuilder構建和配置緩存，通過Cache對象進行緩存的讀取、寫入和移除操作。開發人員可以根據自己的需求使用相應的方法和功能來定制和管理緩存。

6、后記

設計一個可用的 Cache 絕對不是一個普通的 Map 這么簡單，這里小結一下關于 Guava Cache 的知識。

回歸LocalCache 的源頭，我是希望可以了解 設計一個緩存要考慮什么？，局部性原理 是一個系統性能提升的最直接的方式(編程上，硬件上當然也可以)，緩存的出現就是根據 局部性原理 所設計的。

緩存作為存儲金字塔的一部分，一定需要考慮以下幾個問題：

在設計何時加載的問題上，Guava Cache 提供了一個 Loader 接口，讓用戶可以自定義加載過程，在由 Cache 在找不到對象的時候主動調用 Loader 去加載，還通過一個巧妙的方法，既保證了 Loader 的只運行一次，還能保證鎖粒度極小，保證并發加載時，安全且高性能。

2. 何時失效

失效處理上，Guava Cache 提供了基于容量、有限時間(讀有限時、寫有限時)等失效策略，在官方文檔上也寫明，在基于限時的情況下，并不是使用一個線程去單獨清理過期 K-V，而是把這個清理工作，均攤到每次訪問中。假如需要定時清理，也可以調用 CleanUp 方法，定時調用就可以了。

3. 如何保持熱點數據有效性

在 Cache 容量有限時， LRU 算法是一個通用的解決方案，在源碼中，Guava Cache 并不是嚴格地保證全局 LRU 的，只是針對一個 Segment 實現 LRU 算法。這個前提是 Segment 對用戶來說是隨機的，所以全局的 LRU 算法和單個 Segment 的算法是基本一致的。

4. 寫回策略

在 Guava Cache 里，并沒有實現任何的寫回策略。原因在于，Guava Cache 是一個本地緩存，直接修改對象的數據，Cache 的數據就已經是最新的了，所以在數據能夠寫入 DB 后，數據就已經完成一致了。

參考文獻：Google Guava Cache 全解析

作者：京東科技 游斌平

來源：京東云開發者社區 轉載請注明來源