軟件心理學工程師

檢索增強生成（RAG,Retrieval-Augmented Generation)能夠對大語言模型（LLM）的輸出進行優化，使其能夠在生成響應(response)之前引用訓練數據來源之外的知識庫中的數據對輸入提示詞(prompt)進行潤色，從而讓大模型給出更準確的答案。但大模型本身受限于訓練時所采 Read More

最近一年多，公司在大力提高服務的安全性，我也參與了公司密鑰管理系統的建設，做了較多密鑰創建/刪除/輪換/銷毀/安全存儲/安全傳輸/審計方面的工作，不過這篇文章不談密鑰管理，而是總結不同場景下如何選擇足夠安全的加密算法和密鑰。 按業務場景劃分主要有兩種：落盤加密(encryption of data Read More

上周對ES集群進行擴容，運維同學找了幾臺物理機部署data node，結果發現新的data node比以前的data node性能差很多。同樣的data node配置，同樣的查詢量，測試結果：CPU低，load非常高，diskIO打滿。 最后通過對比系統配置，發現區別是新加入的物理機以前是跑Mong Read More

語言需要不斷改進以跟進硬件的更新或滿足程序員的期待。所以java也需要演變，不然就會不適應IT產業的發展從而被別的語言淘汰，java語言現在更新到java12，不過業界主流應該還是java7或java8。 Java8中的主要變化反映了它開始遠離常側重改變現有值的經典面向對象思想，而向函數式編程領域轉 Read More

一個ES索引最大可以支持多少個shard？理論上無限擴展，我推測最大應該是java array的最大長度：Integer.MAX_VALUE。通常業務為了保證查詢效率，往往會限制data node上shards的總個數(cluster.routing.allocation.total_shards_ Read More

最近做的某個feature需要在很短的時間內上千萬次請求其他部門的web服務，為了減少請求次數和提升系統響應速度決定采用cache來緩存數據。 說到cache最出名的就是memcached和redis了，因為目前公司內用redis的項目用的更多，有專門的集群和運維工程師，就果斷選了redis。一言以 Read More

最近在做ES搜索調優，看了一些lucene搜索的文檔和代碼，本文用于總結調優過程中學到的知識和自己的思考。 在抓到ES慢查詢之后，會通過profile或者kibana的Search Profiler console查看具體慢在了哪里。一般在執行profile search之前，需要稍微改變query Read More

最近把搜索后端從AWS cloudsearch遷到了AWS ES和自建ES集群。測試發現search latency高于之前的benchmark，可見模擬數據遠不如真實數據來的實在。這次在產線的backup ES上直接進行測試和優化，通過本文記錄search調優的主要過程。 問題1：發現AWS ES Read More

日常工作中用到的ES相關基礎知識和總結。不足之處請指正，會持續更新。 1.集群的健康狀況為 yellow 則表示全部主分片都正常運行（集群可以正常服務所有請求），但是 副本 分片沒有全部處在正常狀態。 2.主分片的數目在索引創建時就已經確定了下來。但是，讀操作——搜索和返回數據——可以同時被主分片  Read More

cluster.name: 指定node所屬的cluster。 node.name: 本機的hostname。 node.master: 是否可以被選舉為master節點。(true or false) node.data: 是否為data node。(true or false) node.att Read More