INFINI Labs 產品更新 | Gateway 支持基于 Kafka 的復制能力，發布 Helm Charts 部署方式

INFINI Labs 產品又更新啦~。本次更新概要如下：Easysearch 新增了索引字段相關統計 API，優化了 source_reuse 提升壓縮效率；Gateway 新增諸多新特性，如：支持基于 Kafka 的復制能力，添加可插拔的分布式鎖實現，新增 CPU 資源限制等功能；Console 本次主要優化了數據遷移功能，遷移任務詳情頁新增了若干指標圖和日志查看等功能。

歡迎大家下載使用和反饋。

INFINI Helm Charts v0.1.0

INFINI Helm Charts 是一組 Kubernetes 部署包管理工具。基于 Helm Charts，我們將 INFINI Labs 旗下相關產品預先配置好程序資源包，大大簡化了部署流程。Github 倉庫地址：https://github.com/infinilabs/helm-charts。

Helm Charts 本次更新如下：

Features

• 添加 Console Chart
• 添加 Easysearch Chart，支持單節點以及多節點（節點角色可配置）部署

部署視頻演示：

• 如何通過 Helm Chart 部署 Easysearch
• 如何通過 Helm Chart 部署 Console

博客文章：

• 如何通過 Helm Chart 部署 Easysearch

INFINI Easysearch v1.6.0

INFINI Easysearch 是一個分布式的近實時搜索與分析引擎，核心引擎基于開源的 Apache Lucene。Easysearch 的目標是提供一個輕量級的 Elasticsearch 可替代版本，并繼續完善和支持更多的企業級功能。

Easysearch 本次更新如下：

Features

• 新增 _field_usage_stats API，統計索引每個字段的訪問次數
• 新增 _disk_usage API，可以分析指定索引每個字段的磁盤占用大小
• 增加 flattened 類型，將 JSON 對象作為字符串處理，可以減少嵌套 JSON 型的文檔的大小

Improvements

• source_reuse 增加對 _source 中數字類型的值進行復用壓縮，可進一步降低 _source 磁盤占用
• 改進 source_reuse 篩選字段的邏輯

INFINI Gateway v1.18.0

INFINI Gateway 是一個面向搜索場景的高性能數據網關，所有請求都經過網關處理后再轉發到后端的搜索業務集群?；?INFINI Gateway 可以實現索引級別的限速限流、常見查詢的緩存加速、查詢請求的審計、查詢結果的動態修改等等。

Gateway 本次更新如下：

Breaking changes

• 徹底移除了 request_body_truncate 和 response_body_truncate 過濾器

Features

• 支持基于 Kafka 的復制能力
• 在請求上下文中添加 _util.generate_uuid
• 在請求上下文中添加 _util.increment_id.BUCKET_NAME
• 在 Pipeline 配置中添加 singleton，防止多個 Pipeline 同時運行
• 添加可插拔的分布式鎖實現
• 添加通用應用程序的 preference 配置
• 泛化隊列抽象，重構磁盤隊列，完善 Kafka 實現
• 添加 merge_to_bulk 處理器， 廢棄 indexing_merge 處理器
• 添加 flow_replay 處理器，廢棄 flow_runner 處理器
• 為復制場景添加 replication_correlation
• 添加 hash_mod 過濾器
• 在 bulk_response_process 過濾器中添加新參數
• 添加 request_reshuffle 過濾器
• 添加資源限制，允許設置最大 CPU 數或綁定親和性
• 支持模板中的嵌套變量
• 添加 rewrite_to_bulk 過濾器

Bug fix

• 修復了 Pipeline 中重試延遲未生效的問題
• 修復了模板中不支持數字的問題
• 修復了隊列選擇器通過標簽的問題，如果指定了多個標簽，它們都應該一起匹配

Improvements

• 將所有模塊名稱轉換為小寫
• 在啟動期間預取 Elasticsearch 元數據
• 添加應用程序范圍的關閉信號
• 重構隊列 API，支持 Kafka 管理
• 在 Badger 模塊中添加 enabled
• 允許使用優先級注冊模塊/插件
• 統一隊列的使用和初始化
• 優化 bulk_reshuffle 過濾器的性能，添加響應頭 X-Bulk-Reshuffled
• 支持在 queue 過濾器中使用變量，允許輸出最后生成的消息偏移量

INFINI Console v1.8.0

INFINI Console 是一款非常輕量級的多集群、跨版本的搜索基礎設施統一管控平臺。通過對流行的搜索引擎基礎設施進行跨版本、多集群的集中納管， 企業可以快速方便的統一管理企業內部的不同版本的多套搜索集群。

Console 在線體驗： http://demo.infini.cloud (用戶名/密碼：readonly/readonly)。

Console 本次更新如下：

Features

• 數據遷移任務支持自定義名稱和添加標簽
• 數據遷移任務詳情頁新增若干指標
• 數據遷移任務詳情頁新增查看日志

Improvements

• 數據遷移 UI 優化
• 優化監控報表、數據看板、數據探索的時間控件 UI

期待反饋

歡迎下載體驗使用，如果您在使用過程中遇到如何疑問或者問題，歡迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的對應項目中提交 Feature Request 或提交 Bug。

• INFINI Gateway： https://github.com/infinilabs/gateway/issues
• INFINI Console： https://github.com/infinilabs/console/issues
• 下載地址： https://www.infinilabs.com/download

您還可以通過郵件聯系我們：hello@infini.ltd

或者撥打我們的熱線電話：(+86) 400-139-9200

歡迎加入 Discord 聊天室：https://discord.com/invite/4tKTMkkvVX

也歡迎大家微信掃碼添加小助手（INFINI-Labs），加入用戶群一起討論交流。

關于極限科技（INFINI Labs）

極限科技，全稱極限數據（北京）科技有限公司，是一家專注于實時搜索與數據分析的軟件公司。旗下品牌極限實驗室（INFINI Labs）致力于打造極致易用的數據探索與分析體驗。

極限科技是一支年輕的團隊，采用天然分布式的方式來進行遠程協作，員工分布在全球各地，希望通過努力成為中國乃至全球企業大數據實時搜索分析產品的首選，為中國技術品牌輸出添磚加瓦。

官網：https://www.infinilabs.com