• 下游(Downstream)：下游指 Higress 接收到請求的來源，一般是如瀏覽器等客戶端
• 上游(Upstream)：上游指 Higress 轉發請求的目標后端服務

Higress 簡介

Higress 是一款云原生 API 網關，內核基于 Istio 和 Envoy，可以用 Go/Rust/JS 等編寫 Wasm 插件，提供了數十個現成的通用插件，以及開箱即用的控制臺（demo 點這里）

Higress 在阿里內部為解決 Tengine reload 對長連接業務有損，以及 gRPC/Dubbo 負載均衡能力不足而誕生。

阿里云基于 Higress 構建了云原生 API 網關產品，為大量企業客戶提供 99.99% 的網關高可用保障服務能力。

Higress 基于 AI 網關能力，支撐了通義千問 APP、百煉大模型 API、機器學習 PAI 平臺等 AI 業務。同時服務國內頭部的 AIGC 企業（如零一萬物），以及 AI 產品（如 FastGPT）

什么是 AI 網關

AI Gateway = AI Native API Gateway

AI 網關的本質依然是 API 網關，AI 原生的意義在于，在這樣的 API 網關里，AI 是一等公民。API 研發，API 供應，API 消費，以及 API 觀測都基于 AI 場景下的需求，演進出全新的能力。

這是傳統 API 網關的功能范疇，AI 場景下仍然有其通用價值：

在 AI 場景下，基于 Higress 可以將 API 網關的功能范疇進一步擴展：

核心優勢

生產等級

• 脫胎于阿里巴巴多年生產驗證的內部產品，支持每秒請求量達數十萬級的大規模場景。

• 徹底擺脫 Nginx reload 引起的流量抖動，配置變更毫秒級生效且業務無感。對 AI 業務等長連接場景特別友好。

便于擴展

• 提供豐富的官方插件庫，涵蓋 AI、流量管理、安全防護等常用功能，滿足90%以上的業務場景需求。

• 主打 Wasm 插件擴展，通過沙箱隔離確保內存安全，支持多種編程語言，允許插件版本獨立升級，實現流量無損熱更新網關邏輯。

安全易用

• 基于 Ingress API 和 Gateway API 標準，提供開箱即用的 UI 控制臺，WAF 防護插件、IP/Cookie CC 防護插件開箱即用。

• 支持對接 Let’s Encrypt 自動簽發和續簽免費證書，并且可以脫離 K8s 部署，一行 Docker 命令即可啟動，方便個人開發者使用。

流式處理

• 支持真正的完全流式處理請求/響應 Body，Wasm 插件很方便地自定義處理 SSE （Server-Sent Events）等流式協議的報文。

• 在 AI 業務等大帶寬場景下，可以顯著降低內存開銷。

使用場景

AI 網關:

Higress 能夠用統一的協議對接國內外所有 LLM 模型廠商，同時具備豐富的 AI 可觀測、多模型負載均衡/fallback、AI token 流控、AI 緩存等能力：

Kubernetes Ingress 網關:

Higress 可以作為 K8s 集群的 Ingress 入口網關, 并且兼容了大量 K8s Nginx Ingress 的注解，可以從 K8s Nginx Ingress 快速平滑遷移到 Higress。

支持 Gateway API 標準，支持用戶從 Ingress API 平滑遷移到 Gateway API。

相比 ingress-nginx，資源開銷大幅下降，路由變更生效速度有十倍提升

微服務網關:

Higress 可以作為微服務網關, 能夠對接多種類型的注冊中心發現服務配置路由，例如 Nacos, ZooKeeper, Consul, Eureka 等。

并且深度集成了 Dubbo, Nacos, Sentinel 等微服務技術棧，基于 Envoy C++ 網關內核的出色性能，相比傳統 Java 類微服務網關，可以顯著降低資源使用率，減少成本。

安全防護網關:

Higress 可以作為安全防護網關， 提供 WAF 的能力，并且支持多種認證鑒權策略，例如 key-auth, hmac-auth, jwt-auth, basic-auth, oidc 等。