APIPark 新增 AI 大模型負載均衡,APIKey 資源池以及 AI Token 消耗統計等重磅功能!
開發者們好!APIPark V1.4 功能更新給大家帶來「負載均衡」、「APIKey 資源池」以及「Token 消耗統計」等重要功能,看看是否能幫助到大家更好地使用 AI 大模型~
V1.4 版本說明新功能
[??新增] 新增支持 AI 模型負載均衡:同時接入多款大模型,當原定的 AI 服務商無法訪問時,實現平滑的故障轉移,讓您的客戶不會受到 AI 服務商的異常影響。
[??新增] 新增支持 AI APIKey 資源池:可針對同一 AI 服務商錄入多個APIKey,系統自動調度可用的APIKEY,擺脫原廠的各種限制。
[??新增] 新增 AI token 消耗統計:可查看指定時間范圍內,調用各 AI 服務的 API 所消耗的 token數量。點擊跳轉:Github 倉
?? 負載均衡
AI 模型負載均衡是一種智能調度機制,旨在確保 AI 服務的高可用性和穩定性。當主要的 AI 供應商服務出現故障時,負載均衡能夠自動將請求切換到備用的 AI 供應商上。負載均衡能有效避免因供應商問題導致的服務中斷,保障 AI 應用的連續運行,提升用戶體驗。

負載優先級 APIPark 負載均衡支持對供應商進行優先級排序,確保在異常情況下,能夠按照預設的優先級順序進行切換,進一步優化資源利用和響應速度。

開源不易,點亮 Star 是對我們最大的支持~(′▽`???) 跪謝 !!!
?APIKey 資源池
APIKey 資源池是一個集中管理和調配 APIKey 的功能,為 AI 服務的穩定運行提供有力支持。在資源池中,您可以查看和管理各個供應商的 APIKey,包括其狀態(如正常、超額、過期等)和調用優先級。
只需要通過拖拉操作,您就可以輕松調整 APIKey 的優先級順序,以適應不同的業務需求。當某個 APIKey 出現超額或過期等問題時,系統自動按優先級啟用其他 APIKey,確保 AI 服務的持續可用。當然,您也可以使用 AI APIKey 資源池對 AI 調用資源額度進行統一再分配。

??AI API 管理
AI API 管理用于集中展示和管理調用各個 AI 供應商的 API。您可以在 APIPark 上查看所有調用的 AI API 的詳細信息以及 token 的消耗情況。

APIPark 支持在選定時間范圍內查看調用了該模型供應商能力的所有 API,以及每一個API 的調用的模型和使用的 token 數量。這一功能方便您對該模型的資源消耗進行成本管控。

此外,您還可以在 API 列表中查看特定 API 的路由配置以及該 API 的 Prompt 信息。??更詳細使用教程可以查看:APIPark 產品使用文檔記得 Star 和 Fork 一下~ 讓我們有動力給大家提供更好的開源體驗!

浙公網安備 33010602011771號