Higress 是阿里巴巴开源的云原生 API 网关，以 Istio 和 Envoy 为核心，深度整合了阿里在 AI 领域的实践经验。它能够统一对接国内外 LLM 模型，并提供丰富的 AI 特性，如多模型负载均衡、流量控制、缓存等，广泛应用于 AI 应用的流量管理。
特性
- 毫秒级配置生效： 彻底摆脱 Nginx reload 引起的流量抖动，保障业务连续性。
- 流式处理： 支持完全流式处理，在 AI 大带宽场景下显著降低内存开销。
- Wasm 插件扩展： 提供丰富的插件库，支持自定义扩展，实现流量无损热更新。
- 安全可靠： 基于 Ingress/Gateway API 标准，提供 WAF、CC 防护等安全功能，并支持 Let's Encrypt 自动证书管理。
安装
# 创建一个工作目录
mkdir higress; cd higress
# 启动 higress，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD}:/data \
-p 8001:8001 -p 8080:8080 -p 8443:8443 \
higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest
