AWS EKS 是在 AWS 上运行 Kubernetes 的托管服务，适合部署需要弹性 GPU 的大模型推理工作负载。
建议使用 GPU 实例节点组、Cluster Autoscaler 与 API Gateway 组合，并结合 CloudFront 加速对外接口。
CnCloud 提供 AWS 代付与折扣账户，CloudFront 流量可享 3–9 折，进一步降低推理服务的对外分发成本。
EKS 运行 LLM 推理服务指南（AWS 实战部署）
7 min CnCloud
在 AWS EKS 上部署大模型推理，结合 GPU 节点、API Gateway 与自动伸缩。