望宸-网关的演进历程以及在 AI 原生架构下的实践.pdf

《望宸-网关的演进历程以及在 AI 原生架构下的实践.pdf》由会员分享，可在线阅读，更多相关《望宸-网关的演进历程以及在 AI 原生架构下的实践.pdf（25页珍藏版）》请在三个皮匠报告上搜索。

1、云原生+AI Meetup12/28 广东省广州市海珠区鼎新路 88 号 广州阿里中心13:30-17:30广州站主办方合作伙伴云原生+AI Meetup 广州站网关的演进历程以及在 AI 原生架构下的实践王晨（望宸）阿里云智能云原生应用平台高级技术运营专家云原生+AI Meetup 广州站目录01AI 时代，企业和程序员的新机会在哪？02云原生网关：Ingress 统一网络通信协议的必然03AI 网关：调用 LLM API 的必备组件云原生+AI Meetup 广州站AI 时代，企业和程序员的新机会在哪？01云原生+AI Meetup 广州站百模大战-大模型盲测数据差距不大LMSYS Org

2、(Large Model Systems Organization)盲测竞技场：来自学术界的评测，加州大学伯克利分校、加州大学圣地亚哥分校以及卡耐基梅隆大学的学生与教职员工共同组建。云原生+AI Meetup 广州站大模型的能力增长率趋缓，开源和闭源的距离越来越近云原生+AI Meetup 广州站AI 下半场：从卷模型到卷应用云原生+AI Meetup 广州站AI 下半场：企业和应用程序员的机会在哪里？选择最适合应用 AI 的场景选择效率最高的工程化路径云原生+AI Meetup 广州站现阶段哪些任务最适合 AI 代理完成两个方向大部分企业的机会云原生+AI Meetup 广州站CPU大数据（

3、Flink+ES）手机APPPCIOT端手机APPPC生态端云原生 应用架构微服务1MySQL/Redis/OSS微服务2微服务3K8sAI 原生 应用架构Agent 1向量数据库Agent 2Agent 3K8sGPU大模型（专属模型+通用模型）催生新的生命力云原生网关AI 网关云原生架构&AI 原生架构无变化有变化RPC 框架（Dubbo/Spring）AI 编程框架（LangChain/Lamaindex/Spring AI/Dify）云原生+AI Meetup 广州站Spring AI低代码PyphonAI 编程框架云原生+AI Meetup 广州站云原生+AI Meetup 广州站云

4、原生网关：Ingress 统一网络通信协议的必然02云原生+AI Meetup 广州站网关架构的演进历程单体架构垂直架构SOA架构微服务架构云原生架构AI原生架构实现快维护成本高模块化负载均衡服务管理RPC技术高密度部署原子、自治按量使用极致弹性流量网关（Nginx）微服务网关ESB云原生网关KubernetesAI应用Agent、轻量LLMAI 网关 伴随软件架构的演进网关形态也在持续进化，K8s 成为统一运维界面，AI 成为流量增长的核心驱动力云原生+AI Meetup 广州站传统网关模式流量网关、微服务网关、安全、API网关四合一统一东西南北向流量集成 WAF 数据面云原生网关Higre

5、ss/云原生API网关K8sPodPodK8sPodPod南北向流量东西向流量新一代网关模式流量防护开放平台流量网关Nginx微服务网关 SCA服务发现服务治理安全防护K8sPodPod差异化竞争力：服务治理、API 管理、AIGC基本竞争力：高性能、高可用、零信任、易扩展。差异化竞争力：服务治理、API 管理、AIGC。API 网关云原生网关：Ingress 统一网络通信协议后的必然基本竞争力：高性能、高可用、零信任、易扩展云原生+AI Meetup 广州站高性能：软硬一体加速响应体验4 4、结合阿里大规模生产经验从操作系统、结合阿里大规模生产经验从操作系统/网络网络/内核深度调优，性能提升

6、内核深度调优，性能提升 40%40%1 1、传输性能高出约、传输性能高出约 90%90%网关规格：16C32G*4 节点ECS 型号：七代机（ecs.c7.8xlarge）2 2、硬件加速、硬件加速 HTTPS QPS HTTPS QPS 提升约提升约112%112%，RTRT 下降下降50%50%加速前加速后注：测试采用HTTPS短连接且关闭session ticket复用。网关规格：1 核 2 G*1 节点，ECS 型号：七代机（ecs.c7.8xlarge）3 3、硬件加速压缩、硬件加速压缩/解压缩解压缩提升提升 300%300%网关规格：2C4G*1 节点ECS 型号：八代机云原生+A