【陶然】基于 Jina 云原生框架部署运维 Inference API.pdf

1、基基于于 j ji in na a 云云原原生生框框架架部部署署运运维维 I In nf fe er re en nc ce e A AP PI I陶陶然然Jina AI 云研发工程师JINA AI 基础架构高级工程师2022年加入 JINA AI从事 K8S 和 MLOPS 云原生平台研发陶陶然然扫码关注Star JinaT Th he e mmo os st t a ad dv va an nc ce ed d MML LO Op ps s p pl la at tf fo or rmmf fo or r MMu ul lt ti immo od da al l A Al lJina AI

2、 是一家商业化开源软件公司，专注于打造针对多模态 AI 应用的 MLOps 平台工具。Jina Al 开源社区致力于促进多模态 AI 技术的应用落地以及传播，通过人工智能和深度学习技术，帮助开发者和企业减少开发学习成本，加快开发部署效率。Jina AI 总部位于德国柏林，在北京、深圳、巴塞罗那等地均设有办公室，海外员工人数比例超过三分之二。什什么么是是 MML LO OP PS SA AI I e en ng gi in ne ee er r了解需求准备数据开发/训练模型部署模型监控指标什什么么是是 MML LO OP PS SMML LO OP PS SA AI I e en ng gi i

3、n ne ee er 什什么么是是 MML LO OP PS Smlops 流程开发测试部署d de ev vo op ps s e en ng gi in ne ee er rmml lo op ps s e en ng gi in ne ee er MML LO OP PS S 的的需需求求快快速速迭迭代代快速训练和开发模型快速部署模型模块化部署保证服务可用性扩扩展展与与易易用用动态扩展计算资源自动模版化部署多种云架构支持可可观观测测性性计算资源指标可观测日志观测API调用观测云云原原生生与与 A AI I更更多多的的算算力力 动态扩容 容器虚拟化，隔离CPU/MEMORY 支持 GPU

4、分享技术A AI I e en ng gi in ne ee er r训练模型部署模型增加资源降低资源云云原原生生与与 A AI I传统扩容HPA基于事务水平扩展从零扩容事件驱动自动回滚基于K8S生态云云原原生生与与 A AI IA AI I e en ng gi in ne ee er 云云原原生生与与 A AI I服服务务治治理理与与可可用用性性 基于指标或日志的 监控告警 K8s原生RBAC Service mesh 服务调度云云原原生生与与 A AI I指指标标追追踪踪与与日日志志监监控控提供可量化的性能指标，日志、指标聚合。实实时时告告警警基于规则实时告警，开发者能实时解决性能瓶颈可

5、可视视化化多种data source的可视化云云原原生生与与 A AI I数据输入网关Stable diffusionClip数据输出网格化网络安全无侵入服务治理熔断云云原原生生与与 A AI I模模型型灵灵活活部部署署 动态资源配置 蓝绿部署 统一网关O Op pe er ra at to or r 模模式式基基于于云云原原生生的的 A AI I MML LO OP PS S 解解决决方方案案行业应用电商金融制造业新媒体。AI 模型自然语言处理转换矢量图文字识别图片转文字。非结构化数据集成存储管理特征库样本标注MLops平台数据集成服务集成资源调度动态扩容资源隔离流量管理服务发现服务治理模型

6、编排网络安全配置管理统一网关WEB UI权限管理监控管理监控报警审计模型风险监控日志管理基础设施公有云AWSAliCloudAzureGCP私有云裸服务器。自动控制Kubernetes资源生命周期自定义的资源配置提供监控指标基基于于云云原原生生的的 A AI I MML LO OP PS S 平平台台服务治理简化的模版配置A AI I e en ng gi in ne ee er J JC Cl lo ou ud d 与与 MML LO OP PS SI In ng gr re es ss s 代代理理支支持持O