9-3 云原生 AI 开发生产平台 IDP 的设计与实现.pdf

1、 2022 白海科技 版权所有云原生 AI 开发生产平台 IDP 的设计与实现2022-09-17蒋善文，IDP平台负责人 2022 白海科技 版权所有2了解白海白海科技是一家云原生AI基础软件平台服务商，致力于新一代云原生AI开发生产平台的开发和建设，助力企业大规模算法模型生产、降本增效，加速企业智能化转型与创新。团队在AI开发生产平台的建设方面具有丰富经验，自2015年起先后采用Zeppelin、Jupyter和Kubeflow等开源工具构建AI开发生产平台服务客户，2021年开始自研打造AI开发生产基础软件平台白海科技自主研发的云原生AI智能开发平台IDP(Intelligent Dev

2、elopment Platform)主要服务数据科学家、算法工程师、大数据工程师，通过易用性自研IDE、高性能任务调度引擎等AI基础软件，帮助其降低算法开发和数据分析的门槛、提高开发效率和资源利用率；通过提供可供算法开发人员和业务分析人员协作分析的统一平台，促进跨团队协作，从而加速AI的落地和业务价值的发挥。白海科技坚持自主创新，技术突破，在核心领域积累专利、软件著作权、技术创新等共十余项。新一代AI开发生产平台助力企业算法模型生产，降本增效，加速创新让AI更简单，更快速，更高效信息来源：白海科技 2022 白海科技 版权所有3目录1AI开发生产平台的现状和趋势如何？2IDP的产品理念和技术设

3、计新在哪里？2022 白海科技 版权所有4AI开发生产平台分类信息来源：白海科技集成式机器学习平台AI基础软件平台代表产品核心特征用户导向，按需使用，专业轻量流程导向，全面集成，厚重复杂数据准备模型开发模型训练模型部署各功能子产品集成于同一平台模型开发Studio数据准备功能包/插件模型部署功能包/插件.唯一交互界面SagemakerPAIModelArtsBMLJupyterLabIDE计算引擎开发平台AI开发生产平台IDP(智能开发平台)ML 2022 白海科技 版权所有5集成式机器学习平台信息来源：文献检索，白海科技机器学习框架（TensorFlow/PyTorch/PaddlePadd

4、le/Mindspore etc.）云计算虚拟化平台云原生容器服务大数据计算引擎基础硬件（CPU/GPU/FPGA/NPU）及网络通信设施基础设施机器学习平台行业应用面向互联网、金融、零售、工业、政府、安防等行业的AI解决方案服务数据管理与准备模型开发计算与训练推理部署与运维数据接入数据集管理数据处理数据标注数据探索高级探索/场景推荐特征库交互式建模-Notebook可视化建模自动学习Pipeline调度管理分布式训练弹性计算资源模型调试模型评估推理优化模型转化模型可解释模型发布：SDK/API发布多版本管理AI市场数据集共享算法共享模型共享核心子产品 2022 白海科技 版权所有6AI基础软

5、件平台JupyterLab开发工具(IDE)数据管理训练与计算部署与应用高易用性的云原生IDE领先的交互式开发环境由Spark引擎起步，并以此为为核心进行延伸布局高性能的任务调度引擎起步时的核心功能信息来源：企业官网，文献检索；白海科技IDP 2022 白海科技 版权所有7集成式平台化与基础软件的模块化随着AI 应用的深入，“集成”不再是企业选择工具首要要求，反而寻求定制化的、一流的工具来提供灵活的解决问题的方案这导致了整个 AI 堆栈的模块化，客户灵活选择AI开发生产基础软件模块，自行组建适合组织发展目标的AI开发生产平台目前，市场正在走向以基础软件平台为代表的的模块化和“集成式”平台化的平

6、衡点信息来源：海外独角兽，文献检索；白海科技AI基础软件平台 2022 白海科技 版权所有8AI开发生产平台未来发展趋势技术升级软件演进信息来源：白海科技云原生简单化Gartner预测，到2025年，云原生平台将成为95%以上新数字倡议的基础，而在2021年这一比例只有不到40%产品设计要简单、简单、再简单，简洁易用、低学习成本是算法工程师爱上产品的理由 2022 白海科技 版权所有9目录1AI开发生产平台的现状和趋势如何？2IDP的产品理念和技术设计新在哪里？2022 白海科技 版权所有10IDP:新架构 新理念新一代AI开发生产平台，新在哪里？新架构新理念基于IDE的插件式架构丰富的数据科