面向机器学习的开发环境 CodeLab 介绍.pdf

1、面向机器学习的开发环境CodeLab介绍马如悦2020.12P飞浆#page#数据科学与机器学习平台，正在成为基础数据软件之一LinkedinData-Based Business Operation数据库2017年，机器学习工程师和数据科学家成为美国增速最快的两个职业Glassdoor，a popularjob site2016，2017，2018年，连续三年，数据科学家都是美国排名第一的最好职业。数据仓库Data-Assisted Decision Making与商业智能Google Trends在过去的5年，“数据科学”的搜索量每天都在增大SAS客户覆盖SAS覆盖了全球近10万家客户，2

2、015年财富全球数据科学Data-Driven Application Development500强名单前100家公司中有91家使用了SAS。与机器学习#page#新技术的进步，催生下一代产品硬件进步大数据与人工智能云计算模式DATAClouoComputing软件新的交付模式，计算能力提升大数据云计算成为toB新的交付方式，新的交付IntelCPU多核和加速指令，NvidiaGPU数据总量指数增加，数据驱动的业务模式方式将更加高效、节省成本，也会促进大等各类计算加速芯片原来越多量中小企业使用：是颜覆传统产品和开源，内存容量增大机器学习与人工智能产品的有利时机。从10年前的每服务器4GB-8

3、GB，到现在先进的模型算法技术层出不穷，不但赋能Cloud Native优化的256GB-512GB了前所未有的新业务，也带动对底层数据云原生软件，可以依赖完备的云计算基础存储能力增强处理基础设施的需求设施，提供先前产品难以实现的一些功能NVMESSD单机可达10TB-20TB，IOPS，比如弹性伸缩，异地多活，存储计算分高达几十万，吞吐高达每秒10GB离等网络能力增强单机网络从10年前的1Gbps提升到现在的25Gbpps-100Gbps#page#第三代数据科学与机器学习平台替换第一和第二代的机遇第一代第二代第三代高级数据分析ML和AI开发平数据科学平台诞生于科研（单机小数据计算诞生于产业

4、互联网（云原生+异构计算）诞生于互联网（分布式大数据计算）不关注语言：H.O.ai（Java）、基于特定语言：RStudioPython生态为主，比如H204GPU、开发语言Databricks(Java/Scala）、BML/BDL（C+）SAS、Matlab和AnacondaRapids.ai使用人员分析师开发者数据科学家、数据分析师和应用开发者数据量级1-10GB100GB-PB100GB-10TB基于单机语言更易用支持异构加速的高性能计算优势支持大规模分布式数据计算丰富的扩展库部署、运维和使用复杂度低劣势支持数据量级小部署、运维和使用复杂度高产品与生态不完善单机难协同性能不高一个新的职

5、业人群，必然需要新技术、新装备、新工具进行武装#page#BMLCodeLab:端云协同的集成开发环境应用、开发者区BML CodelabBML Service#page#CodeLab主打特色强大的集成开发环境高性价比的算力资源基于JupyterLab开发丰富的云端算力支持#page#强大的集成开发环境Powerful Integrated Development Environment#page#基于JupyterLabGrowth of Jupyter Notebooks，2016-2019Howelse can wetell data scienceis growing onGitHu

6、b？ The use of Jupyter Notebooks (bynumber of repositories with Jupyter as theirprimary language）has seen morethan 100%growthyear-over-yearforthelast threeyears.1w Star 2w Commits,311 Contributors2818部2017Jupyter Notebook - JupyterLab， Notebook-IDE*来自Github2019开源报告https:/#page#高性能单机计算引擎一性能对比Blackhole