5-3 Byzer一门面向 Data+AI 的云原生语言.pdf

1、DBT的下一站：Byzer,一门面向Data+AI的云原生语言祝海林2022.09.17hailin.zhukyligence.io 2022 Kyligence Inc.Confidential.我是谁我是谁祝海林hailin.zhukyligence.io2021+资深数据工程师 Byzer PMC,Kyligence 技术合伙人2017-2020 资深数据工程师 丁香园2015-2016 数据工程师 乐视云2008年进行自己的第一个创业2012 年发布了自己的第一个重要开源项目 ServiceFramework2016年发布自己第二个重要开源项目 Byzer目前在维护项目多达几十个 20

2、22 Kyligence Inc.Confidential.KYLIGENCE 公司介绍自主开源技术，打造开源生态 全球领先的大数据 OLAP 领导者 中国首个 Apache 顶级开源项目 1500+全球生产用户 面向 Data+AI 的 类 SQL 语言 云原生，覆盖桌面端到服务端 金融、互联网等行业应用案例 2022 Kyligence Inc.Confidential.Why大数据大数据&AI 平台落地困难平台落地困难 成本高成本高How从语言层面解决从语言层面解决问题问题What面向面向Data+AI领域领域云原生类云原生类SQL语言语言 2022 Kyligence Inc.Conf

3、idential.支持 Windows/MAC/Linux桌面版 开箱即用Web IDE Byzer-shell/Byzer CLI 2022 Kyligence Inc.Confidential.Byzer Architecture产品层ByzerNotebookVscodeDesktopShell命令行RouteByzerEngine上层产品展现路由Yarn/Spark Standalone/K8S(on-Prem or Cloud)ByzerEngineByzerEngineByzer引擎计算集群 2022 Kyligence Inc.Confidential.Byzer Langenc

4、e Architecture 引擎层Byzer Interface LayerHTTP/JDBC PROTOCOLLSPCLIByzer LibsByzer ExtensionByzer Package Manager(Github Repo as Package)Byzer LangenceByzer Grammer(SQL-like&Macro Function)接口层语言生态Lexical AnalysisPreprocess/ParserCodeGen(iava/scalc/python/sql)Byzer Interpreter解释器Byzer RuntimeSpark/Ray as

5、 runtime 执行引擎Native Extension(by java or scala)2022 Kyligence Inc.Confidential.Byzer 自然灾害可视化演示 2022 Kyligence Inc.Confidential.表格化表格化 将数据抽取为表格形式SQL 化化使用 SQL 进行数据处理可视化可视化 使用 Yaml 文本绘图函数化函数化 特征工程/模型转化为函数 2022 Kyligence Inc.Confidential.Byzer 机器学习示例 2022 Kyligence Inc.Confidential.全流程全流程覆盖整个机器学习流程类类 SQ

6、L支持类SQL语法，简单易学真分布式真分布式数据抽取，处理，特征工程，模型训练全程分布式深度学习深度学习覆盖深度学习（on Byzer-python）2022 Kyligence Inc.Confidential.Byzer-python 示例 2022 Kyligence Inc.Confidential.N o t e b o o k 化化SQL 和 Python 代码共存数据互通数据互通SQL 和 Python 数据互访真分布式真分布式SQL 和 Python 全分布式执行分 布 式分 布 式D a t a