4-3Alink：基于Flink的机器学习平台.pdf

《4-3Alink：基于Flink的机器学习平台.pdf》由会员分享，可在线阅读，更多相关《4-3Alink：基于Flink的机器学习平台.pdf（27页珍藏版）》请在三个皮匠报告上搜索。

1、Alink：基于Flink的机器学习平台 杨旭 阿里巴巴计算平台事业部 资深算法专家 2020-7-25 什么是Alink? Alink是基于Flink的机器学习算法平台 -相关名称的公共部分：Alibaba,Algorithm,AI,Flink,Blink -由阿里巴巴计算平台事业部PAI团队研发 -同时支持批式/流式算法，提供丰富的算法库 -帮助数据分析和应用开发人员能够从数据处理、特征工程、 模型训练、预测， 端到端地完成整个流程。 -提供 Java API 和 Python API (PyAlink) 2019年11月 Flink Forward Asia上宣布开源 https:/ A

2、link开源功能 主要算法性能对比: Alink VS Sparkml Alink进展总览 Alink version1.0 2019年11月在Flink Forword Asia大会上宣布开源 Alink version1.0.1 2019年12月发布，解决一些场景下PyAlink的安装问题 Alink version1.1.0 2020年02月发布，支持Flink 1.10和Flink 1.9，PyAlink兼容PyFlink；改进UDF/UDTF功能 支持发布到Maven中央仓库和PyPI；支持多版本的Kafka数据源 Alink version1.1.1 2019年04月发布，提升使用

3、体验，在参数检查方面更加智能 Alink version1.1.2 2019年06月发布，新增30余个数据格式转化组件，支持多版本的Hive数据源 在Pipeline和LocalPredictor中支持SQLSelect操作 Alink version1.2.0 2019年07月发布，支持Flink 1.11、 Flink 1.10和Flink 1.9 支持多文件系统：本地文件系统，Hadoop文件系统，阿里云OSS文件系统 CSV格式读取、导出组件支持各文件系统；推出AK格式读取、导出组件，简化文件数据的操作 支持模型信息摘要、输出 FM分类、回归算法。 使用Maven构建Alink项目 第一步，创建maven项目 第二步，修改pom文件，导入Alink相关jar包 Flink-1.10的 Maven依赖 Flink-1.9的 Maven依赖 第三步，拷贝修改Alink Java示例代码