杨旭-Alink的新进展及典型示例.pdf

1、杨旭/阿里巴巴资深算法专家AlinkAlink的新进展及典型示例的新进展及典型示例New progress and typical examples of Alink内容提纲概述新算法-深度学习组件-流式特征工程-时序算法组件新功能-推理组件加速-模型流-Web UIAlink教程（Java版，Python版）未来展望What is Alink Alink是基于Flink的机器学习算法平台Alink is the Machine Learning algorithm platform based on Flink.-由阿里巴巴计算平台事业部PAI团队研发Developed by the PAI

2、 team of Alibaba computing platform-Alink 名称的来自相关名称的公共部分：Alibaba,Algorithm,AI,Flink,BlinkCommon part of related words:Alibaba,Algorithm,AI,Flink,Blink-同时支持批式/流式算法，提供丰富的算法库Provides rich algorithm library,supports batch/stream algorithms-帮助数据分析和应用开发人员能够从数据探索、模型训练、实时预测、可视化展示，预测服务部署，端到端地完成整个流程。Help data

3、 analytics and application developers complete the process from end to end with data processing,feature engineering,model training,and prediction.2019年11月 在 Flink Forward Asia 大会上宣布开源Alink open source at Flink Forward Asia 2019-https:/ 任务启动(批/流)TF 自定义脚本SPSC数据队列进程拉起进程间通信远端文件管理集群信息收集(批/流)数据Rebalance(批

4、/流)任务配置TF 脚本+Alink 模型存储DL 组件基类(批/流)Java推理与深度算法库的结合KerasEasyTransfer结合Alink特征工程Bert句嵌入文本分类模型部署分布式setup“敏捷化”底层机制多层次组件体系DeepAR/LSTNet深度学习示例猫狗分类数据集来自 Recall:0.9376F1:0.9493LogLoss:0.1357|PredReal|dog|cat|-|-|-|dog|1188|48|cat|79|1185|新算法新算法流式特征工程流式特征工程流式特征工程时间序列深度学习机器学习推荐异常检测流式特生生成 使用简单PartitionCols：分组统

5、计的列TimeCol：时间列Clause：统计量窗口参数 和Alink其他功能组合使用，用途广泛聚合函数列表Alink教程 附录 Alink支持的聚合函数链接：https:/ 00:00:00 2014-02-03 00:00:00用户：MT-006数量：2976个采样点数据链接：https:/archive-beta.ics.uci.edu/ml/datasets/electricityloaddiagrams20112014时间序列例子new HoltWintersBatchOp().setValueCol(data_series).setPredictionCol(holtwinters

6、_pred_series).setFrequency(96).setDoTrend(true).setDoSeasonal(true).setPredictNum(672)new ProphetBatchOp().setValueCol(data_series).setPredictionCol(prophet_pred_series).setPredictNum(672)时间序列例子新功能新功能推理组件加速推理组件加速为什么加速推理组件加速在线预测，批量预测提升推理速度1提升CPU利用率相同任务和时间，使用更少的资源减少资源使用量23充分利用资源为什么