当前位置:首页 > 报告详情

2020Flink峰会报告:5、付典 - PyFlink 核心技术剖析及应用-ZH.pdf

上传人: li 编号:29335 2020-12-01 42页 146.54MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了PyFlink,一个基于Apache Flink的纯流架构的流批统一的计算引擎,以及其在阿里巴巴的应用和发展。PyFlink核心技术包括客户端架构、UDF运行时架构、Python Table API、DataStream API等。PyFlink项目的发展历程包括Python UDF、UDAF、MapFunction、ReduceFunction等功能的引入和优化。PyFlink的应用场景包括实时数据分析、机器学习、实时运维、特征工程、实时预测、图像处理、音视频处理等。未来规划包括支持state的读写、提供对Python DataStream API的全面支持、提供对各种常用的connector的built-in支持、完善Python Table API、支持Row-based类型的操作、完善Python Table API的易用性、cross-language支持、fusion优化、完善机器学习场景的支持等。
"PyFlink如何实现流批统一计算引擎?" "PyFlink在实时数据分析中的应用场景有哪些?" "PyFlink未来规划中,将如何完善Python Table API?"
客服
商务合作
小程序
服务号
折叠